Seneste forumindlæg
Køb / Salg
 * Uofficiel Black/White liste V3
Login / opret bruger

Forum \ Software \ Generel software
Denne tråd er over 6 måneder gammel

Er du sikker på, at du har noget relevant at tilføje?

Hente tekst fra hjemmeside - wget?

Af Guru jespert | 22-10-2017 11:52 | 2488 visninger | 23 svar, hop til seneste
Hej Er der nogle der kan hjælpe mig med at "downloade" alt tekst fra nedenstående hjemmeside ved at benytte en commando i en bat fil? https://www.bold.dk[...] Svarer altså til at åbne siden - trykke ctrl A for at markere alt - kopiere ind i en .txt fil - gemme filen. Jeg har forsøgt mig med wget, men den kan jeg kun få til at downloade siden som html, og det kan jeg desværre ikke bruge. Nogen der kan hjælpe?
--
#1
kiksen1987
Supporter Aspirant
22-10-2017 12:02

Rapporter til Admin
Du får jo stadig meget mere tekst med end du regner med. Prøv at kigge på selenium og lidt basic programmering
--
Yep
#2
jespert
Guru
22-10-2017 12:04

Rapporter til Admin
#1 mere tekst end jeg regner med - ved at ctrl a?
--
#3
Jacob [5260 Od.S]
Elite Supporter
22-10-2017 13:30

Rapporter til Admin
Det du ønsker er at "scrape" hjemmesiden. Kan hjælpe dig ved videre søgning. Det kan gøres på mange måder. Det er absolut ikke sikkert det hele virker lige godt på bold.dk Eksempelvis: http://webscraper.io[...] Søg selv efter flere løsninger. Hvis du bare skal hente stillingen for suppen en gang om ugen, så er det nemmest at gøre det manuelt. Hvis ikke så skal du finde en side hvor folk allerede gør det fra. Betexplorer skulle være en rimelig populær side til det. https://www.reddit.com[...] Det er et par år siden jeg rodede med dette, så meget kan have ændret sig, men ovenstående fra Redit er forholdvis ny. Husk at ændres hjemmesiden, så skal der startes forfra med at programmere din scraper - så vidt jeg ved.
--
Google først, spørg bagefter. Man skal ikke græde over spist bacon.
#4
Jacob [5260 Od.S]
Elite Supporter
22-10-2017 13:43

Rapporter til Admin
Artiklen fra Reddit er skod. Jeg har ikke læst den ordentligt inden jeg linkede indrømmet :-( Jeg har fundet dette: https://www.jokecamp.com[...] Kig på http://www.football-data.co.uk[...] og deres free api som bliver nævnt i reddittråden. Der ligger også masser af historisk data, om mål og odds på mange kampe særligt fra Storbritannien. Nu ved jeg ikke hvad du ønsker at opnå eller hvilke data du skal bruge. Selvom du skal bruge ovenstående fra 20 ligaer, så tror jeg det vil være nemmere at gøre det manuelt. Hvis du kan/vil beskrive hvad du skal bruge af informationer, så vil det være nemmere at hjælpe dig med hvad måde det nemmest gøres på. Husk at der er stor forskel på hvad formattering det markerede får når det sættes ind. Det skifter fra browser til browser.
--
Google først, spørg bagefter. Man skal ikke græde over spist bacon.
#5
jespert
Guru
22-10-2017 14:46

Rapporter til Admin
#4 Jeg har udviklet et program til at behandle ugens kampe fra 15 udvalgte ligaer. Her skal jeg bruge 15 kampe som via et pointsystem jeg har sat op, og det er så de 15 kampe jeg oddser på. Jeg har altså brug for et/flere tekst dokument med ugens kampe samt resultater fra sæsonen i de 15 ligaer. Jeg kan godt gøre det manuelt, men kunne godt tænke mig noget der kan automatisere processen. MEN. Gider ikke betale et mdr. gebyr til en virksomhed som tilbyder servicen. så vil jeg trods alt hellere gøre det manuelt. Det var bare hvis der lige var én der kunne hjælpe mig videre. #4 jeg prøver at se lidt på det du skriver - måske kan det hjælpe mig videre til en løsning.
--
Sidst redigeret 22-10-2017 14:46
#6
thomsen48
Junior Supporter
22-10-2017 15:11

Rapporter til Admin
Kan gøres ret simpelt med powershell: $Data = New-Object System.Net.WebClient $Data.DownloadFile("https://www.bold.dk[...] "C:\Temp\test.html")
--
MB: ASUS Maximus V Gene | CPU: i7-3770 @ 4.3Ghz | GPU: GTX 980 | RAM: 24GB | SSD: 2 stk. 256GB Samsung 850 Pro | Skærm: Asus ROG SWIFT
#7
upz
Bruger
22-10-2017 15:25

Rapporter til Admin
#6 Har delvist ret, powrshell er et godt bud, jeg ville dog benytte mig af føgende $website = Invoke-WebRequest –Uri $url Giver dig hele websiden, plus du kan arbejde med den i powershell som objekter eller hvad du nu måtte have brug for. Ville mene det er den "nemmeste" og mest fleksible metode. ** edit ** Rettet lidt tastefejl fra tlf
--
Sidst redigeret 22-10-2017 15:26
#8
jespert
Guru
22-10-2017 15:27

Rapporter til Admin
Har ikke arbejdet med powershell før. #7 skal der ikke angives noget filnavn i din kode?
--
#9
thomsen48
Junior Supporter
22-10-2017 16:00

Rapporter til Admin
#7 Det er også er godt bud, kommer lidt an på hvad man vil efterfølgende. #8 Sådan her kan du smide det hele ud i en txt fil $website = Invoke-WebRequest –Uri https://www.bold.dk[...] $website.RawContent | Out-File c:\temp\test.txt
--
MB: ASUS Maximus V Gene | CPU: i7-3770 @ 4.3Ghz | GPU: GTX 980 | RAM: 24GB | SSD: 2 stk. 256GB Samsung 850 Pro | Skærm: Asus ROG SWIFT
--
Sidst redigeret 22-10-2017 16:01
#10
jespert
Guru
22-10-2017 16:15

Rapporter til Admin
Tak til jer begge. Det prøver jeg lige at lege med. Det giver desværre ikke helt det resultat jeg gerne vil have da alle tags kommer med. Jeg får sådan set det samme som jeg fik med wget desværre.
--
Sidst redigeret 22-10-2017 16:17
#11
Hauro
Monsterbruger
22-10-2017 18:20

Rapporter til Admin
https://www.httrack.com[...] - måske det kan bruges :)?
--
-= Intel i5 6600k (3.5 GHZ) - H100i | gigabyte 970 G1 | Gigabyte z170x G1 | 2x4 corsair LPX 2400 mhz =-
#12
upz
Bruger
23-10-2017 00:06

Rapporter til Admin
#10 Det virker fint, men det kræver mere end bare en linie kode, så hvis du ikke er stærk i objekter, eller kode generalt, så er det nok ikke den her vej du skal, men nu har jeg lige skrevet en lille smule for at vise hvordan man kan gøre det via powershell. Jeg har lavet en lille stump kode der henter alt data for dig i den første tabel https://imgur.com[...] og smider det i objekter her https://imgur.com[...] og så har jeg lavet det så den smider det ud i en tekst fil på din dekstop i det her format https://imgur.com[...] Selve koden har jeg smidt op her https://pastebin.com[...] Håber det kan give lidt inspiration.
--
#13
jespert
Guru
23-10-2017 08:38

Rapporter til Admin
#12 tak det ser ud til at være noget jeg kan bruge. Så skal jeg bare have kampresultaterne med også, men det vil jeg prøve at se om jeg ikke selv kan lave, nu du har gidet at lave nogle glimrende eksempler. Mange tak for din hjælp - kan godt se du har brugt noget tid på det:-)
--
#14
upz
Superbruger
23-10-2017 09:15

Rapporter til Admin
#13 output irriterede mine øjne, ikke sikkert det er relevant for dig, men hvis du erstatter line 39 og frem med følgende får du et pænere output $output = @() Foreach ($line in $game_stats) { if ($line -ne "") { $output += $line } } $output | Out-File -Append -FilePath $outfile -Force $format_correct = Get-Content $outfile | select -Skip 2 $format_correct | Set-Content $outfile -Force
--
Sidst redigeret 23-10-2017 09:20
#15
upz
Superbruger
23-10-2017 14:48

Rapporter til Admin
Havde lidt tid her til frokost, så endte med at skrive det her lille projekt færdigt. Så her har du oversigt over kampe og alle kamp resultater https://pastebin.com[...] De bliver smidt ud i to seperater csv filer på dit skrivebord https://imgur.com[...]
--
Sidst redigeret 23-10-2017 14:48
#16
spangsbjerg
Elitebruger
23-10-2017 18:39

Rapporter til Admin
#15 Faith in humanity restored :-)
--
#17
jespert
Guru
24-10-2017 09:38

Rapporter til Admin
#15 Det er sgu for cool. Det er lige hvad jeg skal bruge. Feeeedt. Har smidt dig en pm.
--
#18
SShadowS
Guru
24-10-2017 09:43

Rapporter til Admin
#15 Flot kode, masser af piping. Godt arbejde.
--
6700K|Maximus VIII Extreme|32GB RAM Gainward1080-GS|XL2410T|U28D590D Samsung840 EVO 500GB|Samsung 850 PRO 256GB Samsung850 EVO 500GB|Corsair AX860i
#19
upz
Superbruger
24-10-2017 09:58

Rapporter til Admin
#17 Det var så lidt, var et hyggeligt projekt, nu er jeg jo ikke en betting man, men det kan da være jeg selv lige skulle skrive noget jeg statistik kode og se om man kunne vende lidt mønt på det - er jo en god ide du har gang i :) #18 Jeg siger tak for de pæne ord
--
#20
Jacob [5260 Od.S]
Elite Supporter
24-10-2017 13:37

Rapporter til Admin
#19 Du skulle hellere tage penge for at skrive småting som det du lige har lavet. Godt gået. Hvis der var penge at vinde på statistik, så var det blevet gjort for længe siden. Desuden er der en grund til at bookmakerne leverer så meget info/statistik om kampene som de gør. Mange synes det er et godt værktøj, men det er ikke statistikken der vinder kampene/væddemålene. Du kan selvfølgelig være heldig i en begrænset periode, men ikke over længere tid.
--
Google først, spørg bagefter. Man skal ikke græde over spist bacon.
#21
upz
Superbruger
24-10-2017 14:33

Rapporter til Admin
#20 Tjaee, nu har jeg et job hvor jeg laver den slags dagligt (Ikke lige website scrapping) men udvikling. Og må indrømme at det med at finde kunder nok er det største problem ved at lave noget selvstændigt, ved ikke lige hvor jeg skulle kigge efter dem hvis jeg skulle være halv seriøs omkring det. Nu ved jeg ikke hvad man fra et professionelt perspektiv kan tage for sådanne en stump kode, men at bruge en lille times tid på at nusse med det for at hjælpe en anden har jeg det ok med at gøre engang imellem :) Men hvis du har nogen erfaring med det, eller kender et sted hvor folk lige frem smider opslag opgaver op, kunne det da være interessant at kigge på.
--
#22
Business
Mega Supporter
24-10-2017 15:44

Rapporter til Admin
#21 Fra tid til anden er der nogle fine opgaver på Amino Freelancer.
--
#23
spangsbjerg
Elitebruger
24-10-2017 15:54

Rapporter til Admin
#21 Du virker ellers som en man gerne ville starte en virksomhed med - kunderne skal nok komme.
--

Opret svar til indlægget: Hente tekst fra hjemmeside - wget?

Grundet øget spam aktivitet fra gæstebrugere, er det desværre ikke længere muligt, at oprette svar som gæst.

Hvis du ønsker at deltage i debatten, skal du oprette en brugerprofil.

Opret bruger | Login
NYHEDSBREV
Afstemning


ANNONCE