Denne tråd er over 6 måneder gammel
Er du sikker på, at du har noget relevant at tilføje?
PC build til databehandlingAf Gæst mns001 | 12-12-2018 15:30 | 913 visninger | 13 svar, hop til senesteHej,
Jeg skal lave et pc build til databehandling, men har ikke den store erfaring ud i den disciplin. Jeg håber derfor, at der er nogle her i forummet, som kan komme med et par guldkorn.
Mine prioriteter er single core performance og ram (minimum kapacitet 128 gb, men gerne højere).
Budgetmæssigt ligger jeg på 10-15000.
Har i nogle forslag?
På forhånd tak!
Mvh. Mads
--
Gæstebruger, opret dit eget login og få din egen signatur.
#0 Jeg ville nok starte med at tage et subset af f.eks. sådan en her liste: https://www.cpubenchmark.net[...]
På den liste, så skal du nok regne med at det kun er Xeon CPU'er, der understøtter mere end 64GB ram.
En anden lille faldgruppe er at, du ikke kan regne med at en given Xeon CPU understøtter 128GB ram i alle konfigurationer.
--
https://twitter.com[...] - Ned med #lurerSørenPape
--
Sidst redigeret 12-12-2018 16:58 Rammene alene ville stort set koste hele budgettet...
Jf. https://www.cpubenchmark.net[...] ville jeg kigge efter et system med en Intel Xeon E-2146G (eller en workstation med Xeon-W). De almindelige 'consumer' versioner af CPUerne understøtter max 64gb ram.
Det forudsætter dog at du virkelig prioriterer lidt højere singlethread performance.
Jeg ville hellere kigge efter et threadripper setup, og så gå AMD vejen. Specielt når du skal have en masse ram med dit budget.
--
Evolv mATX | ax860i | 8700k | 4x8gb trident z rgb 3200mhz | Asus z390m tuf | RTX 2080 ti | 1tb evo 970 | 1tb crucial mx500 | Acer X34A Rettelse til #1
På den liste, så skal du nok regne med at det kun er Xeon CPU'er, der understøtter mere end 64GB ram.
Der skulle have stået: i toppen af den liste
--
https://twitter.com[...] - Ned med #lurerSørenPape Hvad er det for noget data, hvor store er datasættene, og hvilket program bruger du til det?
Hvordan tilgås dataene? Løber dit program hen over datasættet eller er det random access?
--
Jeg svarer kun til nøds på indlæg fra gæster...
--
Sidst redigeret 12-12-2018 18:34 Mange tak for jeres svar. Jeg kigger på forslagene.
Mht. RAM var jeg måske ikke præcis nok. Planen er at købe et setup, hvor det er muligt at opgradere løbende. Pt. kan jeg sagtens klare mig med f.eks. 32 gb. Det er en pc til brug på min arbejdsplads, hvor vi arbejder med projekter af forskellig art, så behovet kan ændre sig over tid.
Det jeg skal bruge lige nu er en CPU med bedst mulig single core performance ift. budgettet og RAM kapaciteten. Grafikkortet er ikke en prioritet lige nu, men også det kan ændre sig med tiden, hvorfor der også skal være plads til opgradering heraf.
Til Wut: Datasættene er 4,5 gb lige nu, hvilket er en udfordring med min nuværende arbejdspc (bærbar), når jeg arbejder med det i rammene. Dette kan self. løses ved af analysere data linje for linje eller i chunks. Nu har jeg muligheden for et nyt setup, hvorfor jeg hellere vil fokusere på det.
Jeg håber, at det giver mening. Ellers må I spørge.
Mvh Mads
--
#5 Det er vigtigt lige at forstå de datasæt, før man kan anbefale en løsning.
Hvis du f.eks. har nogle lange logs, eller du har noget videomateriale, eller anden data, som bliver læst fra disk og behandlet og skrevet tilbage til disken, så er RAM ikke så vigtigt igen. Så er det vigtigere med en hurtig SSD, frem for 64+ GB RAM.
Men hvis du f.eks. indlæser en hulens masse samplet data, og behandler i Matlab (matrix operationer, fourier-analyse osv), så kræver det en masse mere RAM end det originale datasæt.
Du vil kunne se på det program, du bruger, hvor meget RAM der render op i undervejs, når det arbejder.
Du skriver, at du kan behandle data linje for linje? Er det ikke muligt at splitte det op i nogle chunks så, og parallelisere det? Så vil en 16-kernet processer kunne løse det noget hurtigere end selv den bedste "best single core", du kan finde :)
--
Jeg svarer kun til nøds på indlæg fra gæster... #5 Dette kan self. løses ved af analysere data linje for linje eller i chunks.
Så burde du netop også kunne parallelisere og så vil jeg give #6 ret i at så er det knap så meget single thread performance du skal gå op i.
Og behøver du virkelig indlæse det hele i hukommelsen på én gang, kan noget SSD storage + en god sjat RAM ikke klare det ?
--
https://twitter.com[...] - Ned med #lurerSørenPape
--
Sidst redigeret 12-12-2018 21:27 #6 Det er databaseudtræk med ~16mio rækker som i første omgang skal omstruktureres og siden anvendes til træning af machine learning modeller (det være sig regression, kNN, SVM, random forest, etc). Analysen foretages i netop MatLab.
Jeg er med på, at jeg kan køre dataanalysen/behandlingen parallelt fordelt på de tilgængelige cores, og vil sandsynligvis også udnytte dette i nogle situationer. Som udgangspunkt vil jeg dog køre seriel kode, hvorfor det oftest afhænger af den enkelte core.
--
#8 Jeg tror, jeg ville vælge en 8700K + 500 GB M.2 SSD + 500 GB SSD + 2x16 GB 3000MHz DDR4
Du kan bruge det interne grafikkort i 8700Keren eller opgradere senere.
Det burde give dig noget luft i budgettet til at opgradere med 2x16 GB RAM mere senere, eller flere SSDer. Jeg tvivler på, at du får brug for mere end 32 GB RAM... Husk at clear'e ubrugte elementer i Matlab, så du ikke får kopieret dine data rundt i vildskab ;-)
Mange ville nok anbefale noget specifikt Xeon-baseret pga højere single core performance, og hvad har vi. Men hvis opgaven går ud på at sætte den til at stå og knuse tal hen over aftenen/natten, så er de 5-10% ekstra hastighed måske ikke det vigtigste. Til gengæld er det ærgerligt at løbe tør for RAM eller SSD. Det lyder som et projekt, som kan udvikle sig til at handle om mange, store datasæt. Så hold lidt af budgettet tilbage, så du har mulighed for at opgradere.
Lyder som et sjovt projekt ;)
--
Jeg svarer kun til nøds på indlæg fra gæster... Tak for jeres svar!
Som jeg ser det har jeg tre muligheder:
At gå på kompromis med ram kapaciteten og holde mig i intel core serien. F.eks. et setup som: https://pcpartpicker.com[...]
Her følger jeg rådet i #9 om at "nøjes" med det interne grafikkort til en begyndelse.
Lave et tilsvarende AMD setup med Ryzen Threadripper 1920X
Her er ram kapaciteten intet problem, men der skal så tilkøbes grafikkort.
Lave et tilsvarende xeon setup. Her er jeg mere usikker på, hvilken cpu jeg skal vælge. Er E-2146G som nævnt i #2 det rette valg? Hvis jeg skal ramme et performanceniveau nogenlunde i tråd med i9'eren, hvad skal jeg så regne med af pris?
Jeg har også leget med et setup med Intel Core i7-7800X som understøtter 128 gb ram, men i ren cpu performance hælder jeg mere til i9'eren.
Allerhelst ville jeg nok foretrække førstnævnte setup, hvis bare der var mulighed for 128 gb ram (som i øvrigt nævnes på nogle tech sider). Er det overhovedet muligt at ramme nogenlunde samme cpu performance med 128 gb kapacitet indenfor mit budget (15000)?
Mvh. Mads
--
Hej,
Hvis nogen skulle være interesseret i en opdatering er jeg endt med dette setup: https://pcpartpicker.com[...]
Det er ikke købt endnu, så forslag til forbedringer modtages meget gerne.
Vh. Mads
--
#12 Intet specifikt pt. På sigt kan deep learning blive aktuelt.
Har ikke helt bestemt mig for, om jeg skal vente med gpu'en.
--
Grundet øget spam aktivitet fra gæstebrugere, er det desværre ikke længere muligt, at oprette svar som gæst.
Hvis du ønsker at deltage i debatten, skal du oprette en brugerprofil.
Opret bruger | Login
|
Du skal være logget ind for at tilmelde dig nyhedsbrev.
Hvilken udbyder har du til internet? 224 personer har stemt - Mit energiselskab (Ewii f.eks) 11%
|