Seneste forumindlæg
Køb / Salg
 * Uofficiel Black/White liste V2
Login / opret bruger

Forum \ Hardware \ Generel hardware

Computer til Deep Learning - Tensorflow

Af Maxi Supporter jhc9817 | 04-12-2020 11:49 | 1141 visninger | 19 svar, hop til seneste
Jeg skal igang med at lave et projekt hvor der skal ses på store mængder af billeder - vi snakker 200.000 billeder der skal bruges til udarbejdelse af en model. Til det skal jeg have indkøbt en computer der kan håndtere de mængder af data. Jeg har et budget på 50.000 DKK til indkøb. Og jeg er kommet frem til følgende. Intel i9 : https://www.dustinhome.dk[...] 128 GB DDR4 2 x 3080 eller Nvidia Tesla K80 // hvad er bedst ?. 10TB ssd Eller skal man istedet gå ryzen/threadripper ?.
--
#1
kvist1992
Maxi Nørd
04-12-2020 11:56

Rapporter til Admin
Betingelsesløst gå efter en AMD Ryzen. Intel ahr intet der er i nærheden hvad angår ren, raw power. Snup en 5950X eller hvad den nu hedder, og så 128GB RAM med høj performance, og 2 stk. 4 TB NVME SSDer du kan sætte i RAID0 direkte på bundkortet. Til compute så køb 2 x 3080, det er mest performance for pengene til dit budget. :)
--
The Great (X79), The New (X99) and The Mighty (X58)! MBPr 15" 2018! iPad Pro 12.9 2018 LTE! iPhone Xs Max 64GB!
#2
kvist1992
Maxi Nørd
04-12-2020 11:59

Rapporter til Admin
AMD Ryzen 9 5950X river den der intel du har fundet midt over. Endda med en pæn margin.
--
The Great (X79), The New (X99) and The Mighty (X58)! MBPr 15" 2018! iPad Pro 12.9 2018 LTE! iPhone Xs Max 64GB!
#3
Optaget Brugernavn
Juniorbruger
04-12-2020 12:02

Rapporter til Admin
Hér en tråd, der kommer rundt om lidt af hvert: https://www.reddit.com[...]
--
https://meta.wikimedia.org[...]
#4
mortenb
Juniorbruger
04-12-2020 12:03

Rapporter til Admin
Lidt input. I9 og 128GB lyder fornuftigt. Hvis du bruger en AMD cpu og numpy risikerer du at ramme ind i at det kører langsommere end på en Intel pga. de MKL optimeringer Intel har lavet. Du kan selvfølgelig eksperimentere med OpenBLAS eller noget Blis. Eller bare sætte MKL_DEBUG_CPU_TYPE=5 som en enviromnent variable, så MKL tror at du kører intel. Ift. at det er billeder du arbejder med så bruger du nok en del gpu memory og der er 3080 desværre begrænset til de 10GB. Jeg har selv et håb om at kunne få en 20GB udgave af 3080 inden så længe, men alternativt ville jeg overveje 3090 med de 24GB. Jeg har også en naiv drøm om at ROCM snart bliver godt nok til at de nye AMD GPU'er kan bruges effektivt til deep learning. Bare mine 2 cents..
--
#5
Mr. WoLF
Guru
04-12-2020 12:10

Rapporter til Admin
Du skal også se på noget rigtig god køling til den CPU, kunne være noget i stil af en x73 kraken? Gfx lige nu rtx 3090 men dyrt, som #4 så skulle der komme et 3080 20gb men hvem ved hvornår man med sikkerhed kan få fingrene i det
--
#6
ilmep
Supporter Aspirant
04-12-2020 12:21

Rapporter til Admin
#0 Kan du beskrive mere om værktøjerne i kommer til at benytte jer af, da det afhænger af om intel vs ryzen. På papiret er ryzen bedre, men som #4 er inde på kan det faktisk være nogle gange at Intel er hurtigere.
--
#7
Guest
Gæst
04-12-2020 12:54

Rapporter til Admin
Ved træning af dine modeller vil du typisk være begrænset af din GPU-memory pr GPU. Jeg ville personligt anbefale at gå efter RTX3090 i stedet, og evt nøjes med ét frem for to.. du vil tit løbe ind i at du må arbejde med "for" små billedopløsninger eller en batch-size der begrænser din træning - for ikke at overstige den memory der er på et RTX3080. Hvis du slipper for momsen koster et RTX3090 jo kun ca 10000 kr. Det afhænger selvfølgeligt af om dine billeder kun er "256x256" eller om de er større (som de jo typisk er)
--
Gæstebruger, opret dit eget login og få din egen signatur.
#8
kneth
Gæst
04-12-2020 13:13

Rapporter til Admin
virker mærkeligt at folk recommender så gode CPU'er til deep learning hvor mere eller mindre det meste eller det hele kommer til at køre på GPU'en. Du behøver ikke den bedste CPU på markedet. en 3090 ville nok være god på grund af de 24 GB vram, hvilket plejer at være det problem man løber ind i med deep learning. Men det vil helt sikkert være fortrukket at få en dedikeret deep learning GPU som har meget bedre float32 calculation performance.
--
Gæstebruger, opret dit eget login og få din egen signatur.
#9
jhc9817
Maxi Supporter
04-12-2020 21:36

Rapporter til Admin
Endte med at bestille 5950x 3090 128gb ddr4 8 tb SSD(2*4tb) 20 tb HDD(2*10tb) Så nu må vi se hvornår de kan levere.
--
#10
Mr. WoLF
Guru
04-12-2020 21:54

Rapporter til Admin
#9 Det 3090 kommer til at sparke røv til opgaven set på privat brug. Hvad med køling?
--
#11
jhc9817
Maxi Supporter
04-12-2020 22:08

Rapporter til Admin
#10 Har ikke købt køling endnu men overvejer noctura. Det skal faktisk bruges til erhvervs opgave. Hvordan tror du det vil performe med endnu et 3090?.
--
#12
Mr. WoLF
Guru
04-12-2020 22:19

Rapporter til Admin
#11 Hvilke ram, med lav profil? Hvad med noget som en x73 kraken? Skal ikke kunne sige hvad mere det vil give med et kort ekstra for sidst jeg så op på det var det med et 1øgtx 1080 ti men tænker du er godt stillet med et enkelt 3090
--
#13
ZwiX
Monster Supporter
04-12-2020 22:41

Rapporter til Admin
#11 To styk 3090 skulle gerne scale godt i deep learning, og du vil kunne bruge alle 48 GB VRAM. Jeg da klart anbefale Noctua's flagship model til Threadripper. https://www.pricerunner.dk[...]
--
#14
kvist1992
Maxi Nørd
05-12-2020 08:41

Rapporter til Admin
Lækkert setup #9! Valget af 3090 må jeg også erklære mig enig med resten i. Jeg glemte i farten at der ikke kan kombineres RAM på de "normale" NVIDIA GPUer. De 24GB bliver du satme glad! Fandt du 2 x 4TB NVME? De vil skale sindsygt i RAID0.
--
The Great (X79), The New (X99) and The Mighty (X58)! MBPr 15" 2018! iPad Pro 12.9 2018 LTE! iPhone Xs Max 64GB!
#15
Thomas G
Elitebruger
05-12-2020 17:18

Rapporter til Admin
Når du har erfaring med hvor flaskehalsen er så meld gerne tilbage. Altid frisk på at lære noget nyt. Som de andre er inde på vil belastningen typiske falde til enten CPU eller GPU afhængigt af den kode der bruges. Har ikke direkte erfaring med TensorFlow, men ved at GPU generelt performer massivt bedre en CPU. Du nævner ikke noget om opløsningen/størrelsen på filerne. Personligt tror jeg at det er tråde/kerner/compute cores eller hvad de nu hedder i GPU land der er vigtigt, kan ikke helt se hvor de store mængde af ram kommer til sin ret. Som jeg læser det har 3090 328 tensor cores, jeg antager at det kan overføres nogenlunde til et trådbegreb. det vil sige at du næppe kommer til at bruge meget mere end 328*filstørrelse (udpakket måske) + 50-100% overhead. Derfra kan jeg altså ikke helt lure hvorfor rammen skal hjælpe. Den meget ram er dejlig i spil fordi den kan holde de forskellige grafik elementer i memory. Her skal filen loades op i memory, og tensor flowet skal køre den analyse på det du har valgt/kodet. Det resultere i en stribe matematiske resultater som i denne sammenhænge ikke fylder mere end formentligt 10% af billedstørrelsen. Så maks antal tensor cores, så hurtig disk som du kan skrabe sammen. dertil kommer at cpu nok gerne må have en pænt stor mængde cores(evt ht), så den kan drive de mange tensorflows. Tror ikke hver kerne behøver være lynend, ville hellere have flere kerner. Og du er så meget nød til at dele lidt af dine erfaringer når du engang er kommet igang med projektet. Og tillykke med projektet, for det lyder virkeligt spændende.
--
#16
Thomas G
Elitebruger
05-12-2020 17:24

Rapporter til Admin
Kom til at grave lidt i tensor flows, og er du gal det er nogle dyre kort der dukker op. Ligner at "bedste" kort er nvidia a100 som har 628 tensor cores, men koster så omkring 75.000 kr .... AWS udlejer disse kort (ved godt du har bestilt og er på vej), det er mere en observation at det måske kunne have fået dig nemmere og hurtigere i mål. Hvis det altså er en one off. Skal det gøres gentagne gange evt med nyt materiale etc så giver det nok bedre mening at købe grejet.
--
#17
Kneth95
Ny på siden
05-12-2020 20:50

Rapporter til Admin
#15 Ram kommer helt an på hvordan læring og model er sat sammen. Er selv igang med et deep learning projekt hvor vi bruger PyTorch og en tesla v100 32gb til at køre det hele på. Den ene model vi træner bruger 29gb af de 32gb ledige ram da vi bliver nød til at gemme en stor del af dataen i et hurtigt tilgængeligt memory under læring. (vi gemmer 1 million 84*84 grayscale billeder i memory) En anden model vi arbejder på bruger nærmest intet da vi ikke har behov for at gemme store mængder af data eller har batch sizes. Så alt efter metoden de bruger til læring, deres batch sizes og billedstørrelse + kvalitet, så kan de have behov for meget eller lidt Ram. Men det ville være foretrukket ikke hele tiden af skulle smide tingene frem og tilbage mellem CPU og GPU og bruge kræfter på det så jo mere man kan have på GPU jo bedre.
--
#18
jhc9817
Maxi Supporter
10-12-2020 20:37

Rapporter til Admin
Lidt update på buildet :) Svært at få fat på et 3090 så har midlertidig købt 2 x Tesla k80 med 24gb ram. Så må de 2 STK 3090 komme senere.
--
#19
Mr. WoLF
Guru
11-12-2020 00:49

Rapporter til Admin
#18 Der er nogle turbo: https://www.amazon.de[...]
--

Opret svar til indlægget: Computer til Deep Learning - Tensorflow

Grundet øget spam aktivitet fra udlandet, er det desværre ikke muligt for dig, at oprette svar som gæst.

Hvis du ønsker at deltage i debatten, skal du oprette en brugerprofil.

Opret bruger | Login
NYHEDSBREV
Afstemning