pastarąjį dešimtmetį itin aukštos kokybės debesų architektūrose daugiausia dėmesio buvo skiriama nuspėjamam x86 serverių parkui, optimizuotam bendrosios paskirties skaičiavimui. Toji era baigiasi. Generatyvūs AI, pamatų modeliai, modeliavimas, ir pagreitintas analitikos dabar vartoja precedento neturinčias sumas skaičiavimo, Hiperscalers sparčiai pereina į GP-pirmoji architektūros - kai grafikos apdorojimo įrenginiai, greitintuvai ir pagal užsakymą pagamintas silicis yra ne antriniai priedai, bet pagrindiniai skaičiavimo varikliai.

Pereidamas prie šio proceso pasaulio mastu performuoja duomenų centro dizainą, ekonomiką, tiekimo grandines ir programinės įrangos ekosistemas. Štai kaip hiperscalers rengiasi GPI - pirmoji ateitis, ir ką tai reiškia, kad likusiai pramonės daliai.

Aukšto tankio GPU duomenų elementų pertvarkymas Klasteriai

Istoriškai prie CPU termalų buvo montuojamos lentynos, kurių vienai tenka tik 8-12 kW.
Šiuolaikinės PG grupės viršija 30 kW, 60 kW, ir net 100 + kW vienam stovui.

Hiperskaleriai reaguoja su:

Comment

• Kryptinis lustas šalto plokštės kilpos GPU mazgų

• Hibridinių laivynų gretimų durų šilumokaičiai

• Vandens infrastruktūros objektų modernizavimas

• Minkšti arba šukuoti šiurkščiavilnių gyvūnų plaukai

Specializuoti aukštumų tankio taškai

• GPU- tik eilutės su griežtomis šilumos zonavimo

• ATM / ANS.OR.A.035 taisyklėje "Oro eismo srautų valdymas";

• Maitinimas ir vėsinimas nepriklausomai nuo bendrosios paskirties komutavimo salių

Termiškai žinomas pajėgumų planavimas

PG klasteriai dabar vairuoti svetainės pasirinkimas, ne CPU.

Šaldymo pajėgumas nustato:

• kiek GPU galima įdiegti

• kur jie gali būti pateikti

• kaip greitai įmonių grupės gali plėstis

@ info: whatsthis Maitinimo tiekimas

A single rock of AI greitintuvai gali atkreipti 50 + kW, sukelia didžiulį įtampą elektros infrastruktūrą.

Hiperskaleriai reaguoja:

Pastatai - gretimi miesteliai

užtikrinti, kad GPU pajėgumai būtų didinami keliais šimtais MW.

Sunkus nereikalingo HV platinimo naudojimas

Operatoriai prideda:

• 110-230 kV įeinantys kanalai

• pažangios perjungimo stotys

• Grid- atsparumo dizainas

Maitinimo orchestracija + tūpimas

GPU grupės:

• dinaminiai galios dangteliai,

• kraustymas,

• planinė išvada,

• ir net terminė darbo krūvio evakuacija.

strateginis GPU Pirkimo ir Silicio vamzdynai

naujasis mūšio raundas - silicio tiekimas.

Agresyvus GPU Pirkimas prieš pirkimą

Hiperscalers dabar pateikti užsakymus 12-24 + mėnesiai iš anksto, tvirtinimo:

• NVANDIJA H- serijos klasteriai,

• AMD instinktas,

• Intel Gaudi,

• ir naujos akceleratoriaus linijos.

Daugiapartinė strategija

Niekas nėra vienas pardavėjas.

Hiperscalers dabar reguliariai:

• mišrios prekybos įmonių grupės,

• priimti specializuotus akceleratorius vienai užduočiai,

• įvertinti kašta- per- žetonas vs cot- per- TFLOP vs cot- per- watt.

Specializuotos Silicio programos

Kiekvienas stato savo lustus:

• Google TPU

• AWS Trainium & Inferentia

• Microsoft Maia

• META MTIJA

Pirmasis - ne visada reiškia III PRIEDAS.

Norit greit.

Tinklas Fabrics pastatytas GPU Megaclusters

GPU veikia tik tada, kai jie gali palaikyti ryšį esant mažam latentui ir dideliam duomenų srauto pralaidumui.

Hiperskaleriai investuoja į:

Masa- skalė HP- stilius Audiniai

• 400G → 800G → 1.6T perėjimai

• AI- optimizuota topologija

• Kongreso žinomo maršrutas

Ultradidelių grupių planavimas

Klasteriai, apimantys:

• tūkstančiai mazgų,

• dešimtys tūkstančių GPU,

• koordinuotas audinių valdymas.

Tinklo valdymo plokštumos permokymas

Įskaitant:

• PG eismo klasifikacija,

• Cluster- lygio pralaidumo prognozavimas,

• šilumos + elektros + tinklo tarpusavio priklausomybės modeliavimas.

Tinklų kūrimas - kliūtis.
Hiperskaleriai agresyviai jį puola.

Programinė įranga Transformacija

Pereitis - ne tik techninė įranga.

Operacinis modelis perrašomas.

Programinės įrangos planatoriai

Tvarkaraščiai pritaikyti:

• GPU atminties fragmentacija

• paralelizmas

• daugelio GPU replikacija

• modelio patikros taškų schema

Dinaminis paskirstymas, palyginti su rezervavimu

GPU juda tarp:

• mokymo darbo krūvis,

• darbo apkrovų reguliavimas,

• tyrimo grupės,

• įkrovos vamzdynai

Dažnai minutės.

Skrydžio laiko ir platformos standartizavimas

Hiperskaleriai artėja:

• PyTorch, kaip atskaitos taškas

• CUDA / XLA / ROCm įrankių grandinės

• unifikuoti tvarkyklės ir branduolio kaminai

Programinės įrangos sanglauda yra labai svarbi siekiant veiksmingai didinti greitintuvų skaičių.

AI- Focus klasterių operacijos

GPU debesims valdyti reikia naujų žinių, įskaitant:

Temperatūros atžvilgiu žinomas užduočių planavimas

Darbo vietų perkėlimas remiantis:

• aušinimo veiksmingumas

• išorinės oro sąlygos

• galios kainodaros signalai

Telemetrijos sprogimas

Hiperscalers dabar rinkti:

• GPU terminiuose žemėlapiuose

• per- kraigo energijos duomenys

• realaus laiko tinklo naudojimas

• Modelių mokymo efektyvumo metrikos

• aušinimo kilpos sveikatos balai

Prognozuojamoji priežiūra (AIA)

Naudokite ML iš anksto aptikti:

• GPU gedimo tikimybė

• ventiliatoriaus suirimas

• kolonėlės efektyvumo sumažėjimas

• terminė pasta

• NIC gedimo režimai

GPU operacijų komandos tampa specializuotos kaip INS inžinieriai.

GPU- First Economics & Business strategy

Meilė nėra pigi.

Hiperskalers restruktūrizuoja savo finansinius modelius:

CapEx megaccycles

Milijonai, numatyti:

• PG grupės,

• didelio tankio plėtiniai,

• įsipareigojimai dėl silicio ir silicio.

BPU pinigų apskaitos strategijos

Įskaitant:

• PG mokymo įrenginiai

• Informavimo pajėgumų pakopos

• GPU rezervuoti atvejai

• vietoje GPU

• GPU "regionų regionai"

Platinamas pasaulinis išdėstymas

Ne kiekvienas regionas gali palaikyti GPU tankį.

Laukiama:

• AI- pirmi regionai

• pirmajam regionui

• kraštų nustatymo zonos

Darbo jėgos paruošimas

Hiperscalers negali mastelio GPU infrastruktūrą, nekeičiant darbo jėgos pajėgumus.

Laukiama:

• NNBG ir NNBG

• Kryžminio mokymo tinklas + komputuoti + aušinimo specialistai

• Aparatinės įrangos gyvavimo ciklo analitikai

• Klasterinės fizikos inžinieriai

• Silicio tiekimo planuotojai

• Fab- partnerystės programų vadovai

Darbo jėgos perėjimas jau vyksta.

kelias iki 2026- 2028

laikotarpiu nuo dabar iki 2020 metų pabaigos, tikėtis, kad hyperscalers:

• Sukurti daugiau GPU- optimizuotos megakampos

• Investavimas kelių silicio vamzdynų

• Nukreipti ex aby-masto saugojimas PG kontrolės postams:

• weather forecast

• Standartizuoti sparčiosios vietinės debesijos paslaugos

• Prisidėti vis daugiau automatizuoto mokymo aplinka

• Pratęsti suverenių ir privačių GPU debesų pasiūlymus

GPU- pirmasis nėra laikina tendencija.

Čia naujas architektūros svorio centras.

ŽALA

Hiperscalers rengia GPU- pirmasis darbo apkrovos bet architektūros sluoksnis - nuo silicio tiekimo į duomenų įvesties dizainas, tinklo audiniai, aušinimo topologijos, programinės įrangos kaminai, klasterių planavimas, ir pasaulinis pajėgumų planavimas.

Situacija yra gili:

• CPU tampa paramos aktu

• GPU ir greitintuvai - žvaigždės

• PG formuoja infrastruktūrą iš žemės

Šį perėjimą vykdančios bendrovės nustatys kitą nuotolinės kompiuterijos, modelių mokymo ir pasaulinės skaičiuojamosios ekonomikos dešimtmetį.

GPU era prasidėjo.

Hiperskaleriai lenktyniauja, kad dominuotų.