W ciągu ostatniej dekady, hiperskala architektury chmur koncentrowały się na przewidywalnych flot serwerów x86 zoptymalizowanych do ogólnego obliczenia celu. Ta era się kończy. Z generatywną sztuczną inteligencją, modelami fundamentów, symulacją i przyspieszonymi analizami, pochłaniającymi niespotykane ilości obliczeń, hiperskalery szybko przesuwają się w kierunku architektury pierwszej GPU- - gdzie jednostki obróbki graficznej, akceleratory i niestandardowy krzem nie są drugorzędnymi addionsami, ale głównymi silnikami obliczeniowymi.

Ta transformacja przekształca projektowanie, ekonomię, łańcuchy dostaw i ekosystemy oprogramowania na skalę globalną. Oto jak hiperskalery przygotowują się do pierwszej przyszłości GPU- i co to oznacza dla reszty przemysłu.

Redesigning Datacenters for High-Density GPU Klastry

Historycznie, stojaki zostały zaprojektowane wokół termometrów procesora - rzadko przekraczające 8- 12 kW na stojak.
Współczesne klastry ptasiej grypy przekraczają 30 kW, 60 kW, a nawet 100 + kW na półkę.

Hiperskalery reagują na:

Chłodzenie cieczą jako domyślne

• Bezpośrednie pętle płyt zimnych do węzłów GPU

• Wymienniki ciepła zaporowe dla flot hybrydowych

• Modernizacja infrastruktury wodnej

• Jednostki dystrybucyjne chłodziwa (CDU) w konstrukcjach row- level

Specjalizowane pody o wysokiej gęstości

• GPU- tylko rzędy ze ścisłym zagospodarowaniem termicznym

• Korytarze oddzielone od siebie

• Moc i chłodzenie niezależne od hal obliczeniowych ogólnego przeznaczenia

Planowanie zdolności termalnej

Klastry AI teraz napędzają wybór lokalizacjiNie CPU.

Zdolność chłodzenia określa:

• jak wiele GPU można zastosować

• gdzie można je umieścić

• jak szybko klastry mogą skalować

Odnalezienie Datacenter Dostawa energii

Pojedynczy stojak akceleratorów AI może rysować 50 + kWpowodując ogromne obciążenie infrastruktury energetycznej.

Hiperskalery reagują przez:

Kampusy sąsiadujące z budynkami

Aby zapewnić dostępność wielu setek MW dla zwiększenia przepustowości GPU.

Intensywne stosowanie zbędnej dystrybucji HV

Operatorzy dodają:

• 110 kV - 230 kV kanałów przychodzących

• zaawansowane stacje przełączania

• Wzory odporności na chwytanie

Orchestracja mocy + przepustnica

Klastry GPU podlegają:

• dynamiczne kapsle mocy,

• przenoszenie obciążenia,

• zaplanowane wnioski,

• i nawet termalna ewakuacja.

Strategiczne GPU Zamówienia i rury silikonowe

Nowe pole bitwy to źródło krzemu.

Agresywny GPU Wstępne zakupy

Hyperskalery teraz złożyć zamówienia 12- 24 + miesiąc wcześniej, zabezpieczenie:

• NVIDIA Klastry serii H-,

• AMD Instinct,

• Intel Gaudi,

• i pojawiające się linie akceleratorów.

Strategia wielowarstwowa

Nikt nie jest w to zamieszany.

Hyperskalery teraz rutynowo:

• mieszać dostawców w klastrach,

• przyjąć specjalistyczne akceleratory na zadanie,

• oszacować cost- per- token vs cost- per- TFLOP vs cost- per- wat.

Własne programy silikonowe

Każdy buduje własne żetony:

• Google TPU

• AWS Trainium & Inferentia

• Microsoft Maia

• Meta MTIA

GPU- pierwszy nie zawsze oznacza Tylko GPU-.

To znaczy przyspieszony - pierwszy.

Materiały sieciowe zbudowane dla Megakustów GPU

GPU działają dobrze tylko wtedy, gdy mogą komunikować się przy niskim opóźnieniu i wysokiej przepustowości.

Hyperskalery inwestują w:

Mass-Scale HPC- Style tkaniny

• 400G → 800G → 1.6T przejścia

• Topologie zoptymalizowane przez AI-

• routing ze świadomością koncentracji

Harmonogram dużych klastrów Ultra-

Klastry:

• tysiące węzłów,

• dziesiątki tysięcy GPU,

• skoordynowane zarządzanie tkaninami.

Retrading the network control plane

W tym:

• klasyfikacja ruchu AI,

• prognozowanie szerokości pasma na poziomie cluster,

• termalne + energia + sieć współzależności modelowanie.

Sieć jest teraz wąskim gardłem.
Hiperskalery atakują go agresywnie.

Oprogramowanie i programowanie Transformacja

Zmiana to nie tylko sprzęt.

Model operacyjny jest przepisywany.

Schedulery GPU- Aware

Schedulery dostosowują się do:

• Rozdrobnienie pamięci GPU

• anallelizm tensor

• replikacja multi- GPU

• modele punktów kontrolnych

Dynamiczna alokacja vs rezerwacja

GPU przesuwają się między:

• koszty szkoleń,

• strojenie ładunków roboczych,

• klastry wniosków,

• rurociągi wsadowe

Często w minuty.

Standaryzacja Runtime & platformy

Hyperskalery zbliżają się do:

• PyTorch jako punkt odniesienia

• Łańcuchy narzędzi CUDA / XLA / ROCm

• ujednolicone sterowniki i jądra stosy

Spójność oprogramowania ma kluczowe znaczenie dla efektywnego skalowania akceleratorów.

Operacje skupionego klastra AI-

Obsługa chmur GPU wymaga nowej wiedzy specjalistycznej, w tym:

Harmonogram zadań związanych z temperaturą

Zmiana zatrudnienia w oparciu o:

• wydajność chłodzenia

• zewnętrzne warunki pogodowe

• sygnały cenowe

Eksplozja telemetrii

Hyperskalery zbierają teraz:

• Mapy termiczne per- GPU

• dane dotyczące energii z przebijania

• wykorzystanie sieci w czasie rzeczywistym

• modele wskaźników efektywności treningu

• oceny stanu zdrowia pętli chłodzącej

Przewidywana konserwacja (wspomagane przez AI-)

Używanie ML do wstępnego wykrywania:

• Prawdopodobieństwo awarii GPU

• degradacja wentylatora

• Utrata wydajności płyty chłodniczej

• starzenie pasty termicznej

• Tryby awarii NIC

Zespoły operacyjne GPU stają się tak wyspecjalizowane jak inżynierowie HPC.

GPU- Pierwsza strategia ekonomii i biznesu

Ta zmiana nie jest tania.

Hyperskaler restrukturyzacji swoje modele finansowe wokół:

Megacykle CapEx

Miliardy przeznaczone na:

• klastry ptasiej grypy,

• zwiększenie gęstości,

• i zobowiązania krzemu.

Strategie monetyzacji GPU

W tym:

• Szkolenie AI SKU

• Poziomy zdolności produkcyjnej

• Przypadki zastrzeżone GPU

• GPU spot

• GPU "regiony w regionach"

Rozpowszechnione globalne lokowanie

Nie każdy region może utrzymać gęstość GPU.

Oczekuj:

• Pierwsze regiony AI-

• regiony pierwsze

• strefy pobierania próbek krawędzi

Przygotowanie grupy roboczej

Hyperskalery nie mogą skalować infrastruktury GPU bez zmiany zdolności siły roboczej.

Oczekuj:

• Więcej inżynierów HPC niż kiedykolwiek wcześniej

• Sieć Cross- trenowana + obliczanie + chłodzenie specjalistów

• Analitycy cyklu życia sprzętu

• Klaster inżynierów fizyki

• Plany dostaw krzemu

• Menedżerowie programu partnerskiego

Ta transformacja siły roboczej jest już w toku.

Droga do 2026- 2028

Od teraz do końca 2020, oczekuj hiperskalerów do:

• Zbuduj więcej Zoptymalizowane GPU- megacampusy

• Zainwestuj w wielofunkcyjne rurociągi krzemowe

• Uruchom przechowywanie w skali eksabajtów dla punktów kontrolnych ptasiej grypy

• Ewolucja chłodzenia z powietrza - pierwszy → liquid- pierwszy → hybrydowy płyn / zanurzenie

• Standaryzuj usługi akcelerator- rodzimej chmury

• Coraz częściej wprowadzać zautomatyzowane środowisko szkoleniowe

• Rozwijanie oferty suwerennych i prywatnych chmur GPU

GPU- pierwszy nie jest tymczasowym trendem.

To nowy architektoniczny środek ciężkości.

Wniosek

Hyperskalery przygotowują się do pierwszych prac GPU- na każdej warstwie architektury - od pozyskiwania krzemu po projektowanie danych, tkaniny sieciowe, topologie chłodzące, stosy oprogramowania, planowanie klastrów oraz planowanie globalnej przepustowości.

Ta zmiana jest głęboka:

• CPU stają się aktem wsparcia

• GPU i akceleratory są gwiazdami

• AI kształtuje infrastrukturę od podstaw

Firmy, które opanują tę transformację, zdefiniują następną dekadę chmur obliczeniowych, modeli szkoleń i globalnych obliczeń ekonomicznych.

Zaczęła się era GPU.

A hiperskalerzy ścigają się, by ją zdominować.