За последнее десятилетие гипермасштабные облачные архитектуры были сосредоточены на предсказуемых серверах x86, оптимизированных для вычисления общего назначения. Эта эра заканчивается. С генеративным ИИ, фундаментальными моделями, симуляциями и ускоренной аналитикой, в настоящее время потребляя беспрецедентное количество вычислений, гиперразмеры быстро смещаются в сторону архитектуры GPU-1 —, где графические процессоры, ускорители и пользовательский кремний не являются вторичными дополнениями, а являются основными двигателями вычисления.

Этот переход меняет дизайн ЦОД, экономику, цепочки поставок и программные экосистемы в глобальном масштабе. Здесь рассказывается о том, как гиперразмеры готовятся к GPU-первому будущему, и что это значит для остальной отрасли.

Реконструкция датацентров для GPU высокой плотности Кластеры

Исторически стойки были спроектированы вокруг процессорных термальных систем —, редко превышающих 8–12 кВт на стойку.
Современные кластеры ИИ превышают 30 кВт, 60 кВт и даже 100 + кВт на стойку...

Hyperscalers отвечает:

Жидкое охлаждение как по умолчанию

• Целевые петли с прямым нажатием для узлов GPU

• Задние теплообменники для гибридных флотов

• Модернизация объектов инфраструктуры водоснабжения

• Холодильные распределительные устройства (CDUs) в рядовых конструкциях

Специализированные подводные лодки

• GPU только ряды со строгим термическим зонированием

• Сегрегированные коридоры воздушного потока

• Мощность и охлаждение независимо от общих вычислительных залов

Планирование потенциала в области термопрограмм

ИИ кластеры теперь выбор сайтане процессоры.

Мощность охлаждения определяет:

• сколько GPU может быть развернуто

• где их можно разместить

• как быстро кластеры могут масштабировать

Восстановление дата-центра Доставка

Одна стойка ускорителей ИИ может рисовать 50+ кВт, вызывая огромное напряжение на энергетической инфраструктуре.

Hyperscalers реагирует:

Построение подстанционно-аджентных кампусов

Обеспечение наличия многосот МВт для расширения мощностей ГПУ.

Тяжелое использование избыточного распределения HV

Операторы добавляют:

• 110 кВ – 230 кВ входящие корма

• продвинутые коммутационные станции

• конструкция сетки-устойчивость

Управление питанием + дроссель

На кластеры GPU распространяются:

• динамические силовые шапки,

• перегрузка,

• запланированного вывода,

• и даже термическая эвакуация рабочей нагрузки.

Стратегический ГПУ Закупки и силиконовые трубы

Новое поле боя - силиконовый запас.

Агрессивный GPU Pre-Purchasing

Hyperscalers теперь размещает заказы 12–24+ месяцев вперед, обеспечение:

• NVIDIA H-серии кластеры,

• AMD Instinct,

• Intel Gaudi,

• и новые акселераторные линии.

Многокомпонентная стратегия

Никто не замешан в одном продавце.

Hyperscalers теперь обычно:

• смешивать поставщиков по кластерам,

• принимать специализированные ускорители за задачу,

• оценка затрат за токен против стоимости за TFLOP против стоимости за ватт.

Пользовательские кремниевые программы

Каждый строит свои собственные чипы:

• Google TPU

• AWS Trainium & Inferentia

• Microsoft Maia

• Meta MTIA

GPU-первый не всегда означает только GPU...

Это означает ускоренное.

Сетевые ткани для GPU Megaclusters

GPU работают хорошо только тогда, когда они могут общаться с низкой задержкой и высокой пропускной способностью.

Hyperscalers инвестирует в:

Ткани HPC-Style

• 400G → 800G

• AI-оптимизированные топологии

• маршрутизация

Ультраширное планирование кластера

Кластеры:

• тысячи узлов,

• десятки тысяч ГПУ,

• скоординированное управление тканью.

Переподготовка самолета управления сетью

Включая:

• Классификация движения ИИ,

• прогнозирование пропускной способности на уровне кластера,

• термическая + мощность + сетевая модель взаимозависимости.

Сетевая связь - это теперь бутылочка.
Hyperscalers атакуют его агрессивно.

Software & Scheduling Трансформация

Смена - это не просто аппаратное обеспечение.

В настоящее время пересматривается оперативная модель.

GPU-Aware Schedulers

Графики адаптируются для:

• Фрагментация памяти GPU

• тензорский параллелизм

• мульти-GPU репликация

• модели контрольных точек

Динамическое распределение против оговорки

GPU перемещаются между:

• рабочей нагрузки,

• настройка рабочих нагрузок,

• кластеры вывода,

• партии трубопроводов

Часто минуты...

Стандартизация

Hyperscalers сближаются:

• PyTorch как базовый

• CUDA/XLA/ROCm

• унифицированные драйверы и стеки ядра

Сплочение программного обеспечения имеет решающее значение для эффективного масштабирования ускорителей.

ИИ-загруженные кластерные операции

Операционные облака GPU требуют нового опыта, в том числе:

Расписание задач

Работа меняется на основе:

• производительность охлаждения

• внешние погодные условия

• сигналы цен

Взрыв телеметрии

Hyperscalers теперь собирает:

• тепловые карты ГПУ

• 1.3.1.2.3.2.1.2.3.1.2.2.3.2.3.2.3.2.3.2.3.2.3.2.3.2.3.2.3.2.3.2.3.2.3.1.2.3.2.1.2.3.2.3.3.3.1.2.3.3.1.2.3.3.1.2.3.3.1.3.1.3.3.3.3.3.3.3.3.3.3.1.3.1.1.1.1.1.1.1.1.3.1 данные о расходе

• использование сети в режиме реального времени

• метрики эффективности подготовки модели

• здоровье цикла охлаждения

Predictive maintenance (AI-assisted)

Использование ML для предварительного обнаружения:

• Вероятность отказа GPU

• деградация

• потеря эффективности холодного покрытия

• термическая паста старение

• Режимы отказа от НИК

Команды GPU становятся такими же специализированными, как и инженеры HPC.

GPU-первая экономическая и бизнес-стратегия

Этот сдвиг не дешевый.

Hyperscalers реструктуризируют свои финансовые модели вокруг:

CapEx мегациклы

Бюджетные ассигнования на:

• ИИ кластеры,

• расширение высокой плотности,

• и обязательств кремния.

Стратегии монетизации ГПУ

Включая:

• AI training SKUs

• 4.1.2.1.2.1.2.1.2.1.2.1.2.1.2.1.2.1.2.1.2.1.2.1.2.1.2.1.1.2.1.2.1.2.1.2.1.2.1.2.1.2.1.2.1.1.2.1.2.1.2.1.1.2.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1

• GPU зарезервированные экземпляры

• спот-ГПУ

• GPU “регионы внутри регионов”

Распространенное глобальное размещение

Не каждый регион может поддерживать плотность GPU.

Ожидание:

• ИИ-первые регионы

• регионов

• Зоны вывода

Подготовка рабочей силы

Hyperscalers не может масштабировать инфраструктуру GPU без изменения возможностей рабочей силы.

Ожидание:

• Больше инженеров HPC, чем когда-либо прежде

• Кросс-подготовленная сеть + вычислительные + охлаждающие специалисты

• Аналитики жизненного цикла

• Инженеры по физике кластеров

• Силиконовые планировщики

• Управляющие программы Fab-partnership

Этот кадровый переход уже начался.

Дорога к 2026–2028

С этого момента и до конца 2020-х годов ожидается, что гиперкамеры:

• Строить больше GPU-оптимизированные мегакампусы

• Инвестировать несколько кремниевых трубопроводов

• Развертывание exabyte-scale storage для контрольно-пропускных пунктов ИИ

• Эволюционное охлаждение от воздух-первый → жидкость-первый → гибридная жидкость/погружение

• Стандартизировать акселерационные облачные сервисы

• Введение все чаще автоматизированные условия обучения

• Расширение суверенных и частных облачных предложений GPU

GPU-1 не является временной тенденцией.

Он освящает новый архитектурный центр гравитации.

Заключение

Hyperscalers готовится к рабочим нагрузкам GPU на каждом слое архитектуры — от силиконовых источников до дизайна дата-центра, сетевых тканей, топологии охлаждения, стек программного обеспечения, кластерного планирования и глобального планирования мощности.

Этот сдвиг является глубоким:

• ЦП становятся функцией поддержки

• GPU и ускорители - это звезды

• ИИ формирует инфраструктуру с нуля

Компании, которые овладеют этим переходом, определят следующее десятилетие облачных вычислений, подготовки моделей и глобальной вычислительной экономики.

Началась эра GPU.

И гиперпластыри гонятся, чтобы доминировать над ним.