過去10年間に、ハイパースケールのクラウドアーキテクチャは、汎用計算用に最適化された予測可能なx86サーバーのフリートを中心にしています。 その時代は終わりです。 ジェネレーションAI、ファンデーションモデル、シミュレーション、および加速された分析により、これまでにない計算量を消費できるようになりました。 GPUファーストアーキテクチャへのハイパースケールは急速に変化しています — グラフィック処理ユニット、アクセラレータ、カスタムシリコンが二次アドオンではなく、コンピュートの主エンジンである。

グローバルな規模でデータセンターの設計、経済、サプライチェーン、ソフトウェアエコシステムを再構築します。 GPU-firstの将来に向けてハイパースケールが準備されている方法と、これは業界の残りの部分の手段です。

高密度GPUのデータセンターの再設計 クラスタ

歴史的に、ラックはCPUの熱の周りに設計されていました - ほとんどラックあたり8〜12キロワットを超える。
現代のAIクラスターが超える 30キロワット、60キロワット、100キロワット/ラックお問い合わせ

Hyperscalers は次のように対応しています。

デフォルトの液体冷却

• GPUノード用の直接チップコールドプレートループ

• ハイブリッドフリート用リアドア熱交換器

• 施設水インフラのアップグレード

• クーラント分布ユニット(CDUs)をラインレベル設計

特化した高密度Pod

• 厳密な熱zoningのGPUだけ列

• 分離された気流の廊下

• 汎用コンピュートホールのパワーと冷却

サーマルウェア容量計画

AIクラスターがドライブ サイトマップCPUではなく、

冷却容量は決定します:

• GPU のデプロイ数

• 配置できる場所

• 迅速にクラスターがスケールアップする方法

データセンターの再発明 パワーデリバリー

AIアクセラレータのシングルラックが描画できます 50kW以上, パワーインフラ上の大きな緊張を引き起こします.

Hyperscalers は次のように反応します。

ビル・サブステーション・アドジャセント・キャンパス

GPU容量の拡張のためのマルチハンデMWの可用性を確保するため。

冗長HV分布の重い使用

オペレータは加えられます:

• 110のkV - 230のkVの入って来る供給

• 高度の切換えの場所

• 格子抵抗の設計

パワーオーケストレーション+スロットリング

GPUクラスターは、次の対象となります。

• 動的力の帽子,

• ロードシフト,

• スケジュールされた推論,

• 熱ベースのワークロードの避難。

戦略的GPU 調達・シリコンパイプライン

新たな戦場はシリコン供給です。

攻撃的なGPU 事前購入

Hyperscalersが注文を注文できるようになりました 12～24か月前、保護:

• NVIDIAの Hシリーズクラスター,

• AMDの本能、

• インテル Gaudi,

• 新たなアクセラレータライン。

マルチベンダー戦略

誰も1つのベンダーにオールインワンです。

Hyperscalersは現在、ルーチン:

• クラスターを介したベンダーをミックスします。

• タスクごとに特殊なアクセラレータを採用し、

• コスト・パー・トークン対コスト・パー・TFLOP対コスト・パー・ワットを評価する。

カスタムシリコンプログラム

誰もが自分のチップを構築しています。

• GoogleのTPU

• AWS トレーナー&インフェレンティア

• マイクロソフト・マイア

• メタMTIA

GPU-firstは必ずしも意味しません GPU専用お問い合わせ

それは加速優先順位を意味します。

GPUメガクラスター用ネットワークファブリック

GPUは、低レイテンシと高帯域幅で通信できる場合にのみうまく機能します。

Hyperscalers が投資しています。

マススケールHPCスタイルファブリック

• 400G → 800G → 1.6Tトランジション

• AIに最適化されたトポロジー

• congestion-aware ルーティング

超大型クラスタースケジューリング

クラスタのスパニング:

• 数千のノード、

• 数千のGPUの数十,

• 調整された生地の管理。

ネットワーク制御面のリトレイン

含む:

• AIトラフィック分類、

• クラスターレベルの帯域幅予測,

• 熱+力+ネットワークの相互依存性モデリング。

ネットワーキングは今ボトルネックです。
Hyperscalersは攻撃的に攻撃しています。

ソフトウェア&スケジューリング トランスフォーム

シフトは単なるハードウェアではありません。

運用モデルが書き込まれています。

GPU-Awareスケジューラ

スケジューラは以下に適応します:

• GPUメモリのフラグメンテーション

• テンソル並列主義

• マルチGPUレプリケーション

• モデルチェックポイントパターン

動的割り当てと予約

GPU が移動する:

• 訓練のワークロード,

• ワークロードの調整、

• 推論のクラスター,

• バッチパイプライン

多くの場合、 交通アクセスお問い合わせ

実行時間とプラットフォームの標準化

Hyperscalers はコンバージオンです:

• ベースラインとしてのPyTorch

• CUDA/XLA/ROCm ツールチェーン

• ユニファイドドライバとカーネルスタック

ソフトウェアのコヒージョンは、加速器を効率的にスケーリングすることが不可欠です。

AIを活用したクラスタ操作

オペレーティングGPUクラウドには、以下のような新しい専門知識が必要です。

温度認識タスクスケジューリング

ジョブシフト:

• 冷却の性能

• 外部気象条件

• パワープライシング信号

テレメトリー爆発

Hyperscalersが収集しました:

• per-GPUの熱地図

• エネルギーデータ

• リアルタイムネットワーク利用

• モデル訓練の効率のメートル

• 冷却ループ健康スコア

予測保守(AIアシスト)

ML を使用して前検出:

• GPUの失敗確率

• ファンの劣化

• 冷たい版の効率の損失

• 熱のりの老化

• NIC障害モード

GPUのオプスチームはHPCのエンジニアとして専門になりました。

GPU-First 経済&ビジネス戦略

このシフトは安くはありません。

Hyperscalers は、金融モデルを以下のように再構築しています。

CapEx メガサイクル

請求予算:

• AIクラスター、

• 高密度の拡大、

• そしてケイ素の約束。

GPU収益化戦略

含む:

• AIトレーニングSKU

• 推圧能力の層

• GPU予約インスタンス

• スポットGPU

• GPU「地域内の地域」

分散型グローバル配置

GPU密度をサポートできるわけではありません。

期待:

• AI第一地域

• 第一地域

• エッジ・インフェレンス・ゾーン

ワークフォースの準備

Hyperscalers は、ワークフォース機能を変更することなく GPU インフラストラクチャを拡張できません。

期待:

• これまでにないHPCエンジニア

• クロストレーニングネットワーク + コンピューティング + 冷却スペシャリスト

• ハードウェアのライフサイクルアナリスト

• クラスタ物理エンジニア

• シリコン供給プランナー

• Fab-partnershipプログラムマネージャー

この労働力移行は既に進行中です。

2026年～2028年

2020年後半以降、ハイパースケールを以下に示します。

• もっと見る GPU-optimizedメガキャンパス

• 投資する 複数のシリコンパイプライン

• ソリューション exabyte-scale ストレージ AIチェックポイント

• エアファースト→液体ファースト→ハイブリッド液体/浸漬からの冷却を進化させる

• 標準化する アクセラレータネイティブクラウドサービス

• ますますます導入 自動トレーニング環境

• sovereignとプライベートGPUクラウドの提供を拡大

GPU-firstは一時的な傾向ではありません。

重力の新しい建築中心です。

コンテンツ

Hyperscalersは、シリコンソーシングからデータセンターの設計、ネットワークファブリック、冷却トポロジー、ソフトウェアスタック、クラスタースケジューリング、グローバルキャパシティプランニングまで、あらゆるアーキテクチャでGPUファーストワークロードの準備をしています。

このシフトは深い:

• CPUはサポート行為になっています

• GPUとアクセラレータは星です

• 地上からインフラを形成するAI

この移行をマスターする会社は、クラウドコンピューティング、モデルトレーニング、グローバルコンピューティング経済の次の10年を定義します。

GPUの時代が始まりました。

そして、ハイスケールはそれを支配するために競争しています。