为什么"算力中心"成为新的国之重器？

在 ChatGPT 之后，模型能力与训练算力呈对数线性关系。算力规模决定了一个国家、一所大学、一个公司 能否"做出能力"，而不是只能"接调用"。

1.1 三个时代的对照

过去十年的 AI 突破，本质是把"摩尔定律的红利 × 算法的进步 × 数据的丰度" 三个变量同时拉满后取得的。

数据来源：[R2] Kaplan, [R32] OpenAI GPT-4 Tech Report, [R33] Llama 3 Herd, [R3][R4] Zhipu, 行业普遍估计。

1.2 全球前十算力集群（2025 年公开估计）

数据来源：Semianalysis 2025 公开估计 [R22], 各公司财报与发布会。"EFLOPS" 取 dense BF16, MFU=1 理论值。

1.3 中国"算网融合"政策与"东数西算"

• 东数西算 (2022) ：8 大国家枢纽（京津冀、长三角、粤港澳、成渝 + 内蒙、贵州、甘肃、宁夏），10 大集群。西部集群 PUE 目标 ≤ 1.15。
• 智算中心专项 (2024) ：工信部"绿色数据中心建设三年行动计划"[R29]，要求 2026 年新建数据中心 PUE ≤ 1.25，国家枢纽 ≤ 1.20。
• "全国一体化算力网" (2024-)：建设算力调度平台，跨区域调度训练任务。北京 → 内蒙乌兰察布的回程时延约 8–12 ms（光纤 1 200 km），适合非强延迟敏感的 RLHF / 蒸馏。

1.4 给同学的认知地图

你将在接下来 55 分钟里，沿着这条主线走完一遍：

模型规格 → 算力 (FLOPs) → GPU 数 → 集群拓扑 → 显存/并行 → 数据/存储
                                              ↓
                                         电力/制冷 → 机房 → CAPEX/OPEX → TCO

GLM-5.1 是什么样的模型？

GLM-5.1 截至本课程编写时（2026-04）尚未官方发布。我们基于 Zhipu AI 已公开的 GLM-4.5/4.6 架构与 全球同代竞品 (DeepSeek-V3 [R5]、Llama-4、Qwen3、Kimi K2)，给出 三档工程化外推。

2.1 GLM 家族演进

来源：[R3][R4] Zhipu 官方仓库与博客。

2.2 三档参数假设（本课主用 Baseline）

2.3 关键设计选择

① MoE：稀疏的"专家委员会"

每个 Token 经过 Router (路由器) 决定送到 8 / 160 个专家中的若干个，整体激活参数仅 6.4 % 但模型容量是其 16×。

等价的 FLOPs：

$$ \text{FLOPs}_{\text{forward}} \approx 2 \cdot N_{\text{act}} \cdot D $$

但显存占用是 总参数 N，且专家间通信变成 All-to-All（§6 详细讨论）。

② 长上下文：512 K → 1 M

采用 RoPE / NoPE 混合 + Ring Attention / DeepSpeed Ulysses [R24] 切分序列维度。核心代价：KV-cache 与 attention FLOPs 都随 L² 增长。

③ 训练目标分阶段

1. 预训练 Pretrain：20 T tokens 通用语料，下一 token 预测。占总算力 80 %。
2. 中训练 Mid-train：1–3 T tokens 高质量数学/代码/推理强化语料。占 10 %。
3. 后训练 Post-train：SFT + DPO + RLVR (Reinforcement Learning with Verifiable Rewards) 占 8 %。
4. 对齐 Alignment：Constitutional AI [R31] 风格的安全与价值观对齐。占 2 %。

训练 GLM-5.1 到底要多少算力？

Hoffmann 等人 2022 [R1] 提出的 Chinchilla 定律给了我们一把"工程标尺"。 本节用 1 个公式 + 1 个互动计算器，把"1 T 模型 = 多少 GPU·小时"算清楚。

3.1 Scaling Law 的两个核心量

令模型激活参数为 $N_{\text{act}}$，训练数据 token 数为 $D$，每参数每 token 的浮点运算 ≈ 6（前向 2 + 反向 4）：

$$ C_{\text{train}} \;\approx\; 6 \cdot N_{\text{act}} \cdot D \quad(\text{Hoffmann 2022, Eq. 1})$$

Chinchilla 给出"compute-optimal"配比 $D \approx 20 N$；但对 MoE 模型业界经验取 $D \approx 20 N_{\text{total}}$（即每个总参数仍配 20 个 token，避免 router 退化）。

工程现实中还要叠加额外开销：

• 选择性激活重计算 (selective activation recomputation, [R13])：+33 %
• MoE 路由 + 负载均衡损失：+5–10 %
• 通信尾延 / DataLoader stall：+10–15 %

合并系数约 1.33×，即实际预算用 $C_{\text{eff}} = 8 \cdot N_{\text{act}} \cdot D$。

3.2 代入 Baseline

$$ C_{\text{eff}} \;=\; 8 \times 6.4\!\times\!10^{10} \times 2.0\!\times\!10^{13} \;=\; 1.024\!\times\!10^{25} \text{ FLOPs} $$

3.3 互动：自己拨一拨

3.4 集群规模 vs 训练时长曲线

为什么是 NVIDIA？应该选哪一代？

Hopper (H100/H200) 与 Blackwell (B200/GB200) 是 2026 年训练大模型的两个主选。 本节给出"算力 / 显存 / 显存带宽 / NVLink / 单价 / 功耗"的六维对比，并给出我们的选型结论。

4.1 四款主流卡硬指标

4.2 选型结论矩阵

把 2 000+ 张 GPU 怎么"接起来"？

单 GPU 算力再高也只是孤岛。现代大模型训练 95 % 的工程难度在系统架构与通信网络上。 本节先给出整体架构总览，再自底向上：节点 → 机柜 → NVLink 域 → InfiniBand Fat-tree。

5.0 算力中心整体架构图

下图把"应用 → 框架 → 算力 → 网络 → 存储 → 设施"6 层堆栈与"北京主集群 + 乌兰察布备份/推理"双站部署一次画清。 图中每个数字都与第 ③-⑩ 章可复算输出一致。

5.1 单节点 (HGX B200) 拆解

5.2 节点内部 NVLink 拓扑（NVSwitch）

5.3 机柜布局：从 8 GPU/节点 到 64 GPU/柜（液冷）

HGX B200 节点 8U，单柜 4 个节点 (32 GPU) 风冷上限。改用 DLC 液冷板可塞 8 节点 (64 GPU)，单柜功率约 80 kW，需要液冷分配单元 (CDU)。

对应 2 048 GPU 集群 = 32 个液冷机柜 + 4 个网络柜 + 4 个存储柜 ≈ 40 柜。规划面积约 600 m²（含冷热通道、布线、维护通道）。

5.4 InfiniBand Fat-tree 三级拓扑

非阻塞 (1:1) Fat-tree 是大规模训练事实标准。2 048 GPU × 1 NIC/GPU = 2 048 上行端口，按 NDR 64-port / XDR 144-port 交换机：

• Leaf 层：每 leaf 接 32 GPU + 32 上行 = 64 端口。共 64 × NDR Leaf。
• Spine 层：64 × 32 = 2 048 上行端口，每 spine 64 端口 → 32 × Spine。
• Core 层：再聚合 32 × 32 / 64 = 16 × Core。
• 合计 112 台 NDR 交换机，约 1.7 亿 ¥（含 NIC + 光缆 + 收发器）。XDR 800 G 减半但单台贵一倍。

5.5 Spectrum-X：以太网替代方案

NVIDIA 2024 推出的 RoCEv2 以太网产品线，主打"InfiniBand 95 % 性能、以太网生态"。同等带宽 CAPEX 低 15–20 %，运维更友好但端到端时延略高。课程示例 §10 给出 IB-XDR / Spectrum-X 800G 两条 TCO 路径。

把 1 万亿参数的模型，切给 2 048 张卡

现代大模型训练是 5 ~ 6 维并行的"组合俄罗斯方块"。 本节讲清 DP / TP / PP / EP / SP / CP 各自切什么、何时用、显存怎么算。

6.1 六种并行维度对照

6.2 ZeRO：把优化器状态再切一刀

原始混合精度 Adam 训练每参数需 18 字节 (BF16 weight + BF16 grad + FP32 master + Adam m + Adam v + buffer)。ZeRO 三阶段递进切分：

6.3 推荐配置（2 048 × B200，Baseline）

我们选择 TP=8, PP=8, EP=8, DP=32, CP=1（总计 8×8×8×32 = 16 384 进程位 ÷ 8 [TP×PP 重叠] = 2 048 GPU）。 在 NVLink 8 GPU 域内承担 TP，跨节点用 PP + EP，跨子集群用 DP。

6.4 显存"账本"

6.5 框架选型

• NVIDIA NeMo Megatron-Core：官方推荐，对 Blackwell 优化最深，FP8 训练成熟。
• Megatron-LM [R12]：开源经典，自定义灵活，需要二次开发对接 MoE。
• DeepSpeed [R11][R27]：ZeRO 与 MoE 路由实现完整，社区活跃，长上下文 Ulysses [R24] 强。
• Megatron-DeepSpeed：把两者优点合并，是 GLM-4.5 公开使用的栈。

数据从哪来、Checkpoint 怎么存？

训练过程中，存储不能成为短板。本节给出三层存储拓扑、Checkpoint 写入预算、数据预处理流水。

7.1 数据规模账

7.2 三层存储推荐

7.3 Checkpoint 写入预算

$$ T_{\text{ckpt}} = \frac{16\text{ TB}}{1.5\text{ TB/s}} \approx 11 \text{ s} $$

WekaFS 写吞吐 1.5 TB/s 时单次 ckpt ≈ 11 秒；若每 4 h 一次，则训练 stall 占比 = 11 / 14 400 ≈ 0.08 %，可忽略。 关键是要用 NVIDIA Magnum IO + GPUDirect Storage (GDS) [R18] 让 GPU HBM 直接写存储，绕开 CPU 内存拷贝。

7.4 数据预处理流水

Common Crawl + 垂域抓取
        │
        ▼
[1] 去重 (MinHash + LSH, 1500 GPU·h)
        │
        ▼
[2] 质量过滤 (规则 + small classifier, ~500 GPU·h)
        │
        ▼
[3] 安全过滤 (NSFW / 隐私 / 版权, GPT-4 蒸馏小模型评分)
        │
        ▼
[4] 多语言混合配比 (中文 30 % / 英文 50 % / 代码 15 % / 数学 5 %)
        │
        ▼
[5] 分词 (BPE/SentencePiece, 词表 200K) → uint32 token IDs
        │
        ▼
Tier-1 Lustre  ←── 80 TB binary shards (每 shard 4 GB, 共 ~20 000 个)

2 000 张 B200 的"用电账单"长什么样？

硬件再贵也是一次性，电力是无限期的"温水煮青蛙"。本节用 PUE 模型把账算到 kWh、t CO₂ 一级。

8.1 IT 负载 → 总功率

$$ E_{\text{annual}} = P_{\text{IT}} \cdot \text{PUE} \cdot 8760 $$

8.2 PUE 滑量分析

8.3 三种制冷方案对比

8.4 选址建议

• 北京 / 廊坊 (主集群)：电费稍高 (0.6–0.8 ¥/kWh)，但贴近研发团队，运维便利，PUE 1.15 可达。
• 乌兰察布 / 中卫 (备份 + 推理 / 实验)：电费 0.30–0.40 ¥/kWh，气候冷适合自然冷源 PUE 1.10，缺点是 8–12 ms 时延。
• 贵安 (灾备)：水电资源丰富，碳因子最低 (~0.18 kg/kWh)，适合"绿色训练"宣传。

8.5 配电与冗余

• 双路市电 + 柴发 N+1 + 锂电 UPS（10 min 切换缓冲）。
• 10 kV 中压进线 → 干式变 → 0.4 kV 低压列头 → 机柜母线槽 (Busway)。
• 液冷 CDU 双路冗余 (N+1)；二次水回路 35 / 45 ℃ (ASHRAE W3 [R28])。

训练完之后，怎么把模型"上线"？

推理是吃 HBM 带宽的活，模型上线决定了用户体验与单 token 成本。

9.1 推理两阶段：Prefill vs Decode

9.2 KV-Cache 容量

每请求 KV 字节 (使用 GQA, 每 8 个 head 共享 K/V):

$$ \text{KV}_{\text{req}} = 2 \cdot L \cdot \frac{n_h}{8} \cdot d_h \cdot S \cdot 2 \;\text{bytes (BF16)} $$

Baseline 88 层 × 80 head ÷ 8 × 128 head_dim × 8K seq × 2 (K + V) × 2 (BF16) ≈ 720 MB / req。

9.3 推理框架对比

9.4 单副本性能

9.5 关键优化技巧

• Speculative Decoding：用小 draft 模型提前预测，主模型一次校验多个 token，可提速 1.8–2.5×。
• FP8 / FP4 量化：B200 FP4 理论算力达 BF16 的 4×，配合 NVFP4 数据类型精度损失 < 1 %。
• Prefill / Decode 解耦 (Dynamo)：把两阶段调度到不同 GPU 池，分别按算力 / 带宽优化。
• Continuous Batching：vLLM 默认开启，把不同长度的请求滚动拼批，吞吐提升 2-3×。

这座算力中心，到底要花多少钱？

三年总拥有成本 (TCO) = CAPEX 一次性投入 + 3 × OPEX 年运营。本节给出可拖动的预算计算器。

10.1 主集群方案 (B200 × 2 048 + IB-XDR 800 G) 财务画像

10.2 五种硬件 × 网络组合横向对比

10.3 互动：自定义集群 → 实时 TCO

10.4 CAPEX 构成 (Baseline)

10.5 OPEX 年化构成

12 个月，把一座算力中心从图纸变现实

这是给立项 PMO 与校级评审用的一页路线图，附主要风险与缓解策略。

11.1 12 个月里程碑

11.2 主要风险与缓解

11.3 总结：六句话送给同学

1. 算力中心 = 模型 × 算法 × 系统 × 物理 × 经济，五维同时优化。
2. 选 GPU 看 BF16/FP8/HBM 三件套，2025+ 默认 Blackwell；NVLink 域 ≤ 72 是新分水岭。
3. 1 T MoE 模型 ≈ 10²⁵ FLOPs，2 048 × B200 跑 60–90 天可成。
4. 3D + EP + ZeRO-1 是当前训练标配；TP 不出 NVLink、PP 跨节点、DP 跨子集群。
5. 液冷不是奢侈品，是 B200/GB200 的入场券；PUE 1.15 是新基准。
6. 学会算 TCO，比会写代码更难，也更值钱。

11.4 参考文献 (IEEE 风格)