Transformer 参数与显存全景

本文把 Transformer 学习中最容易混淆的两组概念整理成一份"速查 + 记忆"手册：

• 架构五大参数：d_model / num_heads / seq_len / batch_size / d_ff
• 显存五大来源：模型权重 / 激活值 / KV Cache / 激活参数（MoE）/ 临时张量

读完之后，你应该能在脑子里画出这张关系图：

0. 速查表（先记这一张）

0.1 五大参数一句话总结

0.2 显存四大来源一句话总结

0.3 记忆口诀

d_model 决定脑容量（参数平方）
num_heads 决定视角数（不长参数）
seq_len 决定看多远（平方代价）
batch  决定吞吐量（线性放大）
d_ff   决定知识库（占大多数参数）

1. d_model：隐藏维度（embedding dim）

1.1 含义

每个 token 在模型内部表示为一个 d_model 维向量。例如 d_model = 4096 表示：

token -> 4096 维向量

1.2 它影响什么

(1) 模型表达能力（最核心）

d_model 越大，每个 token 能承载的信息越多，表达空间越丰富。这是大模型最本质的扩展方向之一。

32 维   -> 小脑袋
4096 维 -> 大脑袋

(2) 参数量（平方级放大）

$$ \text{params} \propto d_\text{model}² $$

因为：

• Attention 投影：$4 d_\text{model}^2$（Q/K/V/O 四个矩阵）
• FFN：$2 d_\text{model} \cdot d_\text{ff}$，又因为通常 $d_\text{ff} = 4 d_\text{model}$，仍是 $d_\text{model}^2$ 级。

(3) 激活显存（线性放大）

$$ \text{activation} \propto \text{batch} \times \text{seq_len} \times d_\text{model} $$

所有中间 tensor 都随 d_model 线性变大。

(4) 训练稳定性

d_model 太大时更难训练，需要更大 batch、更小学习率和更好的 normalization。

1.3 记忆点

d_model 是模型"脑容量"。参数量按平方涨，显存按线性涨。

2. num_heads：注意力头数

2.1 含义

Multi-Head Attention 把 d_model 切成多个子空间并行计算：

$$ \text{head_dim} = \frac{d_\text{model}}{\text{num_heads}} $$

例：d_model = 4096、num_heads = 32 → head_dim = 128。

2.2 它影响什么

(1) 注意力模式多样性

不同 head 学不同关系：语法、长距离依赖、代码结构……类似"多个专家同时观察"。

(2) 并行子空间建模

每个 head 有独立 Q/K/V 投影，本质是"多视角表示"。

(3) head_dim 太小会退化

4096 / 128 head = 32 维/head -> 表达力不足

经验值：head_dim ≈ 64–128 最佳，所以 Llama 3 等模型几乎清一色 head_dim = 128。

(4) 计算性能

理论 FLOPs 不变（num_heads 增 ≈ head_dim 减），但实际上：

• kernel launch 更多
• memory access 更碎片化

→ heads 过多反而更慢。

2.3 记忆点

num_heads 改变"视角数"，不改变总参数量；head_dim 别低于 64。

3. seq_len：序列长度

Transformer 中最昂贵的维度。

3.1 它影响什么

(1) 上下文长度

直接决定模型一次能看多少 token。

(2) Attention 计算量（平方级，致命）

$$ \text{Attention FLOPs} \propto \text{seq_len}² $$

每个 token 都要和所有 token 算注意力：

(3) 显存爆炸

注意力矩阵就是 seq_len × seq_len，这是长上下文最大的瓶颈。

为此衍生出一堆优化：

• FlashAttention：分块计算，不显式构造完整矩阵
• GQA / MQA：共享 K/V
• Sliding Window：只看附近
• Ring Attention：跨卡分块

(4) 长上下文 ≠ 真懂长上下文

输入 128k 不代表模型真的记得住，还涉及：

• position encoding（RoPE 外推）
• long-range training
• attention sink

3.2 记忆点

seq_len 是"二次方代价"。能输入 ≠ 能理解。

4. batch_size：批大小

4.1 它影响什么

(1) 训练稳定性

更大 batch → 梯度更稳定、loss 更平滑、吞吐更高。

(2) 泛化能力

小 batch 噪声大 -> 泛化更好
大 batch 收敛快 -> 训练更稳

(3) GPU 利用率

H100/A100 等大卡需要较大 batch 才能吃满算力。

(4) 显存（最直接的放大器）

$$ \text{activation} \propto \text{batch} \times \text{seq_len} \times d_\text{model} $$

KV Cache 也随 batch 线性增长。

4.2 记忆点

batch 是显存与吞吐的总开关；训练求大，推理求平衡。

5. d_ff：FFN 隐层维度

Transformer 中：Attention 负责信息路由，FFN 负责知识存储。

5.1 结构

$$ d_\text{model} \rightarrow d_\text{ff} \rightarrow d_\text{model} $$

经验设置：

d_ff = 4 * d_model

5.2 它影响什么

(1) 模型知识容量

FFN 通常占整个 Transformer 60% – 80% 的参数，是模型的"记忆体"。

(2) 非线性表达能力

Attention 本质偏线性组合，真正的复杂变换大多来自 FFN。

(3) 参数量

$$ \text{FFN params} = 2\,d_\text{model}\,d_\text{ff} $$

d_ff 增大 → 参数暴涨。

(4) 推理速度

FFN 是矩阵乘法大户。短上下文时，FFN 比 Attention 还耗时。

5.3 记忆点

FFN 是"知识库"，吃掉大多数参数，也吃掉大多数推理时间。

6. 五个参数的总关系

一种流行观点：

FFN 才是真正存知识的地方，Attention 只是检索路由。

典型大模型配置（Llama 3 70B 类）

注意 head_dim 一直维持在 128 —— 这是目前公认的最佳平衡点。

7. 显存到底由什么组成

推理时显存：

$$ \text{VRAM} = \text{Weights} + \text{KV Cache} + \text{Activation} + \text{临时 Tensor} $$

训练时显存：

$$ \text{VRAM} = \text{Weights} + \text{Gradients} + \text{Optimizer States} + \text{Activation} $$

容易混淆的五个东西：

7.1 权重显存公式

$$ \text{VRAM}_\text{weights} = \text{params} \times \text{bytes_per_param} $$

这就是为什么 量化后消费卡也能跑大模型。

7.2 Activation vs Activated Params（别再混）

8. 模型架构对显存的影响

8.1 Dense Transformer（Llama 3、GPT-4 推测、Qwen 2.5 ...）

• 所有参数每个 token 都参与
• 推理 FLOPs 高、显存稳定
• KV Cache 巨大

8.2 MoE（DeepSeek-V3、Mixtral ...）

每层只激活少数 expert，例如 256 个 expert 选 8 个。

MoE 降低 FLOPs，但不一定降低显存。

8.3 其它常见架构对比

9. KV Cache 与 GQA / MQA / MLA

9.1 KV Cache 本质

自回归生成下一个 token 时，旧 token 的 K、V 不重新算，直接缓存：

$$ \text{KV Cache} \propto \text{batch} \times \text{layers} \times \text{seq_len} \times \text{kv_heads} \times \text{head_dim} \times 2 $$

（×2 是因为 K 和 V 两份）

9.2 为什么长上下文爆显存

70B 模型示例：

很多场景下 KV Cache 比模型权重本身还大。

9.3 GQA / MQA / MLA

例如 64 query heads + 8 kv heads 的 GQA，KV Cache 缩小 8 倍 —— 这是现代模型的事实标配。

10. 训练 vs 推理 显存差异

公式上：

$$ \text{Activation} \propto \text{batch} \times \text{seq} \times \text{layers} \times d_\text{model} $$

所以训练最怕三件事：大 batch、长 context、深层数。

11. 综合关系总览

12. 案例：为什么 DeepSeek-V3 这么"省"

它把两件事叠加做到了极致：

1. MoE：推理算力 ≈ 37B 而不是 671B。
2. MLA：KV Cache 压缩 → 长上下文成本大幅下降。

效果就是：

总参数顶级、推理成本可控。 这是当前大模型的核心方向。

13. 一页带走

五大参数：
  d_model  -> 脑容量（平方放大参数）
  num_heads -> 视角数（head_dim 别低于 64）
  seq_len   -> 看多远（平方代价，长文本杀手）
  batch     -> 吞吐 / 显存的总开关
  d_ff      -> 知识库（FFN 占大多数参数）

显存四件套：
  Weights        = params × precision      （量化主要省它）
  Activation     ∝ batch × seq × d_model    （训练大头）
  KV Cache       ∝ batch × seq × kv_heads   （推理大头，GQA/MLA 主要省它）
  Activated Params 是 MoE 专属概念，跟 Activation 完全不同

记住一句话：
  d_model 决定"模型有多大"，
  seq_len 决定"显存有多炸"，
  架构（GQA/MLA/MoE） 决定"同样规模下能跑多省"。