深入篇 17 / Transformer 逐步拆解 · 2026-11-08

因果遮罩：训练能并行，生成为什么要等

为 prefill、单步 decode 和带缓存的 chunk 写出正确的可见区间。

核心阅读 12–18 分钟练习另需 10–20 分钟前置：16：attention 的行与列

本课只拿下这一件事

为 prefill、单步 decode 和带缓存的 chunk 写出正确的可见区间。

完整序列的因果遮罩。上三角被屏蔽；对角线保留，因为当前位置用于预测下一 token。 — 上三角被屏蔽；对角线保留，因为当前位置用于预测下一 token。

一次前向的并行，不等于生成的并行

训练时已知整条目标序列，输入 [A,B,C] 的三个位置可以一起计算，标签分别是 [B,C,D]。因果遮罩保证 A 的表示不会看到 B 或 C；所以矩阵运算可以并行，预测依赖仍然是因果的。生成时 D 未知，必须先由 C 位置的输出采样 D，再把 D 输入下一步。这是数据依赖，不是 Python for 循环写得慢。原始 decoder 遮罩设计见论文 §3.1 与 §3.2.3。

把绝对位置写进公式

历史长度 p，新 chunk 长度 c
Q 的形状 [c,d]；K 的形状 [p+c,d]
第 i 个新 query 的绝对位置 = p+i
允许访问 j ≤ p+i；其余 M[i,j]=−∞

p=3、c=2 时 mask 的两行可见性分别是 [1,1,1,1,0] 和 [1,1,1,1,1]。若对 [2,5] 直接做不带 offset 的左上三角，第一行只看到第0个 key，虽然维度正确，语义已经错了。不同库对非方阵 causal 对齐方式可能不同；写实验时显式构造绝对位置 mask，读框架时核对传入的 query/key lengths 与 backend 合约。

padding mask 和 causal mask 解决不同问题

causal mask 屏蔽未来；padding mask 屏蔽不属于请求的补齐位置。nano-vllm prefill 将多条序列压平，用 cu_seqlens 记录分段，避免在 prompt 侧逐行补齐；decode 的 CUDA Graph 又会补到捕获的 batch size，并用 context_lens=0 与 slot_mapping=−1 处理额外位置。不能把任何“padding”都当成一种机制。

缓存的正确性依赖过去 token 的本层 K/V 不因新 token 到来而改变；因果结构让这个复用成立。如果改成双向 attention，把之前的结果原封不动缓存就不再等价。