从 GPT 到 CED：DeepSeek-V4.1-Flash 如何改变上下文的计算方式

2.1 Decoder-only 不等于“只处理输出”#

GPT 采用的典型结构是 Decoder-only Transformer。这里的 Decoder 是结构名称，不是说它只能处理模型生成的文字。

用户输入、系统指令、历史对话和已经生成的 token，都会成为序列的一部分。模型通过因果注意力保证：位置 $t$ 只能访问自己及更早的位置，不能偷看未来。

一个 Block 中包含注意力、前馈网络、归一化与残差连接等。本文不逐个展开这些组件，先抓住一件事：同一个 token 的表示会沿着网络逐层更新，不同层拿到的不是同一份隐藏状态。

2.2 Q、K、V 从哪里来？#

把第 $l$ 层注意力的输入记作 $H^{(l)}$。暂时省略归一化、位置编码和多头拆分，标准投影可写成：

可以把三者的职责理解成：

单个注意力头的简化计算是：

其中 $M$ 是因果掩码，将不允许访问的未来位置屏蔽掉。

注意力输出继续经过后续计算，得到下一层的输入 $H^{(l+1)}$。因此，第 20 层的 K/V 并不能直接用原始 token 算出来：它们依赖 token 到达第 20 层时的表示。

这里采用标准多头注意力作为基线。实际 Decoder-only 模型可能使用 GQA、MLA、滑动窗口或稀疏注意力，不能把所有模型都等同于这个基础版本。

3.1 Prefill：计算已知输入，建立历史状态#

输入的四个 token 都已经确定，因此可以在每一层内批量处理这些位置，同时用因果掩码限制可见范围：

1
A 只能看 A
2
B 可以看 A B
3
C 可以看 A B C
4
D 可以看 A B C D

这就是 prefill，通常译作“预填充”。它不是把文字复制到某个缓存里，而是执行真实的模型前向计算：

1. 将输入 token 转成表示。
2. 逐层计算注意力和前馈网络。
3. 保留每层的历史 K/V，供后续生成使用。
4. 利用最后一个输入位置 D 的最终表示，预测第一个输出 E。

同一层可以并行处理多个已知位置，不代表层间也能跳过依赖：第 2 层仍然需要第 1 层的结果。

3.2 Decode：处理新 token，复用旧 KV#

得到 E 之后，把 E 输入模型。每一层为 E 计算新的 Q/K/V，用 E 的 Q 查询历史 KV 和 E 自己的 KV，最终预测 F；E 的 KV 也会保留在缓存中，供后续步骤使用。

1
Prefill：
2
[A B C D] -> 所有层 -> 建立 A B C D 的各层 KV -> 预测 E
3

4
Decode 第一步：
5
[E] + 已有各层 KV -> 所有层 -> 追加 E 的各层 KV -> 预测 F
6

7
Decode 第二步：
8
[F] + 已有各层 KV -> 所有层 -> 追加 F 的各层 KV -> 预测下一个 token

在确定的因果网络中，追加未来 token 不会改变旧位置的表示，这使历史 K/V 可以复用。历史 Q 通常不需要保留，因为当前步骤需要的是新位置的查询，而不是重新计算旧位置的输出。

**KV Cache 节省的是历史位置的重复计算，不是让新 token 绕过整个模型。**新 token 通常仍要逐层处理，注意力仍要读取它需要的历史信息。

Prefill 与 decode 是同一个自回归模型的两种执行形态，而不是两个不同的训练任务。实际服务系统还可能使用分块 prefill、连续批处理与推测解码，本文先讨论最基本的路径。

5.1 不是简单地把 40 层命名成两半#

DeepSeek-V4.1-Flash 的语言主干有 40 层：前 20 层作为因果 Encoder，后 20 层作为 Decoder。两部分依然构成自回归语言模型，所有层仍遵守因果约束。[1]

改变的重点是后半部分的全局注意力。

将 Encoder 最终输出记为 $E=H_{\mathrm{enc}}$。按照技术报告第 2.2 节，Decoder 的全局 KV 条目与压缩权重从这份输出投影：

其中 $C$ 是待组织成全局 KV 的表示，$Z$ 是用于压缩的权重信号。这个公式表达的是来源关系；具体是否需要序列压缩，还取决于压缩率，不能理解成每层总会执行完全相同的压缩操作。

与 GPT 式基线对照：

CED 解开的是全局 KV 构建对 Decoder 深层历史计算的依赖，而不是取消 Decoder。

5.2 为什么 Encoder 也必须是 Causal？#

如果 Encoder 可以双向查看整个序列，追加一个新 token 后，旧位置就可能需要吸收这个新 token 的信息，已有表示和缓存也可能随之改变。

因果 Encoder 不会读取未来。对固定参数和相同计算路径，前缀的表示不因后续追加而改变，因此可以增量处理序列，并让生成的 token 继续成为可查询的历史。

所以，这不是传统机器翻译中“先双向编码一个固定源句，再解码目标句”的简单复刻。这里的序列还在不断增长，生成的新 token 同样要经过 Encoder。

5.3 还有一条不能忽略的局部路径#

CED 并没有把 Decoder 的所有 KV 都移到 Encoder 输出上。

DeepSeek-V4.1-Flash 保留逐层的滑动窗口注意力 SWA。局部窗口的 KV 仍然从各层自身的隐藏状态生成；这保留了较深的局部信息处理能力，也留下了 prefill 时必须解决的状态准备问题。[1]

图中省略了残差、归一化、MoE 和索引器细节。此时先记住：全局历史信息与逐层局部状态，走的是两条不同的来源路径。

6.1 低秩 Q：先形成紧凑查询，再展开成多个头#

标准的直接投影，把隐藏状态一次性映射为全部 Query 头。参考实现中的 Query 路径则是：[3]

1
当前层隐藏状态 x
2
    -> wq_a：映射到低维查询表示
3
    -> q_norm：RMSNorm
4
    -> wq_b：展开为多个 Query 头
5
    -> 在指定维度应用 RoPE

对应的简化公式是：

技术报告给出的隐藏维度是 5120，Query 压缩维度是 1280，Query 头数为 64，每头维度为 512。因此，主 Query 投影大致沿着以下维度变化：

1
5120 -> 1280 -> 64 × 512

仅比较这部分矩阵参数量，忽略归一化等小项：

这个比较展示了因子化投影怎样控制宽 Query 投影的参数与乘加开销，不是整个模型的参数节省比例，也不是与上一代模型的实测对比。中间有 RMSNorm，因此不能把完整映射简单等同于一个固定矩阵的无损低秩分解。

另外，代码中的 q_lora_rank 指这里的查询瓶颈维度，不能直接理解成“推理时额外挂了一份 LoRA 微调适配器”。

**低秩 Q 主要优化查询分支，不直接解释历史 KV Cache 为什么变小。**历史 Q 本来通常就不需要长期缓存。

6.2 K/V 共享表示：一份向量参与匹配与信息汇聚#

在标准教学公式里，K 和 V 是两份分别投影的表示。参考实现的主注意力则围绕一份 kv 表示工作：局部分支由 wkv 和 kv_norm 生成，注意力内核接收 q 与 kv，而不是两份独立的主 K、V 张量。[3]

为理解这种共享，可先忽略 RoPE、量化、attention sink 与稀疏选择，写成示意：

这里 $s_j$ 表示对应分支的来源状态：Decoder 全局分支来自 Encoder 输出，局部分支来自当前层状态。多个 Query 头以不同的查询读取共享的 KV 表示。

它不是先生成完整的多头 K/V，再把两份数组简单合并；模型本身就在这样的表示约束下进行计算和训练。

实际代码还对 KV 的部分维度应用 RoPE，并在注意力输出的相应维度执行逆旋转，所以以上公式只是说明“同一份表示承担匹配和汇聚”的结构，不能作为逐算子等价实现。

这种设计减少了分别为各头保存独立 K、V 表示的需求，但索引器 K、量化尺度和局部窗口仍有自己的开销，不能据此直接宣称整套缓存恰好减半。

6.3 跨层共享：CSA2 进一步减少重复缓存#

“同一份向量承担 K/V”与“不同层复用同一份缓存”是两个维度。CED 的全局来源关系，也不自动意味着所有层只能使用完全相同的投影权重。

跨层怎样共享，由 CSA2 的三种静态模式进一步规定：[1]

“Full”指这组组件完整执行，并不代表这一层改成全量稠密注意力。

发布模型的 Encoder 前两层只使用 SWA；后 18 层分成三组，每组六层，由一层 Full 和五层 Reuse 组成，序列压缩率为 2。Decoder 的 20 层只有首层是 Full，后面安排 Reindex 与 Reuse，序列压缩率为 1。[1]

因此，Decoder 的全局 KV 可以跨层共享，但各层的查询与局部 SWA 状态仍然不同。读取同一份历史表示，不代表每层执行相同的注意力或得到相同输出。

压缩率为 1 也值得注意：Decoder 的全局分支没有通过“每两个 token 合成一个条目”来缩短序列，依然可以依靠紧凑表示、跨层复用、稀疏访问与低精度存储控制成本。

7.1 全局 KV 已经不用等待完整 Decoder 前向#

对一段尚未缓存的输入，先让所有位置经过 20 层 Encoder，得到 Encoder 输出。随后便可以构造 Decoder 需要的全局 KV，而不必让每个历史位置都经过 20 层 Decoder。

但到这里还不能结束：Decoder 的局部 SWA KV 没有准备好，首个输出也需要 Decoder 的计算结果。

7.2 为什么只重算一个窗口，不是严格无损的？#

假设每层 SWA 的窗口大小是 $W$。某个位置在当前层只看最近 $W$ 个位置，但这些位置的隐藏状态，又可能在前一层读取更早的位置。

**局部依赖会跨层向前扩展。**因此，从缺失状态开始严格恢复多层 SWA，所需历史范围并不只是一个窗口。报告用 $L\times W$ 量级说明跨 $L$ 层精确恢复的回放范围。[1]

CED 采用 Decoder SWA Bounded Replay：只让输入末尾 $W$ 个 token 的 Encoder 输出经过 Decoder，并把回放时的局部注意力截断在这段内部。

对回放起点 $s$ 和当前位置 $i$，局部可见范围是：

全局分支仍可读取已建立的、因果允许的历史全局 KV；截断的是局部 SWA 回放范围，不是把所有更早的上下文都丢掉。

这会得到近似的 Decoder 局部状态，不是完整前向的数学等价替代。报告称实验中质量影响很小，并在后训练中模拟同样的回放进行适应；这个结论不能扩大成任何任务都绝无影响。[1]

7.3 首个输出从哪里来？#

以发布模型的 $W=128$ 为例，冷启动 prefill 的概念路径是：

1
全部 N 个输入 token
2
    -> 20 层 Encoder
3
    -> 建立 Encoder 状态和 Decoder 全局 KV
4

5
最后 min(N, 128) 个位置的 Encoder 输出
6
    -> 20 层 Decoder，执行有界 SWA 回放
7
    -> 准备 Decoder 的局部 SWA KV
8
    -> 最后输入位置的 Decoder 输出进入词表头
9
    -> 预测第一个输出 token

最后输入位置也在尾部回放段中，因此仍能完成输出预测。这里是根据报告的数据依赖描述整理的执行示意，不是声称官方生产系统只有这一种内核调用或调度顺序。

对前面的 [A B C D] 小例子，如果窗口足以包含四个位置，它们都会经过 Decoder；短输入并不具备“大部分历史绕过 Decoder”的空间。要看到这种优化的价值，需要输入长度明显大于回放窗口。

7.4 “Prefill 近乎减半”如何推出来？#

只用“处理多少个 token-layer”作为粗略计算量指标：标准路径需要 $NL$；CED 配合有界回放需要：

当 $N\gg W$ 时，相对于完整路径的比例约为：

假设 $N=32768$、$L=40$、$W=128$：

这个教学估算约为原来的 50.2%。它帮助解释报告的主导项，但不是 FLOPs 实测，更不是“响应时间必然减半”的证明。不同层成本、全局投影、注意力读取、MoE 通信与调度都没有在这个计数中展开。

官方的“prefill 每 token 激活 8B 参数、decode 每 token 激活 16B 参数”，应结合这种主路径理解，不能解释成 prefill 期间任何位置都绝不执行 Decoder。[1][2]