NeurIPS 2026 可解释性隐藏计算填充Token 思维链可监控性 Logit Lens KV缓存移植残差流解码

Reading Between the Dots: Decoding Hidden Computation across Filler Tokens¶

会议: NeurIPS 2026
arXiv: 2607.03502
代码: https://github.com/kaleybrauer/filler-token-reasoning
领域: 可解释性
关键词: 隐藏计算、填充Token、思维链可监控性、Logit Lens、KV缓存移植、残差流解码

一句话总结¶

本文针对前沿大模型在无语义填充 token（如省略号或数字计数）上隐式执行多步推理而使传统思维链行为监控失效的现象，证实中间计算表征直接编码于残差流中，并通过注意力中继分析、因果 KV 缓存移植及无监督残差解码流水线，实现了高达 82%–94% 的中间推理状态无监督恢复。

研究背景与动机¶

思维链（Chain-of-Thought, CoT）监控的可行性建立在一个核心安全假设之上：模型的文本输出能够忠实映射其内部的认知计算链条。然而，随着大模型推理能力的演进，优化压力与特定微调策略极易促成隐蔽计算或形式与计算解耦的失效模式。前沿模型被证实在完全无语义内容的“填充 token”（如点号串 ..... 或计数序列 1 2 3 4 5）上，无需输出任何显式推导文本，即可显著提升需要多跳检索与上下文组合计算的复杂任务表现。在此极限工况下，纯文本行为监控完全沦为空谈，使得审计者面对模型表层的空白推理轨迹陷入安全监管盲区。

然而，表面输出的不可见性绝不等于模型内部状态的不可审计。尽管填充 token 语义为空，残差流（residual stream）在经过深层网络运算时依然具备承载高维可读计算表征的能力。若能直接从模型内部表征探查计算迹线，便能从机制层面打破对表层 token 行为监视的单一依赖。

本文在开源前沿模型 DeepSeek V3（671B MoE）与 Kimi K2（1T MoE）及推理微调模型 Kimi K2.5 上系统研究了单事实加法、双事实并行加法、两跳字符定位及方程组上下文纯计算四大任务族。通过剖析填充 token 的引入如何改变注意力路由，以及中间计算结果如何在各层与各位置动态结晶，提出了不依赖人工标注与前向微调的白盒无监督解码范式。核心 idea：利用 Logit Lens 结合跨样本均值去噪与无监督聚合，直接从填充 token 处的残差流隐状态中解码出中间推理变量与计算轨迹，并借助因果 KV 缓存移植证明该隐藏计算对最终答案具有严格的位置因果性。

方法详解¶

整体框架¶

本文旨在逆向解码前沿模型在填充 token 处执行的隐式多步运算。整体研究与解码框架由机制验证分析层与无监督解码流水线层紧密协同构成：在输入问题与答案输出之间插入内容无关的填充序列后，模型建立起“问题 → 填充区域 → 答案”的注意力信息中继；随后通过 Logit Lens 探查中间特征，并用因果 KV 缓存切片移植（KV-cache transplant）证明中间计算状态对下游输出答案具有直接决定作用；最终，无监督解码流水线提取各层和填充位置的残差隐状态，经投影、跨样本基线扣除与位置分值累积，重构出潜藏的中间计算量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询与无内容填充序列<br/>[Question] + [Filler Tokens] + [Answer Slot]"] --> B["注意力信息中继机制<br/>问题 → 填充区域 → 答案的接力路由"]
    B --> C["因果 KV 缓存位置移植验证<br/>精准替换填充位置 KV 驱动目标答案翻转"]
    C --> D["残差流隐状态提取与 Logit Lens 投影<br/>第 30-60 层残差向量映射至词表分布"]
    D --> E["跨样本基线去偏与位置分数累积<br/>扣除均值伪影并聚合前 50 候选 Token"]
    E --> F["LLM Judge 零样本上下文释义<br/>零标签恢复单/双事实、字符实体与方程解"]

关键设计¶

1. 注意力信息中继机制：重塑跨层信息流动拓扑以构建隐藏计算基底

模型利用无语义 token 的首要机制在于注意力预算的转移与重新分配。在不包含填充 token 的直接回答基线中，答案位置在深层（例如 DeepSeek V3 的第 40 层）需要直接分配高达 15.8% 的注意力权重回溯问题文本，这种单步直连不仅计算瓶颈大，而且各中间实体容易竞争有限的表征容量。引入填充 token 后，答案位置对原始问题的直接注意力峰值急剧降至 3%–4%，而释出的注意力预算被完全重定向到填充区域（$k=10$ 时为 13%，$k=100$ 时上升至 18%）。在填充序列内部，靠后位置向靠前位置回看注意力达到 19%–23%，而中间层填充位置以 5%–12% 的注意力持续读取问题文本。这种拓扑结构构建起清晰的“问题 $\to$ 填充区域 $\to$ 答案”两级级联中继，使得填充区域充当了动态内部工作记忆区（scratchpad）。

2. 因果 KV 缓存位置移植验证：确立残差编码与空间排布的因果决定性

为证实残差流中所解码的值绝非副产物或伴生关联，本文设计了基于 KV 缓存切片手术的因果激活移植协议。在单事实加法任务中，匹配加数 $X$ 相同但事实加数 $A$ 不同的供体（Donor）与受体（Target）样本，仅将受体前向传播中填充 token 行处的键值对替换为供体的 KV 缓存切片。实验发现移植使供体特定答案在受体候选词表中的预测排名大幅飙升（$k=100$ 点号填充下从排名 96 跃升至 11，全量翻转率高达 13%–22%）。更为关键的是，在双事实加法 $A_1+A_2$ 任务中，利用阈值 $\theta=0.15$ 空间定位出解码 $A_1$ 的 12 个专用填充位置和解码 $A_2$ 的 16 个位置。仅移植这 12 个 $A_1$ 解码位置即可恢复整个填充区域全量移植效果的 93%（供体答案排名改善达 65 位），而将其余 41 个互补位置移植仅能产生 12 位微弱波动且翻转率为 0.0%。这确凿证实了隐藏计算在填充序列中的空间排布具有模块化因果特异性。

3. 残差流 Logit Lens 与跨样本基线去偏：滤除格式伪影以显化早期与晚期计算

提取第 30 至 60 层的残差隐状态 $h_{l,p}$ 后，传统 Logit Lens 直接通过模型最终的 RMSNorm 与解嵌入矩阵 $W_U$ 计算词表未归一化概率分布： $$P_{e}(\text{token} \mid l, p) = \text{Softmax}\left( W_U \cdot \text{RMSNorm}(h_{l,p}) \right)$$ 然而，直接投影容易被与特定 token 格式、高频词及模板词元绑定的静态背景概率所淹没。为此，本文设计了跨样本均值去噪算法，计算该层该位置在所有测试样本上的平均生成概率 $\bar{P}(\text{token} \mid l, p) = \frac{1}{N} \sum_{e=1}^N P_e(\text{token} \mid l, p)$，并定义单样本残差分数： $$R_e(\text{token} \mid l, p) = P_e(\text{token} \mid l, p) - \bar{P}(\text{token} \mid l, p)$$ 该操作消除了格式伪影（如由计数填充分词引入的数字偏置或标点偏差），精准捕获到了随样本变动的真实计算信号。时空热图揭示出显著规律：在双事实任务中，$A_1$ 在填充前段快速检出，$A_2$ 在中后段检出，而在正确预测样本的末层紧邻答案前，$A_1+A_2$ 的相加结果才完全结晶成型；在错误样本中，$A_1$ 与 $A_2$ 正常解码但求和值彻底缺失，直接诊断出模型失效源自组合阶段而非检索阶段。

4. 无监督聚合与 LLM Judge 释义：免微调零标注的潜伏推理链重构

由于真实的计算线索在整个填充跨度中被反复计算并多层传递，算法在单个样本内跨所有关注的层与填充位置累加残差分数，形成全序列聚合得分： $$S_e(\text{token}) = \sum_{l=30}^{60} \sum_{p=1}^k R_e(\text{token} \mid l, p)$$ 根据得分降序截取前 50 个 token（包含子词片段、多语言对齐词元及数字）。为了摆脱对真实标签或监督探针（Probe）训练的依赖，将该候选词表输入给通用的仲裁大模型（Claude Haiku 或 Sonnet）。仲裁模型在不知道原始输入 Prompt 及最终 Answer 的纯中立设定下，结合上下文词元碎片（如化学元素中文名、别名拼写或关联常量）推理并输出最可能的隐藏计算实体及备选排序。这使得无监督流水线既能在数字加法中锁定目标，也能在两跳字符任务中跨多语言重构城市或元素概念。

实验关键数据¶

主实验¶

实验涵盖 DeepSeek V3（671B）、Kimi K2（1T）以及经过强化学习推理微调的 Kimi K2.5，评测填充 token 带来的任务性能提升（行为学增益）以及无监督解码流水线恢复隐藏中间值的准确率。

任务类型	评估模型	零填充基线准确率	填充后最佳表现	解码无Judge直接Top-2	Sonnet Judge Top-2 恢复率
单事实加法 (1-Fact)	DeepSeek V3	54.0%	72.0% (dots-100)	84.8% (pooled)	94.3% (pooled)
双事实加法 (2-Fact)	DeepSeek V3	21.1%	24.1% (dots-50)	35.2% (pooled)	82.3% (pooled)
双事实加法 (2-Fact)	Kimi K2	27.3%	35.6% (counting-50)	74.1% (pooled)	90.0% (pooled)
两跳字符定位 (Letter-Pos)	DeepSeek V3	61.0%	70.0% (dots-25)	66.9% (pooled)	92.7% (pooled)
两跳字符定位 (Letter-Pos)	Kimi K2	69.0%	75.0% (dots-25)	62.4% (pooled)	90.2% (pooled)
方程组纯计算 (System of Eq)	DeepSeek V3	31.1%	61.0% (dots-50)	82.1% (pooled)	82.6% (pooled)
方程组纯计算 (System of Eq)	Kimi K2	18.4%	36.4% (dots-25)	65.0% (dots-25)	71.0% (dots-25)
双事实加法 (2-Fact)	Kimi K2.5 (RL CoT)	39.0%	48.0% (dots-25)	80.6% (pooled)	91.5% (est.)

消融与对照实验¶

针对解码流水线机制有效性、因果定位以及 Judge 真实信息来源的消融评估汇总如下：

评估配置 / 介入条件	评测任务与模型	核心指标 (Top-2 准确率 / 排名改善)	结论与机制说明
全量填充 KV 移植 (All 53 pos)	2-Fact, DSv3 ($A_1$ 通道)	排名改善 +70 位, 完整翻转 7.4%	填充区域整体承载显著因果效用
仅移植 $A_1$ 解码位置 (12 pos)	2-Fact, DSv3 ($A_1$ 通道)	排名改善 +65 位, 完整翻转 4.4%	仅用 22% 的空间位置恢复了 93% 的因果效应
仅移植互补非解码位置 (41 pos)	2-Fact, DSv3 ($A_1$ 通道)	排名改善 +12 位, 完整翻转 0.0%	未解码 $A_1$ 的互补位置几乎不承载 $A_1$ 计算载荷
去除跨样本残差去偏 (w/o Resid)	2-Fact, DSv3 (dots-10)	Sonnet Top-2: 82.4% $\to$ 73.8% (-8.6 pp)	残差去偏有效过滤静态格式伪影
剥离非数字 Token 喂给 Judge	2-Fact, DSv3 (dots-pooled)	Sonnet Top-2: 82.3% $\to$ 36.4% (接近直接35.2%)	证实 Judge 依赖残差上下文线索而非先验臆测
替换真实中间值为随机数值	2-Fact, DSv3 (dots-pooled)	Sonnet Top-2 崩溃至 39.2%	排除了 Judge 凭借题目逻辑先验自发推算的可能
打乱样本 Token 列表对照 (Shuffle)	1-Fact / 2-Fact / Letter	恢复率全面暴跌至 0.0%–1.4%	严密证明解码成功完全源自样本特异性内部状态

关键发现¶

隐藏计算具有阶段结晶性：在双事实加法中，模型首先在填充早期表征第一操作数 $A_1$，在填充中后期表征第二操作数 $A_2$；而在模型做错的样本中，$A_1$ 与 $A_2$ 的检索完全正常，但求和项 $A_1+A_2$ 的激活在深层完全消失（正确样本中前 2 候选包含和的比例高达 21.7%，错误样本仅 2.0%）。这揭示出模型计算失败的主因在于后期运算组合失败，而非前端事实检索失误。
填充序列非随意占位，而需维持计算稳定性：有序的点号、自然递增的数字以及字母表序列均能带来一致的显著性能跃升，但一旦打乱顺序使用无序序列（scrambled），性能增益骤降约 10 个百分点，且填充在输入问题之前的设置无法带来任何提升，证明计算必须发生于问题与最终预测之间。
模型自发生成填充 Token 依然生效：在对推理微调模型 Kimi K2.5 施加显式无文本 CoT 约束时，模型能够自主生成点号（71% 遵从率），在方程求解上准确率自 28.7% 提升至 39.2%（点号）与 45.8%（计数），表明隐藏计算是自回归模型在获得额外前向深度时内生涌现的通用计算范式。

亮点与洞察¶

打破“可见 CoT”与“黑盒不可知”的二元对立：过去安全界普遍担忧模型通过隐藏 token 绕过行为监管会直接造成安全黑箱。本文证明内部隐藏计算在残差流中展现出高度的局部性与线性可读性，将可监控性（Monitorability）从受限于表面字符的狭隘空间扩展到包含完整前向计算轨迹的内态空间。
无需训练探针的纯无监督解码流水线：避免了传统探测分类器（Probes）可能引入的监督过拟合或虚假特征关联，完全基于模型自身词表解嵌入投影与跨样本均值去噪，通用性极强且可即插即用部署于开源模型审计。
跨语言思考表征的自然显露：在评测中发现 DeepSeek V3 与 Kimi K2 在执行英文实体两跳任务时，残差流中频繁浮现高权重的中文对应词元，表明无监督解码器甚至能捕捉到底层概念跨语言表征的底层对齐机制。

局限与展望¶

任务离散性与可命名性限制：目前验证的任务族均具备高度结构化、具有确定离散值（数字、化学元素、地名、确定方程变量）的中间状态。对于开放式发散推理、目标意图或非 token 化的连续概念表征，单纯基于 Unembedding 映射的 Logit Lens 面临投射盲区。
正交子空间与对抗防御脆弱性：Logit Lens 只能读取与输出词表嵌入矩阵对齐的线性方向。若模型未来通过对抗训练或强化学习将中间计算散布在与词表正交的潜空间、或采取隐写加密策略伪装激活，当前的直向解码流水线将极难奏效。
闭源前沿模型的访问受限：整套方法高度依赖对每一层残差流隐状态与 KV 缓存的物理读写权限，无法直接施加于仅提供 API 文本交互的商用黑盒模型。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次完整揭示前沿 MoE 模型在无内容填充 token 上的隐式推理机制，并实现无监督白盒逆向解码]
实验充分度: ⭐⭐⭐⭐⭐ [跨两大前沿开源模型及推理微调模型，包含四大任务族、因果激活切片移植、消融与严格的随机打乱对照]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，从行为学发现、因果拓扑验证到无监督流水线设计极其清晰且论证严密]
价值: ⭐⭐⭐⭐⭐ [为大模型对齐监控与 AI 治理指明了由表层 CoT 监视走向机制可解释性审计的全新战略方向]

评估配置 / 介入条件	评测任务与模型	核心指标 (Top-2 准确率 / 排名改善)	结论与机制说明
全量填充 KV 移植 (All 53 pos)	2-Fact, DSv3 (\(A_1\) 通道)	排名改善 +70 位, 完整翻转 7.4%	填充区域整体承载显著因果效用
仅移植 \(A_1\) 解码位置 (12 pos)	2-Fact, DSv3 (\(A_1\) 通道)	排名改善 +65 位, 完整翻转 4.4%	仅用 22% 的空间位置恢复了 93% 的因果效应
仅移植互补非解码位置 (41 pos)	2-Fact, DSv3 (\(A_1\) 通道)	排名改善 +12 位, 完整翻转 0.0%	未解码 \(A_1\) 的互补位置几乎不承载 \(A_1\) 计算载荷
去除跨样本残差去偏 (w/o Resid)	2-Fact, DSv3 (dots-10)	Sonnet Top-2: 82.4% \(\to\) 73.8% (-8.6 pp)	残差去偏有效过滤静态格式伪影
剥离非数字 Token 喂给 Judge	2-Fact, DSv3 (dots-pooled)	Sonnet Top-2: 82.3% \(\to\) 36.4% (接近直接35.2%)	证实 Judge 依赖残差上下文线索而非先验臆测
替换真实中间值为随机数值	2-Fact, DSv3 (dots-pooled)	Sonnet Top-2 崩溃至 39.2%	排除了 Judge 凭借题目逻辑先验自发推算的可能
打乱样本 Token 列表对照 (Shuffle)	1-Fact / 2-Fact / Letter	恢复率全面暴跌至 0.0%–1.4%	严密证明解码成功完全源自样本特异性内部状态