How Much is Left? LLMs Linearly Encode Their Remaining Output Length¶

会议: NeurIPS 2026
arXiv: 2607.05316
代码: https://anonymous.4open.science/r/llm-output-length
领域: 可解释性
关键词: 线性探测, 剩余生成长度, 内部表征, 规划机制, 大语言模型

一句话总结¶

通过在冻结的大语言模型残差流隐状态上训练极简线性探测器，本文证明模型在生成前及生成过程中均线性编码了剩余输出长度估计，且在发生自我修正与回溯重写时该估计会呈现非单调的向上跃升。

研究背景与动机¶

自回归语言模型在表面机制上采用逐 token 贪心或采样的解码范式，形式上每一步仅依据前缀上下文预测下一个 token 的概率分布，整个计算图内并未显式包含目标总长度或剩余工作量的标量输入。然而在实际生成中，LLM 的输出表现出惊人的一致性与结构规律：面对小学数学题时模型会自发写出三到五行推导步骤后收尾，面对事实检索时倾向于生成单个简洁从句，而在遭遇推导错误发生反思回溯时，则会以可度量的篇幅适度延长整体输出。这引出一个根本性的机制谜题：这种长度一致性仅仅是条件概率分布在逐步采样过程中的下游统计偶然，还是模型在残差流的中间表征中确实维护了一个关于“还剩多少工作要做”的内部规划变量？

近期关于模型内部机制的研究表明，语言模型在语义内容层面存在提前规划的迹象，例如在写出押韵句尾前数个位置便已在隐状态中锚定了押韵词；然而对于输出长度这一连续维度的物理预算，模型是否存在类似表征仍属未知。现有关于 Transformer 计数的理论工作大多聚焦于输入端精确计数的非可能性定理或注意力过挤压效应，探讨的是模型能否精准数清上下文中的离散 token 数，但无法解答模型是否对其自身的未来生成具备近似的全局剩余长度感知。

本文的切入角度正是通过最小容量的线性探测范式，探究模型中间表征中是否已线性可用剩余长度信号。核心 idea：在冻结 LLM 的各层残差流激活上训练单层无非线性的线性回归探测器预测未来剩余 token 数，不仅在生成首个 token 前即可从 prompt 末尾隐状态解码出总输出长度，而且该线性方向能在自然语言与受控任务间强泛化，更在模型推导回溯重写时展现出向上跃升的动态重估行为。

方法详解¶

整体框架¶

本文构建了针对自回归语言模型内部剩余长度表征的探测框架。对于给定的提示词与补全序列，冻结自回归模型的所有参数，执行单次前向传播提取残差流隐状态。框架设计了三类不同信息访问权限的基准与探测器进行分层比对：一是仅依赖训练集标签边缘分布的常数中位数统计基准，二是仅在 prompt 末尾单点预测总长度并按位置递减的精确倒计时基准，三是随生成过程在每个 token 位置动态读取全层残差流激活的剩余计数探测器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词与模型补全序列<br/>(自然终止 EOS 样本)"] --> B["残差流隐状态提取<br/>单次前向传播冻结模型参数"]
    B --> C["提示词末尾总长解码<br/>Prompt-end Completion Length Probe"]
    B --> D["逐位置剩余长度探测<br/>Per-token Remaining Count Probe"]
    C --> E["确定性精确倒计时基准<br/>max(T_0 - t - 1, 0)"]
    D --> F["跨生成步动态更新评估<br/>非单调性与回溯跃升响应"]
    E --> G["三方分层能力对比与跨数据集泛化"]
    F --> G

关键设计¶

1. 最小容量线性探测与分层对比基准：解耦模型固有表征与探测器自算力 为了确保探测到的长度信息完全源自语言模型本身的内部几何结构而非探测器非线性变换的拟合拟合，探测器被严格约束为单层无激活函数的线性回归层 $f_\theta(h_t) = w^\top h_t + b$。对于长度为 $T$ 的补全序列，在每个生成位置 $t$ 的预测目标为真实剩余 token 数量 $r_t = T - t$。为了严格归因残差流贡献，设计了两层对照组：首先是训练集 $r_t$ 的中位数 $\widetilde{r}$ 作为常数统计基准，在 $L^1$ 损失下它是最优无偏常数估计，其平均绝对误差（MAE）构成了模型必须击败的理论下界；其次是仅读取 prompt 末尾隐状态训练的生成总长探测器，并在测试时通过确定性倒计时生成预测 $\hat{r}_t = \max(\hat{T}_0 - t - 1, 0)$。通过比对剩余计数探测器、倒计时基准与中位数基准，可以精确剥离“提示词预先规划”与“生成中动态更新”各自的信息增量。

2. 全层拼接表征与层级探测机制：捕捉深层抽象的长度规划 逐层探测实验表明，输入层即 token embedding 处的探测误差几乎与盲猜常数中位数完全重叠，说明长度信号绝非当前 token 的字面浅层统计。随着层数加深，探测误差在网络中部迅速下降，并在网络顶层前三分之一处趋于稳定。为了最大化线性可解码性，主实验探测器直接接收全网络所有 Transformer 层残差流状态的拼接向量 $h_t = [h_t^{(0)}; h_t^{(1)}; \dots; h_t^{(L)}]$。全层拼接不仅显著优于任何单一最优层，且表明跨层的长度表征具有可加性互补特征，反映出高层语义结构对剩余生成规模的全局编码。

3. 动态非单调重估与回溯跃升特性：捕捉推理反思的内部计划修正 由于基于残差流隐状态的探测器输入为 $h_t$ 而非显式位置标量 $t$，其输出 $\hat{r}_t$ 不受时间单调递减的硬约束。在对大语言模型思维链长推理轨迹的细粒度追踪中，当模型出现推导错误并产生反思转折词（如 “Wait”、“But that’s a contradiction”、“let’s check”）时，虽然真实的物理剩余长度 $r_t$ 严格逐 token 单调递减，但线性探测器读取出的 $\hat{r}_t$ 却在转折瞬间出现显著的反向向上跳跃（例如从 71 激增至 277）。这种在特定语义重置点上的向上阶跃是任何单纯基于位置或静态预算的基线无法拟合的，直观印证了模型在识别出解题路径受阻、决定推翻重来时，残差流中维护的剩余生成量内部表征会同步发生动态重估。

损失函数 / 训练策略¶

探测器优化采用独立头解耦训练，基础 LLM 在 torch.no_grad() 模式下完全冻结，只对探测器线性参数进行反向传播。针对连续回归任务采用均方误差损失（MSE），训练目标为： $$\mathcal{L}_{\text{count}} = \frac{1}{|\mathcal{B}|} \sum_{t \in \mathcal{B}} (\hat{r}_t - r_t)^2$$ 优化器选用 AdamW，初始学习率设为 $2 \times 10^{-4}$，权重衰减 0.01，梯度裁剪阈值 10.0。学习率调度器使用 ReduceLROnPlateau，监控验证集 MAE，衰减因子 0.5，耐心周期为 5 个评估间隔（每 100 步评估一次），最大训练步数设为 4000 步。数据过滤严格剔除因截断而非自然输出 EOS 的未完结样本，保证 $T$ 为模型内生决定的自然终止长度。

实验关键数据¶

主实验¶

在 Llama-3.1-8B-Instruct、Olmo-3-7B-Instruct 以及 Mistral-7B-Instruct-v0.3 三个开源 7-8B 规模模型上，涵盖受控计数（Count/Countdown）与通用自然语言推理及检索任务（GSM8K、MATH、MMLU-Pro、OpenThoughts-1k、TriviaQA）进行全面评估。

表 1 汇总了各模型在提示词末尾仅凭上下文隐状态预测最终生成总长 $T$ 的 prompt-end MAE（对应原文 Table 1 部分核心列）：

模型	方法/基准	Count	Countdown	GSM8K	MATH	MMLU-Pro	OpenThoughts-1k
Llama-3.1-8B	常数统计基准	150.17	150.18	58.66	166.32	204.21	212.24
Llama-3.1-8B	提示词总长探测器	29.73	5.27	42.29	115.29	117.19	141.65
Olmo-3-7B	常数统计基准	147.67	150.58	116.17	194.05	204.82	272.58
Olmo-3-7B	提示词总长探测器	31.22	8.40	80.46	132.13	134.86	199.13
Mistral-7B	常数统计基准	263.15	265.12	84.81	174.71	196.16	195.77
Mistral-7B	提示词总长探测器	135.09	35.92	74.92	132.28	131.51	165.36

表 2 汇总了全序列逐 token 剩余长度预测的平均绝对误差（MAE）对比，包含常数中位数基准、精确倒计时基准以及动态剩余计数探测器（对应原文 Table 2）：

模型	评估配置	Count	Countdown	GSM8K	MATH	MMLU-Pro	OpenThoughts-1k
Llama-3.1-8B	常数中位数基准	117.81	117.82	70.15	151.20	172.49	187.83
Llama-3.1-8B	精确倒计时基准	29.80	4.82	44.04	123.32	123.31	129.09
Llama-3.1-8B	剩余计数探测器	34.41	4.38	36.59	109.87	123.56	131.47
Olmo-3-7B	常数中位数基准	116.54	117.84	124.32	178.83	184.82	219.01
Olmo-3-7B	精确倒计时基准	31.59	8.64	94.51	131.87	127.19	191.75
Olmo-3-7B	剩余计数探测器	33.36	4.50	76.65	123.10	133.54	195.97
Mistral-7B	常数中位数基准	197.45	200.23	91.67	161.41	171.10	179.71
Mistral-7B	精确倒计时基准	137.77	37.36	82.90	132.19	141.05	158.16
Mistral-7B	剩余计数探测器	69.51	20.81	66.94	122.23	138.55	133.63

消融实验¶

在跨数据集泛化实验中，模型表现出极具启发性的非对称迁移特征。以下为 Llama-3.1-8B 上的跨数据集迁移 MAE 表现（行表示训练源域，列表示评测目标域；括号内数值为目标域对应的中位数基准）：

训练源域	评测：Count	评测：Countdown	评测：GSM8K	评测：MMLU-Pro	评测：OpenThoughts	说明
Count 探测器	35.07 (117.8)	99.17 (117.8)	101.21 (87.1)	228.93 (176.5)	280.02 (208.3)	合成数据无法迁移至自然语言
Countdown 探测器	183.81 (117.8)	4.13 (117.8)	87.84 (87.1)	236.40 (176.5)	278.57 (208.3)	仅能过拟合倒数规律，自然语言失效
MMLU-Pro 探测器	105.01 (118.8)	118.96 (118.8)	63.57 (98.9)	121.51 (172.7)	147.25 (201.3)	自然语言全面击败各目标域常数基准
OpenThoughts 探测器	100.37 (147.4)	101.03 (147.5)	107.94 (175.6)	133.05 (175.5)	136.69 (187.8)	长思维链学到的方向高度通用

关键发现¶

生成前即具备全局规划：在所有 3 种架构和 7 个数据集上，仅凭 prompt 末尾单个 token 的残差流向量，线性探针预测完成长度的 MAE 均大幅优于数据集中位数基准（如 Llama-3.1 在 Countdown 上从 150.18 降至 5.27，在 MMLU-Pro 上从 204.21 降至 117.19），证明模型在吐出第一个字前就已经有了大致的篇幅预算。
单向泛化非对称性：在自然语言长推理数据（OpenThoughts、MMLU-Pro）上训练的线性探针能够强力泛化到包括合成计数在内的所有异构任务，全部优于目标域统计下界；然而在合成计数上拟合的探针迁移到自然语言时全线崩溃。这说明自然语言的多样性迫使探测器锁定了残差流中真正的通用长度跟踪方向，而非局限于特定词元的浅层相关。
动态回溯的向上突刺：当模型生成 “Wait, let me try again” 这类自纠错或推倒重来的 token 时，剩余长度预测值会出现明显的阶跃式反弹（如从 71 跃升至 277），证明残差流中的长度表征随解题状态的重置而同步刷新。

亮点与洞察¶

首次确立大语言模型具有显式的“剩余输出长度”内部线性表征，揭示自回归生成不仅是局部马尔可夫决策，更受到高层“工作量计划”隐状态的引导。
巧妙区分了“精确计数不可能性”与“连续近似长度估计”，证明即使 Transformer 受限于结构无法精确完成上下文离散计数，也丝毫不妨碍其残差流蕴含高精度的宏观剩余长度几何方向。
回溯突刺现象为链式思维（CoT）推理的可信度检测提供了全新的白盒诊断探针：如果模型表面生成了反思词 “Wait”，但其内部剩余长度估计并未出现跃升，可能意味着该步骤仅是虚假的修辞装饰（decorative step）而非实质性的求解重构。

局限与展望¶

可解码性不代表因果利用：线性探针仅能证明残差流中线性存在该物理量，不能证明模型自回归计算过程必然因果性地使用了该方向。未来需通过激活值干预与路径引导（Activation Patching / Steering）验证操纵长度方向是否能直接缩放生成长度。
回溯跳变目前属于个案定性观察：当前回溯突刺主要来自高 MAE 错误轨迹的个案展示，尚需在大规模验证集上结合非回溯长度匹配对照组开展严格的统计显著性聚合分析。
模型规模覆盖受限：实验集中于 7B-8B 规模的指令微调模型，前沿超大模型（如 70B+ 或闭源前沿模型）以及未经指令微调的基座模型中该长度向量的收敛几何与层级分布仍待检验。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出并证实 LLM 残差流中线性编码剩余生成长度及其反思跳变。
实验充分度: ⭐⭐⭐⭐☆ 跨 3 种架构、7 类数据集以及完备的双向跨数据集矩阵，若补全因果干预则更佳。
写作质量: ⭐⭐⭐⭐⭐ 逻辑论证极度严密，概念边界区分清晰（澄清计数与估计、可解码与因果利用）。
价值: ⭐⭐⭐⭐⭐ 对机制可解释性、推理阶段预算控制、虚假反思检测和早期推理终止均有重大启发意义。