A Mechanistic Analysis of Looped Reasoning Language Models¶

会议: NeurIPS 2026
arXiv: 2604.11791
代码: https://github.com/TrelisResearch/nanochat/tree/recursive
领域: Reasoning
关键词: 循环推理大模型, 机械可解释性, 循环不动点, 推理阶段, 注意力汇

一句话总结¶

通过对循环推理语言模型隐状态与注意力模式的机械可解释性分析，本文揭示出循环块内的各层在循环展开中收敛于互不相同的循环不动点，形成稳定的隐空间循环轨迹，并在深度上周期性复现传统前馈 Transformer 的推理阶段（Stages of Inference）。

研究背景与动机¶

近年来，大语言模型（LLM）通过增加测试时计算量显著提升了复杂推理能力，典型的代表包括思维链（CoT）提示词工程以及基于强化学习的大模型（如 DeepSeek-R1）。然而，这类方法大多依赖于在显式 token 序列维度展开更多的推理词元。为了更高效地利用测试时计算，研究人员转向了在模型隐状态维度进行循环迭代的循环架构（Looped Reasoning LLMs，如 Huginn、Ouro 等），通过在深度维度上重复复用同一组 Transformer 权重块，实现计算量随推理步数自适应伸缩。尽管这类循环模型在数学推理等任务中取得了可观的实证成功，但其内部表征动力学以及计算机制与传统前馈（Feedforward）模型的本质差异仍然缺乏深入的理论与实证解释。

核心矛盾在于：在传统前馈 Transformer 中，随着网络深度增加，各层表征与注意力混合行为会经历剧烈的阶段性转变（即从局部的浅层特征编码，到中间层由注意力汇/巨大激活驱动的压缩，再到深层的解码阶段）。然而在循环模型中，每一轮循环都强制绑定复用完全相同的层级权重，这就带来了一个根本性的理论与机制疑问：循环结构究竟会迫使网络在深度累加下逐渐坍缩为一个静态的不动点（导致后续循环计算退化为恒等变换），还是能够维持多步计算的表征多样性？循环计算在循环展开时，又是如何组织这些推理阶段的？

本文的切入角度是：从动力系统不动点理论与注意力混合度量（ColSum Concentration 等）出发，系统性分析循环 Transformer 的隐状态轨迹与注意力头动力学。核心 idea：证明循环块在隐空间中并非收敛至单一静态点，而是各层分别收敛至独立的相异不动点并描绘出周期性循环轨迹；由此导致注意力模式跨循环趋于恒定，并在每个循环块内部以周期性“分形”般的方式自组织复现前馈模型的完整推理阶段。

方法详解¶

整体框架¶

本文构建了一个系统性的机械分析框架，用于剖析循环推理语言模型的内部计算状态演变。整个分析流程围绕三类核心架构范式展开，输入 token 序列首先经过可选的前奏层（Prelude），随后进入核心的循环块（Recurrent Block）进行 $l$ 次循环迭代，最后经由尾声层（Coda）投影输出；同时在循环块内部支持输入注入（Input Injection）机制。分析框架首先在理论上推导循环不动点存在性及其对自注意力矩阵变化的 Lipschitz 约束，接着在实证上追踪隐状态轨迹与跨循环注意力 Frobenius 范数相似度，最后利用列和集中度（ColSum Concentration）与注意力汇度量映射出推理阶段随深度的周期性演化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入序列 X 经过前奏层 Prelude (p层)"] --> B["1. 循环不动点与闭环轨迹分析<br/>隐状态多步迭代收敛于相异不动点"]
    B --> C["2. 跨循环注意力模式收敛机制<br/>基于Lipschitz条件的注意力矩阵稳定界"]
    C --> D["3. 块内推理阶段周期性映射<br/>ColSum Concentration周期复现前馈混合行为"]
    D --> E["4. 架构约束与外推稳定性验证<br/>输入注入与残差归一化控制外推稳定性"]
    E --> F["输出表征送入尾声层 Coda (c层) 预测Next Token"]

关键设计¶

1. 循环不动点与闭环轨迹分析：揭示跨循环多层状态的相异收敛特性 针对循环模型是否会导致计算冗余坍缩的理论疑虑，本文从动力系统的视角提出了循环不动点定理（Proposition 4.1）。对于包含 $k$ 个 Transformer 块的复合操作 $S_k(X) = B_k(B_{k-1}(\dots B_1(X)\dots))$，假设经过多次循环后整个复合块达到收敛不动点 $S_k(X^*) = X^*$。定理证明了其任意循环置换 $B_{(i+j)\bmod k}$ 也必然同时达到不动点 $Z^*$。至关重要的是，这些在每个子层之后达到的不动点 $X^*, B_1(X^*), \dots$ 在隐空间中彼此独立且不重合。这意味着循环模型并没有退化为单层的恒等映射（即每一层的贡献并没有渐近消失至零），而是在隐空间中稳定跟踪一条闭合的连续循环轨道（Cyclic Trajectory）。通过 PCA 降维分析证明，以带有输入注入的模型（如 Retrofitted Llama）为例，各层的输出状态在经过初期瞬态变换后，后续每一轮循环的轨迹在隐空间中完全重叠，形成高维相空间中的极限环吸引子。

2. 跨循环注意力模式收敛机制：建立基于状态收敛的注意力平滑界 为了阐明隐状态轨迹稳定如何决定自注意力行为，本文建立了注意力模式在循环展开下的理论收敛界（Proposition 4.2）。固定循环块中的第 $\ell$ 层，由于其权重矩阵 $W_{Q,\ell}, W_{K,\ell}$ 跨循环严格绑定共享，且输入状态受模长上界约束 $\|X_{\ell,t}\| \leq B$，定义投影积范数 $\kappa_\ell = \|W_{Q,\ell} W_{K,\ell}^\top\|$。利用 Softmax 函数的 Lipschitz 连续性（取 $L_{\mathrm{sm}} = 1/2$），严格证明了第 $t$ 次与第 $t-1$ 次循环的注意力矩阵差值的 Frobenius/谱范数上界： $$\|\mathcal{S}_\ell(X_{\ell,t}) - \mathcal{S}_\ell(X_{\ell,t-1})\| \leq L_{\mathrm{sm}} \frac{2 B \kappa_\ell}{\sqrt{d}} \|X_{\ell,t} - X_{\ell,t-1}\|$$ 该数学机制表明：随着残差流中同一层的隐状态差异量 $\|X_{\ell,t} - X_{\ell,t-1}\|$ 随循环步数单调递减并趋近于零，该层的自注意力矩阵跨循环差异以严格线性比例被压缩。实验中跨循环注意力矩阵差值的热力图呈现出显著且清晰的对角线模式（Frobenius 范数极小），证实了各层自注意力头的功能在初期循环后迅速进入高度定型的冻结状态。

3. 块内推理阶段周期性映射：发现循环深度自组织重现前馈特征 针对大模型中信息混合与推理阶段如何在受限参数下展开的问题，本文引入列和集中度（ColSum Concentration）量化注意力混合程度： $$C = 1 - H_{\mathrm{col}} = 1 + \frac{1}{\log T} \sum_{j=1}^T c_j \log c_j, \quad \text{其中 } c_j = \frac{1}{T} \sum_{i=1}^T A_{ij}$$ 当注意力高度集中于特定词元（例如 Attention Sink 现象集中在首词元 BOS 或标点符号）时，注意力矩阵列分布的熵极小，导致 $C$ 接近于 1，对应于信息压缩与特征精炼阶段；反之 $C$ 接近 0 则对应宽泛的信息聚合与语义混合阶段。研究发现，循环模型并非在整个展开的有效物理深度上拉伸或平摊这套推理流程，而是在每个独立的循环块内部完整地复刻一遍前馈模型的多阶段模式（浅层高混合 $\to$ 中层注意力汇与特征压缩 $\to$ 深层解码准备）。即便对于从零完全随机初始化训练且仅采用单次最终损失优化的循环模型，这种在循环块内自组织形成前馈推理阶段的现象依然稳固存在，表明该计算模式是 Transformer 解决语言建模目标的最优固有动力学路径。

4. 架构约束与外推稳定性验证：解耦输入注入与残差归一化的关键影响 为了解决不同循环架构在测试时计算外推（Test-time Compute Extrapolation）时表现差异巨大的工程痛点，本文深入剖析了输入注入（Input Injection）与层归一化（Norm Placement）对极限动态的控制机制。分析表明： - 输入注入的关键性：如式 $S_k(X, Z) = B_k(\dots B_1([X, Z] W_I)\dots)$，在每轮循环起点将初始输入 $X$ 与当前隐状态 $Z$ 拼接投影。没有输入注入的架构（如 Ouro 1.4B）在经历 128 次极端外推测试时，无法收敛到稳定的不动点，残差状态持续漂移并导致注意力集中度完全崩塌；而引入输入注入的架构（Huginn-0125 与 Retrofitted Llama）能够极快建立吸引子盆域，保证任意步数外推下的推理阶段稳定。 - 归一化位置的破坏性作用：若在循环块内对每个子模块残差流均施加强制归一化（如 Huginn-0125 的 Sandwich 归一化），会阻断前馈网络中自然出现的“巨大激活”（Massive Activations）的幅值增长，导致模型内部无法自发产生压缩谷与注意力汇，从而消除了清晰的推理阶段；相反，采用 Pre-Norm 或仅在块末尾归一化的设计，则能完美保留健康的推理阶段演进。

损失函数 / 训练策略¶

在探讨模型是否自组织形成推理阶段时，作者剥离了先前工作中带有引导偏差的复杂训练技巧（如 Ouro 针对每个循环步分别计算损失并累加、或 Huginn 使用泊松采样混合循环次数）。作者基于 Nanochat 框架构建了纯净的实验设定：模型架构为包含 2 层前奏、4/8/12 层循环块及 2 层尾声的 $(2, k\otimes 4, 2)$ 结构，模型隐层维度为 512（4 个注意力头，每头维度 128），在 3.7B tokens 数据上完全从零预训练。损失函数采用最标准的前馈自回归交叉熵损失，仅在最后一次循环结束后的输出表征上计算： $$\mathcal{L} = -\sum_{t=1}^T \log P(x_t \mid x_{<t}, Z_l)$$ 训练循环次数在训练全程严格固定为 4 次，实验结果证实即便在此种没有任何逐层监督引导的纯净目标下，模型依然自发在每个循环块中形成了高度对齐前馈模型的列和集中度阶段。

实验关键数据¶

主实验¶

主实验在 GSM8k 数学推理测试集（256 个样本随机子集）及 HellaSwag 常识推理任务上评估了代表性循环架构的隐状态与注意力极限收敛动力学特性。

模型架构	循环配置 $(p,k,c)$	输入注入	训练循环数	极限收敛行为（128次迭代）	推理阶段对齐特性
Retrofitted Llama	$(4, 6, 4)_I$	有 ($W_I$)	32	快速收敛至独立循环不动点（误差范数 $\to 0$）	完美周期性复现 Llama 前馈推理阶段
Retrofitted OLMo-2	$(4, 6, 4)_I$	有 ($W_I$)	32	快速收敛至独立循环不动点	完美周期性复现 OLMo-2 标点汇推理阶段
Retrofitted TinyLlama	$(4, 8, 4)_I$	有 ($W_I$)	32	快速收敛至独立循环不动点	完美周期性复现 TinyLlama 前馈推理阶段
Huginn-0125 (3.5B)	$(2, 4, 2)_I$	有 ($W_I$)	32	快速收敛至相异循环不动点	无明显推理阶段（残差归一化阻断了巨大激活）
Ouro 1.4B	$(0, 24, 0)$	无	4	不收敛至不动点（状态持续振荡漂移）	训练步内复现阶段，但在测试外推时严重崩塌
Ouro 2.6B	$(0, 48, 0)$	无	4	不收敛至不动点（双周期复刻）	循环块内前后各24层分别镜像前馈阶段

消融实验：输入注入与归一化位置对不动点形成与收敛形态的影响¶

本实验在随机初始化的 12 层循环网络（无前奏与尾声）上，严格对比了不同归一化机制在有/无输入注入下的不动点收敛性质（测试 128 次展开）。

归一化结构 (Norm Type)	输入注入 (Input Injection)	第一层与自不动点余弦相似度	第一层与相异层不动点最低余弦相似度	收敛收敛形态判定
Pre-Norm (Retrofitted)	有	1.000 (快速收敛)	< 0.65 (显著相异)	健康相异循环不动点轨迹
Pre-Norm (Retrofitted)	无	1.000 (极速收敛)	1.000 (完全一致)	退化不动点（所有层坍缩至单一静态状态）
Sandwich-Output (Ouro)	有	< 0.85 (缓慢振荡)	< 0.70	未能稳定收敛至固定循环点
Sandwich-Output (Ouro)	无	< 0.75 (持续漂移)	< 0.60	完全发散/无界循环漂移
Sandwich-Residual (Huginn)	有	1.000 (极速收敛)	< 0.80 (稳定相异)	快速收敛至循环不动点，但缺乏激活动态
Sandwich-Residual (Huginn)	无	0.920 (未完全收敛)	0.880	近乎退化且收敛不稳定

此外，在针对极限非不动点奇异行为（Orbits 轨道与 Sliders 滑块）的统计中：在无系统提示词的标准推理下，仅有 0.02% 的 token 表现出非不动点行为；即使在长角色设定提示词下，非不动点行为占比也仅为 0.14%，证实不动点收敛是循环模型占据绝对主导的内在动态。

关键发现¶

相异不动点是循环模型维持表征能力的核心：带有输入注入的 Pre-Norm 模型能够使循环块内的每一层演化到各不相同的空间不动点；若去掉输入注入，Pre-Norm 架构会退化成“所有层输出均收敛到同一个单一表征向量”，使多层深度的分工完全丧失。
巨大激活（Massive Activations）是推理阶段形成的物理前提：消融实验中，若人为将 Retrofitted Llama 第二层产生巨大激活的 MLP 输出置零，原本鲜明的高曲率 ColSum 阶段曲线立即消失；这也从机理上解释了为什么频繁压制残差幅值的 Huginn 无法涌现出特征压缩阶段。
推理阶段的自组织本质：使用极简的单点损失在纯净环境训练的循环 Transformer，其 ColSum 曲线与等效深度的前馈控制模型（Depth=12）几乎呈现完全一致的“谷底-高峰”过渡规律，证明该模式并非由前馈蒸馏或多步辅助损失人工诱导，而是 Transformer 固有的归纳偏置。

亮点与洞察¶

理论与实证的漂亮闭环：通过紧凑的 Lipschitz 边界证明了注意力分布随隐状态收敛而平滑稳定的必然性，不仅为循环模型的注意力冻结提供了数学支撑，也解释了为何注意力模式在初期循环后高度定型。
解开了“深度有害假说”的认知矛盾：先前的解释性工作认为注意力汇与推理阶段的出现是为了抵御模型过深带来的信息过度平滑（Over-smoothing）；然而本文表明循环模型在无限加深迭代步数、持续提升推理准确率的同时，依然以块为周期主动复现该阶段，说明该现象本质上是模型在组织语义特征压缩与路由的积极功能组件。
极具实操价值的架构设计启示：由于各层注意力头在第 2 轮循环后即进入高度稳定的循环模式，未来设计循环大模型时，完全可以在后续循环中对进入“注意力汇阶段”的注意力头实施激进的稀疏化跳过，或对处于低秩压缩阶段的 MLP 实施参数剪枝，从而节省高达 40% 以上的循环推理延迟。

局限与展望¶

理论解释尚未触及吸引子全局收敛域：作者虽然在实证中详尽刻画了输入注入促使不动点形成的现象，并给出了不动点存在下的稳定性推论，但未能从非线性动力学数学上给出“为何特定归一化加输入注入必定构成压缩映射（Contraction Mapping）”的全局解析证明。
未探讨循环模型对超长推理链的动态能力边界：实验主要围绕隐状态收敛与有限层级展开，对于模型在面对超复杂数学证明题时，稳定循环状态究竟是对更深逻辑思维的有力支撑、还是阻碍模型跳出局部循环模式的表达瓶颈，仍有待更深入的任务级因果干预研究。
未来方向：探索基于本论文发现的阶段感知动态架构（Stage-aware Adaptive Compute），例如根据当前循环块所处的推理阶段，动态分配注意力计算预算与前馈网络计算通量。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从机械可解释性视角切入循环推理大模型，揭示出循环相异不动点与推理阶段周期复现的底层机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 款主流循环大模型、多类提示词分布、消融实验、小模型自监督预训练验证及 128 次极限外推压力测试。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨优美，概念界定清晰，图表设计兼具深度与直观性。
价值: ⭐⭐⭐⭐⭐ 为后续循环推理大模型（Looped Reasoning LLMs）的测试时扩展架构设计、注意力稀疏优化与外推稳定性控制指明了清晰路径。

模型架构	循环配置 \((p,k,c)\)	输入注入	训练循环数	极限收敛行为（128次迭代）	推理阶段对齐特性
Retrofitted Llama	\((4, 6, 4)_I\)	有 (\(W_I\))	32	快速收敛至独立循环不动点（误差范数 \(\to 0\)）	完美周期性复现 Llama 前馈推理阶段
Retrofitted OLMo-2	\((4, 6, 4)_I\)	有 (\(W_I\))	32	快速收敛至独立循环不动点	完美周期性复现 OLMo-2 标点汇推理阶段
Retrofitted TinyLlama	\((4, 8, 4)_I\)	有 (\(W_I\))	32	快速收敛至独立循环不动点	完美周期性复现 TinyLlama 前馈推理阶段
Huginn-0125 (3.5B)	\((2, 4, 2)_I\)	有 (\(W_I\))	32	快速收敛至相异循环不动点	无明显推理阶段（残差归一化阻断了巨大激活）
Ouro 1.4B	\((0, 24, 0)\)	无	4	不收敛至不动点（状态持续振荡漂移）	训练步内复现阶段，但在测试外推时严重崩塌
Ouro 2.6B	\((0, 48, 0)\)	无	4	不收敛至不动点（双周期复刻）	循环块内前后各24层分别镜像前馈阶段