How Do Language Models Compose Functions?¶

会议: NeurIPS 2026
arXiv: 2510.01685
代码: https://github.com/apoorvkh/composing-functions
领域: LLM 与 NLP
关键词: 复合推理, 组合性缺口, 机械可解释性, 词元透镜, 嵌入空间几何

一句话总结¶

本文探究了前馈大语言模型执行两跳事实与函数复合 $g(f(x))$ 的内在机制，发现模型在正确求解时并存“组合式逐步计算”与“惯用式直接映射”两种截然不同的表征机制，且任务在词嵌入与解嵌入空间之间是否构成线性平移直接决定了机制的选择。

研究背景与动机¶

组合性行为（Compositional Behavior）被广泛视作实现通用智能与逻辑抽象的核心基石。形式语言与经典符号主义假定，要实现组合性的行为必须依赖内在模块化的符号组合机制；然而，神经网络与人类认知均常常偏离理想的符号逻辑。当前大语言模型（LLM）展现出了令人瞩目的两步甚至多步推理能力，但由于模型内部缺乏显式的符号化架构，学界一直存在关键争议：LLM 产生组合性推理行为究竟是通过内在逐步计算中间变量的“组合式机制”，还是依赖捷径或端到端记忆的“惯用式（idiomatic / direct）机制”？

先前研究（如 Press et al., 2022）在大模型上观察到了普遍的“组合性缺口（compositionality gap）”——即模型即便能独立解决两步单跳子任务 $x \to f(x)$ 和 $z \to g(z)$，却往往无法完成端到端的复合任务 $x \to g(f(x))$。然而，当现代更强大的模型或推理模型偶尔或频繁做对两跳复合问题时，其残差流（residual stream）内部到底发生了什么计算？为何相同逻辑结构的复合任务在不同实例或不同算子下表现大相径庭？

针对这一核心矛盾，本文系统构建了涵盖反义词翻译、百科两跳事实检索、算术运算与字符串变换等 18 组典型复合任务，利用词元透镜（logit lens）、补丁作用域（patchscopes）以及因果激活修补（activation patching）等可解释性工具，逐层解码残差流中的概念表征。本文的核心 idea 是：LLM 求解复合函数并非采用单一的符号执行路径，而是在“组合式计算中间变量”与“跨空间直接几何平移”双重机制间权衡，且静态嵌入空间几何（输入嵌入到输出解嵌入的平移拟合优度）是决定动态推理机制选择的主导诱因。

方法详解¶

整体框架¶

本文针对形式化定义为 $y = g(f(x))$ 的两跳任务进行分析，所有输入与输出均为标准词元。评估统一采用上下文学习（In-Context Learning, ICL）格式，通过 10 个少样本提示词对模型进行贪婪解码评测。对于模型残差流的表征演化分析，作者通过词元透镜将每层残差流投射至词表空间，监测输入变量 $x$、中间变量 $f(x)$（以及在可交换任务中的 $g(x)$）和最终目标 $g(f(x))$ 的倒数排名（Reciprocal Rank, RR）。

整体研究管线包含三个紧密衔接的阶段：首先在多模型规模与架构下验证组合性缺口的存在与收敛趋势；其次，通过残差流探测将正确解题的模型机制解构为组合式机制（Compositional Mechanism）与直接机制（Direct / Idiomatic Mechanism）；最后，在静态词嵌入与解嵌入空间拟合几何平移向量，探索任务几何结构对内部动态计算机制的预测能力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询 Q: x"] --> B["组合性缺口系统评测<br/>单跳 x→f(x), z→g(z) 对比端到端 x→g(f(x))"]
    B --> C["残差流表征探测与解码<br/>词元透镜 Logit Lens & Patchscope 投射"]
    C --> D{"机制判别：中间变量 f(x) 显现?"}
    D -->|存在高 RR 峰值| E["机制一：组合式逐步计算<br/>残差流中按序经历 x → f(x) → g(f(x))"]
    D -->|无中间变量信号| F["机制二：惯用式直接映射<br/>无中间变量特征，直接跃迁输出答案"]
    E --> G["嵌入空间几何平移分析<br/>输入嵌入空间到输出解嵌入空间的最小二乘线性拟合"]
    F --> G
    G --> H["几何诱导机制假说：平移拟合度高则促成直接映射"]

关键设计¶

1. 组合性缺口量化与多模型评测基准

为了精准度量大模型在端到端复合推理上的结构性缺陷，作者将组合性缺口定义为：在模型同时正确预测所有基础单跳因果路径（如 $x \to f(x)$ 且 $f(x) \to g(f(x))$，对于可交换任务还须满足 $x \to g(x)$ 且 $g(x) \to g(f(x))$）的样本子集中，未能正确求解端到端复合 $x \to g(f(x))$ 的样本比例。相较于以往使用自然语言长难句的基准，本文采用极简的词汇级对齐提示模板 Q: {input} \n A: {output}，排除了冗余句法对模型内部残差流计算的干扰。

2. 词元透镜多层解码与双重处理机制发现

为追踪模型前向传播过程中是否显式计算了中间概念，作者运用词元透镜（logit lens）监测查询序列所有相关 token 对应残差流中各个变量的倒数排名（Reciprocal Rank, RR），并将各层最大倒数排名作为该变量是否被激活的度量指标： $$RR(v, l) = \frac{1}{\text{Rank}(v \mid \text{Softmax}(W_U h_l))}$$ 分析结果展现出清晰的双峰分布：在部分任务（如反义词翻译 Word -> Antonym -> Spanish）中，残差流在中层呈现出清晰的 $f(x)$ 激活峰值，随后逐步交接给最终答案 $g(f(x))$，展现出标准的组合式机制；而在另一类任务（如电影导演生年 Movie -> Director -> Birth Year）中，即便模型最终答案完全正确，$f(x)$（导演名）在所有层中的 RR 始终极低（$<0.1$），模型直接完成跳跃，体现出惯用式直接机制。

3. 嵌入空间几何平移与机制偏好预测

为了解释模型为何在逻辑结构一致的任务上分化出截然不同的处理机制，作者提出任务在嵌入空间中的几何平移表征假说。受词向量线性关系及关系解码线性性的启发，作者在 100 个样本上利用最小二乘回归，拟合输入词嵌入向量 $e(x)$ 到输出解嵌入向量 $u(g(f(x)))$ 的空间平移向量 $v$： $$\min_v \sum_i \| (e(x_i) + v) - u(g(f(x_i))) \|_2^2$$ 在剩余未见样本上，以余弦相似度度量该平移关系的重构准确率。实验表明，任务的平移重构能力与组合机制激活程度呈现极强的负相关（$r^2=0.65$）：当一个任务可以通过简单的嵌入向量平移直接逼近时，模型倾向于直接调用这种静态记忆几何，跳过中间变量计算；反之，当几何平移拟合较差时，模型被迫调用组合式计算路径。

4. 中间变量表征的因果干预验证

为验证残差流中解码出的中间变量信号并非旁观副产物，作者采用因果激活修补（Activation Patching）。选取相同内层函数 $f$ 但外层函数不同的任务对（例如 $g \circ f$ 为反义词西语，而 $g' \circ f$ 为反义词德语），将 $g'(f(x'))$ 运行中在层 18 提取的中间残差向量替换修补至 $g(f(x))$ 的前向传播中。在判定为组合机制的样本中，干预导致原预测 $g(f(x))$ 概率显著下降（平均 $-0.95$），并促使模型转向生成匹配 $x'$ 对应的新组合目标，从而在因果层面证实了组合式处理机制中中间变量的实质参与。

实验关键数据¶

主实验：不同模型规模与推理架构的组合性缺口¶

评估在 4 个代表性任务（antonym-spanish, plus-100-times-2, park-country-capital, book-author-birthyear，各 100 样本）上聚合进行，测试模型解决各单跳、复合任务以及组合性缺口（Compositionality Gap, 相对未解决比例）的数值。

模型	参数量 / 类型	解决所有单跳比例 (%)	解决复合任务比例 (%)	组合性缺口 Gap (%)
Llama 3	1B Base	38.0	10.5	72.4
Llama 3	3B Base	46.5	23.0	50.5
Llama 3	8B Base	54.0	32.5	39.8
Llama 3	70B Base	68.0	41.5	39.0
Llama 3-I	405B Instruct	72.0	44.0	38.9
OLMo 2	1B Base	31.0	8.0	74.2
OLMo 2	7B Base	48.0	22.0	54.2
OLMo 2	13B Base	53.0	27.0	49.1
OLMo 2	32B Base	59.0	30.0	49.2
GPT-4o	商业闭源通用	76.0	38.8	49.0
o4-mini	商业推理模型 (2k token)	82.0	67.2	18.0
DeepSeek-V3	671B MoE 通用	71.0	42.0	41.0
DeepSeek-R1	推理模型 (2k token)	77.0	53.0	31.2

消融与关联分析：机制类型、几何表征与准确率相关性¶

下表汇总了各模型中组合式机制启发式得分（基于中间变量最高倒数排名）、嵌入空间几何平移拟合度，以及模型端到端准确率之间的决定系数（$r^2$）及机制分布双峰性比例。

测试模型	机制 vs 几何平移 $r^2$	准确率 vs 机制 $r^2$	准确率 vs 几何平移 $r^2$	双峰极端分布占比 (<0.1 或 $\ge 0.5$)
Llama 3 (3B) Base	0.65	0.22	0.10	82%
Llama 3 (3B) Instruct	0.68	0.14	0.05	81%
Llama 3 (8B) Base	0.61	0.08	0.15	79%
OLMo 2 (7B) Base	0.75	0.14	0.13	85%
OLMo 2 (13B) Base	0.63	0.45	0.20	77%
跨模型均值	0.66	0.21	0.13	81%

关键发现¶

模型规模扩大能够缓解组合性缺口（例如 Llama 3 从 1B 的 72% 降至 8B 的 40%），但边际收益递减极其严重：从 70B 到 405B Instruct，组合性缺口几乎停滞在 39%，未能彻底闭合。
强化推理模型（Reasoning Models 如 o4-mini 和 DeepSeek-R1）显著压缩了组合性缺口（o4-mini 降至 18%，DeepSeek-R1 降至 31%），但即使分配了 2000 个思维链 token 预算，缺口依旧客观存在。
组合机制的存在与最终预测准确率仅呈弱相关（$r^2 = 0.22$），说明模型采用“组合式”还是“直接记忆式”机制均能成功预测答案，机制的选择不取决于难度，而受表征几何支配。
全样本呈现极强的双峰分布特征（81% 以上的样本要么 $RR < 0.1$，要么 $RR \ge 0.5$），表明 LLM 内部对复合函数的处理倾向于做出离散分明的机制选择，而非连续平滑过渡。

亮点与洞察¶

首次揭示了大模型处理两跳复合任务时的机制二元性：模型并非一概按人类预期的 $x \to f(x) \to g(f(x))$ 逐步解题，而是在许多任务中直接端到端提取答案，跳过中间变量。
确立了静态嵌入几何与动态推理机制间的强关联解释框架：用简单的跨空间几何平移拟合度（$r^2=0.66$）完美解释了模型在不同任务间机制切换的根本原因。
提供了关于认知与符号辩论的底层视点：大模型将预训练中充分学习的平移关系视作“基元（primitives）”进行直接记忆提取，仅对未充分压缩的关系退回组合式计算，这为理解神经符号混合表征提供了底层证据。

局限与展望¶

作者承认当前工作主要集中在单次自回归前向传播（单一 forward pass）中的隐式计算，未深入探索显式多步思考（如思维链展开）下残差流与机制的迁移规律。
词元透镜与单词元 patchscope 依赖词表投影，对于跨越多个子词元或抽象概念（难以用单个 token 反映）的中间变量，探测敏感度受限。
尽管发现了机制与几何平移的强关联，但尚未直接证明强制诱导模型采用组合式机制是否能在分布外泛化（OOD Generalization）上带来决定性提升。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从机械可解释性层面系统揭示两跳复合的机制二元性并与空间几何建立定量联系。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 18 类任务、十余种模型家族、多尺度参数量，并综合运用 Logit Lens、Patchscope 与因果干预。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰、逻辑链条严密、图表表达精准。
价值: ⭐⭐⭐⭐⭐ 为大模型内部如何表征复合知识以及认知科学中组合性假说的争论提供了极具洞察力的新视角。