ANI: Adaptive Numerical Injection for Unifying Semantic and Arithmetic Representations in Numerical Reasoning¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Jinsung-Jeon/ANI_EMNLP
领域: LLM 推理
关键词: 数值推理、表示学习、自适应注入、傅里叶数字嵌入、语义探测
一句话总结¶
ANI 提出了一种即插即用的自适应数值注入框架,利用线性探针在 LLM 浅中层上下文成熟度最高处定位注入层,通过门控网络区分纯文本标称实体与可计算数值操作数,在末位子词稀疏残差注入傅里叶数值拓扑,大幅提升数学运算精度同时消除传统替换导致的语义漂移。
研究背景与动机¶
大语言模型在多步链式推理与复杂自然语言理解任务上展现出卓越潜力,但在精确数值运算和复合算术场景中却频频受挫。传统 Transformer 架构普遍依赖离散的子词分词器(如 BPE)将连续数字切分为碎片化的文本 token(例如将 1234 割裂为 12 与 34),导致数字内在的几何拓扑、数量级和模运算连续性被破坏。这种分词碎片化迫使模型仅能根据浅层表面词汇概率猜测下一位数字,在多位数运算或高难度数学问题中极易产生累积误差与幻觉。
为了克服分词离散性的结构缺陷,近年来涌现出基于连续数值嵌入的代表性方案(如 xVal 与 FoNE),尝试将标量直接映射为单一向量以保留数学拓扑结构。然而,这些方法陷入了「上下文无关替换」(Context-Agnostic Substitution)的盲区:它们在输入层无差别地将所有数字 token 粗暴替换为数值嵌入,忽略了数字在自然语言中常常承担的双重功能。在真实语境中,像“Room 505 has a capacity of 10”这样的句子,数字“505”是房间编号(标称标识符,Nominal Identifier),本质上属于文本实体而不具备算术求和意义;而“10”则是定量的算术操作数(Quantitative Operand)。无差别的全局替换剥夺了标称符号的词汇语义,造成灾难性遗忘与语义抹除(Semantic Erasure),在通用语言理解和带编号的工具调用场景中引发严重性能退化。
面对加法融合引发的信号缠绕与静态替换导致的语义抹除这一核心矛盾,关键突破点在于让模型根据上下文自适应辨识数字的角色。与其在浅层输入阶段盲目介入,不如延后到模型隐层表征形成充分上下文语义成熟度(Contextual Maturity)的中间层,让网络自主决策是否注入算术拓扑。核心 idea:将数值增强建模为隐层语义探针机制,在线性探针识别出的上下文成熟层,依据标称与定量角色自适应计算门控系数,在末位子词处以稀疏加法残差注入傅里叶数值流形,实现算术精度增强与通用语言语义保真的严格统一。
方法详解¶
整体框架¶
ANI 被构建为一个轻量级、即插即用的中间层增强模块,介入在自回归 Decoder-only Transformer 的特定隐层。整个处理管线由四个连贯阶段构成: 1. 最佳注入层选择:利用在标称/定量诊断数据集上预先训练的线性探针层级分类准确率,寻找模型上下文语义成熟度最高的中间层作为接入点; 2. 拓扑编码(数值通路):将输入文本中提取的原始标量经由傅里叶数字嵌入(FoNE)转化为高维周期特征,并通过可学习线性映射投影至与 LLM 隐层相同的向量空间; 3. 语义探针(门控通路):针对多子词数字实体的最后一个 token(作为信息汇聚瓶颈),以其隐状态拼接数值嵌入作为输入,通过轻量级门控 MLP 输出连续激活系数,并在训练中施加抛物线二值化惩罚,推理期硬阈值截断为离散决策; 4. 自适应集成:对定量操作数开启门控注入数值拓扑向量,对标称编号关闭门控保持零干扰,所有非数字文本 token 完全绕过该模块以保护预训练流形。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入 token 序列 S 与标量集合 V"] --> B["阶段 1:最佳注入层选择<br/>隐层线性探针确定语义成熟层 l"]
B --> C["阶段 2:拓扑编码(数值通路)<br/>FoNE 周期编码 + 线性映射对齐流形"]
B --> D["阶段 3:语义探针(门控通路)<br/>末位子词信息瓶颈 + 门控 MLP 决策"]
C & D --> E["阶段 4:自适应集成<br/>标称保留 α=0 / 定量注入 α=1 加法残差"]
E --> F["残差深层继续前向传播并输出"]
关键设计¶
1. 最佳注入层选择:解决输入层盲目干预导致的语义与算术功能混淆
针对输入层缺乏上下文信息从而无法辨别数字真实用途的痛点,ANI 放弃在 Embedding 层直接替换,转而探究 Transformer 各隐层的内部表示演化。作者设计了一套诊断式线性探针协议:从 OpenMathInstruct-2(定量计算语境)与经过严格过滤的 Magpie(排除一切算术编程词汇的纯文本标称语境)中各抽样 10,000 个样本构成诊断数据集,在冻结模型各层隐状态输出上训练轻量线性分类器。实验测得分类准确率随层数加深呈现出先升后降的显著单峰规律。在 Qwen3-8B 模型中,第 24 层处的探针准确率达到顶峰 93%(而第 3 层仅有 72%,深层出现任务漂移),证明该深度兼具深厚的局部上下文融合度与完整的语义表征成熟度。ANI 锁定该峰值层 \(l\) 作为唯一介入点,为后续的高精度门控决策提供了最稳健的表征输入。
2. 拓扑编码与流形对齐:消除分词碎片化并解决数学流形与语义空间的分布失配
针对传统分词切碎多位数以及简单数字嵌入表达力贫瘠的问题,ANI 引入傅里叶数字嵌入(FoNE)作为基础标量编码器。给定实数标量 \(x\),FoNE 借助不同频率的周期性正弦和余弦函数构建多尺度特征向量 \(\phi(x) \in \mathbb{R}^{d_{\text{fourier}}}\),不仅完整覆盖数字的绝对幅值,还能精确刻画分数残差与模算术特性。由于高维数学流形与语言模型的潜变量语义空间存在几何分布失配,直接拼接会导致特征干扰。为此,ANI 设计了一个可学习的线性映射矩阵 \(W_P \in \mathbb{R}^{d_{\text{model}} \times d_{\text{fourier}}}\),将周期拓扑特征无损投射至隐层维度空间,生成与骨干模型表示空间对齐的数值嵌入: $\(e_{\text{num}} = W_P \cdot \phi(x)\)$ 该设计将整个连续数字序列抽象为单一高维算术表征,从根本上避开了多位文本拆分的结构缺陷。
3. 语义探针与末位子词稀疏门控:化解多位点重复广播噪声与软连续门控的模糊性
针对在多子词数字每个 token 上全量注入数值特征所产生的 \(L\) 重信号累加干扰,ANI 深入挖掘 Decoder-only 因果自注意力机制的汇聚特性。在因果序列中,多子词切分序列 \(S = \{t_1, \dots, t_L\}\) 的末位子词 \(t_L\) 自然充当整合前序全部字符上下文的「信息瓶颈」。因此,ANI 严格约束数值注入仅在终端 token \(t_L\) 的隐状态 \(h_{t_L}^{(l)}\) 处发生,实现极其紧凑且充分的单次干预。同时,为了在训练中保持端到端可微,门控网络利用 2 层 MLP 结合终端隐状态与对齐后的数值向量计算标量 logit,并通过 Sigmoid 映射为连续激活倾向: $\(z_{\text{num}} = \text{MLP}_{\text{gate}}([h_{t_L}^{(l)}; e_{\text{num}}]), \quad \alpha_{\text{num}} = \sigma(z_{\text{num}})\)$ 为消除模糊的中间过渡状态,训练阶段在语言建模目标中追加了抛物线二值化惩罚项 \(\lambda \mathbb{E}[\alpha_{\text{num}}(1 - \alpha_{\text{num}})]\)(\(\lambda = 0.1\)),迫使门控系数在反向传播中自然收敛至 0 或 1。在推理阶段,直接施加硬门控判定 \(\alpha_{\text{num}} = \mathbb{I}(\sigma(z_{\text{num}}) > 0.5)\)。当 \(\alpha_{\text{num}} = 0\) 时,标称实体保持原始语义不变(\(\tilde{h}_{t_L}^{(l)} = h_{t_L}^{(l)}\));当 \(\alpha_{\text{num}} = 1\) 时,算术操作数激活加法残差(\(\tilde{h}_{t_L}^{(l)} = h_{t_L}^{(l)} + e_{\text{num}}\)),达成严格的零干扰与精度提振。
损失函数 / 训练策略¶
ANI 采用参数高效的 QLoRA 框架微调,冻结骨干 Transformer 大部分权重,仅训练轻量级低秩适配器(秩 \(r=64\)、缩放因子 \(\alpha=128\))、线性映射层 \(W_P\) 以及门控两层 MLP(配有 0.1 的 dropout)。优化目标由标准下一个词元预测(Next-Token Prediction, NTP)交叉熵损失与门控二值化正则项联合构成: $\(\mathcal{L} = \mathcal{L}_{\text{CE}} + \lambda \mathbb{E}[\alpha_{\text{num}}(1 - \alpha_{\text{num}})]\)$ 训练在由 OpenMathInstruct-2 与 Magpie 构成的 20,000 条平衡诊断数据集上执行,使用 AdamW 优化器,恒定学习率设为 \(5 \times 10^{-5}\),单卡 batch size 为 1 并设置 32 步梯度累积。数值格式采用 10 位整数与 6 位小数的高分辨率配置,最大输入上下文支持 4,096 tokens。
实验关键数据¶
主实验¶
在数学推理基准(MATH、GSM8K)与通用多任务语言理解基准(MMLU)上,以 Qwen3-8B 为主干的评估结果如下表所示(均为 4/8-shot Chain-of-Thought 协议):
| 方法体系 | 模型 / 方法 | MATH (Acc %) | GSM8K (Acc %) | MMLU (Acc %) |
|---|---|---|---|---|
| 官方基准 | Qwen3-8B (Official Reference) | 49.28 | 89.84 | 73.75 |
| 文本微调 | Standard SFT | 55.18 | 87.79 | 72.24 |
| 输入级加法 | Digit-wise (Additive) | 56.44 | 88.17 | 72.56 |
| 输入级替换 | xVal | 58.32 | 90.83 | 72.50 |
| 输入级替换 | FoNE | 55.08 | 89.61 | 72.30 |
| 上下文结构 | NumeroLogic | 47.56 | 42.99 | 72.45 |
| 本文方法 | ANI (Ours) | 58.76 | 90.14 | 72.67 |
在 N 位大数直接运算缩放实验(100 道样本精确匹配 Exact Match %)中,ANI 展现出对抗分词碎片化的极强稳定性:
| 模型 / 方法 | 2-digit | 4-digit | 6-digit | 8-digit | 10-digit | 12-digit |
|---|---|---|---|---|---|---|
| Qwen3-8B (Pre-trained) | 75.0 | 48.0 | 6.0 | 0.0 | 0.0 | 0.0 |
| Baseline (SFT) | 100.0 | 95.0 | 88.0 | 73.0 | 44.0 | 50.0 |
| ANI (Ours) | 100.0 | 98.0 | 88.0 | 67.0 | 68.0 | 82.0 |
在多架构与多模型尺度泛化测试中,ANI 跨体系表现出通用增益: - Llama-3.1-8B: Pre-trained 20.5% MATH / 55.3% GSM8K \(\to\) Baseline SFT 26.4% / 63.5% \(\to\) xVal 21.2% / 59.5% \(\to\) ANI 27.2% / 63.5%; - Mistral-7B-v0.3: Pre-trained 11.4% / 37.5% \(\to\) Baseline SFT 16.6% / 52.4% \(\to\) xVal 16.2% / 51.0% \(\to\) ANI 15.0% / 54.4%; - Qwen3-4B: Baseline SFT 48.2% MATH / 82.8% GSM8K \(\to\) ANI 49.5% / 85.2%; - Qwen3-32B: Baseline SFT 62.5% MATH / 92.0% GSM8K \(\to\) xVal 61.6% / 89.2% \(\to\) ANI 63.1% / 93.5%。
消融实验¶
针对门控机制与注入位置的消融结果如下表所示:
| 消融配置 | MATH (Acc %) | GSM8K (Acc %) | MMLU (Acc %) | 说明 |
|---|---|---|---|---|
| ANI (完整模型) | 58.76 | 90.14 | 72.67 | 末位子词自适应门控加法残差 |
| Static Injection (无门控) | 8.60 | 62.70 | 71.41 | 移除门控机制,强制无差别静态替换 |
| Digit-wise Injection (逐词元门控) | 58.70 | 90.37 | 72.29 | 将门控广播至每个子词 token 引起冗余噪声 |
关键发现¶
- 无门控替换的灾难性崩塌:一旦移除自适应门控改为静态注入(Static Injection),MATH 成绩断崖式暴跌至 8.60%,MMLU 亦降至 71.41%。这强有力地证实:不辨语境盲目注入数学流形会引入严重的分布噪声,彻底打乱预训练语言表示空间。
- 逐词元广播与末位子词单点注入的权衡:逐词元广播(Digit-wise Injection)虽然算术表现相近(MATH 58.70%),但 MMLU 下跌至 72.29%,说明在每个子词累积注入数值特征会造成信息过载并稀释语言语义;而末位子词信息瓶颈机制实现了性能与鲁棒性的最优平衡。
- 高难度数学题与细粒度自适应激活:分层 Bootstrap 检验显示,在 MATH Level 4-5 困难题集上,ANI 相比 xVal 实现了统计显著的性能提升(\(\Delta = +0.0134\),\(p=0.0241\));在门控选择比例上,MATH 中激活数值通路的比例高达 48%,而人文社科类 MMLU 题目的激活率接近 0%,展现出极佳的语境自省能力。
- 大数运算稳定性:在 12 位长数字运算中,基座模型因分词切碎完全丧失计算力(0.0%),常规 SFT 仅恢复至 50.0%,而 ANI 凭借统一的 FoNE 拓扑特征达到了 82.0% 的极高精确度。
亮点与洞察¶
- 从输入盲切到隐层语义探针的认知跨越:传统工作往往在 Embedding 阶段过早介入,ANI 揭示了 Transformer 前向过程中「上下文成熟度」的层级发展规律,将干预时机后移到语义消歧峰值层,构思极为精妙。
- 因果注意力下的末位子词信息瓶颈机制:巧妙利用 Decoder-only 架构自回归累积上下文的特性,将整个数值实体的数学表示仅挂载于最后一个子词 token 上,以最小干预代价换取最大计算收益。
- 兼顾连续训练可微性与离散推理保真度的门控正则设计:利用二次多项式惩罚项驱动 Sigmoid 软概率在训练中向两端极化,在推理期无缝切换至硬截断,兼顾了梯度反向传播的平滑性与标称实体的零干扰保护。
局限与展望¶
- 数值精度与极值的编码分辨率上限:当前方案基于 10 位整数与 6 位小数构建 FoNE 周期特征,对于天体物理、高精科学计算等极端大数或超微浮点数场景,仍可能受限于傅里叶基底的频域覆盖范围。
- 最佳成熟层仍需依赖先验探针确定:目前不同模型架构(如 Qwen3-8B 为 24 层,Mistral-7B 为 30 层)的最佳注入点需提前离线探测,尚缺少完全自适应、动态端到端跨模型自学习的层级路由算法。
- 前向计算引入额外微小延迟:尽管门控 MLP 和线性映射参数量极小,但在超低延迟极致吞吐的工业部署环境下,中间层的分支计算与拼接仍带来一定显存调度开销。
相关工作与启发¶
- vs xVal (Golkar et al., 2023): xVal 采用沿固定方向缩放的连续单 token 标量编码,但依赖输入层的无差别替换;ANI 转为在中间成熟层通过门控进行动态注入,在 GSM8K 相当的前提下,MMLU 与 MATH 表现更优且成功保护了标称编号。
- vs FoNE (Zhou et al., 2025): FoNE 提出了傅里叶多周期嵌入以刻画模算术特性,但同样采用静态输入替换导致严重的语义抹除;ANI 继承了 FoNE 的频域表达优势,但将其重构为受控于语义探针的局部加法残差。
- vs NumeroLogic (Schwartz et al., 2024): NumeroLogic 依赖在输入字符串中前缀位数标签做纯文本格式化重构;ANI 直接在隐空间实现表征增强,彻底消除了文本提示工程的冗余与对输入模板的敏感性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出在隐层基于上下文语义成熟度探针实现标称与定量自适应数值路由,构思非常独到。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖多模型家族、长位数缩放、层级敏感度探针、细粒度 Bootstrap 显著性及合成工具调用测试,证据扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨,问题定义清晰,数学形式化表达完整且图表详实。
- 价值: ⭐⭐⭐⭐⭐ 为大模型统一处理自然语言叙述与严格符号/数值计算提供了极具启发性的通用架构范式。