Soft Token Alignment for Cross-Lingual Reasoning¶

会议: NeurIPS 2026
arXiv: 2606.26466
OpenReview: https://openreview.net/forum?id=pJ0iIOHK6H
代码: 待确认
领域: LLM 推理
关键词: 跨语言推理, 软标记对齐, 连续表示, 监督微调, 思维链

一句话总结¶

针对多语言大模型在晚期离散解码时因词表差异导致语义分歧的问题，提出在监督微调阶段以英文为锚点、对齐推理轨迹序列均值软标记的辅助目标 SOLAR，显著提升跨语言推理准确率与跨语言一致性。

研究背景与动机¶

多语言大语言模型在服务全球用户时，经常面对语义完全等价但语言不同的提示词给出相互矛盾的推理过程与最终答案。近期内部表示层面的机理研究表明，Transformer 的中间层表征通常保持高度的语言不可知性（language-agnostic），但在接近最终层时，模型由于必须针对目标语言的特有书写系统（如汉字、泰文字形或拉丁字母）挑选离散词元，表示迅速向特定语言极化。这种晚期分歧使得即便深层网络已经推导出了相同的逻辑思路，离散解码也会强行将词表上的概率质量坍缩为单一语言词元，导致等价的推理链发生不可逆的分流。

为了缓解离散选择带来的语义坍缩，近年来涌现的连续空间推理（如 Soft Thinking）尝试以词表嵌入的概率加权混合——软标记（soft token）替代硬离散采样。然而，现有的软推理方案本质上只是一种测试阶段的解码机制，尽管它们在自回归生成中软化了离散决策，却从未在训练层面约束不同语言之间的等价推理路径保持对齐。这导致跨语言推理不一致的核心症结并未被根本触及：模型缺乏一种脱离具体离散词表依赖、能够在多语言共享嵌入空间中拉近等价逻辑轨迹的显式监督信号。

针对这一瓶颈，本文的核心切入点是将原本仅用于推理生成的软标记转化为监督微调（SFT）阶段的跨语言对齐监督信号。核心 idea：将多语言推理轨迹与最终答案转化为词表嵌入矩阵上的期望加权软标记向量并沿时间维度均值汇聚，在共享嵌入空间中以英文为锚点，通过余弦距离约束非英文推理轨迹向英文语义锚点对齐。

方法详解¶

整体框架¶

SOLAR（Soft Token Alignment for Cross-Lingual Reasoning）是一种轻量级辅助微调目标，无缝集成于标准的多语言监督微调流程中。给定以英文为枢纽的跨语言平行问答与推理数据对，模型在教师强制（teacher forcing）下对离散目标参考文本进行单次前向传播，计算常规自交叉熵分类损失；同时，模型在响应序列的每个时间步导出经过温度缩放与 Top-\(k\) 截断归一化的词表概率分布，计算该分布在共享词表嵌入矩阵上的数学期望，从而得到局部的软标记表示。

为了抹平不同语言因分词颗粒度、语序及表达长度各异造成的长度不匹配，SOLAR 沿着响应序列的全部时间步对软标记进行均值池化（mean-pooling），形成句篇级别的连续语义汇聚向量。最后，模型固定英文分支的梯度（stop-gradient），单向优化非英文分支，最小化其与对应英文汇总向量之间的余弦距离。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多语言平行输入与推理数据<br/>(英文与非英文对)"] --> B["前向传播与局部概率计算<br/>教师强制并行推理"]
    B --> C["Top-k 截断软标记加权<br/>词表嵌入空间期望计算"]
    C --> D["全序列软标记均值汇聚<br/>生成全局语义摘要向量"]
    D --> E["单向余弦相似度对齐<br/>非英文向英文锚点优化"]
    E --> F["联合多任务监督微调<br/>交叉熵主损失 + 对齐损失"]

关键设计¶

1. 词表嵌入期望软标记：跳出离散词表的语义连续表征

传统离散思维链在自回归每一步都通过硬采样强制将连续隐状态投影到离散词元上，不同语言孤立的子词分块直接切断了底层的跨语言语义流。SOLAR 针对该瓶颈，将输出概率分布直接投影回共享的词表嵌入矩阵空间。在每个生成时间步 \(t\)，模型首先获得未经截断的 logits 向量并通过温度参数 \(\tau\) 缩放计算基础 softmax 概率分布，接着保留概率最高的 Top-\(k\) 个词元构成集合 \(F_t\)，对其进行概率归一化后计算加权期望：

\[\tilde{p}_{\theta}(v \mid \mathbf{e}_{1:t-1}) = \frac{p_{\theta}(v \mid \mathbf{e}_{1:t-1})\mathbf{1}[v \in F_t]}{\sum_{v' \in F_t} p_{\theta}(v' \mid \mathbf{e}_{1:t-1})}\]

\[\mathbf{e}_t^{\text{soft}} = \sum_{v \in V} \tilde{p}_{\theta}(v \mid \mathbf{e}_{1:t-1}) \cdot \mathbf{E}[v]\]

其中 \(\mathbf{E} \in \mathbb{R}^{|V| \times d}\) 是共享的标记嵌入矩阵。这种加权混合机制不再承诺特定的离散词元或文字字形，即便不同语言在输出端激活了彼此互斥的词表子集，软标记依然能够汇聚同义词与相关跨语言概念的密集嵌入向量，使得在几何空间中进行无偏比较成为可能。

2. 全局均值汇聚与单向锚点对齐：解决多语言长度与步骤漂移

不同语言在阐述同一推理逻辑时，所需步数、句子拆解习惯及句法成分完全不同，强行按换行符划分步骤或按相对位置进行逐步强对齐极易引起错位匹配。SOLAR 放弃了易受分段误差干扰的细粒度局部约束，直接在整个推理过程和最终答案覆盖的所有响应位置 \(T\) 上执行均值池化，得到稠密连续向量 \(\bar{\mathbf{e}}_{\ell}^{\text{soft}} = \frac{1}{T}\sum_{t=1}^T \mathbf{e}_t^{\text{soft}} \in \mathbb{R}^d\)。随后，以在推理评测中基线能力最强的英文作为基准枢纽语言 \(\ell^* = \text{en}\)，通过余弦距离构建跨语言对齐损失：

\[\mathcal{L}_{\text{align}}(\ell^*, \ell) = 1 - \cos\left(\bar{\mathbf{e}}_{\ell^*}^{\text{soft}}, \bar{\mathbf{e}}_{\ell}^{\text{soft}}\right)\]

在反向传播过程中，英文端向量 \(\bar{\mathbf{e}}_{\text{en}}^{\text{soft}}\) 施加截断梯度（stop-gradient），确保对齐梯度的流向单一，即纯粹驱动非英文路径向英文空间靠近，避免反向拖拽拉低高资源英文原有的推理先验。

损失函数 / 训练策略¶

在监督微调过程中，SOLAR 作为辅助项附加到非英文样本的常规自回归交叉熵损失之上：

\[\mathcal{L}_{\text{SFT}}^{(\ell)} = \mathcal{L}_{\text{CE}}^{(\ell)} + \lambda \cdot \mathcal{L}_{\text{align}}(\ell^*, \ell)\]

对于英文样本，直接保留标准单语交叉熵目标，即 \(\mathcal{L}_{\text{SFT}}^{(\text{en})} = \mathcal{L}_{\text{CE}}^{(\text{en})}\)。超参数 \(\lambda > 0\) 控制几何对齐与文本生成预测之间的权衡，实验证明设置 \(\lambda = 0.50\) 时能取得最佳综合性能，若盲目扩大至 \(\lambda \ge 1.00\) 则会冲淡自回归生成的自然语言建模能力。软标记生成过程中，温度超参数设定为 \(\tau = 1.0\)，截断窗口设定为 \(k = 30\)。

实验关键数据¶

主实验¶

评估涵盖 4 个代表性多语言复杂推理基准：MGSM（多语言数学题）以及 XReasoning 系列的 AIME 2024、AIME 2025 和 GPQA Diamond，覆盖 En、Fr、Ja、Sw（斯瓦希里语）、Te（泰卢固语）、Th（泰语）和 Zh 等 7 种跨资源层级语言。在 Qwen3-4B 与 Qwen3-8B 上的评测综合对比如下：

模型与方法	MGSM 准确率 (CLC)	AIME 2024 准确率 (CLC)	AIME 2025 准确率 (CLC)	GPQA 准确率 (CLC)	平均准确率 (CLC)
Qwen3-4B Base	74.01 (69.31)	31.10 (23.89)	23.05 (17.61)	27.52 (14.56)	38.92 (31.34)
+ Soft Thinking	74.23 (70.37)	31.86 (24.44)	23.33 (18.22)	27.34 (14.31)	39.19 (31.84)
+ SFT	76.25 (72.29)	34.76 (25.17)	27.90 (20.44)	43.75 (33.15)	45.67 (37.76)
+ MidAlign	76.45 (73.11)	36.67 (27.11)	29.05 (23.22)	43.00 (32.47)	46.29 (38.98)
+ MAPO	77.52 (73.90)	34.76 (25.89)	25.81 (18.94)	40.32 (30.15)	44.60 (37.22)
+ AlignX	77.69 (73.00)	36.00 (26.88)	27.76 (20.10)	43.03 (32.97)	46.12 (38.24)
+ SOLAR (本文)	78.27 (75.61)	38.52 (29.67)	30.95 (24.51)	45.24 (36.26)	48.25 (41.51)
Qwen3-8B Base	83.42 (80.51)	62.10 (56.06)	54.91 (45.06)	52.68 (42.69)	63.28 (56.08)
+ SFT	86.90 (84.71)	65.67 (58.67)	58.38 (50.13)	63.64 (55.73)	68.65 (62.31)
+ SOLAR (本文)	88.27 (87.28)	67.52 (60.61)	60.10 (53.02)	64.96 (57.27)	70.21 (64.55)

消融实验¶

基于 Qwen3-4B 在多语言推理基准上针对关键组件的消融分析如下：

消融配置	MGSM 准确率 (CLC)	AIME 2024 准确率 (CLC)	平均准确率 (CLC)	说明
SOLAR 完整模型 (\(k=30\), 均值汇聚)	78.27 (75.61)	38.52 (29.67)	48.25 (41.51)	默认配置，表现最佳
对齐目标：离散 Top-1 标记	76.37 (73.50)	35.63 (26.06)	46.00 (38.61)	退化为硬词元嵌入，丢失概率混合语义
对齐目标：末层隐状态 (Final-hidden)	76.97 (73.79)	35.47 (25.91)	46.09 (38.57)	末层隐状态包含强语言相关性，不如嵌入空间一致
对齐目标：未截断全词表加权	77.19 (74.72)	37.03 (27.63)	46.55 (39.94)	长尾噪声词元干扰跨语言对齐质量
汇聚粒度：仅答案区间 (Answer-only)	76.00 (71.91)	34.93 (25.92)	45.95 (38.43)	丢失推理思维链轨迹，效果回退至 SFT
汇聚粒度：分步对齐 (Step-level)	77.04 (73.34)	37.03 (28.95)	47.31 (41.00)	因换行分块无法保证跨语言严格对应而受损
表征空间：直接在概率空间 \(\mathbb{R}^{\\|V\\|}\) 对齐	60.27 (44.76)	-	-	词表支撑集正交，余弦距离彻底失效
锚点语言改用中文 (Zh)	74.50 (70.97)	-	-	基座中文本身弱于英文，迁移锚定收益打折

关键发现¶

低资源语言受益最为显著：在 MGSM 榜单上，斯瓦希里语（Sw）的推理准确率在 Qwen3-4B 上由基座的 29.04% 跃升至 53.48%（提升 +24.44%），在 Qwen3-8B 上从 59.36% 提升至 81.36%；而高资源语言（如中文、英文、法文）保持稳健甚至略有上升，验证了跨语言对齐在逻辑先验最薄弱的语种上红利最大。
保留原生目标语言思维与表达：行为学统计表明，SOLAR 微调后的模型在多语言数学推理中保持了 98.13% 的目标语种文字输出比率，并几乎完全压制了低资源语种（如泰卢固语）在生成阶段向拉丁字符/英文的退化竞争，并未发生为了与英文对齐而被迫全盘改写为英语思考的语言污染。
内部表征聚类瓦解：末层表征的轮廓系数（Silhouette Score）显著从基座的 0.89 降至 0.77，跨语言余弦相似度（CLS）由 0.14 大幅升至 0.50，证明模型在接近生成端时有效维系了共享的多语言概念空间。

亮点与洞察¶

将推理期探索逆转为训练期辅助信号：巧妙地将原本用于测试时自回归生成的软标记（Soft Thinking）移植到微调阶段的无额外参数辅助损失函数中，无需显式对齐模型或复杂价值网络即可获得强大表征对齐红利。
跨词表空间期望投影化解对齐鸿沟：通过词表矩阵期望将离散概率分布映射到连续嵌入空间 \(\mathbb{R}^d\)，彻底避开了不同语言间因词表不相交而无法计算直接分布散度的难题。
全序列均值汇聚的鲁棒性：发现了在跨语言推理中，粗粒度的整序列均值汇聚远比基于换行符脆弱启发式的分步对齐更加鲁棒，成功化解了跨语种表达冗余度与步骤不匹配。

局限与展望¶

依赖平行推理语料与英文锚点：模型需要配对的同源高质量跨语言长思维链数据（如 M-s1k），依赖先验性能最强的单一语言（英文）作为锚点，难以直接拓展到无平行配对的纯单语独立后训练语境。
全局均值汇聚抹杀精细逻辑时序：虽然全序列均值汇聚避免了跨语言步骤不对齐的噪声，但也彻底放弃了逻辑推导的时序动态演进，对于超长、多分支或复杂纠错回溯的推理场景可能粒度过粗。
未来方向：探索内容自感知（content-aware）的语义断句与动态对齐机制，并结合强化学习（如 PPO/GRPO）在无显式平行标注样本下利用软标记执行自洽性偏好对齐。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将测试时软标记概念反向重构为跨语言监督微调对齐目标，思路新颖且优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大硬核推理基准、7 种典型语言、4 种参数体量，配备详实的表征几何与行为统计分析。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，图文对照紧密，消融分析层次清晰且切中要害。
价值: ⭐⭐⭐⭐☆ 极低改造成本即可大幅弥合多语言模型在低资源语言上的复杂推理能力断层，具有极高工程落地参考价值。