Beyond Input Understanding: Diagnosing Multilingual Mathematical Reasoning with Directed Acyclic Trace Graphs¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Pluto-R/DATG
领域: LLM 推理
关键词: 多语言数学推理, 思维链执行, 有向无环轨迹图, 过程级诊断, 动态中间思维监督
一句话总结¶
论文揭示了多语言大模型数学推理性能暴跌并非仅源于非英文题目的「输入理解失败」,而是思维链在目标语言下的「推导执行崩溃」;为此提出了将解题轨迹映射为语言中立数学锚点与依赖边的有向无环轨迹图(DATG)诊断框架,并设计了结合循环早停与符号骨架的动态测试时思维监督控制机制。
研究背景与动机¶
大语言推理模型(LRMs,如 Qwen3 系列、DeepSeek-R1 蒸馏模型)在英文复杂多步数学题上展现出强大的链式思维(Chain-of-Thought, CoT)能力,但在中低资源语言(如泰语、孟加拉语、斯瓦希里语、泰卢固语)上的表现往往急剧退化。长期以来,学界和工业界普遍将这种多语言推理差距归咎于模型对非英语题目表达的「输入端理解缺陷」——即认为模型是因为读不懂或误解了小语种的问题陈述,才导致在第一步就误入歧途。基于这一假设,大量既有工作均集中在问题翻译增强、多语言指令微调或跨语言对齐上,试图在输入阶段抹平语义断层。
然而,这种将所有故障归结为输入理解的视角并不完整,甚至掩盖了更本质的执行瓶颈。研究团队在 PolyMath 基准上设计了跨语言输入与思考语言的解耦探针:即便题目完全保持为地道的英文(\(en \to x\) 设定),仅要求模型强制使用非英语进行思维链推导,模型的最终答案准确率就会出现断崖式下跌。以 Qwen3-4B 在中等难度题目为例,全英文推理(\(en \to en\))准确率为 53.6%,高资源语言平均为 44.5%,而低资源语言(LRL)平均骤降至 2.0%(斯瓦希里语甚至直接清零归 0.0%);反之,如果题目使用低资源语言输入而强制用英文进行思考(\(x \to en\)),准确率却能迅速回升到 29.2%。这一鲜明反差确凿地证明:语言不仅影响模型的输入理解,更从根本上影响了推理执行轨迹的逻辑推演、事实推导与依赖维护过程。
由于最终答案的准确率只能提供粗粒度的标量判决,无法洞察模型在推导中究竟遗漏了哪些关键前提、何时产生了计算错位或陷入了死循环,急需一种细粒度的过程级诊断工具。核心 idea:将多语言推理故障从「输入理解」显式解耦到「思维链执行轨迹」,提出基于有向无环轨迹图(DATG)的语言中立数学锚点与前置依赖诊断框架,通过闭集对齐量化锚点召回率(CAR)、路径单调保真度(PMF)与有害动作率(HAR),并针对暴露出的结构退化设计早期循环重试(Loop-Retry)与无答案符号骨架(Formula-Retry)动态中间思维监督机制。
方法详解¶
整体框架¶
DATG 诊断与动态监督框架旨在解决非英语推理过程中生成的隐式与显式逻辑断裂问题。整个体系由三个核心阶段构成:首先针对每个数学问题由权威模型生成多路英文参考推导,并将其解析为语言中立的数学锚点有向无环图(Reference DAG);接着将任意目标语言生成的思维链轨迹与参考 DAG 进行语义闭集对齐,抽取出结构化诊断指标(CAR、PMF、HAR);最后根据诊断暴露的循环死锁与前置依赖断裂特征,在测试时部署轻量级动态思维监督干预策略。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["多语言思维链轨迹输入<br/>(en→en / en→x / x→x 设定)"] --> N1["语言中立DAG构建<br/>五路参考解提取数学状态4元组"]
N1 --> N2["闭集轨迹对齐与三维诊断<br/>CAR锚点召回 / PMF依赖保真 / HAR有害动作"]
N2 -->|暴露循环退化与锚点缺失| N3["动态测试时思维监督<br/>Loop-Retry早停重采样 + Formula-Retry符号骨架"]
N3 --> Out["鲁棒的多语言数学推导与可靠最终答案"]
关键设计¶
1. 语言中立DAG构建:解法多样性缺失与自然语言污染 -> 提取纯符号状态4元组与5路参考图集 -> 建立鲁棒的语言无关真值图谱
直接使用单一英文参考答案进行文本匹配会导致对合法的其他解法产生误判,同时自然语言句子中包含大量冗余语气与特定语法结构,无法作为跨语言比对的黄金标准。为此,DATG 采用强推理模型(Qwen3.6-Plus)为每个题目生成 5 路互不相同的英文参考推演,再通过 GPT-5.4 提取出最小完备的数学逻辑 DAG。图中的每个节点均被抽象为严格的数学状态 4 元组:
$\(\text{node} = (\text{id}, \text{anchor}, \text{description}, \text{parents})\)$
其中 \(\text{anchor}\) 严格限制为语言无关的符号等式、代数变形、不等式约束或目标赋值(如 \(\text{eggs\_day} = 16\)、\(\text{remaining} = 16 - 3 - 4 = 9\)),禁止包含任何自然语言叙述;\(\text{description}\) 仅作为短英文阅读注释;\(\text{parents}\) 严格记录审计该节点所必需的前置依赖节点 ID。通过将边定义为数学前置约束而非简单的行文先后时序,构建出了一个既包容多种解题路径又具备严格因果依赖的语言中立评估基准。
2. 闭集轨迹对齐与三维诊断:多语言表述多变无法自动判错 -> 闭集语义事件对齐映射并构建三维正交指标 -> 精确解耦覆盖率、拓扑序与有害动作
模型用小语种推导时,词汇翻译差异和错乱句式极易干扰传统规则评测。DATG 采用闭集语义对齐协议,将目标语言推导轨迹中的片段映射到参考 DAG 的已知节点上,强制赋予 COMMIT(正确确立)、ATTEMPT(部分尝试未完成)、ERROR(推导出数学冲突状态)或 MISSING(完全缺失)四种状态之一。基于此,DATG 提出了三个互补的诊断指标:
- 已提交锚点召回率(CAR):衡量目标轨迹成功建立了参考图谱中百分之多少的必要数学状态,计算为 \(\text{CAR}(T, G_i) = \frac{1}{|V_i|} \sum_{v \in V_i} \mathbf{1}\{z_i(v) = \text{COMMIT}\}\)。
- 路径单调保真度(PMF):衡量已建立的锚点是否严格遵循了前置依赖时序,分母为全图边集 \(|E_i|\),只有当边两端的节点均 COMMIT 且前置节点的提交进度不晚于后置节点(或处于同一语义块)时计入有效边,表征保留前置依赖的真实覆盖程度。
- 有害动作率(HAR):衡量推导过程中出现的主动矛盾、错误前置依赖代入、计算错误或病态重复占全部可判定动作的比例 \(\text{HAR}(T, G_i) = \frac{|A_{\text{harm}}(T, G_i)|}{\max(1, |A_{\text{judge}}(T, G_i)|)}\)。三者结合即可一眼看清是「算丢了步骤」(低 CAR)、「逻辑倒错」(低 PMF)还是「盲目胡算引发级联崩溃」(高 HAR)。
3. 动态测试时思维监督:低资源推导易早熟死锁与中间状态失序 -> 早期重复检测早停与两阶段无答案符号骨架注入 -> 极低算力开销下纠偏轨迹执行
针对 DATG 诊断所揭示的核心病因——低资源模型极易在解题中途遗漏过渡变量(如折扣后剩余价格)并随后陷入字词无限复读死循环,论文设计了两种即插即用的动态测试时监督机制。第一种是 Loop-Retry(循环重试):在解码预算进行到四分之一(\(C = B/4\),对应 low/medium/high 为 1024/2048/4096 tokens)时设置探测哨兵,检查最近 256 tokens 的 \(n\)-gram 重复率与词元丰富度(TTR),同时配合数学进展守卫(检查最近 1600 字符是否产生全新数学符号),一旦判定为无数学进展的死锁循环则果断终止并重采样,避免算力在无效死循环中耗尽。第二种是 Formula-Retry(公式骨架重试):采用两阶段思维协议,在 Phase 1 强制模型于 <execution_state> 块内生成包含已知量、变量映射与未知量占位符(如 remaining = 16 - 3 - 4 = ?)的精简符号骨架(严格禁止计算最终数值),Phase 2 再基于该骨架使用目标语言推导;骨架在重试中保持固定,仅重采样后续执行流。
诊断协议与动态监督机制¶
在实际执行 DATG 诊断时,论文设定了严格的 5-DAG Best-Alignment 协议:每个目标语言推导轨迹 \(T\) 会并行与 5 个候选参考图 \(G_1, \dots, G_5\) 进行闭集对齐,选取排序准则为「优先最大化 CAR \(\to\) 次之最大化 PMF \(\to\) 再次最小化 HAR」的最优匹配图作为最终判据。这种设计确保了只要模型采纳了 5 种合理推导路径中的任意一种,就不会因与其他路径不同而遭受惩罚。同时,对齐系统通过代码精确定位每个提取片段在原始轨迹中的起始字符索引 \(\text{start\_char}\) 与块编号 \(\text{block\_id}\),从而严格判定父节点是否真正先于子节点被推导出来。
在动态测试时监督方面,Loop-Retry 的表面循环检测器由硬性指标联合触发:当 16-gram 重复率 \(\text{rep}_{16} \ge 0.65\)、32-gram 重复率 \(\text{rep}_{32} \ge 0.30\)、检测到长度为 4–32 tokens 连续重复 3 次以上的后缀模序(suffix motif),或满足软性组合条件 \(\text{rep}_{16} \ge 0.50 \land \text{ttr}_{256} \le 0.16\) 时,且 \(\text{math\_progress} = 0\) 时触发重试。重试上限设为 5 次,第 1 次采用重复惩罚系数 1.08,后续重试轻微提升至 1.13,在极其有限的额外 token 预算内实现了对轨迹执行崩溃的高效动态拦截。
实验关键数据¶
主实验¶
论文在多语言数学基准 PolyMath 上系统评测了 Qwen3 系列(1.7B、4B、8B)及 DeepSeek-R1 蒸馏模型(Llama-8B 与 Qwen-32B),覆盖 12 种语言及三种难度等级。下表展示了在 \(en \to x\) 设定下核心语言组与典型代表语言在 DATG 三维诊断指标上的表现(引用自论文 Table 2):
| 语言组 | 语言代码 | 难度 | CAR ↑ (1.7B / 4B / 8B) | PMF ↑ (1.7B / 4B / 8B) | HAR ↓ (1.7B / 4B / 8B) |
|---|---|---|---|---|---|
| HRL (基准) | en (\(en \to en\)) | Low | .94 / .98 / .96 | .90 / .96 / .91 | .03 / .01 / .01 |
| HRL (基准) | en (\(en \to en\)) | Medium | .67 / .78 / .78 | .51 / .68 / .67 | .09 / .04 / .04 |
| HRL (基准) | en (\(en \to en\)) | High | .47 / .61 / .59 | .31 / .46 / .45 | .14 / .08 / .07 |
| HRL | fr (法语) | Low | .90 / .96 / .97 | .83 / .93 / .94 | .05 / .02 / .02 |
| HRL | fr (法语) | Medium | .53 / .74 / .72 | .38 / .61 / .60 | .17 / .07 / .05 |
| HRL | fr (法语) | High | .33 / .52 / .49 | .17 / .39 / .35 | .24 / .12 / .16 |
| MRL | th (泰语) | Medium | .46 / .67 / .67 | .29 / .55 / .54 | .27 / .13 / .10 |
| MRL | bn (孟加拉语) | Medium | .26 / .48 / .53 | .11 / .34 / .37 | .45 / .25 / .19 |
| LRL | te (泰卢固语) | Low | .28 / .75 / .86 | .15 / .67 / .77 | .60 / .18 / .07 |
| LRL | te (泰卢固语) | Medium | .08 / .19 / .32 | .02 / .06 / .18 | .71 / .47 / .35 |
| LRL | te (泰卢固语) | High | .05 / .10 / .18 | .01 / .03 / .06 | .75 / .56 / .43 |
| LRL | sw (斯瓦希里语) | Low | .38 / .59 / .69 | .27 / .50 / .62 | .50 / .34 / .26 |
| LRL | sw (斯瓦希里语) | Medium | .09 / .12 / .28 | .05 / .04 / .19 | .77 / .69 / .50 |
| LRL | sw (斯瓦希里语) | High | .08 / .06 / .11 | .04 / .01 / .04 | .73 / .68 / .62 |
测试时控制消融与对比实验¶
在 Qwen3-4B 上针对低资源语言(斯瓦希里语 sw 与泰卢固语 te)中等难度题目的测试时控制对比实验,直接证明了针对 DATG 暴露出的结构性故障进行干预的有效性(引用自论文 Table 4):
| 控制方法 | sw 准确率 (%) | te 准确率 (%) | 平均准确率 (%) | 解码 Token 量 (M) | 重试触发率 (%) | 平均尝试次数 | CAR ↑ | PMF ↑ | HAR ↓ |
|---|---|---|---|---|---|---|---|---|---|
| Loop-Retry (本文) | 35.2 | 8.8 | 22.0 | 1.809 | 50.4 | 1.90 | .30 | .18 | .51 |
| Formula-Retry (本文) | 18.4 | 9.6 | 14.0 | 1.937 | 46.8 | 2.00 | .30 | .13 | .38 |
| Repetition Penalty | 9.6 | 12.8 | 11.2 | 1.623 | 0.0 | 1.00 | .19 | .09 | .60 |
| Fixed Retry | 14.4 | 8.8 | 11.6 | 1.821 | 100.0 | 2.00 | .21 | .14 | .63 |
| Best-of-2 (神谕上界) | 8.0 | 12.8 | 10.4 | 3.543 | 100.0 | 2.00 | .18 | .08 | .62 |
| Random Retry | 11.2 | 8.0 | 9.6 | 1.548 | 52.8 | 1.53 | .22 | .13 | .61 |
| Base (无干预基线) | 4.8 | 8.0 | 6.4 | 1.772 | 0.0 | 1.00 | .18 | .07 | .62 |
关键发现¶
- 结构指标与答案正确性高度解耦且正相关:在所有难度下,最终算对的轨迹其 CAR 均值达 .91、PMF 达 .85、HAR 仅为 .04;而算错的轨迹 CAR 仅为 .36、PMF 仅为 .22、HAR 飙升至 .32。即使在高难度题中,算对的轨迹依然维持了 .79 的 CAR 和 .67 的 PMF,确证 DATG 捕获的是推导正确性的深层骨架,而非简单的浅层 token 概率。
- 低资源语言在复杂任务中发生结构雪崩:在中高难度题目上,Qwen3-4B 在斯瓦希里语上的 CAR 跌落至 .12 和 .06,PMF 跌至 .04 和 .01,有害动作率 HAR 高达 .69 和 .68。模型不仅无法维持中间计算结果,更将大量生成的错误变量当作后续依赖,最终诱发无意义的后缀无限重复。
- 针对性控制优于盲目扩展算力:Best-of-2 消耗了高达 3.543M tokens,但平均准确率仅有 10.4%;而 Loop-Retry 仅消耗 1.809M tokens(仅比 Base 的 1.772M 增加约 2% 开销),就将低资源平均准确率从 6.4% 提升到了 22.0%(在斯瓦希里语上暴涨 7 倍以上,从 4.8% 升至 35.2%),且其 CAR 升至 .30、PMF 升至 .18、HAR 降至 .51,验证了结构修复带来的实质性能力挽救。
亮点与洞察¶
- 认知视角的关键转向:打破了过去将多语言多步推理落后全盘推给「题干理解不清」的经验主义认知,通过严格控制输入变量第一次从实验上分离出思维链「执行层」语言脆弱性。
- 高保真语言中立诊断范式:提出的 DATG 将文本推理映射为拓扑图,避免了传统关键词匹配对小语种的严重水土不服,人类专家审计证明其节点与边有效性均超过 96%,HAR 提取精度高达 90.1%。
- 极小代价的过程化干预(Actionability):无需昂贵的全量多语言后训练,在推理阶段仅凭前 25% 预算处的轻量监测与纯结构无答案骨架引导,就能将原本彻底瘫痪的小语种数学推理拉回正轨。
局限与展望¶
- 依赖前序大模型构建图谱与对齐:DATG 本身仰赖商业级顶尖模型(Qwen3.6-Plus 与 GPT-5.4)来提取 5 路参考解和执行闭集语义匹配,虽然人工校验吻合度高,但对于尚未有强模型完全解决的超前沿前沿数学证明,参考图的生成会面临覆盖瓶颈。
- 语言漂移(Language Drift)残留:尽管设计了系统前缀控制思考语言,但在中低资源语言推理的末期,模型有时仍会偶发性地回退到英文片段或中英混杂。
- 符号骨架的自动化获取机制尚待完善:Formula-Retry 虽然在低难度题上能取得 81.2% 的惊人表现(较 Base 的 55.2% 大幅提升),但目前骨架由模型自身在 Phase 1 给出,对于超高难度难题,模型在 Phase 1 本身就可能生成错误的骨架。
相关工作与启发¶
- vs. mCoT / MMATH 等多语言评测工作:既有基准仅通过最终数值比对或浅层句子 BLEU/ROUGE 统计差距,无法定位「在哪一步崩溃」;本文的 DATG 提供了节点级、因果边级的白盒化推演审计。
- vs. ProcessBench / ROSCOE / PRM 过程监督模型:通用过程评分工具严重偏向英文语料,缺乏跨语言迁移的一致性判据;DATG 创新性地用「英文参考图 \(\to\) 符号抽象 \(\to\) 多语闭集对齐」搭起了语言中立的评判桥梁。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从实验上系统解耦多语言 CoT 的输入理解与推导执行,并建立拓扑图诊断指标。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大模型、12 种跨资源层级语言、3 个难度等级及全面的人工可靠性评估。
- 写作质量: ⭐⭐⭐⭐⭐ 概念清晰,三维指标定义数学严谨,消融与案例剖析详实透彻。
- 价值: ⭐⭐⭐⭐⭐ 为多语言推理模型的故障归因和轻量级测试时推理对齐提供了极其坚实的工具与落地路径。