跳转至

Directional Structurality: A Lightweight Proxy for Reasoning Data Quality

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 推理
关键词: 推理数据筛选, 方向结构性, 局部DeltaAvg, 持续预训练, 语义反转干预

一句话总结

本文提出将依赖方向敏感性(定向结构性)作为推理数据质量的核心代理,设计了免训练的局部负对数似然差分指标 Local-DeltaAvg,在匹配 token 预算的持续预训练与测试时重排序中显著优于长度、困惑度、难度与大模型裁判基线。

研究背景与动机

大语言模型越来越依赖海量多步解答轨迹来内化复杂的推理能力,但现有的推理语料往往充斥着冗长冗余的解释、虚假的捷径推理以及缺乏逻辑递进的噪声推导。现有的数据筛选准则通常依赖序列长度、语言模型困惑度(PPL)、输入问题难度或基于 LLM-as-a-judge 的打分。这些启发式信号虽然易于计算,但主要反映的是表面句法复杂度、文本流畅度、输入难度或评判模型的外部偏好,而无法有效区分一段长文本究竟是包含严谨的链式推演,还是仅仅堆砌了大量毫无逻辑实质的冗词废话。

这种评估机制的局限在于忽视了推理轨迹内在的有向依赖结构:高质量的推理数据应当能够清晰呈现前提条件如何逐步支撑中间推论、约束如何层层收紧。人类编写或高质量的逻辑证明呈现出天然的前提至结论方向流动;若打破或反转这种推演顺序,后续步骤的自回归预测难度将大幅上升。而现有的无监督筛选方法缺乏一种既能隔离文本词汇重叠与领域先验、又能直接量化逻辑依赖因果方向性的轻量度量工具。

本文从信息流的有向非对称性切入,指出高价值推理样本必然具备显著的方向敏感性(Directional Structurality)——在正向逻辑展开时每一步条件清晰、编码代价低,但在语义反转干预下关键推导步骤将变得难以恢复。核心 idea:通过构建答案前置且步骤反转的语义反转反事实样本,利用固定探测模型计算局部滑动窗口内的正反向负对数似然差异(Local-DeltaAvg),以局部方向编码间隙的峰值作为轻量免训练的推理数据质量代理指标。

方法详解

整体框架

Local-DeltaAvg 的整体流程包括推理轨迹的分段与反事实构造、探测模型正反向编码代价计算、基于锚点对齐的局部差分聚合,以及最终基于峰值间隙分数的轨迹排序与筛选。整个计算过程仅依赖一个参数冻结的轻量探测语言模型(例如 Qwen2.5-1.5B-Base),不需要任何步骤级的人工监督标签,也不需要目标模型的下游反馈。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入候选推理轨迹<br/>x = (q, u1, ..., um, a)"] --> B["语义反转反事实构建<br/>保持步内词序,反转解释次序"]
    B --> C["探测模型双向编码代价<br/>正向与反向上下文 NLL 计算"]
    C --> D["锚点对齐与局部差分聚合<br/>滑动窗口计算 Local-DeltaAvg 曲线"]
    D --> E["峰值瓶颈聚合与预算筛选<br/>取 D(x) = max Δ(t; w) 排序选出子集"]

关键设计

1. 语义反转反事实构建:在固定内容下实施依赖顺序因果干预 为了隔离单纯的词汇偏好、领域熟悉度和通用语言流畅度,方法需要构建一个与原样本语义内容严格对称但逻辑依赖顺序被破坏的反事实参照。对于原推理轨迹 \(x = (q, u_1, \dots, u_m, a)\)(其中 \(q\) 为问题,\(u_i\) 为中间推导步骤,\(a\) 为最终答案),语义反转算子 \(\mathcal{R}\) 将其转换为: $\(\tilde{x} = \mathcal{R}(x) = (q, a, u_m, u_{m-1}, \dots, u_1)\)$ 这种设计将最终结论直接置于问题之后,并将推导步骤逆向展开,但严格保留了每个推导步骤内部的原生 token 词序。与机械的词元级(token-level)逆序产生语法崩溃的乱码不同,语义反转在保持局部文本合法性的同时,精确干预了推导步骤间的信息可达性,使得反向序列无法在自回归生成时利用前置前提的逻辑支撑。

2. 探测模型双向编码代价计算:衡量因果依赖的方向非对称性 给定一个固定的轻量自回归探测模型 \(p_\theta\),系统分别计算原始正向序列 \(x = (s_1, \dots, s_T)\) 与语义反转序列 \(\tilde{x} = (\tilde{s}_1, \dots, \tilde{s}_{\tilde{T}})\) 在各位置的条件负对数似然(NLL): $\(\ell_f(t) = -\log p_\theta(s_t \mid s_{<t}), \quad \ell_r(t) = -\log p_\theta(\tilde{s}_t \mid \tilde{s}_{<t})\)$ 在潜在依赖图的视角下,若探测模型合理近似数据分布,正向编码反映了条件已知时的推导确定性,而反向编码则强迫模型在缺失关键前提的基础下去预测支撑步骤。两个方向的编码代价之差正比于上下文信息熵的差异 \(H(U_i \mid C_i^{\text{rev}}) - H(U_i \mid C_i^{\text{fwd}})\),使得指标直接衡量了因果逻辑的有向不可逆性。

3. 锚点对齐与局部差分聚合:消除全局平均稀释并定位逻辑瓶颈 为了将反向序列的编码代价精确映射回正向序列的对应逻辑位置,系统通过基于关键词的锚点对齐映射函数 \(\pi(\cdot)\) 建立跨方向位置对应。在正向序列每个位置 \(t\) 设立窗口大小为 \(w\)(默认 \(w = 64\))的局部窗口 \(W_t = \{\tau \mid |\tau - t| \le w/2, 1 \le \tau \le T\}\),定义局部有向间隙为: $\(\Delta(t; w) = \frac{1}{|W_t|} \sum_{\tau \in W_t} \left[ \ell_r(\pi(\tau)) - \ell_f(\tau) \right] = \frac{1}{|W_t|} \sum_{\tau \in W_t} \log \frac{p_\theta(s_\tau \mid s_{<\tau})}{p_\theta(\tilde{s}_{\pi(\tau)} \mid \tilde{s}_{<\pi(\tau)})}\)$ 这一序列构成了推理轨迹上的局部方向间隙曲线。高间隙区域精确对应着正向容易预测而反向极难还原的“推理瓶颈”(Directional Bottlenecks)。为了进行全局样本级筛选,最终的轨迹质量打分取整条曲线上最大的局部峰值: $\(D(x) = \max_t \Delta(t; w)\)$ 相比于全序列求平均的全局变体(\(w = \infty\)),峰值聚合能够有效防止冗长推导中松散步骤对关键逻辑跃迁信号的稀释。

损失函数 / 训练策略

Local-DeltaAvg 本身是完全免训练的计算指标,不修改探测模型参数。在筛选出的数据子集上执行推理导向持续预训练(CPT)时,采用标准的自回归因果语言建模交叉熵损失函数: $\(\mathcal{L}_{\text{CPT}}(\phi) = - \sum_{t=1}^T \log p_\phi(s_t \mid s_{<t})\)$ 在 Qwen2.5-7B-Base 主干上持续预训练时,统一配置序列长度为 4096,全局批次大小为 4M tokens,总步数为 500 步(累计 2B tokens),使用 AdamW 优化器(\(\beta_1 = 0.9, \beta_2 = 0.95\)),峰值学习率 \(2 \times 10^{-5}\),50 步预热后余弦衰减至峰值的 10%,采用 bfloat16 精度在 8 卡 H100 80GB GPU 上运行。预训练完成后,在约 50K 样本(约 20M tokens)的标准 SFT 数据集上执行完全相同的微调协议。

实验关键数据

主实验

在 20B token 的 STEM 推理候选池中,各方法选出相同的 2B token 预算用于 Qwen2.5-7B-Base 持续预训练,并在相同下游 SFT 后于五大核心推理基准(GSM8K、MATH500、AIME24、GPQA-D、LiveCodeBench)及两项非推理控制基准(HellaSwag、MMLU)上进行评测。所有数据经过 3 个独立 CPT 随机种子平均,评估置信区间采用配对自助法(Bootstrap)计算。

筛选方法 GSM8K MATH500 AIME24 GPQA-D LiveCodeBench HellaSwag MMLU 推理平均 评测 95% CI
Random-STEM 66.5 52.5 12.2 45.5 52.5 83.1 74.2 55.2 [54.3, 56.4]
Length filter 66.0 52.0 11.1 46.8 52.1 82.5 73.8 54.9 [53.8, 55.7]
Forward PPL / Loss 67.5 53.5 12.2 46.8 52.5 83.3 74.4 55.7 [54.6, 56.5]
LLM Judge / Quality Score 68.8 55.0 13.3 46.3 53.2 83.0 74.1 56.2 [55.3, 57.1]
Local-DeltaAvg (全局, \(w = \infty\)) 70.0 56.5 14.4 47.1 54.0 82.8 73.9 57.0 [56.1, 57.8]
Local-DeltaAvg (局部, \(w = 64\)) 71.5 58.5 16.7 47.3 54.0 82.6 73.8 57.8 [56.9, 58.9]

在跨 3 个种子评测的核心推理均分上,Local-DeltaAvg (\(w = 64\)) 达到 49.6 ± 0.2,显著超越 Random-STEM(45.8 ± 0.2)、Length filter(45.6 ± 0.2)、Forward PPL(46.5 ± 0.2)以及强基线 LLM Judge(47.3 ± 0.2)。而在 HellaSwag 和 MMLU 等常识记忆与事实检索任务上,各方法表现持平甚至略低(82.6 vs 83.1,73.8 vs 74.2),表明该指标对逻辑结构具有极强的针对性,不依赖表面语言流利度溢出。

消融实验

消融实验检验了反转构建策略对下游持续预训练效果及与人类推理质量相关性的影响,同时分析了滑动窗口大小 \(w\) 的敏感度。

反转构建方式 候选数据 样本数 \(N\) DeltaAvg 均值 人类质量相关性 \(\rho\) CPT 推理均分 (5大基准) 主要问题与表现
语义反转 (Semantic reversal) GSM8K 1000 0.52 0.61 49.6 (全量2B) / 46.7 (单次) 推荐方案,精确捕捉逻辑单向性
仅首置答案 (Answer-first only) GSM8K 1000 0.31 0.38 45.8 反转不充分,未打乱推导演进
句子级反转 (Sentence reversal) GSM8K 1000 0.78 0.29 43.6 引入篇章结构断裂伪影
词元级反转 (Token reversal) GSM8K 1000 2.94 0.05 42.2 句法崩溃产生高而无效的间隙
打乱推导步骤 (Shuffle rationale) GSM8K 1000 0.18 0.07 43.1 结构彻底随机化,丧失逻辑梯度

在局部窗口大小扫描中(500M pilot 预算),当 \(w=8, 16, 32, 64, 128, 256, \infty\) 时,下游推理平均分分别为 45.1、46.0、46.8、47.0、46.9、46.1、46.5。\(w=64\) 在计算代价(1.05×)与关键步定位精度(IoU 0.43 / R@3 0.71)上达到最优平衡。

关键发现

  • 语义反转是信号有效的核心前提:机械的词元级反转虽然产生了高达 2.94 的绝对 NLL 间隙,但其与人类推理质量的相关性仅为 0.05,下游 CPT 仅有 42.2 分;而语义反转产生的 0.52 间隙与人类质量高度相关(\(\rho = 0.61\)),下游 CPT 达到最佳表现。
  • 高间隙区域精准定位关键推理步骤:在 PRM800K 和 MATH-Shepherd 过程监督数据集上,Local-DeltaAvg (\(w = 64\)) 识别的高间隙区域与人工标注的关键步骤重合度极高,在 PRM800K 上达到 0.43 IoU 和 0.71 R@3,远超随机位置基线(0.08 IoU / 0.21 R@3)。
  • 跨探测模型与跨骨干网络一致性优异:使用 Qwen2.5-7B、Qwen2.5-14B、Llama-3.1-8B、Mistral-7B 和 Gemma2-9B 等多种不同架构模型作为探测器时,样本排序的 Spearman 相关系数均保持在 0.62–0.79 之间;在 Llama-3.1-8B-Base 和 Qwen2.5-14B-Base 骨干上分别取得 +4.9 和 +4.1 的 CPT 净增益。

亮点与洞察

  • 将数据质量转化为因果扰动敏感性:将推理质量判定从难以标准化的“静态绝对指标”(如困惑度、长度)转换为对“步骤顺序扰动”的动态条件编码差异,利用正反对比自然抵消了领域的词汇分布偏差。
  • 免监督生成过程级瓶颈曲线:无需训练高成本的过程奖励模型(PRM),仅通过轻量小模型的双向滑动推断即可获得对推理轨迹核心瓶颈步骤的无监督定位能力,甚至可直接用于测试时 Best-of-N 重排序(MATH500 达到 80.8%)。
  • 天然拓展至非线性依赖结构:通过结合树/有向无环图分支依赖解析(TRCG/GRCG),在长链高难度题(Long-CoT / Olympiad)上可进一步捕获跨分支共享条件的定向流动,取得额外的 2.0 分增益。

局限与展望

  • 依赖清晰的推导分步边界:方法假设推理轨迹可以被明确划分为离散的中间步骤,这在数学、代码与格式良好的 CoT 中天然成立,但对无结构、高压缩或口语化的长文本,步骤切分与反转可能引入噪声。
  • 多步长链计算开销略高于单向指标:虽然比训练专用奖励模型或调用大模型裁判便宜百倍,但相比于单向 PPL 仍需额外计算一次反向序列和窗口聚合(约 1.05×–1.35× 开销),超大规模百 B 级语料需配合分层粗筛。
  • 高分样本可能存在推理模式趋同风险:只挑选最高 DeltaAvg 样本容易过度集中于特定长度或特定证明结构的样本,在实际构建全面能力的数据集时,建议与语义多样性(Diversity)约束结合使用。

相关工作与启发

  • vs LLM-as-a-Judge (如 Alpagasus):大模型裁判调用昂贵且倾向于被文本格式、词汇长度和表面客套误导;Local-DeltaAvg 是确定性、轻量且抗表面长度偏差的白盒数学代理。
  • vs 过程监督验证器 (PRM800K, Math-Shepherd):PRM 需要耗费大量人工 step-level 标注或昂贵的 Monte Carlo 树搜索展开来训练模型;Local-DeltaAvg 完全无需标注与模型微调即可无监督获得高一致性的关键步定位。
  • vs 词元不确定性筛选 (HES):HES 基于单一方向的输出困惑度与熵,难以剥离复杂概念固有的低频词分布干扰;本文通过正反向成对差分,精准提纯出因果逻辑维度的定向结构性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从依赖方向不可逆性角度形式化推理数据质量,摆脱了静态评分框架。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 20B 语料筛选、多尺度多轮种子、过程对齐验证及混杂因素回归控制,证据链极其扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 形式化推导清晰严谨,消融实验设计完备,反事实控制组极具说服力。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型后训练与持续预训练的数据配比工程提供了高性价比、可落地的自动化标尺。