Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective¶

会议: ACL 2026 Findings
arXiv: 2601.03154
代码: 无
领域: LLM推理
关键词: Chain-of-Thought, 人类标签变异, 分布对齐, 推理解耦, 模型先验

一句话总结¶

本文通过 Cross-CoT 实验和逐步分析，揭示了 CoT 推理的"解耦机制"：最终准确率由 CoT 内容决定（99% 方差贡献），但分布排序由模型内在先验主导（>80%），说明长 CoT 是强大的决策器但弱的分布校准器。

研究背景与动机¶

领域现状：推理增强的 LLM（如 DeepSeek-R1、Qwen3）通过长 CoT 在单答案任务上表现出色。然而许多现实任务本质上是模糊的，人类标注者之间存在合理的分歧（Human Label Variation, HLV），需要模型预测概率分布而非单一答案。

现有痛点：(1) CoT 推理是否有助于更好地逼近人类标签分布？(2) 如果有帮助，是 CoT 内容本身还是模型的内在参数知识在起作用？(3) CoT 可能会不自觉地压制有效的替代解释，偏向 top-1 选择。

核心矛盾：CoT 推理的设计目标是通过中间步骤逐步缩小不确定性、产生高置信度结论——这与 HLV 任务需要保留概率模糊性的要求天然冲突。

本文目标：系统地解耦 CoT 推理中"内容效果"和"模型先验效果"对输出分布的不同影响。

切入角度：Cross-CoT 实验——将一个模型的 CoT 注入另一个模型，测试推理是否可转移；逐步分析——截断 CoT 观察影响如何随推理步骤演变。

核心 idea：CoT 将概率质量集中到最可能的答案上（锁定 top-1），但无法精细调节非 top-1 选项的概率分配——后者由模型先验决定。

方法详解¶

整体框架¶

在 ChaosNLI 基准上（100 名标注者的集体意见分布）评估推理 LLM。使用三个互补指标：准确率（top-1 正确性）、JSD（分布对齐）、Spearman ρ（排序对齐）。通过两种解耦实验揭示 CoT 的作用机制。

关键设计¶

1. Cross-CoT 实验：把"CoT 内容"和"模型先验"两股力量拆开称重

CoT 改善分布对齐时，到底是推理链本身在起作用，还是模型自身的参数知识在起作用？这两者在常规设置里纠缠在一起。Cross-CoT 用一个移植手术把它们分开：把模型 A 生成的 CoT 注入模型 B，让 B 在别人的推理链上产出分布，再用 ANOVA 分解方差来源。逻辑很直接——如果某个指标的方差主要由 CoT 来源解释，说明该指标由内容决定（CoT 是通用推理器，好的推理链谁用都受益）；如果方差主要由模型身份解释，说明该指标被先验主导（CoT 来源无关紧要）。结果泾渭分明：准确率约 99% 的方差来自 CoT 内容，而 JSD 和 Spearman ρ 有 >80% 的方差来自模型先验。

2. 逐步分析（Step-wise Analysis）：观察 CoT 的影响在推理过程中如何随时间展开

如果准确率和分布结构由同一机制驱动，它们应当随推理推进同步变化；若由不同机制驱动，则会表现出不同的时间动态。逐步分析在 CoT 的 25%、50%、75%、100% 截断点分别测量输出分布，追踪两类指标的演变轨迹。观察到的现象支持"解耦"：准确率随 CoT 步数单调爬升——推理链像在一步步把概率质量压向 top-1；而分布结构在很早期就已被先验锁定，后续步骤几乎不再重塑非 top-1 选项之间的概率分配。

3. 多指标互补评估：用三把不同的尺子才能照出 CoT 影响的全貌

只用准确率会漏掉 CoT 对分布结构的影响（或对其无能为力的事实），因为准确率只看 top-1 对错。本文同时上三个指标：准确率评估 top-1 正确性，JSD 评估预测分布与人类集体意见分布的整体对齐，Spearman ρ 评估选项排序对齐且不受单调变换干扰。三者合起来才暴露出关键反差——CoT 能把 top-1 选对（准确率受其主导），却动不了 top-1 之外的概率景观（JSD/ρ 由先验主导），这正是"强决策器、弱分布校准器"判断的实证支点。

损失函数 / 训练策略¶

本文是分析性研究，不涉及模型训练。使用 7 个 SOTA 推理 LLM（Qwen3、DeepSeek-R1 等），在 ChaosNLI 的三个子集上进行评估。

实验关键数据¶

主实验¶

CoT 推理对分布指标的影响（MNLI）

模型	ACC(无CoT)	ACC(有CoT)	JSD(无CoT)	JSD(有CoT)
Qwen3	0.688	0.644	0.093	0.080↓
R1-Llama	0.666	0.689	0.082	0.077↓
R1-Qwen	0.734	0.672	0.080	0.072↓

消融实验¶

Cross-CoT ANOVA 方差贡献分析

指标	CoT 内容贡献	模型先验贡献
准确率	~99%	~1%
JSD（分布对齐）	~20%	>80%
Spearman ρ（排序对齐）	~15%	>80%

关键发现¶

CoT 推理总体改善了分布对齐（JSD 降低），但这一改善在不同指标上不均匀
准确率几乎完全由 CoT 内容决定（99%）——CoT 是强大的 top-1 决策器
分布排序和概率分配由模型先验主导（>80%）——CoT 无法重塑非 top-1 的概率景观
逐步分析显示准确率随 CoT 步数单调增长，但分布结构在早期就已由先验确定
CoT 趋向于渐进集中概率质量以锁定最可能的答案，但无法精细校准替代选项

亮点与洞察¶

"强决策器、弱分布校准器"的发现深刻揭示了 CoT 的结构性局限
Cross-CoT 实验设计巧妙——通过注入外部 CoT 优雅地分离了内容和先验的效果
对 HLV 任务的分析具有广泛意义——在医疗、法律等模糊任务中，CoT 可能过度简化不确定性

局限与展望¶

仅在 NLI 任务（3-way 分类）上验证，更复杂的分布任务待探索
使用 first-token 概率近似输出分布，可能不完全代表模型的真实不确定性
未探讨如何设计"分布感知"的推理机制来改善 CoT 的校准能力
Cross-CoT 实验中注入外部 CoT 可能引入分布外效应

评分¶

新颖性: ⭐⭐⭐⭐⭐ Cross-CoT 解耦实验和"强决策器/弱校准器"发现极具洞察力
实验充分度: ⭐⭐⭐⭐ 7 个模型、3 个数据集、ANOVA 分析，但任务类型单一
写作质量: ⭐⭐⭐⭐⭐ 分析深入，逻辑清晰，发现表述精准
价值: ⭐⭐⭐⭐⭐ 对理解 CoT 推理机制和 LLM 不确定性建模有重要贡献