Teaching by Learning: Harnessing LLMs Collaboration for Adaptive Data Synthesis via Cognitive Load Feedback¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM Agent
关键词: 多智能体协作、数据合成、认知负荷、推理压力指标、直接偏好优化
一句话总结¶
针对多模型协作数据合成中粗粒度结果反馈或全局均值反馈稀释关键推理步信号的难题,本文提出 CoFAG 框架,利用目标模型在解码分叉处的高不确定性构建稀释抵抗的推理压力指标(ISI)量化内部认知负荷,通过三智能体闭环与直接偏好优化(DPO)自适应引导生成高推理价值的指令数据。
研究背景与动机¶
大语言模型(LLM)的快速迭代在很大程度上依赖海量高质量指令微调数据的支撑,然而纯人工标注的高昂成本促使研究社区转向利用大模型自身来合成数据。早期的单模型自进化方法常因模型固有知识边界的限制而陷入模式坍塌与自我欺骗,难以泛化到更高维的复杂认知空间。为此,近期研究逐渐走向多模型协作范式,让不同模型在交互中分别扮演生成者与目标执行者等专门角色;然而,多模型协作系统能否成功的关键取决于反馈机制的有效性,即目标模型应如何精准向生成模型传递关于“何为更优质指令”的指导信号。
现有反馈机制在捕捉高质量复杂推理指令时存在严重的粒度粗糙或信号稀释问题。一类基于结果的反馈方法(如 Forewarned is Forearmed、LLM2LLM)依赖二元正确性信号,仅能判断最终答案的对错,完全无法感知推导中间步骤的复杂性与思维深度;另一类基于序列级的反馈方法虽然尝试引入困惑度、指令跟随难度(IFD)或影响函数,但普遍采用对整条输出序列取全局平均的方式聚合分数。这种平均机制抹杀了长文本中关键思维分歧点的权重,使得一条逻辑极其复杂的竞赛题在大量模板化连接词与平凡推导步的均摊下被判定为低分,从而导致反馈失效并使生成器退化为产出平庸数据。
人类认知心理学表明,具有高认知价值的学习材料往往会显著增加工作记忆的处理负荷,迫使学习者调动深层分析能力。类比到大语言模型,当输入的指令真正促使模型执行多步复杂逻辑推理、触碰未充分学习的知识盲区或整合多源知识时,模型在关键决策 token 处的计算过程会呈现出剧烈的不确定性。受此启发,本文主张将外在的结果导向反馈转变为基于模型内部计算努力的过程感知反馈机制。核心 idea:以目标模型自回归解码中关键推理节点的认知分叉熵为基础,提出具备稀释抵抗能力的推理压力指标(ISI),构建合成器-执行器-协作者三智能体自演化闭环,自适应合成触达模型能力前沿的高认知负荷指令数据。
方法详解¶
整体框架¶
CoFAG 框架构建了一个由合成器模型(Synthesizer, \(S\))、执行器模型(Fixer, \(F\))与协作者模型(Collaborator, \(C\))构成的动态闭环多智能体协作系统。其核心工作流分为初始能力对齐的预热阶段与多轮迭代演化循环:在每轮迭代中,合成器根据领域任务 Prompt 采样生成候选指令池;协作者为各候选指令生成标准推理链参考答案;随后执行器在 Teacher-Forcing 模式下推演这些样本并暴露每一步解码分布的信息熵,框架利用 Pareto 截断聚合机制计算抵抗长度稀释的推理压力指标(ISI);依据 ISI 对指令进行高低认知负荷配对后,利用直接偏好优化(DPO)迭代更新合成器的生成策略,最后将高负荷高质量指令及其参考答案累加至训练集并微调执行器。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["初始种子数据 Dseed"] --> B["阶段1:模型预热与格式对齐<br/>SFT 赋予合成与解码基准能力"]
B --> C["阶段2:三模型协同数据生成<br/>Synthesizer 出题 + Collaborator 出参考解"]
C --> D["阶段3:认知负荷量化与 ISI 聚合<br/>Top-ρ 截断分叉熵抵抗信号稀释"]
D --> E["阶段4:基于认知反馈的策略优化与微调<br/>DPO 迭代合成器 + SFT 累加提升执行器"]
E -->|进入下一轮迭代 R| C
E --> F["最终能力增强的执行器与高质量数据集"]
关键设计¶
1. 模型预热与格式对齐:解决未对齐模型语义噪声与评估失真 在启动动态协作反馈前,必须消除模型间格式不匹配与基础能力缺失带来的系统噪声。若直接让未预热的合成器生成指令,容易输出脱离任务域的语义废话;若执行器未学习标准输出格式与解题规范,其解码不确定性将混杂大量的表面格式震荡而非纯粹的逻辑推理负荷。为此,首先利用种子数据集 \(\mathcal{D}_{\text{seed}} = \{(i_j, r_j)\}_{j=1}^N\) 对合成器进行有监督微调(SFT),其优化目标是在固定前缀 Prompt \(P\)(如“Generate a mathematical problem...”)条件下拟合真实任务指令: $\(\max_{\theta} \sum_{i \in \mathcal{D}_{\text{seed}}} \log P(i \mid P; \theta)\)$ 随后由初步微调的合成器生成小规模指令数据集对执行器进行格式对齐微调。此步骤确保执行器熟悉解题模板,使得后续推理压力指标计算能够纯粹、忠实地反映多步逻辑推理的内在计算负担。
2. 认知分叉与稀释抵抗的推理压力指标(ISI):解决传统反馈信号粗糙与均值稀释 针对结果二元判别无法衡量思维链质量、以及全局困惑度在长序列均值下掩盖关键步骤的问题,本文建立基于信息论与帕累托分布的局部极值聚合准则。在执行器以 Teacher-Forcing 方式推导指令 \(i_j\) 与响应 \(r_j = (t_1, \dots, t_{L_j})\) 时,解码步 \(k\) 处的词表分布条件熵被定义为即时认知分叉(Cognitive Bifurcation): $\(B_k = - \sum_{v \in \mathcal{V}} P(v \mid i_j, t_{<k}; \phi) \log P(v \mid i_j, t_{<k}; \phi)\)$ 高 \(B_k\) 表明模型面临多条可行推理支路或必须跨领域检索非平凡知识。为防止低难度 token 稀释关键思维瓶颈的信号,框架依据 80/20 帕累托法则,对序列的分叉值降序排列 \(\pi_j\),仅选取前 \(\rho = 0.2\) 比例的高不确定性核心 token 进行均值聚合,定义推理压力指标(Inference Stress Index, ISI): $\(\text{ISI}(i_j; \phi, \rho) = \frac{1}{m_j} \sum_{k=1}^{m_j} B_{\pi_j(k)}, \quad \text{其中 } m_j = \max(1, \lceil \rho L_j \rceil)\)$ 该指标在保持序列长度不变性的同时,对关键推理转折点(如三维展开二维平面、多元变量消元)保持极高灵敏度,精准刻画出指令对目标模型的真正认知压迫感。
3. 认知偏好驱动的双模型自进化机制:解决单向数据过滤无法提升生成上限 单纯筛选高 ISI 指令充其量只能作为静态数据过滤器,无法突破生成模型的固有分布瓶颈。CoFAG 将 ISI 视为天然的奖励信号,按 ISI 升序对候选指令池排序,将前 50% 难度最具挑战性的指令作为正样本 \(i_w\),后 50% 平庸指令作为负样本 \(i_l\),构建偏好学习数据集 \(\mathcal{D}_{\text{pref}}^{(\text{round})}\)。随后应用直接偏好优化(DPO)算法迭代微调合成器的策略参数 \(S\): $\(\mathcal{L}(S; S_{\text{ref}}) = - \mathbb{E}_{(i_w, i_l) \sim \mathcal{D}_{\text{pref}}} \left[ \log \sigma \left( \beta \log \frac{P_S(i_w)}{P_{S_{\text{ref}}}(i_w)} - \beta \log \frac{P_S(i_l)}{P_{S_{\text{ref}}}(i_l)} \right) \right]\)$ 该优化强制合成器主动探索能够迫使执行器产生深层思考的指令模式;随后,优化后的合成器重新生成高质量数据集并由协作者给出高精度标准答案,执行器在全量累加数据集上持续精调。执行器能力增强后,又能在下一轮反馈中提出更严苛的认知评判,实现合成器出题能力与执行器解题能力的螺旋式协同提升。
损失函数 / 训练策略¶
框架全流程采用两阶段分步优化策略。在预热阶段,合成器采用 LoRA(Rank=16,学习率 \(2.0 \times 10^{-6}\),Cosine 调度),执行器采用全参数微调配合 DeepSpeed ZeRO-3(学习率 \(1.0 \times 10^{-5}\))。在循环迭代优化中,合成器采用 DPO+LoRA(Rank=16,学习率 \(5.0 \times 10^{-7}\),偏差控制超参 \(\beta=0.1\)),执行器则以全参数微调在累积的高质量数据上迭代(学习率 \(1.0 \times 10^{-6}\))。合成器采样生成时设置高随机性(温度 1.2,Top-p 0.9),而协作者生成参考答案时设置确定性贪婪解码(温度 0),严格杜绝标注侧随机噪声。
实验关键数据¶
主实验¶
主实验在数学推理(GSM8K、MATH、Infinity-Instruct)、法律(O1aw)与医学(medical-o1-reasoning-SFT)五大具有严密推理链要求的数据集上展开评测,采用 Qwen-plus-latest 作为语义等价性 LLM 裁判。以 Qwen2.5-3B 和 Llama3.2-3B-Instruct 作为执行器时,CoFAG 均显著超越基线。
| 执行器基座 | 方法 / 轮次 | GSM8K (Acc) | MATH (Acc) | Inf-Inst (Acc) | 数学均值 | 法律 O1aw | 医学 Med | 全局均值 | 相对提升 (\(\Delta\)) |
|---|---|---|---|---|---|---|---|---|---|
| Qwen2.5-3B | Zero-shot | 79.52 | 59.62 | 77.50 | 72.21 | 39.84 | 34.02 | 58.10 | - |
| Forewarned (Iter 2) | 80.97 | 61.32 | 79.30 | 73.86 | 38.97 | 33.72 | 58.86 | +0.76 | |
| Montessori-Inst (Iter 2) | 80.81 | 60.94 | 78.60 | 73.45 | 39.41 | 34.06 | 58.76 | +0.66 | |
| LLM2LLM (Iter 2) | 80.36 | 60.22 | 78.30 | 72.96 | 38.65 | 33.24 | 58.15 | +0.05 | |
| sRecycled | 80.66 | 60.80 | 78.60 | 73.35 | 39.53 | 34.18 | 58.75 | +0.65 | |
| CoFAG (Iter 1) | 81.12 | 60.76 | 79.10 | 73.66 | 38.59 | 33.78 | 58.67 | +0.57 | |
| CoFAG (Iter 2) | 81.50 | 62.30 | 80.70 | 74.83 | 40.16 | 34.90 | 59.91 | +1.81 | |
| Llama3.2-3B | Zero-shot | 78.08 | 51.70 | 75.60 | 68.46 | 37.03 | 32.14 | 54.91 | - |
| Forewarned (Iter 2) | 79.60 | 51.84 | 76.30 | 69.25 | 37.59 | 32.90 | 55.65 | +0.74 | |
| Montessori-Inst (Iter 2) | 79.15 | 51.94 | 76.60 | 69.23 | 37.40 | 32.76 | 55.57 | +0.66 | |
| LLM2LLM (Iter 2) | 78.62 | 51.76 | 76.00 | 68.79 | 37.15 | 32.30 | 55.17 | +0.26 | |
| sRecycled | 78.92 | 51.82 | 76.50 | 69.08 | 38.15 | 33.48 | 55.77 | +0.86 | |
| CoFAG (Iter 1) | 79.45 | 52.04 | 76.50 | 69.33 | 37.34 | 32.54 | 55.57 | +0.66 | |
| CoFAG (Iter 2) | 80.43 | 52.68 | 77.30 | 70.14 | 38.03 | 33.26 | 56.34 | +1.43 |
在极具挑战性的高难度数学竞赛集(MATH 与 AIME 2024/2025 联合测试)上,进一步验证模型可扩展性,CoFAG 在 Qwen2.5 3B、7B 和 14B 各尺寸均稳居榜首:
| 模型尺度 | 方法 | MATH (Acc) | AIME (Acc) | 均值 | 相对 Forewarned 增益 |
|---|---|---|---|---|---|
| Qwen2.5-3B | Base Model | 59.62 | 10.00 | 34.81 | - |
| Forewarned is Forearmed | 61.32 | 11.67 | 36.50 | - | |
| CoFAG (Ours) | 62.30 | 15.00 | 38.65 | +2.15 (+3.33 on AIME) | |
| Qwen2.5-7B | Base Model | 64.22 | 13.33 | 38.78 | - |
| Forewarned is Forearmed | 65.38 | 13.33 | 39.36 | - | |
| CoFAG (Ours) | 66.16 | 16.67 | 41.42 | +2.06 (+3.34 on AIME) | |
| Qwen2.5-14B | Base Model | 67.86 | 15.00 | 41.43 | - |
| Forewarned is Forearmed | 68.40 | 16.67 | 42.54 | - | |
| CoFAG (Ours) | 69.14 | 18.33 | 43.74 | +1.20 (+1.66 on AIME) |
消融实验¶
消融实验以 Qwen2.5-3B 为执行器,深入剖析了预热机制、反馈类型及合成器优化范式的关键贡献。
| 实验模块划分 | 配置变体 | MATH (Acc) | GSM8K (Acc) | 相对完整模型下降说明 |
|---|---|---|---|---|
| 完整框架 | CoFAG (Full Model) | 62.30 | 81.50 | 完整两轮自演化协作闭环 |
| 预热机制消融 | w/o 合成器预热 (Synthesizer Warm-up) | 60.76 | 79.37 | -1.54 / -2.13 (未对齐合成器引入严重语义偏置与噪声) |
| w/o 执行器预热 (Fixer Warm-up) | 61.40 | 80.97 | -0.90 / -0.53 (输出格式不稳定混淆了纯逻辑计算的认知负荷) | |
| 认知反馈机制消融 | 替换为 Forewarned 反馈 (二元错误驱动) | 61.32 | 81.04 | -0.98 / -0.46 (仅以对错为标签,丢失复杂推理步中间状态) |
| 替换为 Montessori-Instruct (影响函数) | 60.94 | 80.81 | -1.36 / -0.69 (梯度与损失下降预估容易偏向分布内拟合) | |
| 替换为 IFD 反馈 (序列平均跟随难度) | 61.24 | 80.89 | -1.06 / -0.61 (全局平均 token 困惑度严重稀释核心推理瓶颈) | |
| 生成策略优化消融 | 原始合成器静态单次生成 (Original Synthesizer) | 59.88 | 79.68 | -2.42 / -1.82 (缺乏反馈机制,生成分布局限于初始先验) |
| LLM2LLM 错误重写 (Failed Rewriting) | 60.22 | 80.36 | -2.08 / -1.14 (局部纠错策略无法有效拓宽整体推理边界) | |
| 仅高 ISI 静态过滤 (Filtering w/o DPO) | 61.08 | 80.66 | -1.22 / -0.84 (仅做样本筛选未更新模型策略,无法持续产出高负荷指令) |
关键发现¶
- 合成器预热是整个流水线稳定的锚点:去掉合成器预热导致 MATH 性能断崖式下跌 1.54%,说明缺乏任务先验对齐的生成器会输出大量偏离题意的噪声,严重污染后续的判别与微调过程。
- 过程感知指标优于任何结果导向或序列平均指标:对比 Forewarned、Montessori-Instruct 和 IFD,基于 Top-20% 分叉熵的 ISI 在 MATH 上取得 62.30% 的绝对优势,证实稀释抵抗的局部极值聚合准确抓住了多步推导中的核心认知阻力。
- DPO 策略更新显著拓宽指令复杂性边界:分析合成指令属性分布表明,具备“复杂推理、脱离常识分布、多源知识整合”两项及以上特征的指令占比从初始的 28.8% 飙升至 52.6%,远超 Forewarned 的 34.1%;静态过滤(61.08%)与 CoFAG(62.30%)的差距证明,对生成器进行 DPO 优化是突破生成分布瓶颈的决定性要素。
- 第二轮迭代呈现极高的数据飞轮效率:在 MATH 任务上,第一轮微调需消耗 30K 样本达到 61.82% 峰值,而第二轮仅需 13.1K-15K 样本即可突破 62.00% 并达到 62.30%,展现出高阶自演化所带来的卓越样本效率。
亮点与洞察¶
- 将认知心理学的认知负荷理论(Cognitive Load Theory)内化为模型内部推理压力:首次跳出黑盒式的外部正确性与全局平滑损失,用自回归解码中关键 token 的分叉信息熵刻画计算难度,视角新颖且机理扎实。
- 基于 80/20 帕累托法则的稀释抵抗聚合机制:巧妙地仅取 Top-20% 极端不确定性 token 均值作为 ISI,既保证了不同长度句子的数值可比性,又避免了大量语法虚词与通用过渡句抹平关键思维断点的信号。
- 三角色协同解耦设计:将“提出问题(合成器)”、“感知瓶颈(执行器)”与“提供标准解答(协作者)”彻底解耦,使小参数模型在不具备全能解题能力的前提下仍能通过暴露内部认知状态驱动整个高质量合成流水线。
局限与展望¶
- 离线协作计算开销显著增加:虽不增加线上推理成本,但在数据构造阶段涉及协作者生成参考答案、执行器 Teacher-Forcing 扫描 ISI 以及合成器 DPO 优化,单轮额外离线开销约为同等数据量 SFT 前向计算的 1.67 倍。
- 依赖协作者模型的先验精度:最终微调执行器所用数据的解题质量严格受限于协作者模型(Qwen2.5-Math-7B);若协作者给出的长推理链包含错误或幻觉,执行器仍会被注入噪声。
- 前沿超大模型上的校准探索尚不充分:目前实验主要覆盖 3B 至 14B 级别模型,当执行器规模扩展到数十百 B 时,解码熵与认知难度的相关性是否依然鲁棒仍待验证。
相关工作与启发¶
- vs Forewarned is Forearmed / LLM2LLM: 后者依赖二元对错或失败样本重写,本质是结果导向的黑盒反馈;本文通过即时分叉熵深入思维链过程,在执行器做对但极其费力的边界样本上依然能捕捉到宝贵的高质量演化信号。
- vs IFD (Instruction Following Difficulty) / 困惑度方法: 后者直接对整条文本计算平均交叉熵,存在严重的“长文本均值稀释”缺陷;本文设计 Top-20% 帕累托截断,只聚焦关键推理瓶颈节点,对复杂推导具有极高分辨率。
- vs Montessori-Instruct: 后者依赖计算代价极大的影响函数(Influence Functions)来间接评估训练数据价值;本文直接通过前向推断获取词表分布熵,兼顾了细粒度与工程可执行性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 创造性地将认知负荷理论转化为 token 级分叉熵与 Top-ρ 稀释抵抗聚合,开辟了过程感知式数据合成新路径。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖数学(含竞赛级 AIME)、法律、医学多领域,横跨多尺寸 Qwen2.5 与 Llama3 架构,具备深度的消融与认知特征量化分析。
- 写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣,从人类认知隐喻到数学形式化推演自然流畅,图表与附录细节详实规范。
- 价值: ⭐⭐⭐⭐⭐ 为开源社区摆脱对闭源大模型蒸馏依赖、以轻量协作自主合成高价值复杂推理数据提供了极具启发性的范式。