跳转至

Stabilizing Unsupervised Self-Evolution of MLLMs via Continuous Softened Retracing reSampling

会议: EMNLP 2026
论文: ACL Anthology
领域: 多模态 VLM
关键词: 多模态自进化, 多数投票偏差, 回溯重推理, 平滑频率奖励, 几何多模态推理

一句话总结

针对多模态大模型在无标签自进化强化学习中因多数投票离散硬奖励而引发的模型崩溃与早熟收敛,本文提出连续平滑回溯重采样(CSRS),通过回溯重推理局部展开长尾探索、基于频次方差的连续平滑奖励阻尼极化、以及视觉语义扰动剔除浅层视觉捷径,显著提升几何多模态推理能力。

研究背景与动机

多模态大语言模型(MLLMs)在复杂几何与科学推理任务中取得了长足进步,但进一步突破严重受制于人工精细标注的匮乏与高昂成本。为了摆脱外部标注瓶颈,以 MM-UPT 为代表的无监督自进化后训练范式应运而生。该范式依托群相对策略优化(GRPO)等强化学习算法,让模型自主对未标注问题采样多个候选解,并依据多数投票(Majority Voting, MV)将高频输出视作伪金标准答案(pseudo-golden label)来构建组内相对优势奖励,驱动模型持续自主演化。

然而,依赖模型内在偏好生成自奖励机制存在致命的自强化陷阱。由于长链多步推理的解空间呈指数级膨胀(\(O(b^L)\)),高价值的正确推理路径往往分布在极低概率的长尾区间;而模型初始策略本身夹带先验归纳偏差与幻觉错误,多数投票仅依据最终答案出现频次发放 0/1 离散硬奖励,导致梯度更新剧烈向初始高频错误模式极化。这种确认偏差循环会迅速压缩策略的探索熵,使得对比增益因子呈指数级扩张,最终导致模型退化为丧失逻辑探索能力的确定性映射,即发生严重的“模型崩溃”(Model Collapse)。

这一困境的核心矛盾在于:无监督自进化既需要利用模型自身一致性提供自洽监督,又必须防止粗粒度多数投票对初始模式偏差进行无节制的指数放大。本文切入角度在于:不应在全局路径空间进行稀疏的盲目采样,而应在推理关键决策点设置回溯锚点进行局部密集重推理,同时用连续平滑的频次方差奖励替代离散 0/1 硬打分以提供阻尼。核心 idea:提出连续平滑回溯重采样(CSRS),在初始母轨迹关键节点处进行回溯重推理探索长尾解,利用局部与全局频次方差动态校准连续平滑奖励,并结合视觉语义扰动迫使模型聚焦于不变的数学逻辑结构。

方法详解

整体框架

CSRS 针对无标签多模态几何推理构建了一套稳定的强化学习自进化闭环。整个管线接收图文推理问题输入,依次经历初始母轨迹生成、基于固定锚点的回溯重推理展开与视觉扰动注入、双集合并后的平滑频率奖励计算,最后通过 GRPO 算法更新多模态基座模型权重。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入:几何图像与问题提示词"] --> B["初始母轨迹采样<br/>生成 n 条完整推理回答"]
    B --> C["回溯重推理机制<br/>锚点截断并局部采样 m 条新轨迹"]
    A --> D["视觉语义扰动<br/>向原图注入高斯噪声"]
    D --> C
    C --> E["合并轨迹集合<br/>构建包含母集与重采样集的完整池"]
    E --> F["平滑频率奖励<br/>基于频次方差与双曲正切连续校准"]
    F --> G["GRPO 策略更新<br/>计算组内相对优势并更新模型权重"]

关键设计

1. 回溯重推理机制:突破指数级解空间的采样稀疏瓶颈

在长链数学推理中,前期的微小逻辑偏差会随推导步数指数级累积。传统方法直接从头进行全局随机采样,在有限的计算预算下极难触达并覆盖关键决策分歧点。针对这一痛点,本文提出局部稳定性假说:理想的正确推理路径在关键决策节点后应具备语义唯一性与一致性。该机制首先让模型生成 \(n=8\) 条初始推理路径作为“母轨迹集”(Maternal Trajectories)\(A_n\);随后在每条母轨迹的长度比例 \(\omega\) 处设立回溯锚点(Retracing Anchor Point,最佳回溯率 \(\omega=0.7\)),截断并与原始输入提示词拼接为新前缀: $\(X'_p = \text{Concat}(X_p, (y_1, y_2, \dots, y_{\lfloor \omega \cdot \text{len}(R_p) \rfloor}))\)$ 随后以该锚点为起点分别展开 \(m=5\) 次局部重推理,得到共计 \(mn=40\) 条局部重推理轨迹 \(A_m\)。这种设计将漫无边际的全局解空间搜索收敛为围绕关键逻辑分叉点的局部密集采样,有效激活并挖掘全局采样中被初始偏置抑制的低概率、长尾正确解。

2. 平滑频率奖励:利用频次方差连续校准以阻尼模型崩溃

多数投票采用二值硬奖励(0 或 1),使得优势函数在多数样本点产生极大正反馈,将对比增益因子 \(G_n = \exp(\eta \Delta r_n)\) 推向最大理论极值 \(e^\eta\),极易诱发模型早熟收敛与崩溃。为平滑概率密度更新,CSRS 首先将母轨迹集与局部重推理集合并为全集 \(A_{\text{all}} = A_n \cup A_m\)(总样本数 \((m+1)n = 48\)),计算任意候选答案 \(a\) 在全集中的基础频次 \(R_{\text{base}}(a) = \frac{\text{Count}(a, A_{\text{all}})}{(m+1)n}\);接着计算其在局部重推理集 \(A_m\) 中的局部频次 \(f_r(a) = \frac{\text{Count}(a, A_m)}{mn}\)。若某个答案在局部重推理后的频次提升(\(f_r > f_{\text{base}}\)),说明该路径在关键分歧点展现出高度的条件一致性与潜在稳健性,即便在全局采样中属于长尾解,也应获得正向激励。最终奖励函数设计为: $\(R_{\text{final}} = \left( \gamma \tanh\left( \beta \left( \frac{f_r}{f_{\text{base}} + \epsilon} - 1 \right) \right) + 1 \right) \times R_{\text{base}}\)$ 其中超参数设为 \(\gamma = 0.2, \beta = 5.0\)。可调参数 \(\beta\) 使得奖励对长尾区间中潜在正确的解高度敏感,而 \(\tanh\) 函数的饱和特性有效截断了高频常见错误的过量奖赏,将对比增益严格约束在 \(G_{\text{SR}} = \exp(\eta(\rho - \epsilon)) < \exp(\eta)\),在理论和实证上从根本上延缓并消解了概率分布极化。

3. 视觉语义扰动:剔除图像表层捷径与虚假关联

多模态大模型在自进化时极易利用几何图像中的浅层视觉启发式特征(如画风、背景、局部线条密度)进行投机取巧,伪造看似合理但脱离严格几何公理的推理过程。为了强迫模型依赖稳健的符号几何关系而非表层视觉模式,CSRS 在局部重推理阶段对输入图像 \(I\) 施加零均值高斯噪声扰动 \(I' = I + \epsilon\)(其中 \(\epsilon \sim \mathcal{N}(0, \sigma^2)\))。这种扰动破坏了图像的像素级微观伪影,使得模型在回溯重推理过程中必须完全依托深层不变的几何逻辑骨架与定理进行演绎,显著增强了自进化过程的泛化性与鲁棒性。

一个完整示例

以一道几何圆内接四边形角度计算题为例:四边形 \(ABCD\) 内接于圆 \(Z\),已知中心角 \(m\angle BZA = 104^\circ\),弧 \(\widehat{CB} = 94^\circ\),\(AB \parallel DC\),求 \(m\angle BDA\)(标准答案为 \(52^\circ\))。 1. 初始母轨迹:模型生成 8 条初始路径。其中多数路径(6/8)陷入直觉误区,错误引入平行线同旁内角或交错角关系,算出错误答案 \(47^\circ\)(出现频次高达 75%);而正确利用圆周角定理(\(\angle BDA = \frac{1}{2}\angle BZA = 52^\circ\))的母轨迹仅有 1 条(频次仅 12.5%)。若按传统多数投票,正确答案将被评判为 0 分,错误答案获评 1 分,模型将朝错误方向强化。 2. 回溯重推理:CSRS 在推理长度 70% 处截断并设立锚点,注入微量视觉高斯扰动后重采样。在局部重推理的密集探索下,模型摆脱了平行线条件的虚假干扰,生成了大量严格依据圆心角与圆周角对应关系的正确推导,使得 \(52^\circ\) 在重推理集中的频次 \(f_r\) 跃升至 20.0%(甚至更高)。 3. 连续平滑奖励校准:由于 \(\frac{f_r}{f_{\text{base}}} > 1\),方差项为正,\(R_{\text{final}}\) 动态上调了 \(52^\circ\) 的奖励得分(如由 0 提升至 0.237+),同时抑制了高频错误答案 \(47^\circ\) 的过度自信,使有价值的长尾正确轨迹成为有效的策略梯度指导信号。

损失函数 / 训练策略

训练基于 veRL 框架与 GRPO 算法展开,以 Qwen2.5-VL-7B-Instruct 为骨干网络,在 8 张 NVIDIA A800-80G GPU 上进行 15 个 epoch 的无监督自进化训练(耗时约 36 小时)。优化器采用 AdamW,初始学习率设为 \(1 \times 10^{-6}\),权重衰减 0.01;批大小(Batch Size)为 256,GRPO 内部 micro-batch 为 8,KL 散度正则化系数 \(\beta\) 设为 0.01(采用 Low-Var KL 估计)。回溯采样策略采用固定回溯率 \(\omega = 0.7\) 与局部重推理次数 \(m = 5\);相比于随机回溯率 \(\omega \sim \mathcal{U}(0, 1)\),固定锚点不仅避免了短截断导致重新生成题干的计算浪费,还消除了组内样本生成长度方差过大造成的同步等待瓶颈,训练相对耗时降低 13%(相对速度 1.0× vs 1.13×)。

实验关键数据

主实验

在四大主流多模态数学与几何基准(MathVision、MathVerse、MathVista、We-Math)上,将 CSRS 与基础模型及代表性无监督自进化基准 MM-UPT 进行了全面对比。

模型与方法 无监督? 训练数据集 MathVision MathVerse MathVista WeMath 平均分 (Avg)
Qwen2.5-VL-3B (Base) - - 22.47 34.54 62.30 57.53 44.21
Qwen2.5-VL-7B (Base) - - 25.40 44.24 66.42 67.65 50.93
MM-UPT (Baseline) 是 Geometry3K 26.95 44.53 66.47 68.49 51.61
MM-UPT (Baseline) 是 GeoQA 26.61 44.15 65.84 68.25 51.21
MM-UPT (Baseline) 是 MMR1 25.98 45.12 66.27 69.14 51.63
CSRS (本文) 是 Geometry3K 27.97 46.01 67.81 71.77 53.39
CSRS (本文) 是 GeoQA 28.95 45.82 68.25 69.32 53.09
CSRS (本文) 是 MMR1 27.86 45.89 67.81 70.53 53.05

在跨模型架构评测中,CSRS 同样表现出优异的通用泛化性:在 Geometry3K 上,InternVL3-8B 接入 CSRS 后平均分由 54.82% 提升至 56.49%;ThinkLite-VL-7B 接入 CSRS 后平均分由 51.79% 提升至 53.58%。

消融实验

基于 Qwen2.5-VL-7B 和 Geometry3K 训练集,对各核心模块的累加与剥离效果进行系统消融。

配置方案 MathVision MathVerse MathVista WeMath 说明
传统多数投票 (MajorityVote) 25.40 44.24 66.42 67.65 纯硬奖励,存在明显崩溃趋势
+ 平滑频率奖励 (SFR) 26.52 45.10 67.15 69.42 连续奖励有效抑制极化,各项全面提升
+ 回溯重推理机制 (RRM) 26.85 45.35 67.38 69.85 局部密集探索显著扩充解空间多样性
+ 视觉语义扰动 (VSP) 25.55 44.35 66.55 67.82 抑制视觉伪影捷径,轻微提升稳健性
+ SFR + RRM 27.68 45.85 67.62 71.30 探索与校准产生强协同增益
+ SFR + VSP 26.70 45.22 67.28 69.65 无局部密集探索,增益受限
+ RRM + VSP 27.02 45.48 67.50 70.12 缺少连续打分平滑,仍受二值奖励扰动
完整 CSRS (SFR+RRM+VSP) 27.97 46.01 67.81 71.77 完整系统表现最优,四项指标均达峰值

针对超参数与训练策略的消融结果表明: 1. 重推理展开数 \(m\):在 \(m=5\) 时达到最优性能(MathVista 达 68.25%),少于 5 次无法充分覆盖局部长尾分支,多于 5 次(如 \(m=8\) 时下降至 64.98%)则引入冗余计算与误差累积。 2. 回溯率 \(\omega\):在 \(\omega=0.7\) 处达到峰值(MathVista 68.25%),过小(\(\omega=0.1\) 时为 66.31%)使搜索空间重新退化为庞大的全局漫游;过大(\(\omega=0.9\) 时为 66.43%)则意味着路径已接近末端,几乎丧失纠错空间。 3. 敏感度参数:在 \(\gamma=0.2, \beta=5.0\) 处取得最平稳的最优精度(46.01%),小幅波动对最终表现影响极其微弱,展现出高度的算法鲁棒性。

关键发现

  • RRM 与 SFR 构成强耦合的“探索-校准”双引擎:单独添加 SFR 或 RRM 分别带来约 1.5% 和 2.0% 的综合提升,但二者协同使用时(+SFR+RRM)在 WeMath 上直接激增至 71.30%(相比基线 +3.65%)。这证明 RRM 负责在长尾空间“捞出”潜在正确解,而 SFR 负责精准“识别并赋予正奖励”,缺一不可。
  • 熵衰减减缓与置信度平抑直观印证了崩溃的缓解:策略熵可视化曲线显示,MM-UPT 的熵随训练迅速坍塌,且高置信度样本占比剧烈攀升,标志着模型陷入早熟收敛;而 CSRS 的熵衰减缓慢而平稳,高置信度样本比例始终受控在健康区间,模型保持了持续的探索活力。
  • 固定锚点相较随机锚点展现出更优的工程吞吐:随机选取回溯锚点不仅在精度上略有折损(MathVision 27.63% vs 27.97%),还使整批训练耗时增加 13%(1.13×),这是因为过短的随机截断要求重新生成整段冗长推导,且组内长短不一的生成耗时在分布式同步屏障前引发显著的空转等待。

亮点与洞察

  • 将无监督自进化的离散投票改造为频次方差连续校准:传统多数投票将频次差异粗暴截断为 0 与 1,而 CSRS 巧妙利用母集与重采样集之间的频次方差结合双曲正切函数,既对长尾正确解给予敏锐提振,又通过饱和性防止高频错误过度自信,这一设计极具数学优雅性与泛化价值。
  • 从全局盲目随机采样转向关键逻辑分叉点的局部回溯分支:面对 \(O(b^L)\) 的指数解空间,全文没有选择盲目堆砌采样条数,而是借助锚点截断进行局部重推,以极其紧凑的算力开销(\(m=5\))实现了对关键逻辑转折点的密集覆盖。
  • 视觉扰动为几何纯逻辑推理注入“去噪不变量”:在重推理中加入像素级高斯噪声,从机制上剥离了多模态模型对背景画风与表层纹理的捷径依赖,这一思路对视觉图表、空间定位与具身决策等任务具有直接的迁移参考价值。

局限与展望

  • 任务领域局限于封闭几何与公式化数学:作者坦承当前评测集中在拥有唯一闭式解的几何与数学题,在开放式场景理解、主观图文问答等多解或无绝对真值场景下的自进化机制仍有待探索。
  • 固定比例回溯锚点尚缺乏语义自适应性:目前统一采用固定的 70% 长度比例作为锚点,虽然工程效率最高,但对于不同复杂度、不同推导长度的具体题目,真正的逻辑转折点未必严格落在 70% 处。未来可研究基于词级别注意力熵或困惑度骤变自动定位动态语义锚点。
  • 静态局部回溯尚未扩展为多轮自省式树搜索:当前架构属于单轮母轨迹加单次回溯,若能与多步回溯树搜索(MCTS)或自反思机制深度融合,有望在更难的国际奥数级多模态问题上进一步释放潜力。

相关工作与启发

  • vs MM-UPT (Wei et al., 2025): MM-UPT 开创了基于多数投票和 GRPO 的无监督多模态后训练框架,但完全依赖离散 0/1 硬打分,容易诱发模型崩溃;本文通过 RRM 增加局部长尾探索,并以连续 SFR 替代二值打分,在相同基座下全面取得 1.5%~3.3% 的显著提升。
  • vs EvolRL / VisPlay (Zhou et al., 2025; He et al., 2025): EvolRL 引入新颖性奖励,VisPlay 采用提问者-回答者自博弈角色解耦;而 CSRS 聚焦于多模态推理内部轨迹的不稳定性与视觉捷径,通过锚点回溯和视觉语义扰动,为几何推理提供了更为严密的自进化稳定机制。

评分

  • 新颖性: ⭐⭐⭐⭐☆ [理论剖析了多数投票下自进化的指数收敛与崩溃机制,提出了创新的锚点回溯重采样与平滑频率方差奖励]
  • 实验充分度: ⭐⭐⭐⭐⭐ [跨四大权威数学基准、三大主流 MLLM 骨干,提供了详尽的消融、方差灵敏度、动态语义分布与可视化用例分析]
  • 写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑紧密,理论推导严谨自洽,方法论阐述清晰直观]
  • 价值: ⭐⭐⭐⭐⭐ [为摆脱高昂标注依赖的多模态强化学习自进化指明了一条极具可行性与稳定性的工程路径]