Improving Reasoning in Vision-Language Models via Perception Verified Self-Training¶

会议: ECCV 2026
论文: ECCV 官方
代码: https://github.com/srbhcs/perception-verified-self-training
领域: 多模态VLM
关键词: 视觉语言模型, 自训练, 感知验证, 思维链推理, 幻觉抑制

一句话总结¶

提出基于无监督感知验证的自训练框架，通过解耦“描述-推理-结论”模板、结合 FG-CLIP 与 OCR 双信号过滤幻觉，并利用两阶段课程学习与感知引导重生成增强中等难度样本，使 LLaVA-1.5-7B 在 M3CoT 多个子领域准确率大幅提升最高达 16%。

研究背景与动机¶

构建具备类人多步推理能力的视觉语言模型（VLM）始终是多模态领域的核心目标。为了赋予模型思维链（CoT）能力，传统范式往往依赖人工精细标注或专有商业闭源模型（如 GPT-4V）生成密集解释，但这不仅耗费昂贵的人力与 API 成本，还面临着难以大规模扩展的瓶颈。自训练（Self-Training）作为无监督或弱监督强化的代表，通过挖掘模型自身的生成结果构建伪标签监督，在纯文本大模型（如 STaR）中取得了显著成功，因而成为降低数据标注成本的重要候选路径。

然而，将自训练直接迁移至多模态推理领域时暴露出严重缺陷。文本自训练仅需处理单模态符号逻辑，而多模态推理必须建立在对图像视觉内容的准确感知基础之上。以 R3V 为代表的现有 VLM 自训练方案通常仅以“最终答案是否正确”作为样本过滤标准。这种纯结果导向的筛选机制极易引入带噪伪监督：模型可能凭借预训练文本先验产生“语言捷径”（例如仅依据问题中的相机文本就猜测为求职面试，忽略画面真实背景），亦或生成严重的“视觉幻觉”（例如无中生有地编造紫色粒子或白色瓶子却碰巧选对答案）。将这些感知失真的错误推理轨迹重新用于微调，会导致模型在迭代中不断放大幻觉并加深对文本捷径的依赖。

这种失效的核心矛盾在于：模型内部的感知解析与逻辑推理相互交织，导致仅仅依靠最终答案正确性无法保证中间推理轨迹具备扎实的视觉依据，而多模态任务在自训练阶段又缺乏基准图像标注（Ground-Truth Captions）。核心 idea：显式将推理过程解耦为“图像描述-中间推理-最终结论”三阶段结构，提出基于视觉与文本双重对齐的无监督感知验证模块 PerceptEval，并配合两阶段课程学习机制与感知引导增强，确保自训练监督信号全流程根植于高保真视觉感知。

方法详解¶

整体框架¶

该框架旨在将未标注复杂推理轨迹的原始多模态问答三元组，转化为具备扎实视觉依据的高保真自训练数据集。整个流程首先通过结构化提示词促使 VLM 按照解耦流程生成包含图像描述、推理步骤与最终选项的输出元组；接着借助无监督感知评估模块 PerceptEval 与答案匹配模块协同实施双重过滤，将样本划分为简单、中等与困难三类；最后在两阶段课程学习中逐步吸收经感知引导增强后的推理轨迹，实现高质量参数更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图像与问题输入<br/>(Image, Question)"] --> B["解耦结构化推理生成<br/>输出 (Caption, Reasoning, Conclusion)"]
    B --> C["双重验证过滤<br/>AnswerEval 答案比对 + PerceptEval 感知验证"]
    C -->|描述正确且答案正确| D["简单样本集 (Deasy)<br/>Stage-1 基础课程自训练"]
    C -->|描述正确但答案错误| E["感知引导推理增强<br/>以真实描述为上下文注入重生成"]
    C -->|描述错误/幻觉| F["困难样本直接丢弃<br/>阻断视觉幻觉噪声传播"]
    E -->|重生成答案正确| G["中等样本集 (Dmed)<br/>Stage-2 混合课程自训练"]
    D --> H["两阶段课程学习微调<br/>保持原模型基座微调更新"]
    G --> H
    H --> I["输出收敛的多模态推理模型"]

关键设计¶

1. 感知与推理的结构化解耦：以独立描述切断捷径依赖 传统端到端 CoT 提示词允许模型直接混合感知与推理，导致视觉线索与文本联想混杂不清，难以单独检验感知的真伪。为此，本文设计了强制解耦的 [CAP-REAS-CONCL] 提示模板，要求模型在给出任何逻辑推导前，必须首先显式输出一段针对输入图像的详细描述（Caption），随后在清晰感知的约束下展开推理（Reasoning），最后给出选项结论（Conclusion）。这种解耦使感知环节独立显式化，为下游引入细粒度、针对视觉保真度的自动化验证提供了结构化接口。

2. PerceptEval 无监督感知验证：图文双信号与自适应覆盖率过滤 在自训练缺乏人工标注图像描述的前提下，如何自动判别模型自生成的描述是否存在幻觉是核心瓶颈。为此，本文提出无需真实标注的无监督评估模块 PerceptEval，联合视觉表征对齐与 OCR 文本匹配两路互补信号： - OCR 文本一致性：针对包含图表、文字符号或测量数据的科学推理图像，利用 PaddleOCR 检测并提取图像中所有可见文本，拼接为辅助描述 $d_{\text{ocr}}$。利用预训练的 Sentence-Transformers 提取模型自生成描述 $\hat{d}_i$ 与 $d_{\text{ocr}}$ 的语义向量，计算两者的余弦相似度得到评分 $s_{\text{ocr}}$。 - FG-CLIP 细粒度视觉一致性：为评估自然物体、场景几何及实体关系的真实性，利用细粒度视觉-文本对齐模型 FG-CLIP 计算图像 $I_i$ 与自生成描述 $\hat{d}_i$ 之间的跨模态对齐得分 $s_{\text{vis}}$。 - 领域感知动态阈值判定：固定阈值容易在纯文字图表或纯自然风景图像上失衡。为此，定义图像内文字面积覆盖率： $$r_t = \frac{\text{Total OCR area}}{\text{Image area}}$$ 根据 $r_t$ 的取值自适应调节 $s_{\text{ocr}}$ 与 $s_{\text{vis}}$ 的准入阈值。只有当两项得分均满足动态阈值时，该样本的描述才被判定为有效感知（$\text{validcap}_i = \text{True}$）。这一设计有效避免了仅凭 OCR 错把文字当物体，或仅凭全局视觉忽略细小文字的单一模态盲区。

3. 基于难度划分的两阶段课程学习与感知引导增强：渐进扩展监督边界 在获取感知有效性标志与最终选项正确性标志后，所有自生成样本被划分为三类：简单样本 $D_{\text{easy}}$（感知有效且答案正确）、中等样本 $D_{\text{medium}}$（感知有效但答案错误）以及困难样本 $D_{\text{hard}}$（感知无效/存在幻觉）。 - Stage-1（简单样本微调）：模型在初赛阶段仅使用高纯度的 $D_{\text{easy}}$ 进行自训练。为了避免多轮自训练导致的过拟合和分布崩塌，微调始终基于原始基座模型 $M$ 展开迭代，直至验证集精度平稳，产出 Stage-1 检查点 $M_{\text{stage1}}$。 - 感知引导推理增强与 Stage-2（混合自训练）：中等样本表明模型已准确观察到了图像内容，但缺乏将感知转化为正向推理的引导。针对这类样本，系统构造感知引导提示词（CapEmb-Prompt），将经验证的描述 $\hat{d}_i$ 作为已知视觉证据强制拼接入输入上下文，促使模型在显式事实约束下重新生成 [REAS-CONCL]。若重生成的答案匹配真实标签，则将其装配为标准三元组纳入中等样本集 $D_{\text{med}}$。Stage-2 阶段混合 $D_{\text{easy}} \cup D_{\text{med}}$ 进行联合自训练，使模型逐步学习利用扎实的视觉线索攻克更具挑战性的复杂推理问题。

一个完整示例¶

以物理学“比较微观粒子平均动能与温度”的科学问答为例： - 输入问题：对比两个样本瓶中粒子的平均动能，哪一瓶温度更高？ - 基线表现：STaR 生成幻觉描述“一个瓶子装蓝绿粒子，另一个装紫绿粒子”，凭空得出结论；R3V 则出现语言捷径，根据“白瓶子里的绿粒子比蓝瓶子小”推导出错误依据，二者均仅因偶然撞中答案而通过常规自训练过滤。 - 本文流程： 1. 解耦生成中，模型输出描述：“图像显示两只瓶子，样本 A 每颗粒子质量为 32 u，样本 B 每颗粒子质量为 46 u，两瓶充填粒子数相同。第一只瓶子平均速率为 1400 m/s，第二只同样为 1400 m/s。” 2. PerceptEval 检验：PaddleOCR 抽取出文字 32u, 46u, 1400 m/s，余弦相似度 $s_{\text{ocr}} > \text{threshold}$；FG-CLIP 检验瓶子物体对齐分 $s_{\text{vis}} > \text{threshold}$，感知验证通过。 3. 推理与结论：“动能取决于质量与速度，平均速度相同时质量更大者平均动能更高，因此温度更高。结论为 (b) sample B。” 4. 该样本作为高质且无幻觉的简单样本进入 $D_{\text{easy}}$，为后续迭代提供扎实的物理先验。

损失函数 / 训练策略¶

训练过程采用标准因果语言建模（SFT）自回归交叉熵损失，仅在生成文本的 token 上计算梯度。超参数方面：采用 AdamW 优化器，学习率设为 $3 \times 10^{-5}$，训练 2 个 epoch，有效批次大小（effective batch size）为 16。对于 Qwen2-VL-7B-Instruct 采用 LoRA（rank=64, alpha=16），对于 LLaVA-1.5-7B/13B 采用 LoRA（rank=128, alpha=256），dropout 均为 0.05。全部实验在单张 48GB 显存的 NVIDIA A6000 GPU 上即可完成，展现出极高的算力效率。

实验关键数据¶

主实验¶

论文在多学科多步骤视觉推理基准 M3CoT 的四大领域（语言科学、常识推理、社会科学、自然科学）上进行了全面测试，并与零样本策略、直接 SFT 以及前沿自训练基线 STaR 和 R3V 展开对比。

表 1：LLaVA-v1.5-7B 在 M3CoT 测试集各领域 VQA 准确率对比 (%)

方法类型	方法	语言科学 (Lang. Sci.)	常识推理 (Common.)	社会科学 (Social Sci.)	自然科学 (Natural Sci.)	平均提升
Zero-Shot	Direct VQA	45.50	57.58	29.62	36.40	基准
Zero-Shot	CoT (Let's think step by step)	38.86	59.34	25.48	33.59	显著劣于直接回答
Zero-Shot	Desp-CoT	34.12	54.73	25.32	32.18	-
Zero-Shot	CCoT	26.54	54.08	28.66	35.50	-
Zero-Shot	[CAP-REAS-CONCL]	40.28	53.40	27.55	33.20	-
Direct SFT	VQA Finetune (无中间理由)	46.45	60.22	34.24	46.10	改善有限
Self-Training	STaR	48.82	64.98	41.88	53.90	存在答案提示偏差
Self-Training	R3V	50.24	65.49	42.20	51.34	仅按答案过滤饱和早
Self-Training	Ours (本文方法)	64.93	72.74	46.56	58.24	相对 R3V 最高提升 +14.69%

在现代高性能模型 Qwen2-VL-7B-Instruct 上，该框架同样取得稳健提升（语言科学 78.67% vs R3V 76.78%，常识 82.42% vs R3V 78.68%，社科 49.04% vs R3V 44.90%，自然科学 68.45% vs R3V 63.86%）。此外，在 MMMU 科学子集（OOD 零样本迁移）评测中，本文方法达到 36.48% 准确率，显著领先 STaR（32.43%）和 R3V（33.78%）。

消融实验¶

为系统剖析感知过滤机制与课程学习策略的单独贡献，作者在语言科学与常识领域进行了消融分析。

表 2：感知过滤与两阶段课程学习消融实验 (准确率 %)

配置变体	核心改动说明	语言科学 (Lang. Sci.)	常识推理 (Common.)	性能归因
Ours-Stage1 (仅答案过滤)	仅依赖答案正确性过滤样本，无 PerceptEval	49.76	62.42	严重受幻觉与捷径污染
Ours-Stage1 (双重过滤)	引入 PerceptEval 过滤，但仅在简单样本上训练	60.66	69.45	样本纯度提升，带来显著跃升 (+10.9% / +7.03%)
Ours (无课程学习 W/O CL)	Stage-1 同时混合简单与增强后的中等样本	57.34	65.05	样本难度混合过早导致模型混淆与过早饱和
Ours (完整两阶段课程)	Stage-1 简单样本收敛后，Stage-2 引入感知增强中等样本	64.93	72.74	渐进式学习达到最优精度

表 3：PerceptEval 内部组件贡献消融实验 (准确率 %)

评估信号配置	语言科学 (Lang. Sci.)	常识推理 (Common.)	机制说明
仅 OCR 相似度 (Only OCR)	61.13	60.44	纯视觉常识题缺乏文字，无法准确判别场景保真度
仅 FG-CLIP 相似度 (Only FG-CLIP)	56.87	69.89	语言科学包含大量图表文字，全局图文特征丢失字符细节
双信号自适应融合 (Ours)	64.93	72.74	兼顾密集符号与自然视觉场景，实现两领域最佳平衡

关键发现¶

零样本 CoT 在多模态中的逆向效应：在 LLaVA-1.5 的零样本测试中，显式提示 CoT 的准确率普遍显著低于直接回答（Direct VQA，例如语言科学从 45.50% 暴跌至 38.86%）。这证明模型自身的自由联想极易受伪关联和视觉幻觉带偏，盲目拉长推理步数反而降低决策准确度。
感知过滤是自训练质量的生命线：从仅答案过滤（49.76%）到双重过滤（60.66%）的单步激增，直接证明了传统自训练将错误感知当作正向伪标签是其性能瓶颈的根源所在。
课程推进的拐点效益：迭代学习曲线表明，若不采用课程学习直接引入中等难度样本，模型在前几个迭代即陷入振荡停滞；而采用两阶段策略时，在第 8 轮简单样本训练达到饱和后接入感知增强样本，验证集精度迎来爆发式二次拉升。
抗幻觉与泛化能力双赢：在专门针对幻觉诊断的 HallusionBench OCR 测试集上，本文模型取得 60.14% 准确率，大幅领先基座模型（37.76%）及常规自训练 STaR（54.54%）；在输出 token 长度统计上，本文方法平均维持在 69.2–93.9 tokens，远比 R3V（最高达 126.0 tokens）更加凝练，兼顾了推理充分度与推断效率。

亮点与洞察¶

无监督多模态质量判别器设计：巧妙利用开源 PaddleOCR 与细粒度 FG-CLIP 构筑轻量级感知判据，并结合图像文字覆盖率动态分配权重。这种无须人类参考标注的校验策略，突破了多模态伪数据筛选长期依赖昂贵商业模型 API 的困境。
失败样本的逆向拯救机制：将“看对了但想错了”的中等样本单独提取，通过将正确的视觉表征回填至问题引导二次推理。该机制既拓宽了有效自训练数据的边界，又精准纠正了模型无法有效调用自身感知能力的认知脱节。
低成本强推理的自训练范式：仅需单张 A6000 GPU 与少量迭代，在无需强化学习策略优化（PPO/GRPO）和复杂奖励函数调优的前提下，纯靠监督微调（SFT）即可显著压制多模态捷径学习，为轻量化端侧 VLM 的自愈自进化提供了极具工程价值的落地参考。

局限与展望¶

作者承认的局限：感知验证严重依赖预先设定的 OCR 与 CLIP 判别器，若底层 OCR 出现漏检或图像存在极端复杂畸变文本，可能导致有效样本被误杀；此外当前框架主要针对单图多项选择题，向多图关联推理及开放式问答的迁移有待验证。
自观察局限：算法将感知无效的困难样本直接丢弃，若基础模型本身的视觉骨干在特定细分长尾领域感知能力极弱，可用自训练样本量将急剧收缩，引发冷启动困境；同时两阶段离散迭代需要多次重新生成推理轨迹，数据前向计算开销随迭代轮数线性增加。
改进思路：探索在困难样本上引入局部弱视觉提示（如动态注意力热力图裁剪或粗粒度区域引导）辅助感知修复；将离线两阶段筛选转化为在线近端强化学习的过程奖励信号（PRM），实现感知与推理端到端的连续优化。

评分¶

新颖性: ⭐⭐⭐⭐☆ [提出感知与推理显式解耦自训练范式，构筑了轻量级无监督 PerceptEval 双信号感知评估机制]
实验充分度: ⭐⭐⭐⭐⭐ [跨 LLaVA-1.5 7B/13B 与 Qwen2-VL、多学科 M3CoT、OOD MMMU 及 HallusionBench 详细评估，消融剖析深入]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图文对照生动，问题发现与动机阐释直击多模态自训练核心症结]
价值: ⭐⭐⭐⭐☆ [极具工程复用性，摆脱商业 API 与复杂 RL 框架，为开源多模态模型高效自进化开辟了低成本路线]