CritiqueDriveVLM: From Verifier-Guided Reinforcement Learning to Latent Thought Distillation for Autonomous Driving¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/MICLAB-BUPT/CritiqueDriveVLM
领域: 自动驾驶
关键词: 视觉语言模型、多维验证器、多轮强化学习、潜在思维蒸馏、无思维链推理

一句话总结¶

CritiqueDriveVLM 先用验证器的评分与文字批评训练可纠错教师，再对齐教师推理终点与学生回答起点的隐状态，使学生不生成思维链即可达到 68.59% MCQ，并将平均延迟从教师的 3482 ms 降至 416 ms，但未保持教师的 76.54% 准确率。

研究背景与动机¶

自动驾驶视觉语言模型（VLM）不仅要识别路上有什么，还要解释这些实体如何影响当前驾驶选择。 DriveLMM-o1 将这类问题组织成带逐步推理的视觉问答，输出仍是语言答案或动作选项，而不是连续控制轨迹。监督微调（SFT）能让模型学会回答形式，却未必让它可靠地依据图像推理：忽略行人会造成危险决策，机械地选择减速也可能反映保守偏差。因此，答案写得顺、理由写得长，都不能独立说明驾驶判断正确。

AgentThink 和 OmniDrive-R1 等方法通过思维链（CoT）与外部感知工具加强视觉依据，但工具输出错误、接口依赖和长序列生成又引入额外失败点与延迟。本文把问题拆成先获得较可靠的推理能力，再让部署模型摆脱冗长推理输出。只奖励最终选项可能放过“理由错误、碰巧选对”的轨迹；只模仿教师的最终答案又可能丢失教师用于纠错的内部信息。作者因此同时关注训练反馈的内容和蒸馏监督的位置，而不是只缩短提示词或减少输出字数。

教师可以花时间接受批评并重新检查场景，学生则应在同样的图像和问题输入下直接回答。这里的 System-2 / System-1 是慢速显式推理与快速直接输出的工作方式，不是两种不同规模的网络，也不是对人类认知机制的验证。核心 idea：先用多维批评与多轮代价训练能纠错的教师，再把教师完成推理时的隐表示对齐到学生开始回答的位置，将部分推理收益转移到无 CoT 的推理路径。

方法详解¶

整体框架¶

输入为驾驶场景图像和问题，输出为带标签的语言回答或驾驶动作选项。教师与学生均以 Qwen3-VL-8B 为基础，三阶段训练分别是格式预热与验证器构建、批评驱动多轮强化学习、潜在思维蒸馏。验证器读取图像、问题和模型回答；教师输出显式推理，学生只输出答案。教师不是学生运行时调用的另一个模块，而是在蒸馏训练中提供冻结的隐状态监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        input["驾驶图像与问题<br/>带推理训练数据"] --> warmup["格式预热与<br/>验证器构建"]
        warmup --> rl["批评驱动<br/>多轮强化学习"]
        rl -->|冻结教师的推理终点状态| distill["潜在思维蒸馏"]
        input -->|仅图像、问题与答案监督| distill
        distill --> student["学生直接回答<br/>不生成 CoT、不调用验证器"]

图中表示训练阶段之间的监督关系，不能解读为学生每次推理都要先经过教师。教师的训练和推理可包含验证器引导的纠错循环；学生部署时才完全绕过验证器与中间推理文本。论文所谓 tool-free 主要排除了外部检测器、深度估计器等感知工具，不应扩大解释为教师无需任何外部模型。

关键设计¶

1. 格式预热与验证器构建：先让推理可解析，再让错误可评价

预热 SFT 使用 DriveLMM-o1 的高质量 CoT 子集，要求输出遵循 <think>...</think><answer>...</answer>。前一块承载推理，后一块承载最终答案，从而可以分别检查过程与结果。这一步主要建立后续强化学习依赖的格式约束，作者并不将其定位为尽可能提高推理能力的最终训练。如果模型在探索时丢失标签，格式奖励、选项提取和过程验证都可能失去一致的输入，因此格式本身成为训练基础。独立验证器从另一个基础模型初始化，而不是直接把正在优化的教师当成裁判。正例来自真实标注，在感知、逻辑、安全三个维度均赋最高分，批评文本为空。难负例来自仅用格式和答案准确率奖励训练的基线 GRPO 模型，用来暴露视觉幻觉和逻辑矛盾。

更强的 Qwen3-VL-235B 为这些错误回答生成分维度离散评分以及针对性文字批评，之后经过数据过滤与人工核验训练验证器。感知维度检查实体是否有视觉依据，逻辑维度检查因果推断和内部一致性，安全维度评价推理中的驾驶安全判断与保守偏差。标量分数能进入强化学习目标，文字批评则告诉模型下一次该检查什么，两种反馈用途不同。例如，“遗漏横穿行人”比一个总分更容易引导模型重新审视相关视觉证据，但这仍依赖验证器识别错误的能力。验证器训练完成后冻结，避免教师与裁判同时漂移；其可靠性不会因为冻结而自动得到保证。正文未给出验证器所用基础模型的确切规模，也未在现有缓存中提供完整离散分值范围，不能把它直接写成 235B 模型。 235B 在已描述流程中承担数据标注角色，和最终冻结验证器不是同一个已确认身份。

2. 批评驱动多轮强化学习：奖励修正结果，同时让额外轮次有代价

教师先根据图像和问题生成一份完整推理与答案，验证器随后输出三个维度的分数和文字批评。若所有维度均达到满分则结束；否则，将之前的问题、回答与批评追加进对话历史，再生成新的完整回答。这不是直接用验证器答案替换模型答案，而是让策略在具体反馈条件下重新推理。实际最大轮数为 \(K=2\)，因此只有首次回答和至多一次修正，不是无上限反思。达到轮数上限也会终止，即使验证器仍不满意；“结束”不能等同于“回答已经正确”。最终奖励取决于终止回答，包含输出格式、答案与真实标注的一致性，以及感知、逻辑、安全过程分数。原文表 1 将三类过程分数的含义分开列出，防止仅靠正确选项掩盖不可靠理由。

此外，第二轮修正会受到固定的阶梯式衰减惩罚，鼓励在第一次回答中就完成必要判断。其意图是保留批评作为学习支架，同时抑制“先随便答、等裁判提醒”的策略。但论文没有单独报告首次回答通过率，不能仅凭终止 MCQ 上升便断言教师已经完全不依赖批评。优化采用组相对策略优化（GRPO），每个问题采样 \(G=4\) 组内候选，以组内奖励统计量计算相对优势。裁剪的重要性采样比约束更新幅度，KL 正则约束策略不要偏离预热得到的参考模型太远。与维护同规模价值网络的 PPO 相比，GRPO 的组内比较减少了额外 Critic 网络的需求，但验证器仍有自己的计算成本。缓存中的奖励组合式和 GRPO 公式存在运算符、下标丢失；这里保留可由正文确认的机制，不猜写精确奖励代数式或惩罚常数。

3. 潜在思维蒸馏：把推理终点对齐到回答起点

第三阶段将教师冻结，学生重新从原始基础 VLM 初始化，而不是简单继续训练已经完成 RL 的教师。学生的训练样本只保留图像、问题和答案，删除显式 CoT 文本，因而不能靠复述教师思维链完成训练目标。同一输入送给教师时，教师仍可以生成多轮推理轨迹，为学生产生监督信号。作者提取教师最终推理轨迹中最后一个 </think> 位置的深层隐状态，以及学生 <answer> 位置的对应隐状态。这两个位置分别位于“已经完成推理”和“即将开始回答”的边界，监督对象不是整段逐 token 的思维链。因为师生使用同一 8B 基础架构，可以在对应隐空间内对齐；本文的效率收益并非由减小参数规模得到。这种选择要传递的是教师看完证据并修正后形成的表示，而不是额外增加学生输出的中间步骤。

对齐采用余弦距离，只约束表示方向，不要求向量模长相同。以下是按第 3.3 节文字定义规范书写的余弦损失，与式 8 所描述的目标一致；缓存中的原式排版已损坏。

\[ \mathcal{L}_{\mathrm{align}}=1-\frac{\mathbf{h}_{S}^{\mathrm{answer}}\cdot\mathbf{h}_{T}^{\mathrm{think}}}{\|\mathbf{h}_{S}^{\mathrm{answer}}\|_2\|\mathbf{h}_{T}^{\mathrm{think}}\|_2}. \]

学生同时接受答案的自回归交叉熵监督，因此不是只模仿一个隐向量而不学习如何输出答案。正文明确将交叉熵和加权对齐损失共同用于训练，对齐权重为 \(\lambda=0.5\)。隐状态相似是可优化的代理目标，不构成学生执行了与教师相同逻辑步骤的证明。实际支持它有效的证据是无 CoT 学生的 MCQ 改善，而不是对“潜在思维”的直接观测。

一个完整示例¶

原文图 3（第 14 页）展示了有行人横穿道路的问答，要求在停车、急刹、加速、变道等选项中选择避免碰撞的动作。基线错误地描述前方没有行人，选了 F，即给定动作均不需要。教师第一轮也遗漏了行人，说明更好的总体成绩不等于每次初始感知都正确。验证器批评要求重新查看前方是否有横穿行人或停车标志，第二轮教师识别行人并改选 A，即完全停车。学生在同一示例中直接给出 A，没有显示第一轮错误、批评对话或完整修正理由。这个例子解释了训练时的纠错经验如何被用来监督快速输出，但单例不足以证明所有危险场景均能可靠迁移。图中基线和教师理由分别写了 20.3 km/h 与 16.17 km/h，文本本身不一致；本笔记不把它们当作已核实的统一场景车速。

损失函数 / 训练策略¶

三阶段都使用同一 DriveLMM-o1 训练划分，包含超过 18,000 对视觉问答，数据基于 nuScenes。视觉编码器全程冻结；预热 SFT 和蒸馏都使用 LoRA，RL 阶段采用 GRPO。三阶段学习率依次为 \(1\times10^{-4}\)、\(2\times10^{-6}\) 和 \(2\times10^{-5}\)。各阶段训练 2 个 epoch，全局 batch size 为 128，训练硬件为 8 张 NVIDIA A100。推理时间在单张 A100 上测量，不应外推为车载平台的延迟。正文指向附录 A 的指标细节与附录 B 的超参数，但提供的缓存止于参考文献，未包含这两个附录。因此，具体评分实现、惩罚系数和完整复现配置仍需原始附录或代码进一步核实。

实验关键数据¶

主实验¶

表中数字来自原文表 2（第 11 页），均为 DriveLMM-o1 官方协议下报告的百分制指标，越高越好。 MCQ 是 Multiple Choice Quality，Overall Reasoning 为整体推理评分；细化计算方式在当前缺失的附录 A 中，不能把后者解释成真实驾驶成功率。

模型	Overall Reasoning (%)	MCQ (%)	Rule Adherence (%)	Relevance (%)
Qwen3-VL-8B	77.76	55.54	84.32	84.43
DriveLMM-o1	75.24	62.36	81.56	79.42
AgentThink	79.68	71.35	84.98	84.99
OmniDrive-R1	80.35	73.62	85.42	82.58
CritiqueDriveVLM 教师	80.48	76.54	86.21	85.46

教师相对基础模型的 MCQ 提高 21.00 个百分点，相对 OmniDrive-R1 提高 2.92 个百分点，但整体推理评分只高 0.13 个百分点。它并非所有细项最优：风险评估、场景理解与缺失细节评分仍分别有其他基线领先。

消融实验¶

原文表 3（第 12 页）比较不同输出模式；下表保留输出 token、单 A100 平均延迟与 MCQ，不能把有 CoT 和无 CoT 的运行条件混为同一设置。

模型与输出模式	平均输出 token	平均延迟 (ms)	MCQ (%)
Qwen3-VL-8B，有 CoT	390.95	4265	55.54
Qwen3-VL-8B SFT，有 CoT	147.88	1675	62.86
AgentThink，有 CoT 与工具	515.01	5416	71.35
CritiqueDriveVLM 教师，有 CoT	223.32	3482	76.54
Qwen3-VL-8B，无 CoT	37.23	461	54.96
Qwen3-VL-8B SFT，无 CoT	23.65	343	61.73
CritiqueDriveVLM 学生，无 CoT	28.83	416	68.59

学生相对教师平均延迟约降低 88%，MCQ 同时下降 7.95 个百分点；摘要“28 tokens”是简略描述，表格精确均值为 28.83。学生比无 CoT 的 SFT 高 6.86 个百分点，但延迟为 416 ms 而非后者的 343 ms，所以收益不是在每一个比较中都更快。表 3 被作者用作对齐消融证据，但没有单列一个训练流程完全相同、仅移除对齐项的学生；其因果隔离程度有限。

原文表 4（第 13 页）逐步加入强化学习组件，其中 MT 将多轮交互与轮次惩罚捆绑加入。

配置	Overall Reasoning (%)	MCQ (%)
基础模型	77.76	55.54
加 SFT	73.38	62.86
加答案准确率 GRPO	73.85	64.49
再加多维验证器奖励	75.10	67.46
再加 MT，完整教师	80.48	76.54

关键发现¶

加入验证器奖励后 MCQ 从 64.49% 到 67.46%；继续加入 MT 后从 67.46% 到 76.54%，后一步是该渐进消融中最大增益。
MT 同时改变交互和惩罚，不能据此分别量化文字批评、增加计算量和轮次惩罚的贡献。
SFT 使 MCQ 上升但 Overall Reasoning 从 77.76% 降至 73.38%，提示答案指标和解释质量需要分别看待。

亮点与洞察¶

验证器把评分与可执行的文字反馈连在一起。训练不只告诉教师“错了”，还给出重新检查视觉证据的方向。
蒸馏位置选在推理结束与回答开始的边界。它保留了过程监督的入口，却不要求学生在推理时支付逐字生成理由的成本。
师生同为 8B，使这里的“压缩”主要指计算路径与输出长度。研究价值在于改变推理方式，而不是展示更小参数模型。

局限与展望¶

作者仅在 DriveLMM-o1 进行评测，未展示闭环仿真、实际车辆控制或跨数据集泛化；416 ms 的问答响应不能直接证明满足安全关键控制周期。
教师还会接受外部验证器批评，验证器误判或不当建议可能传播到教师与学生；文中没有给出系统的验证器错误分析。
缓存缺少附录，奖励和 GRPO 公式存在提取损坏，完整计时口径是否包含全部验证器开销也未明确，复现时需要额外核对。
学生丢失 7.95 个百分点教师 MCQ，且没有显式理由供逐步审计；潜在表示对齐并未证明安全属性或因果推理被完整保留。
作者计划扩展到多相机视频流与时序逻辑蒸馏；读者层面的进一步建议是分别消融多轮交互与惩罚，并报告首次通过率和延迟尾部。

评分¶

新颖性: 4/5。将批评引导 RL 与回答边界隐状态蒸馏串联，组合针对性明确，但沿用已有 GRPO 与潜在推理蒸馏思路。
实验充分度: 3/5。有主表、效率比较和逐步消融，但仅单一问答基准，且缺少严格隔离的对齐与轮次惩罚消融。
写作质量: 3/5。三阶段主线清楚，但 tool-free 容易误读，定性例子的速度不一致，缓存公式与附录也限制核验。
价值: 4/5。提供了驾驶问答中准确率与延迟折衷的具体方案，尚不足以支持真实安全部署结论。