Reinforcing Video Reasoning with Focused Thinking¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/longmalongma/TW-GRPO
领域: 视觉语言推理（视频推理）
关键词: 聚焦思考、组相对策略优化、token 重要性、多答案软奖励、问答反转

一句话总结¶

TW-GRPO 用组内同位置 token 分布的差异重新分配学习强度，并对多答案问题给予受假阳性约束的部分奖励，使 Qwen2.5-VL-7B 在仅 1K CLEVRER 训练样本下将 CLEVRER 准确率从同设置 GRPO 的 41.1% 提升到 50.4%，但收益并非覆盖所有视频基准。

研究背景与动机¶

视频推理不只需要输出一个合理解释，还要从动态画面中提取决定答案的实体、动作和时间关系。Video-R1 等工作已经把组相对策略优化（GRPO）用于视频问答，但最终答案的奖励通常被广播给整条思维链。这样一来，“让我仔细想想”和“两个球先碰撞再分离”虽然信息价值不同，却共享同一个序列级优势信号。论文关注的是这种学习信号分配是否浪费在通用开场白与重复验证上，而不是把更长的思维链直接视为更强推理。

另一个瓶颈来自题型。单选题通常只能给出答对或答错两种奖励；当任务需要识别多个成立的事件时，漏选一个正确事件与所有判断都错不应完全等价。然而，只把单选改成多答案、仍要求全部选对才奖励，会提高拿到正奖励的难度。作者因此把任务形式与奖励设计一起调整，让“只选对一部分”成为可利用的学习信号，同时防止模型通过把所有选项都选上获取奖励。

这两个问题分别发生在序列之间与序列内部：多答案软奖励帮助区分同一问题的不同回答，token 加权决定一条回答内部哪些位置获得更强更新。原生多答案数据来自 CLEVRER 反事实任务，问答反转则把这种训练形式扩展到部分单选数据。核心 idea：把“回答对了多少”和“哪些 token 值得重点学习”分开建模，用可部分计分的答案集合监督组内优劣，再用位置分布差异引导模型关注视觉与逻辑线索。

方法详解¶

整体框架¶

输入是视频、问题和候选选项，输出是思维链与一个或多个答案选项；底座采用 Qwen2.5-VL-7B。训练首先准备原生多答案题，或通过问答反转构造多答案题，再为同一个输入采样一组回答。多答案软奖励产生回答级反馈，token 重要性加权利用同一组回答在各位置的预测分布形成位置级权重，两者共同进入策略更新。

这里的“聚焦”发生在训练损失中，不是额外裁剪视频、训练视觉注意力掩码或推理时调用验证器。问答反转是离线数据处理；软奖励依赖训练标签；token 权重依赖组内采样。推理时只使用训练后的模型生成回答，不需要正确答案或额外评分模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["训练视频与单选题"] --> QAI["问答反转"]
    QAI --> Sample["同题采样一组回答"]
    Native["原生多答案题"] --> Sample
    Sample --> Reward["多答案软奖励"]
    Label["训练答案集合"] -.-> Reward
    Sample --> Weight["token 重要性加权"]
    Reward -->|回答级优势| Update["策略更新"]
    Weight -->|位置级权重| Update
    Update -.-> Model["训练后的模型"]
    Test["推理视频与问题"] --> Model
    Model --> Output["思维链与答案"]

关键设计¶

1. 问答反转：为单选数据构造可部分计分的答案集合

问答反转（Question-Answer Inversion，QAI）对问题作否定改写，并反转正确答案集合。原本五个选项里只有一个正确时，反转后可能有多个正确选项；作者还随机移除其中一些正确选项，避免模型只看到否定词就机械地选择大量答案。这个步骤为 NExT-GQA 和 STAR 的数据构造实验提供多答案样本，但不是所有 TW-GRPO 训练都必须执行：CLEVRER 本来就有多答案反事实问题，主实验中的 4K Video-R1 设置则没有启用多级软奖励。

反转的关键假设是，原来的错误选项能在否定后的语境中被认定为正确；这比简单交换标签更强，尤其“为什么发生”与“为什么没有发生”并不总是互为逻辑补集。因此，随机删选项只能缓解题型捷径，不能保证改写后的事实成立。作者对来自 1,000 个 NExT-QA 实例的 528 个反转样本进行模型评审，报告有效率 86.0%、语言捷径率 4.0%；另有 50 例人工检查，有效率 96.0%。这些结果支持它是有用但含噪的数据增强，而不是严格无损变换。

2. 多答案软奖励：奖励漏选但不奖励混入错误选项

模型输出答案集合，规则评分器把它与正确集合比较。只要所选答案全部正确，就按覆盖了多少正确答案给分；一旦混入任意错误选项，整条回答的任务奖励归零。这样，模型可以从“保守地选中一部分正确答案”逐渐学习完整集合，却不能通过全选套利。这个规则不是普通 IoU，也不是 F1：它对假阳性更严格，对漏选则允许分级反馈。

下面按原文式 (7) 后的明确文字说明书写该规则；\(P\) 是预测集合，\(G\) 是非空正确集合。

\[ R_{\mathrm{soft}}(P,G)= \begin{cases} |P|/|G|, & P\subseteq G,\\ 0, & P\nsubseteq G. \end{cases} \]

当正确答案只有一个时，这个奖励自然退化为二值奖励；多级信息来自多个正确选项，而不是把单选答案的置信度当作软标签。拿到一组回答的奖励后，GRPO 仍通过组内均值和标准差构造相对优势。这里改善的是回答之间的可区分性，不是直接证明每一步文字推导都正确；一段包含错误推理但碰巧选对集合的回答，仍可能得到较高的结果奖励。

3. token 重要性加权：用组内分布分歧寻找值得更新的位置

对同一问题采样的多条回答，作者按生成位置对齐，在每个位置计算各回答的 token 预测分布与组内平均分布之间的 KL 散度，再将这些散度相加形成位置分歧分数。它使用的是概率分布差异，不是简单统计同一个词出现几次，也不是只看某一条回答的预测熵。通用开场白往往在组内相似，关键实体、动作或逻辑选择更容易分叉；作者据此把高分歧位置作为信息量较高的位置，给予更强训练权重。

不同回答的长度并不一致，原文用词表上的均匀分布补齐缺失位置，再进行上述计算，随后对位置分数做 min-max 归一化并由缩放超参数控制权重。这个补齐方案避免直接丢弃短回答，但位置对齐依旧不是语义对齐：第十个 token 在两条回答中未必承担同一个推理步骤。因此，高分歧应理解为经验性代理信号，不能等同于经过验证的因果重要性。论文词云与轨迹示例发现高权重集中于实体、碰撞和时间词，支持这一解释，但没有把所有高权重 token 都证明为必要推理步骤。

实现细节需要谨慎：本地 PDF 文本中式 (5) 的排版与邻近“低分歧位置保留非零权重”的文字说明存在歧义，式 (6) 的裁剪项也有抽取损坏；附录 E 的归一化与填充细节不在该缓存内。因此本笔记只保留可核对的计算流程，不猜补精确权重公式、裁剪分支位置或零分母处理。它改变的是 token 级策略优化贡献，不是给视觉编码器加一个新模块。

一个完整示例¶

用原文的答案集合示例说明一次训练更新：假设正确集合是 B、D，同题采样得到四个回答，分别选择 B，选择 B、D，选择 B、C，以及只选择 C。奖励依次为 0.5、1、0、0。这里“四个回答”仅用于说明机制，不是论文报告的采样组大小。奖励均值为 0.375，因此前两条回答获得正的组内相对优势，后两条获得负的相对优势；严格全匹配奖励则会把第一条也归为零分。

随后，对这些回答在同一生成位置上的预测分布计算分歧。若关于“哪两个物体发生碰撞”的位置分歧较大，该位置的策略更新会被重点加权；大家都输出的套话位置贡献较弱。注意，权重没有把错误轨迹变成正例：回答级优势仍决定更新方向。这个例子解释了两种信号如何协作，也说明方法并不是只删除低权重词后再重新回答。

损失函数 / 训练策略¶

训练沿用 GRPO 的组采样、相对优势与策略比率裁剪思路，将位置重要性引入 token 级目标，并按输出 token 总量进行归一化。标准 GRPO 的预备公式含参考策略 KL 正则，但当前缓存不足以无歧义确认最终目标各项的精确组合；复现时应核对作者源码和补充材料，不能把本节流程说明当作逐行实现规格。

主要低数据量设置使用 1,000 条 CLEVRER 反事实训练样本、500 个 RL 步骤和 2 张 NVIDIA H800。作者报告 TW-GRPO 训练约 4 小时，同设置标准 GRPO 约 6 小时；位置加权的额外耗时低于每步 0.01 秒。后者只描述权重计算开销，不等于完整训练复杂度；文中关于随输出长度线性增长的说法也应限定在这一模块。

另一个设置在 4,000 条 Video-R1 数据上训练 1,000 步，用来对比 Video-R1-Zero。作者明确说该数据设置只有开放式及单选题，因此多级软奖励不生效，这组结果主要检验 token 加权，而非完整组合。评测使用 top_p = 0.001、temperature = 0.01，文中报告 batch size 为 16，并沿用 Video-R1 的相关提示设置。缓存没有附录 D，不能据此补全各基准精确划分、视频采样参数或所有训练超参数。

实验关键数据¶

主实验¶

表 1 摘录原论文 Table 1，数值为准确率（%）；MMVU 使用选择题部分，VideoMME 使用无字幕条件。CLEVRER 的整体准确率与后文“Soft Acc.”不是同一个指标。所有 TW-GRPO 行以 Qwen2.5-VL-7B 为底座；1K 与 4K 行不仅样本数不同，训练来源和奖励启用情况也不同，不能当成纯粹的数据规模消融。主文未逐项列出测试划分名称。

模型与训练设置	CLEVRER	NExT-GQA	MMVU_mc	MVBench	TempCompass	VideoMME 无字幕
Qwen2.5-VL-7B，零样本	30.5	75.9	65.4	63.3	72.5	56.5
GRPO，1K CLEVRER RL	41.1	75.2	65.1	62.8	71.9	55.9
TW-GRPO，1K CLEVRER RL	50.4	76.1	65.8	63.3	73.3	55.1
Video-R1-Zero，4K RL	未报告	未报告	63.8	60.4	70.9	53.8
Video-R1，165K SFT + 4K RL	31.6	74.3	64.2	62.7	72.6	57.4
TW-GRPO，4K Video-R1 RL	32.0	76.3	65.6	64.2	73.3	56.1

同 1K 设置下，CLEVRER 提升 9.3 个百分点，VideoMME 却下降 0.8 个百分点。同 4K 数据设置对 Video-R1-Zero，MMVU、MVBench、TempCompass、VideoMME 分别提升 1.8、3.8、2.4、2.3 个百分点，算术平均约 2.6 个百分点；这个“2.6”不能写成相对完整 Video-R1 的平均收益，后者还使用了 165K SFT 数据。

消融实验¶

表 2 摘录原论文 Table 3 的匹配配置，均报告 CLEVRER 与 MMVU 评测。CLEVRER 整体及多答案子集的 Acc. 是精确答对率；多答案 Soft Acc. 是按式 (7) 计分后取平均并换算为百分数，不是另一种模型输出置信度。

配置	CLEVRER 整体 Acc.	多答案 Acc.	多答案 Soft Acc.	MMVU Acc.
GRPO，多答案训练、固定奖励	41.1	32.3	55.4	65.1
TW-GRPO，多答案训练、固定奖励	42.6	26.0	54.2	65.0
GRPO，多答案训练、软奖励	41.2	28.1	57.6	64.6
TW-GRPO，仅单选训练	38.9	22.8	55.9	63.7
TW-GRPO，多答案训练、软奖励	50.4	42.5	64.4	65.8

关键发现¶

固定 token 加权与多答案训练，把固定奖励换成软奖励，整体准确率从 42.6 到 50.4，增加 7.8 个百分点；原文附近将该增益称为 soft accuracy，但表中这两个数属于整体 Acc.，这里按表头解释。
固定多答案与软奖励，加上 token 加权使整体准确率从 41.2 到 50.4；单独用软奖励相对固定奖励仅从 41.1 到 41.2。这支持组件之间存在互补作用，不支持“只换软奖励就足够”的结论。
token 加权并非每个子集都单调改善：固定奖励下，多答案准确率从 32.3 降到 26.0，尽管整体从 41.1 升到 42.6。完整组合的优势比单独模块更明确。

亮点与洞察¶

把两种信用分配分开处理。 答案集合决定一条轨迹相对其他轨迹好多少，位置分歧决定轨迹内部学习重点。这比只围绕最终二值奖励调系数更贴近视频推理的实际瓶颈。
软奖励保留明确的防投机边界。 允许漏选但不允许错选，让分级反馈不必依赖额外判别模型。这也提示多标签任务的奖励设计应同时考虑可学习性与套利空间。
低数据量实验提供可操作的起点。 1K 样本与双卡设置降低了试验门槛，但四小时结果属于作者报告，不能直接外推到不同视频长度、硬件或输出预算。

局限与展望¶

作者报告的适用边界： 4K Video-R1 设置不激活多级奖励；主文也没有独立的局限章节。缓存缺少其引用的附录，不能声称已核验附录里的超参数敏感性、F1 奖励对照与全部实现细节。
笔记判断： 相同位置的概率分歧可能反映措辞差异、长度填充或不确定性，而不一定是真正关键的时序推理。语义步骤对齐与错误轨迹分析会比词云更有力地检验这一代理信号。
笔记判断： QAI 的否定变换有语义噪声，模型与人工有效率并不相同；小规模人工样本无法证明在所有题型上可靠。后续可按因果、描述、反事实题型分别审计有效性与捷径。
笔记判断： 多基准结果存在退化，主表未给出多随机种子方差；不能把单次增益或推理变短直接解释为通用推理能力提升。更完整的复现应同时报告性能、生成长度、计算预算及不确定性。

评分¶

新颖性: 4/5。将位置级权重、多答案奖励与数据反转组合成可解释的训练方案，但各自借用了已有思想。
实验充分度: 4/5。六个基准和组件消融较完整，仍缺主表方差与当前缓存可核验的补充细节。
写作质量: 3/5。问题与流程清楚，但摘要比较对象、局部指标表述和公式抽取歧义需要谨慎区分。
价值: 4/5。对低成本视频 VLM 后训练有参考意义，尤其适合研究回答级与 token 级监督如何协同。