VISD: Enhancing Video Reasoning via Structured Self-Distillation¶

会议: NeurIPS 2026
arXiv: 2605.06094
OpenReview: https://openreview.net/forum?id=DjpDYAkt81
代码: https://github.com/Koreyoshi01/VISD
领域: VLM 推理
关键词: 视频推理、结构化自蒸馏、强化学习、时空定位、信用分配

一句话总结¶

针对长程视频推理中序列级奖励稀疏且缺乏精细信用分配的瓶颈，VISD 提出结合视频感知裁判的结构化自蒸馏框架，通过方向-幅度解耦机制让真实奖励优势引导更新方向、结构化特权差异调制 token 级梯度幅度，在长程视频基准上实现更高精度、更强时空对齐与近 2 倍收敛加速。

研究背景与动机¶

大语言模型与多模态模型向视频领域的拓展推动了视频大语言模型（VideoLLMs）的快速演进，但在面对动态场景理解、多跳时序推理与精细时空定位等复合任务时，模型依然频现幻觉与推理断层。视频推理的本质要求长程推理轨迹（Reasoning Trajectories）与随时间连续演化的视觉证据严密对齐。然而，现有模型大多沿袭静态标注的监督微调（SFT），将推理过程压缩为端到端的一次性拟合，一旦模型给出看似合理但视觉依据脱节的错误答案，训练系统很难在长达数百甚至上千 token 的思考链中定位是哪一步时序定位偏移或物体误检导致了逻辑溃败。

为增强模型的推理可靠性，基于可验证奖励的强化学习（RLVR，如 GRPO）被广泛引入视频任务。RLVR 能够依托真实答案或外部验证器提供明确的优化目标，但其反馈本质上是序列级的稀疏标量奖励。对于结构高度异质的视频推理轨迹，序列标量无法实现 token 维度的精细信用分配（Credit Assignment），甚至会导致“逻辑推导完全正确但最终选项字母误报”被全盘惩罚，或“依赖错误时序幻觉误打误撞蒙对答案”被全盘强化的逆向激励。另一方面，传统自蒸馏与策略内蒸馏虽能提供稠密的 token 级监督，但现存方案往往采用模态无关、扁平分布的蒸馏信号，无法区分逻辑前后矛盾、时序区间错配与空间框偏移等不同性质的错误；直接将此类辅助监督与强化学习梯度混合更极易引发信号冲突，破坏策略优化的稳定性。

本文的切入视角在于：既然视频推理的失败模式具有鲜明的多维结构性，自蒸馏就不应停留在泛化的无结构概率逼近，而应当将结构化的诊断上下文显式引入特权信息空间。核心 idea：构建由视频感知裁判引导的结构化自蒸馏框架，将视频推理质量解构为答案正确性、逻辑一致性与时空对齐三大维度生成特权反馈，并采用方向-幅度解耦机制让环境奖励优势决定更新方向、特权反馈差异精准调制 token 级更新幅度，配合课程退火与 EMA 教师实现稳定高效的策略优化。

方法详解¶

整体框架¶

VISD 整体框架由三个核心模块协同驱动：视频感知裁判模型（Video-Aware Judge）、注入结构化特权上下文的教师重放机制（Feedback-Conditioned Teacher Replay）、以及方向-幅度解耦的策略梯度优化器。系统以视频-问题对 $x = (v, q)$ 为输入，由学生策略 $\pi_\theta$ 自回归生成包含思维链、时间戳 <t>、目标检测框 <box> 及最终答案的长程推理轨迹 $y = (y_1, \dots, y_T)$。

整个训练流程包含清晰的闭环数据流：首先，验证器（Verifier）根据真实答案 $a^\star$ 与时空定位真值 $e$ 对学生轨迹计算综合标量奖励，并基于组内采样计算轨迹级相对优势；与此同时，视频感知裁判基于多模态输入对学生轨迹进行细致诊断，生成包含逻辑一致性与时空对齐细节的结构化特权反馈；随后，教师策略在该特权信息辅助下对学生的同一轨迹进行原位重放（Replay），在局部 Top-$K$ 支撑集上提取各 token 的概率差异；最后，优化器以标量优势的正负号锁死策略梯度的更新方向，以特权差异作为缩放因子调制每个 token 的梯度更新幅度，并借助课程退火调度与 EMA 教师保障长程序列优化的数值稳定。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：视频-问题对 (v, q)"] --> Rollout["学生策略采样推理轨迹 y<br/>含思考链、时空标注与最终答案"]
    Rollout --> Judge["视频感知裁判生成多维结构化反馈<br/>评估答案正确性、逻辑一致性与时空对齐"]
    Rollout --> Verifier["真实标注验证器计算标量奖励<br/>获得组内相对优势 A 决定更新方向"]
    Judge --> Teacher["特权上下文注入教师策略重放<br/>在局部 Top-K 候选集计算预测差异 Δt"]
    Verifier --> Decouple["方向-幅度解耦信用分配<br/>优势 A 定方向，差异 Δt 调制幅度 mt"]
    Teacher --> Decouple
    Decouple --> StableOpt["课程退火与 EMA 教师稳定优化<br/>权重 λ 渐进退火至纯 RL，EMA 抑制教师抖动"]
    StableOpt --> Out["更新学生模型参数 θ"]

关键设计¶

1. 视频感知裁判的多维结构化特权反馈：打破模态无关的扁平指导 传统自蒸馏通常直接将正确标签或隐式隐变量塞给教师模型，使教师仅凭概率分布的微小偏移进行粗粒度引导，面对复杂的视频动态推理时缺乏诊断特异性。针对这一痛点，VISD 显式引入专门的视频感知裁判模型 $J$。给定输入 $x$、学生采样轨迹 $y$、真实答案 $a^\star$ 与时空定位证据 $e$，裁判生成结构化诊断反馈 $f = J(x, y, a^\star, e)$。该反馈将评估维度严格解构为三层：一是答案本身的正确性；二是推理轨迹内部的逻辑一致性（推导过程是否支撑答案）；三是专属于视频模态的时空对齐质量，严查引用的时序区间是否偏差、目标检测框是否贴合、以及引用的视觉证据是否真实存在于对应视频帧中。教师策略将特权元组 $r = (a^\star, e, f)$ 拼入上下文，对学生生成的原轨迹进行重放重打分： $$P_T(y_t \mid x, r, y_{<t}) = \pi_{\bar{\theta}}(y_t \mid x, r, y_{<t})$$ 这种机制使得教师模型不是盲目重新生成全新的解答，而是站在全知诊断的上帝视角，精确定位学生轨迹中每一个 token 究竟在哪个环节出现了事实偏差或逻辑脱节。

2. 方向-幅度解耦的局部 Top-K 自蒸馏调制：兼顾更新稳定性与精细信用分配 直接在强化学习损失中添加辅助蒸馏项或 KL 正则极易引发梯度方向冲突，导致模型在优化中后期发生策略震荡。VISD 借鉴解耦优化思想，将轨迹的更新方向与 token 级更新幅度彻底剥离。首先，为避免全词表计算的高昂代价与长尾噪声干扰，VISD 构建以教师为中心的紧凑局部候选支撑集 $\mathcal{U}_t = \operatorname{TopK}_{P_T(\cdot\mid x, r, y_{<t})}(K) \cup \{y_t\}$，将教师与学生分布在 $\mathcal{U}_t$ 上重新归一化为 $\widetilde{P}_T$ 与 $\widetilde{P}_S$。token 维度的特权更新差异定义为截断梯度的对数比值： $$\Delta_t = \mathrm{sg}\left(\log \widetilde{P}_T(y_t \mid x, r, y_{<t}) - \log \widetilde{P}_S(y_t \mid x, y_{<t})\right)$$ 序列级优势 $A$ 由验证器环境奖励经过组内标准化计算得出，严格决定更新方向 $\mathrm{sign}(A)$。随后，利用特权差异计算 token 级重加权因子并进行双向截断： $$w_t = \exp\big(\mathrm{sign}(A) \cdot \Delta_t\big), \qquad m_t = \mathrm{clip}(w_t, 1 - \epsilon_w, 1 + \epsilon_w)$$ 在这一机制下，当轨迹获得正向优势（$A > 0$）时，被结构化教师认可的高质量推理 token 会获得更大的正向梯度幅度，而混入其中的瑕疵 token 更新幅度被压低；反之，当轨迹表现拙劣被惩罚（$A < 0$）时，导致严重时空幻觉或逻辑坍塌的核心错误 token（$\Delta_t < 0$）将被赋予更大的惩罚幅度。整个过程严格保持环境奖励设定的优化方向，仅在轨迹内部实现语义精准的再分配。

3. 课程退火与 EMA 教师驱动的稳定策略优化：保障长程视频时序下的平稳收敛 在包含丰富时空标签的长程视频推理中，多维奖励信号尺度异质，早期学生策略探索极其脆弱。VISD 提出双重稳健优化策略。其一是课程退火调度机制：在训练初期，通过较大的融合权重 $\lambda \in [0, 1]$ 充分发挥结构化特权信息的稠密指导作用，让学生快速掌握时空 grounding 格式与逻辑闭环能力；随着训练步数推进，$\lambda$ 逐步退火衰减至 0，训练平滑过渡到以真实环境任务奖励为主导的自主探索阶段： $$\hat{A}_t^{(i)} = A^{(i)} \cdot \big((1 - \lambda) + \lambda \cdot m_t^{(i)}\big)$$ 其二是指数移动平均（EMA）教师参数稳定：教师参数 $\bar{\theta}$ 不直接复用剧烈波动的瞬时学生参数，而是通过平滑系数 $\tau \approx 1$（如 0.999）进行慢速迭代 $\bar{\theta} \leftarrow \tau \bar{\theta} + (1 - \tau)\theta$。这一设计有效滤除了策略梯度高频波动带来的观测噪声，使教师提供的时空诊断基准具备高连续性。

损失函数 / 训练策略¶

VISD 最终直接采用类似 GRPO 的截断代理目标（Clipped Surrogate Objective）进行优化，无需引入额外的参考模型 KL 惩罚项或独立的蒸馏损失分支： $$\mathcal{J}_{\mathrm{VISD}}(\theta) = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|y^{(i)}|}\sum_{t=1}^{|y^{(i)}|}\min\left(\rho^{(i)}_{t}(\theta)\hat{A}^{(i)}_{t},\operatorname{clip}(\rho^{(i)}_{t}(\theta), 1 - \epsilon_{\mathrm{pg}}, 1 + \epsilon_{\mathrm{pg}})\hat{A}^{(i)}_{t}\right)\right]$$ 其中 $\rho_t^{(i)}(\theta) = \frac{\pi_\theta(y_t^{(i)} \mid x, y_{<t}^{(i)})}{\pi_{\theta_{\mathrm{old}}}(y_t^{(i)} \mid x, y_{<t}^{(i)})}$ 为重要性采样比率，$\epsilon_{\mathrm{pg}}$ 为策略截断阈值。学生模型从 Open-o3-Video 的 SFT 检查点初始化，在包含多跳推理与时空定位的 STGR-RL 数据上开展强化自蒸馏，在第 1200 步即达成最优性能。

实验关键数据¶

主实验¶

论文在极具挑战性的视频时空推理基准 V-STAR 以及多项通用长视频理解任务上进行了全方位评测。V-STAR 涵盖双链式时空多跳推理（Chain1 为 What-When-Where，Chain2 为 What-Where-When），重点考察回答准确度、时序定位交并比（When Temporal IoU）及空间定位交并比（Where Spatial IoU）。

模型	模型类别	What Acc (%)	When Chain1 (tIoU)	When Chain2 (tIoU)	Where Chain1 (sIoU)	Where Chain2 (sIoU)	Overall mAM	Overall mLGM
Gemini-2-Flash	商业闭源	53.0	24.5	23.8	4.6	2.2	26.9	35.6
GPT-4o	商业闭源	60.8	16.7	12.8	6.5	3.0	26.8	38.2
Qwen2.5-VL-7B	开源基础	33.5	15.4	13.8	17.0	2.5	19.3	22.4
Video-LLaMA3	开源基线	41.9	23.0	23.1	0.9	0.2	21.7	27.0
LLaVA-Video	开源基线	49.5	10.5	12.2	1.9	1.3	20.8	27.3
Open-o3-Video-7B	强 RL 基线	60.1	25.0	23.6	25.6	5.6	33.4	45.8
VisionCoach-7B	强 RL 基线	61.2	25.4	25.4	27.1	5.3	34.3	47.5
VISD (本文)	自蒸馏 RL	61.9	26.8	27.2	26.7	6.3	35.1	48.9
较 Qwen2.5-VL 提升	-	+28.4	+11.4	+13.4	+9.7	+3.8	+15.8	+26.5

在涵盖 WorldSense、VideoMMMU、LongVideo-Reason-eval (LRR) 及 TVGBench 的通用基准测试中，VISD 综合均分达到 48.0，显著超越 Open-o3-Video-7B (44.9) 与 VisionCoach-7B (46.2)；在 Video-MME-v2 64 帧无字幕评测中，非线性得分达到 9.4，平均准确率达 23.8%，均位列开源同规模最优。

消融实验¶

为验证裁判结构化反馈、教师参数更新机制以及局部 Top-$K$ 支撑集的不可替代性，作者系统对比了不同训练配置下的最终训练指标（最后 100 步均值）与下游测试表现。

配置变体	结构化裁判反馈	教师更新策略	信用支撑集	训练 Reward	训练 Ans. Acc	梯度范数 Grad Norm	V-STAR mAM	V-STAR mLGM	通用评测均分
VISD 完整配置 (本文)	是	EMA	Top-$K$	2.318	0.571	3.58	35.1	48.9	48.0
去除结构化反馈 (仅真值)	否	EMA	Top-$K$	2.280	0.565	2.63	33.1	45.3	46.8
瞬时策略教师 (Current)	是	Current	Top-$K$	2.228	0.557	3.49	32.5	44.8	46.3
定周期同步教师 (Sync-10)	是	Sync-10	Top-$K$	2.253	0.558	11.63	31.2	42.8	44.1
仅对采样 token 比较	是	EMA	单 Token	-	-	-	34.0	47.0	47.7

关键发现¶

结构化反馈提供本质质量增益：去掉裁判多维反馈、仅让教师知晓最终真实答案时（w/o Feedback），模型在 V-STAR 上的综合指标 mAM 骤降 2.0（35.1 → 33.1），通用基准均分下跌 1.2。这表明教师获取明确的时空错位诊断，比单纯“看到标准答案”能够带来更具指导意义的 token 梯度幅度调整。
EMA 是保障策略平稳过渡的关键防线：定周期硬同步策略（Sync-10）在退火结束后引发严重的梯度震荡，梯度范数飙升至 11.63（EMA 仅为 3.58），空间定位指标全面塌陷；当前策略作为教师则因自身方差过大而导致引导力匮乏。EMA 能够提供平滑而可靠的时序基准。
样本收敛效率近乎翻倍：基线模型 Open-o3-Video 与 VisionCoach 均需要 2300 步以上的强化学习迭代才能充分收敛，而 VISD 仅需 1200 步（约 50% 的步数）即可在全部关键指标上反超基线，展现出稠密结构化信号在样本效率上的巨大优势。

亮点与洞察¶

方向与幅度的优雅解耦：将强化学习的探索方向牢牢绑定在真实环境的标量优势上，避免了任何辅助自蒸馏损失可能引发的方向偏转，而将教师特权信息精准限制在 token 梯度的缩放乘子内，兼具了 RL 的无偏探索性与蒸馏的细粒度指导。
时空归因的结构化显式解构：不同于常规仅对文本连贯性打分的裁判模型，VISD 视频裁判深入考查时序重叠区间与空间包围盒，将高难度的多模态物理 grounding 转化为可供特权教师量化评估的具体线索。
无附加推理开销的训练期即插即用：所有裁判评估与教师重放仅发生在离线反向传播的轨迹加权阶段，测试部署期完全回归纯净的自回归推理，不增加任何推理时延迟或参数内存开销。

局限与展望¶

裁判模型计算开销依赖较重：训练过程中依赖强力裁判模型（如 GPT-5.4）生成高质量离线反馈，虽然在收敛步数上节省了 50%，但单步生成与调度的整体算力成本依然可观，未来有必要探索轻量化自研裁判模型的蒸馏。
对非标准化开放式视频任务的泛化待检验：目前验证主要集中在带有明确问答、选择及确定时空标注的学术基准上，对于开放式长视频摘要、长程交互式具身视频问答等更嘈杂场景下的适应能力仍待进一步拓展。
更精细的时序事件因果建模：当前反馈主要针对离散的时间戳与静态检测框，尚未能对连续视频动作中的因果转折点提供连续动力学维度的特权细化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将多维时空诊断特权信息与方向-幅度解耦强化自蒸馏结合，思路极为新颖且切中痛点]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 V-STAR、Video-MME-v2 等多项硬核长视频基准，消融实验设计严谨、诊断透彻]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构清晰严密，公式定义自洽，方法论推导自然连贯]
价值: ⭐⭐⭐⭐⭐ [为多模态长程推理模型的高效强化学习训练提供了极具推广价值的工程与理论范式]

配置变体	结构化裁判反馈	教师更新策略	信用支撑集	训练 Reward	训练 Ans. Acc	梯度范数 Grad Norm	V-STAR mAM	V-STAR mLGM	通用评测均分
VISD 完整配置 (本文)	是	EMA	Top-\(K\)	2.318	0.571	3.58	35.1	48.9	48.0
去除结构化反馈 (仅真值)	否	EMA	Top-\(K\)	2.280	0.565	2.63	33.1	45.3	46.8
瞬时策略教师 (Current)	是	Current	Top-\(K\)	2.228	0.557	3.49	32.5	44.8	46.3
定周期同步教师 (Sync-10)	是	Sync-10	Top-\(K\)	2.253	0.558	11.63	31.2	42.8	44.1
仅对采样 token 比较	是	EMA	单 Token	-	-	-	34.0	47.0	47.7