OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering¶

会议: NeurIPS 2026
arXiv: 2604.08209
论文: 项目主页
代码: https://aim-uofa.github.io/OmniJigsaw
领域: VLM Reasoning
关键词: 全模态推理, 强化学习后训练, 自监督学习, 拼图重排序, 模态编排

一句话总结¶

针对全模态模型在音视频协同推理中缺乏低成本自监督强化学习任务的痛点，本文提出 OmniJigsaw 框架，通过两阶段粗到细数据过滤构建音视频时间片段拼图重排序代理任务，并揭示了双模态捷径现象，设计片段级模态遮蔽（CMM）建立跨模态信息瓶颈，显著提升了全模态模型的时序感知与协同推理能力。

研究背景与动机¶

构建能够综合处理视频、音频和文本并执行复杂决策规划的通用智能体，是人工智能发展的核心目标之一。近期强化学习后训练（RL Post-Training，如基于确定性验证反馈的 RLVR）在纯文本领域的数学推导与代码生成任务中取得了突破性成功。然而，将基于确定性验证奖励的强化学习范式拓展至全模态模型（Omni-Modal Models）时，却遭遇了严重的数据与监督瓶颈：在数学与编程任务中可以低成本自动合成大量解法明确的难题并提供确定性判题，而全模态音视频推理任务极度依赖跨模态协同推导，若使用重型大模型辅助标注或人工标注，不仅成本极为高昂，且难以规模化扩展。

受单模态视觉拼图自监督任务的启发，探索能否以时间轴还原拼图作为一种完全无需人工标注的轻量自监督代理任务，成为全模态强化学习的重要切入点。最直接的联合模态集成（Joint Modality Integration, JMI）策略是同时保留完整的视听两路信号。但深入分析表明，这种朴素联合存在严重的“双模态捷径现象（Bi-modal Shortcut Phenomenon）”：当视听两路信息存在冗余时，模型倾向于只走阻力最小的单一主导模态捷径（如只听解说或只看明显画面），从而绕过了对较弱模态的主动细粒度挖掘与跨模态对齐推理。

为了根除模态捷径并激发真正的视听协同，必须引入有针对性的模态信息编排机制，同时建立严格的数据过滤管线以保证无标注视频拼图的绝对可解性。核心 idea：将全模态自监督强化学习构建为时序打乱片段的重排序代理任务，通过片段级模态遮蔽（CMM）自适应构建跨模态信息瓶颈、切断单一模态求解捷径，结合粗到细的两阶段数据过滤管线，在海量无标注音视频数据上实现可扩展的强化学习后训练。

方法详解¶

整体框架¶

OmniJigsaw 将全模态拼图任务形式化为时序音视频片段的置换序列预测问题。对于任意输入样本视频 $\mathcal{X}=(\mathcal{V}, \mathcal{A})$（包含视觉流 $\mathcal{V}$ 与音频波形 $\mathcal{A}$），系统首先将其在时间轴上均匀分割为 $N$ 个不重叠片段，并通过时间修剪操作切除片段边缘以防低级边界连续性作弊；随后应用随机排列 $\pi$ 得到乱序片段序列 $\tilde{\mathcal{S}}$。全模态策略模型 $\mathcal{M}_\theta$ 在特定模态编排策略 $\Phi(\cdot)$ 与任务指令引导下，通过长思维链（CoT）推理恢复原始时间顺序 $\mathbf{y}$。模型通过基于 GRPO 的强化学习框架进行策略优化，整个训练过程完全冻结视觉塔、音频塔与路由网络，仅微调推理骨干。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始音视频样本<br/>视频流 V + 音频流 A"] --> B["两阶段粗到细数据过滤管线<br/>信号级启发式初筛 + 语义级思维链精筛"]
    B --> C["片段切分与边界修剪<br/>均分 N=6 片段并修剪两端 5% 时长"]
    C --> D["时序片段随机置换与模态编排<br/>CMM 片段级遮蔽 / SMS 样本级选择 / JMI 联合集成"]
    D --> E["GRPO 强化学习后训练<br/>全模态 CoT 显式推理 + 预测时间置换索引"]
    E --> F["复合奖励机制驱动策略更新<br/>位置/连续性精度 + 折扣因子 + 格式与重复惩罚"]

关键设计¶

1. 两阶段粗到细数据过滤管线：从源头杜绝无解与冗余时序谜题

拼图重排序代理任务有效性的根本前提在于谜题的可解性与因果单向性。如果视频缺乏动态变化（如准静态场景或风景循环）或逻辑割裂，片段之间缺乏明确的状态演化证据，拼图将沦为不适定问题（Ill-posed Problem），产生误导性的梯度信号。为解决这一难题，本文构建了两阶段过滤管线：第一阶段采用轻量级信号启发式算法，强制要求双模态流完整存在，利用相邻帧平均绝对差（MAD）剔除静态画面占比超过 70% 的样本，利用均方根能量（RMS）和谱通量（Spectral Flux）方差过滤静音与单调噪声，并使用 Silero-VAD 限制语音占比在 30% 到 80% 之间，平衡信息密度；第二阶段引入轻量多模态大模型（Qwen2.5-VL-7B-Instruct）作为语义审校员，利用显式思维链（CoT）严格审查视频是否具有不可逆的时序演化和连贯的叙事因果链，仅保留最终给出明确 YES 判定的高质量样本。该设计将传统依赖重型教师模型的高昂标注开销转化为高效过滤流，成功从近 5 万样本中精炼出 8,220 个高保真拼图。

2. 模态编排策略与信息瓶颈构建：破解双模态捷径现象

朴素的联合模态集成（JMI）保留全部视听信号，然而由于跨模态线索冗余，模型在训练中极易陷入只依赖语言或视觉单模态特征的浅层捷径，阻碍了弱势模态的表征学习。针对这一“双模态捷径”，本文提出了两种层级的编排机制：样本级模态选择（SMS）首先利用模型自身作为优势分析器，评估样本全局的主导信息载体 $d \in \{V, A\}$，并在后续拼图中完全屏蔽非主导模态以消除噪声；更精细的片段级模态遮蔽（CMM）则让模型作为动态模态选择器，自适应评估每个片段的局部语义密度并生成选择决策向量 $\mathbf{m} = [m_1, \dots, m_N]$（保留纯视频、纯音频或双模态），将未选中的模态替换为零张量 $\mathbf{0}$。CMM 构筑了动态交替的跨模态信息瓶颈，强迫模型在时间轴上交替调用视觉与听觉碎片化线索拼接完整时间线，从机制上根除了单模态捷径依赖。

3. 复合奖励设计与精度依赖折扣因子：抑制次优收敛并激励完美还原

针对多模态推理策略在强化学习过程中的退化与局部最优陷阱，本文设计了包含结构约束与时序重构的复合奖励函数： $$R_{tot} = R_{rep} + R_{fmt} + \lambda(\text{acc}) \cdot \left(w_{pos} \cdot R_{pos} + w_{cont} \cdot R_{cont}\right)$$ 其中全局位置精度 $R_{pos} = \frac{1}{N}\sum_{i=1}^N \mathbb{I}(\hat{y}_i = y_i)$ 衡量片段绝对位置的准确率，局部连续性精度 $R_{cont} = \frac{1}{N-1}\sum_{i=1}^{N-1} \mathbb{I}((\hat{y}_i, \hat{y}_{i+1}) = (y_i, y_{i+1}))$ 奖励相邻片段对的正确衔接，两者权重各设为 $0.5$；格式奖励 $R_{fmt}=+0.2$ 激励模型严格遵循思考标签规范，而 $R_{rep}=-0.5$ 则对 20-gram 重复超过 3 次的语言退化施加严厉惩罚。关键机制在于精度依赖折扣因子 $\lambda(\text{acc})$：当预测序列达到完美完全匹配（$\hat{\mathbf{y}}=\mathbf{y}$）时，$\lambda=1.0$；只要存在任何局部排序错误，精度奖励便剧烈衰减至 $\lambda=0.2$。这一非线性断崖设计放大了完美解与次优解之间的价值差距，迫使 GRPO 算法在训练后期保持强烈的探索冲动，有效避免了模型停滞在局部次优平原。

损失函数 / 训练策略¶

OmniJigsaw 基于 VeRL 框架在 8 卡 NVIDIA H200 集群上运行 GRPO 强化学习后训练。策略基础模型采用 Qwen3-Omni-30B-A3B-Instruct，训练步数为 1,000 步，全局 Batch Size 为 8，每次采样 8 条候选轨迹（Rollout Group Size=8），采样温度设为 0.9。学习率配置为 $1 \times 10^{-6}$，KL 散度惩罚系数设为 $1 \times 10^{-2}$ 并采用 low_var_kl 估计器以防止在复杂多模态长文本推理中发生灾难性遗忘。为保证计算高效性，训练全程仅微调 LLM 骨干，视觉塔、音频塔和多模态路由均被严格冻结。

实验关键数据¶

主实验¶

在涵盖视频时序认知、纯音频理解以及跨模态协同推理的 15 项基准测试中，OmniJigsaw（尤其以 CMM 策略）全面超越基线模型 Qwen3-Omni-30B-A3B-Instruct，并在多个维度领先现有开源全模态强化学习方案。

基准领域 / 数据集	评测模式 / 指标	Qwen3-Omni-30B (基线)	Omni-R1	OmniJigsaw (JMI)	OmniJigsaw (SMS)	OmniJigsaw (CMM, 本文)
视频推理 MLVU-Test	Infer w/ Audio (Top-1)	57.97	52.59	58.76 (+0.79)	61.75 (+3.78)	62.35 (+4.38)
视频推理 AoTBench	Infer w/ Audio (Top-1)	64.88	52.09	66.83 (+1.95)	68.12 (+3.24)	68.90 (+4.02)
视频推理 Video-TT	Infer w/ Audio (Top-1)	44.30	36.80	44.70 (+0.40)	45.80 (+1.50)	46.10 (+1.80)
视频推理 Video-MME	Infer w/ Audio (Top-1)	72.10	63.20	72.90 (+0.80)	72.90 (+0.80)	73.10 (+1.00)
纯音频 MMAR	Audio Only (Top-1)	68.50	59.70	69.10 (+0.60)	69.50 (+1.00)	71.00 (+2.50)
纯音频 MMAU-Pro	Audio Only (Top-1)	56.61	52.36	58.33 (+1.72)	58.46 (+1.85)	58.59 (+1.98)
纯音频 MMAU-test-mini	Audio Only (Top-1)	74.40	77.70	74.50 (+0.10)	75.80 (+1.40)	76.30 (+1.90)
协同推理 OmniVideoBench	Collaborative (Top-1)	38.80	32.40	40.10 (+1.30)	40.20 (+1.40)	40.50 (+1.70)
协同推理 IntentBench	Collaborative (Top-1)	67.40	64.18	67.95 (+0.55)	68.21 (+0.81)	68.89 (+1.49)
协同推理 Daily-Omni	Collaborative (Top-1)	69.92	54.14	70.26 (+0.34)	70.26 (+0.34)	71.09 (+1.17)

消融实验¶

针对两阶段数据过滤管线与奖励折扣因子的关键消融实验（均在 CMM 编排策略下进行）展示了各模块在跨域评测中的决定性作用：

消融配置	MLVU-Test (视频)	MMAR (音频)	IntentBench (协同)	Daily-Omni (协同)	说明
OmniJigsaw (完整版 CMM)	62.75	71.00	68.89	71.09	完整数据过滤 + 精度折扣因子
w/o Filtering (无过滤随机采样)	58.76 (-3.99)	68.90 (-2.10)	66.77 (-2.12)	70.01 (-1.08)	随机抽取未过滤数据，因果模糊致学偏
w/o DF (固定折扣因子 $\lambda=1.0$)	61.95 (-0.80)	69.30 (-1.70)	67.66 (-1.23)	69.76 (-1.33)	移除精度阶梯，模型陷入次优局部解

关键发现¶

双模态捷径的实证确立：简单的双模态联合输入（JMI）在部分基准上甚至落后于单模态拼图基线（VideoJigsaw 与 AudioJigsaw），且思维链文本分析显示 JMI 频繁只依赖单一通道推导，验证了无约束多模态代理任务中普遍存在的捷径短路现象。
片段级编排（CMM）显著优于全局样本级选择（SMS）：真实音视频场景中关键事件在时序轴上交替出现。SMS 的整样本单模态裁剪往往遗漏了局部高价值的突发线索；CMM 通过片段级局部遮蔽，在时间动态流动中最大化局部信息熵，倒逼模型建立真正的异构线索对齐。
数据质量直接决定自监督 RL 上限：未经过滤的原始视频存在大量准静态镜头和逻辑跳跃，导致拼图存在多解甚至无解。去掉两阶段过滤后模型在长视频推理（MLVU-Test -3.99）和行为意图推理（IntentBench -2.12）上大幅跌落，证实了严谨因果逻辑筛选的核心价值。

亮点与洞察¶

自监督全模态 RL 的全新范式：将拼图重排序拓展为全模态自监督任务，完全规避了昂贵的重型教师模型标注与复杂多阶段流水线，提供了一种轻量、可验证且易于规模化扩展的后训练途径。
跨模态信息瓶颈解决模态竞争：巧妙揭示了“多模态输入未必更优”的本质原因，通过在时序片段粒度自适应实施特征遮蔽制造信息瓶颈，强迫模型从局部残缺线索中进行跨模态推导，实现了真正的互补协同。
极度严苛的精度折扣奖励驱动深层探索：设计了对非完全匹配施加 0.2 倍惩罚的断崖式折扣因子，拉大了正确排序与局部碰对之间的回报梯度，成功避免策略梯度陷入次优平衡区。

局限与展望¶

基座与规模泛化验证尚待扩展：实验主要围绕 Qwen3-Omni-30B 单一架构与 8K 数据规模展开，该自监督范式在更小尺寸轻量模型或千亿级全模态模型上的标度律（Scaling Law）仍需深入验证。
时序切分形式较为规整：目前采用等长均匀切分（$N=6$），现实场景中的事件往往具有可变时间跨度与重叠特性，未来可探索自适应事件片段切分与时空混合拼图。
缺乏动态训练难度调节：当前数据筛选为完全离线的两阶段流程，无法根据强化学习不同训练阶段的模型认知水平自适应动态调整拼图难度，引入课程学习（Curriculum Learning）是高潜力方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将拼图时序重排序拓展为全模态自监督强化学习，并深入解构模态捷径与动态遮蔽机制。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 15 项横跨视频、音频及协同推理的评测基准，且消融与机制分析完备。
写作质量: ⭐⭐⭐⭐⭐ 逻辑论证严密，问题提出自然，图表与数学表述清晰自洽。
价值: ⭐⭐⭐⭐⭐ 为全模态大模型在缺乏高质量标注数据背景下的自监督强化学习推理提升提供了极具扩展性的工业级范式。