ChronusOmni: Improving Time Awareness of Omni-Modal Large Language Models¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4007
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4065.pdf
领域: 视频理解
关键词: 视听时间定位、时间交错编码、全模态大模型、GRPO、跨模态对齐

一句话总结¶

ChronusOmni 把绝对时间文本、视频帧与对应音频交错输入 Ola-7B，再通过视听密集描述 SFT 和任务奖励驱动的 GRPO 学习六种时间关联任务，在 ChronusAV 上把音频定位 [email protected] 提升到 79.85，同时获得 LongVALE 零样本定位 mIoU 34.5。

研究背景与动机¶

视频时间定位通常回答“这个动作发生在几秒到几秒”，但真实视频还包含画外音、对白、环境声和音乐。仅理解画面，无法回答“听到这句话时屏幕上是什么”；把画面和声音混成一段联合描述，也难以判断模型是否真的把两个模态定位到了同一时段。例如，镜头对着人物 A 时，人物 B 在画外说话，随后才切到 B 的嘴部动作，语义相关并不意味着时间重合。

已有方法提供了不同时间接口：有的推断帧索引，有的学习时间嵌入，有的在图像上叠加时间水印。但帧序号并不直接等于秒数，水印还要求模型先读出图中文字。与此同时，LongVALE 等数据把视听信息写进联合描述，难以分别考察“根据声音找画面”和“根据画面找声音”。本文因此把时间、视觉、音频作为三个可相互查询的元素，显式定位对应 V2T、A2T、T2V、T2A，隐式跨模态定位对应 V2A、A2V；其中 V/A 查询可以是内容描述，回答是时间区间或另一模态的文字描述，并非生成视频或音频。

数据接口与训练目标必须一起改变：前者让模型看到可靠的跨模态时间对应，后者让“只差一点的边界”和“完全错误的边界”获得不同反馈。核心 idea：用可直接阅读的绝对时间文本串起同步视听 token，再以分离的视听描述建立监督，用时间重叠和描述质量奖励细化六向定位能力。

方法详解¶

整体框架¶

输入是带音轨的视频和一个查询，输出为起止时间，或目标时间段的视觉／音频描述。训练侧先构建 ChronusAV 对齐三元组，模型侧以时间交错编码组织多模态输入，随后依次进行时间感知 SFT 与任务奖励 GRPO；推理时只需训练后的模型，不需要再运行标注教师或强化学习。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    source["带音轨长视频"] --> dataset["ChronusAV 对齐标注"]
    source --> tokens["时间交错编码"]
    dataset --> sft["时间感知 SFT"]
    tokens --> sft
    sft --> grpo["任务奖励 GRPO"]
    dataset --> grpo
    grpo --> output["训练后的模型<br/>区间或模态描述"]

底座是基于 Qwen-2.5-7B 的 Ola。视频均匀抽取 64 帧，OryxViT 提取视觉特征；Whisper-Large-V3 编码语音，BEATs 编码声音与音乐，两路音频特征沿通道拼接后做 10 倍下采样。视觉与音频特征分别通过两层 MLP 适配器进入语言模型。这里没有重新训练一套视听编码器，主要改动在输入组织与语言模型的后训练。

关键设计¶

1. ChronusAV 对齐标注：同一时段分别回答“看见什么”和“听见什么”

数据来自 Panda-70M 中带音轨的英文视频，长度限制为 60–600 秒。先做视觉场景切分，再合并语义相近的片段，并用相同边界截取音频；仅保留包含 5–30 段的视频。视觉片段用 Gemini-2.5-Flash 标注，音频片段用 Gemini-2.5-Pro 标注，形成“时间区间、视觉描述、音频描述”三元组。分开描述很重要：若视觉答案偷偷引用音轨内容，跨模态问答就可能依靠标签泄漏，而不是真正的时间对齐。

整个数据集包含约 47K 视频、677K 片段。测试集留出 2,000 个视频，每个视频随机取一个片段，围绕三元组生成六个方向的问题，共 12K QA，全部经过人工核验和修订。另对随机 1,000 个片段进行标注质量检查，视觉与音频描述“基本准确”的比例分别为 96.1% 和 93.5%。这种检查支持数据质量，但不等于所有训练标注均经过人工审核。

六种查询共享同一组三元组，使显式与隐式时间能力能分别测量。例如 A2T 需要从音频描述检索区间，A2V 则要求输出同时段画面，而不能仅用音频常识猜测场景。需要注意，数据先按视觉事件切分，再沿用边界截取音频；因此三元组的同步来自统一切段，并不保证每个声音事件的自然边界都和视觉事件边界相同。

2. 时间交错编码：给帧和音频一个共同的绝对时间坐标

TIT（Temporal Interleaved Tokenization）把每个采样时刻写成 second{t} 格式的普通文本，再把该时刻的视觉 token 和从该时刻到下一采样时刻的音频 token 放在一起。不同长度的视频即使都采样 64 帧，帧间隔也不相同，所以仅有序列位置不足以表达真实秒数。时间文本复用语言模型已有的数字处理能力，也避免从图像水印中读取时间。

用完整序列记法整理原文式（2），其核心组织方式是：

\[ I=[T_1,V_1,A_1,T_2,V_2,A_2,\ldots,T_n,V_n,A_n]. \]

其中 \(T_i\) 是绝对时刻 \(t_i\) 的文本 token，\(V_i\) 是该时刻视频帧的 token，\(A_i\) 对应 \([t_i,t_{i+1})\) 的音频内容。它不是把整个视频 token 后面再接整段音频，而是让时间、画面和声音的局部邻接关系直接可见。模型仍需学习对应关系，TIT 本身不是硬性边界约束，也不会从结构上保证输出一定落在视频时长之内。

3. 时间感知 SFT：先建立完整事件描述，再学习按查询检索

第一阶段在 ChronusAV 上做视听密集描述：一次输入整段视频与音轨，模型为各个事件输出时间边界、视觉描述和音频描述。相比只学习一句全局摘要，这迫使模型把不同事件分开，并在同一输出中保留模态区别和时间对应。训练同时混入 How2 的视听语音识别与 AVSD 的视听问答，给原有理解能力提供持续监督。

但时间作为文本输出时，最大似然训练主要奖励正确 token，而不会自然体现连续区间的几何距离。训练时还一直给出正确前缀，模型可能记住常见输出模式，却不能在自由生成时准确定位边界。SFT 在这里是让模型掌握时间描述接口的准备阶段，不是最终的时间精度优化目标。

4. 任务奖励 GRPO：区间按重叠给分，描述按目标模态内容给分

第二阶段直接训练六向问答，使用 GRPO 根据同一问题的候选回答之间的相对奖励更新策略。V2T、A2T 输出区间，使用预测区间与真实区间的 IoU，而不是要求时间字符串逐字相同；这样一个接近正确边界的回答可以得到非零反馈。按正文对式（3）的定义，奖励为：

\[ R_{\mathrm{IoU}}=\frac{|I_{\mathrm{pred}}\cap I_{\mathrm{gt}}|}{|I_{\mathrm{pred}}\cup I_{\mathrm{gt}}|}. \]

这里的长度是时间区间长度。另一个格式奖励要求输出形如 second{start}-second{end}。缓存的式（4）存在抽取残缺，只能确认错误格式分支为 0 和正确格式的目标样式，不能可靠读出正确格式分值及其与 IoU 的组合权重，因此不补写总奖励公式。

T2V、T2A、V2A、A2V 输出文字描述，奖励采用预测描述与对应模态参考描述之间的 METEOR。这个分工避免把描述任务硬转成区间预测，也让一个时间接口服务全部六个方向。不过 METEOR 仍是文本匹配代理指标，不能直接验证每个被描述事件确实来自指定时段；隐式定位能力需要结合数据设计与独立评估判断。

一个完整示例¶

原文图 4 的 A2T 示例是一段长 218 秒的视频，问题给出结尾女声及轻音乐的描述，真实区间为 \([201.7,217.9]\) 秒。编码器提取画面和音频，TIT 把它们放到绝对时间线上，语言模型据此回答起止时间。ChronusOmni 输出 \([201.6,217.9]\)，而 Qwen3-Omni 输出 \([302,317]\)，已经超过视频长度。这是具体案例的对比，不是对所有输入都不会越界的保证。

同图的 V2A 示例根据 120.0–131.9 秒的开塑料袋画面询问声音，需要覆盖该时段的说话、包装声和其他声音，不能夹带之后的搅拌动作声。论文展示了基线遗漏或加入后续内容的现象，但本文回答把参考中的铃声描述为较大的撞击声，说明时间覆盖改善也不等于声音类别完全正确。

损失函数 / 训练策略¶

两个训练阶段都只更新 LLM，全部编码器和适配器冻结。SFT 使用 10K How2 样本、30K AVSD QA 和 30K ChronusAV 视频，共 70K 样本训练一个 epoch；GRPO 使用从 ChronusAV 训练集抽取的 4,000 个 QA，训练 1,000 步。GRPO 数据为每个选定视频随机取一个片段，并构造六个子任务之一的问答，而不是把全部六问都用于每个训练视频。

现有缓存未包含正文提到的附录，也未给出学习率、GRPO 组大小、KL 系数及完整奖励组合细节。这些复现参数不从通用 GRPO 实现中推定。

实验关键数据¶

主实验¶

ChronusAV 的定位指标 [email protected] 是单次预测与参考区间 IoU 至少为 0.7 的样本比例；描述任务下表选用 METEOR。数值沿用原表报告尺度，不把 METEOR 当准确率。FT 表示基线也使用本文训练数据微调；Qwen3-Omni 为 30B-A3B，其他下列模型为 7B。

模型	V2T [email protected]	A2T [email protected]	T2V METEOR	T2A METEOR	V2A METEOR	A2V METEOR
Qwen3-Omni	21.80	33.10	1.62	1.20	1.25	1.49
Qwen2.5-Omni (FT)	34.20	35.30	1.78	3.90	2.91	1.87
ARC-Hunyuan-Video (FT)	38.05	56.55	1.60	1.69	1.11	1.48
ChronusOmni	45.95	79.85	2.12	4.50	3.27	2.12

来源为原文表 2。相对最强已微调基线，V2T [email protected] 增加 7.90 个百分点，A2T 增加 23.30 个百分点；隐式 V2A 和 A2V 的 METEOR 分别增加 0.36 和 0.25。差异不能全部归因于 TIT，因为底座和后训练方案也不同，需要结合消融看。

LongVALE 使用零样本测试，Omni-TVG 是按视听联合事件描述找时间，Omni-DVC 是输出所有事件的边界与描述，Omni-SC 是根据指定区间输出描述。以下摘录原文表 3 的定位与描述指标：

零样本模型	Omni-TVG [email protected]	[email protected]	[email protected]	mIoU	Omni-DVC METEOR	Omni-SC METEOR
ARC-Hunyuan-Video	38.1	24.6	13.4	26.9	2.5	6.0
Qwen3-Omni	35.1	26.3	15.8	26.1	2.7	8.0
ChronusOmni	49.7	32.5	17.6	34.5	5.2	11.7

原文表 3 的 [email protected] 增幅写成 +41.6%，但用表内真正次优的 38.1 计算应为约 +30.4%；因此不把正文“平均增益 28.8%”当作已复核结论。这里保留原始指标，而不沿用有疑点的汇总增幅。

消融实验¶

下表来自原文表 6，任务和指标与 ChronusAV 主表相同。

配置	V2T [email protected]	A2T [email protected]	T2V METEOR	T2A METEOR	V2A METEOR	A2V METEOR
去掉 TIT	6.80	13.00	1.67	2.99	2.75	1.79
去掉 SFT	37.20	69.25	1.81	1.89	1.96	1.84
去掉 GRPO	15.45	19.00	1.07	0.35	0.73	0.66
完整模型	45.95	79.85	2.12	4.50	3.27	2.12

关键发现¶

TIT 对严格边界定位最关键：去掉后 V2T、A2T [email protected] 分别下降 39.15、66.85 个百分点。GRPO 则对描述任务也有明显作用，例如去掉后 T2A METEOR 从 4.50 降到 0.35。
Charades-STA 不能声称零样本，因为 AVSD 训练数据包含其视频；论文另外做一个 epoch 的 GRPO 微调，[email protected] 为 54.2。ActivityNet 才是零样本，[email protected] 为 22.1，但 [email protected]、[email protected] 并非最优。
一般能力不是无损保留：Video-MME 从 62.7 降到 62.4，LibriSpeech WER 从 3.2 升到 3.5；Daily-Omni 从 60.1 升到 72.3。时间训练更有利于联合视听推理，不代表所有单模态能力都提高。

亮点与洞察¶

时间是一个共享接口，而不是另一个需要从头训练的感知模态。把秒数文本放在对应视听内容旁边，可把定位需求转化为语言模型能直接利用的输入结构。
分离标注比“包含音频”更重要。只有把视觉和音频描述拆开，才能检验同一时刻的跨模态关联，而不是让联合描述掩盖模型到底用了哪一路证据。
表示与目标互补：TIT 提供可读的时间坐标，SFT 教会输出事件结构，GRPO 调整边界和目标描述。可以将这一思路用于其他带明确时间轴的多传感器序列，但需要重新定义可靠的任务奖励。

局限与展望¶

作者将真实交互场景与小时级视频列为未来工作。现有数据主要是 60–600 秒英文视频，固定 64 帧与音频下采样对短暂事件和更长输入的影响尚未被单独量化。
视觉优先的切段可能截断声音事件；自动标注也仍有错误。值得增加独立音频边界、视听错位扰动和跨语言测试，而不只依赖同一切段策略产生的测试 QA。
METEOR 奖励与描述评测指标重合，提升可能同时包含参考措辞适配。需要人工时序核验、事件覆盖指标或反事实时间交换测试来分离真实定位能力与语言匹配能力。
无 TIT 的对照具体如何重排输入、各奖励分量的独立作用、不同随机种子的波动，在现有正文中没有充分说明。消融能支持组件有用，但不能代替预算匹配与机制隔离实验。
缓存缺失附录且格式奖励公式残缺，限制完整复现；这属于当前可用材料的限制，不能直接断言正式论文没有这些信息。

评分¶

新颖性: 4/5。六向任务、分离标注与时间交错输入形成明确的视听时间建模方案，但 SFT 和 GRPO 本身不是新算法。
实验充分度: 4/5。包含同数据微调基线、跨数据集评估和三项组件消融，仍缺奖励拆分、预算匹配及方差报告。
写作质量: 3/5。任务定义和主线清晰，但 LongVALE 增幅存在数值不一致；缓存中的公式残缺另作材料问题处理。
价值: 4/5。为全模态模型提供可操作的时间接口与诊断数据，实际价值仍取决于更长视频、开放描述和真实交互验证。