跳转至

📹 视频理解

💬 EMNLP2026 · 17 篇论文解读

📌 同领域跨会议浏览: 🧠 NeurIPS2026 (41) · 🎞️ ECCV2026 (111) · 📷 CVPR2026 (190) · 🔬 ICLR2026 (48) · 🧪 ICML2026 (17) · 🤖 AAAI2026 (27)

🔥 高频主题: 压缩/编码 ×4 · 推理 ×3 · 问答 ×3

CapRiCorn-1K: A Comprehensive Benchmark for Video Captioning and Subject Referential Consistency Across Temporal Scales

针对现有视频字幕基准时长偏短、场景单一且忽视长程实体追踪的痛点,CapRiCorn-1K 构建了首个涵盖 15 秒至 10 分钟跨度、包含动态场景转场与服装形变的 1000 条长视频基准,通过五类关键点评估整体字幕质量,并首创基于锚定共指聚类的“主体指称一致性”(Ref)量化指标,支持音视频与纯视觉双模态评测。

Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding

提出 Caption-once, Frames-on-Demand (CFD) 边云协同智能体长视频理解架构,通过边缘侧单次离线构建双轨叙事索引(事件级故事骨架与切片级微动作日志),并在云端通过视觉需求路由器(Visual-Need Router)仅在感知类属性问题上按需检索少量关键帧,将平均每查询在线抽帧量降至 5.8 帧(相比密集基线降低两个数量级),并在 Video-MME (67.5) 与 InfiniBench 上实现精度与计算效率的最佳权衡。

CausalChapter: Improving Long-Form Video Chaptering with Interventional Dependency Modeling

针对长视频章节切分在分段生成范式下面临的边界误差累积与跨片段上下文碎片化瓶颈,本文提出基于因果干预思想的 CausalChapter,通过局部掩码干预捕获相邻时间窗的依赖骤降实现平滑过渡边界定位,并通过剔除式干预评估历史段落对当前章节生成的实际支持度以重排上下文,在 AVLecture 与 VidChapters-7M 基准上显著超越现有 SOTA 模型。

CoFIE: Coarse-to-Fine Evidence Selection for Efficient Streaming Video Understanding

针对流式视频中编码阶段计算开销大及下游 token 剪枝难以缩减端到端延迟的问题,提出两阶段粗到细证据选择框架 CoFiE,在视觉编码前利用灰度直方图新颖度过滤时间冗余帧,在 LLM 预填充阶段通过文本-视觉注意力筛选问题相关证据帧,实现高达 2.54× 端到端加速与超越全帧基线的准确率。

Emotion Understanding in Streaming Video with Trajectory-Aware Reliability

针对流式视频中前缀预测片面且容易产生虚假高置信度的问题,提出基于轨迹感知的可靠性决策框架 TRACE,利用轻量音频流动态构建情感信念演化轨迹,通过风险与收益双头网络评估轨迹稳定性并自适应触发跨模态重解释,在仅调用 55.58% 重解释率的情况下达到 69.47% 的高准确率。

HIPPO: Accelerating Video Large Language Model Inference via Holistic-aware Parallel Speculative Decoding

针对视频大语言模型推理中的视觉Token冗余与草稿模型延迟瓶颈,HIPPO提出了结合多维正交评分的语义感知Token保留策略与重叠生成-验证阶段的视频并行推测解码算法,在保证理论无损的前提下实现了最高3.51倍的端到端推理加速。

Long-to-Short Video Evidence Reasoning for Grounded Question Answering

针对视觉证据定位视频问答(GQA)中证据稀疏度不一及边界重叠优化干扰问答目标的问题,本文提出 LOVER 强化学习后训练框架,引入由长到短的证据课程学习、以 IoP 替代传统 IoU 的证据发现奖励机制,以及背景感知自适应时间戳渲染,在 NExT-GQA 和 ReXTime 基准上均取得开源模型最优表现。

LongSpace: Exploring Long-Horizon Spatial Memory from Perception to Recall in Video

针对长视频中 3D 空间线索跨时程分散且易被冗余视觉 token 稀释的痛点,本文提出了融合 3D 空间结构感知(SSP)与分层 KV 记忆(HKM)的统一架构 LongSpace,并构建了涵盖秒级至小时级室内漫游的长时程空间记忆评测基准 LongSpace-Bench,在空间记忆回溯与多项基准上取得显著突破。

MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Agentic Hierarchical Graph Memory

提出 MemDreamer 框架,将长视频理解彻底解耦为流式视频构建纯文本「分层图记忆」与智能体驱动的「工具增强检索」两阶段,仅需原生端到端 2% 的上下文窗口即在四大长视频基准上刷新 SOTA。

MemoryCard: Topic-Aware Multi-Modal Clue Compression for Long-Video Question Answering

针对长视频问答中关键证据稀疏短暂且孤立帧缺乏语义连贯性的痛点,MemoryCard 通过 VLM 自阅读将视频切分为事件会话,将事件摘要、对齐语音及代表帧统一渲染为高密度图文「记忆卡片」,配合问题感知检索与相关度自适应分辨率分配,在有限视觉预算下大幅提升长视频问答准确率。

Reward-Decomposed Reinforcement Learning for Immersive Video Role-Playing

提出解耦视-思-言的强化学习框架 EBM-RL,通过分阶段结构化输出与四维互补奖励优化,使多模态角色扮演智能体摆脱“情境盲目”,实现动态情境与角色人设的双重自洽。

Self-Supervised On-Policy Distillation for Omni-Modal Video Captioning

提出面向全模态视频描述的自监督在线策略蒸馏框架 SODA,利用模型内在的“问答优于描述”与“高预算优于低预算”双重不对称性,通过双流 QA 审计初稿生成高质量修订目标,并以逐 token KL 散度进行同权自蒸馏,在无需外部教师和人工标注的情况下大幅提升音视频描述保真度与覆盖率。

Streaming Atomic Action Segmentation in Egocentric Videos via Iterative Boundary Refinement

本文提出了 CoTT(Chains of Temporal Transitions),一个无需人工标注的第一人称流式原子动作分割框架,通过解耦的 LVLM 时序转移描述、长上下文语言聚合与视觉回溯精修生成高密度伪标签,并将其蒸馏到轻量因果循环在线模型 CoTT-Lite 中进行迭代自引导,实现了超越传统监督基线的在线动作定位性能。

TempCore: Are Video QA Benchmarks Temporally Grounded?

论文提出基于最相关与最不相关帧对比的帧选择敏感度(FSS)与语言独立性分数(LIS),审计发现六大主流视频问答基准中仅有 5.5%–31% 的样本真正需要时序帧选择,据此构建了无需人工重新标注的时序紧凑评测子集 TEMPCORE。

ToM-Video: A Theory-of-Mind Video Benchmark with Spatio-Temporal Grounded Reasoning

提出了包含 1,487 个真实叙事视频、41,206 道单选问题的大规模时空定位心理理论评测基准 ToM-Video,并设计了三阶段课程后训练框架 INSPIRE,通过格式冷启动、时空定位强化与心智链一致性对齐,引导多模态模型从表层冗余描述转向紧凑且有物证支撑的心智推理,显著缩小了开源模型与人类及商业闭源模型在心智推理上的差距。

VidOmni-Bench: A Benchmark for Fine-Grained Video Understanding via Spatio-Temporal Event Verification across Complexity and Duration

针对现有视频评测过度依赖多选题浅层捷径与稀疏真实描述匹配的缺陷,本文提出了覆盖5种时空复杂度、时长跨越4秒至90分钟的逐句事件验证基准VidOmni-Bench,通过将多种Video-LLM生成的密集描述中经人工校验的幻觉句作为困难负样本,深入揭示了模型作为核验者的泛化瓶颈与自偏好偏差。

VISA: Video Skeleton-Aware Efficient Frame Selection for Long Video Understanding

VISA 利用视频原生图像组(GOP)中的稀疏 I 帧构建无文本先验的时序骨架并自适应聚合文本相关性,通过动态规划在骨架上分配预算并跨相邻 GOP 进行精细化搜索,在大幅降低候选帧解码开销的同时显著提升长视频理解准确率。