📹 视频理解¶
🧠 NeurIPS2026 · 40 篇论文解读
📌 同领域跨会议浏览: 🎞️ ECCV2026 (111) · 📷 CVPR2026 (190) · 🔬 ICLR2026 (48) · 🧪 ICML2026 (17) · 🤖 AAAI2026 (27) · 🧠 NeurIPS2025 (41)
🔥 高频主题: 压缩/编码 ×6 · 异常检测 ×2 · 视频生成 ×2 · 扩散模型 ×2 · 多模态 ×2
- 3DSPA: A 3D Semantic Point Autoencoder for Evaluating Video Realism
-
针对生成视频真实感与物理合理性难以无参考自动化评估的问题,本文提出 3DSPA 自编码器架构,将 3D 点轨迹动力学、遮挡掩码与 DINOv2 稠密语义特征深度融合,以随机查询轨迹重构误差(Average Jaccard)作为通用真实感度量,在物理违规检测与人类主观评测对齐上大幅超越现有 2D 轨迹模型与通用多模态大模型。
- A Principled Optimal Transport Framework for Frame Selection in Long Video Understanding
-
将长视频关键帧选择从经验打分启发式重新表述为结构化证据分配的最优传输优化问题,通过半非平衡熵正则最优传输(OTFS-Sinkhorn)求解帧重要性软分布,并结合显式时间覆盖奖励的精确动态规划抽取最优子集。
- Before It Fades: Reinforcing Temporal Representations at Inference Time in VideoLLMs
-
通过量化视频帧反转引起的层级表示差异,本文揭示了 VideoLLM 在中间层习得时序信号却在深层逐渐衰退消亡的机理,并据此提出无须训练的推理期激活注入方法(TAI),以极小开销显著增强时序推理能力。
- Behavioral Geometric Supervision Aligns Video Foundation Models with Human Social Perception
-
提出了行为几何监督(BGS),通过结合局部三元组奇数剔除约束与全局表征相似度分析(RSA)的混合可微目标,在仅更新不到 2% LoRA 参数的情况下,使视频基座模型在动态社会相似性表征上全面超越文本编码基线,并自发涌现可解释的社会情感维度与跨域抽象交互泛化能力。
- Beyond Visual Boundaries: Rethinking Scene Segmentation for Movie RAG
-
本文重新审视了电影长视频检索增强生成(Movie RAG)中的场景分割切块基石,发现传统方法因过度依赖视觉物理突变而落后于均匀切块,进而基于事件分割理论构建了首个叙事驱动的数据集 NarraScene,证明了叙事事件单元作为检索块的决定性优势。
- CAM: Question Answering on Entity-Centric Videos with Continuous Extraction and Adaptive Querying
-
针对长视频问答中高层语义难以跨片段归纳以及扁平检索丢失细粒度多模态细节的难题,CAM 提出了基于子图结构成熟度的异步连续抽取机制与结合图遍历、视频回看的自适应工具流检索,在长视频基准上取得最高达 23.1% 的大幅精度提升。
- CoANeRV: Coordinate-Aware Token-Space Neural Video Representation
-
CoANeRV 提出了一种坐标感知的 Token 空间神经视频表示范式,通过前向卷积 Tokenizer 与 Token Former 将整段视频编码为紧凑的定长潜在 Token,并由全局共享的坐标条件解码器配合轴自适应位置编码、温度调制跨注意力与空间分块查询完成连续时空重建,在摆脱逐视频优化与权重生成的同时大幅降低了密集查询的显存开销。
- Concepts in Motion: Temporal Concept Bottleneck Model for Interpretable Video Classification
-
针对传统概念瓶颈模型在视频任务中难以建模时间动态且标准 Transformer 跨通道混叠会破坏概念归因的困境,本文提出了 MoTIF,通过逐概念独立的对角时间自注意力与 VLM 驱动的时空概念发现,在保持严格概念可解释性与支持干预的同时显著缩小了与黑盒视频模型的性能差距。
- Conditional Multi-Event Temporal Grounding in Long-Form Video
-
针对长视频中带时空复合条件的全部事件检索与计数难题,本文构建了首个基准 CoMET-Bench 与防作弊评测指标 Rejection-F1,并提出无需训练的搜索-聚合智能体框架 CoMET-Agent,显著提升多事件时序定位精度。
- Controllable Multi-label Video Safety Detection via Adaptive Tversky Policy Optimization
-
针对现有视频安全检测局限于二分类且缺乏动态精度/召回权衡调控的问题,本文提出自适应 Tversky 策略优化(ATPO),通过引入反馈控制机制动态调整假阳性与假阴性惩罚,在多标签视频有害内容检测上实现显著的性能跃升与精准的类别级运行点控制。
- COPRA: Conditional Parameter Adaptation with Reinforcement Learning for Video Anomaly Detection
-
针对视觉语言模型在视频异常检测中共享静态参数导致的泛化瓶颈与训练推理不一致,COPRA 提出基于强化学习端到端训练轻量级生成器,根据输入视频片段实时生成样本特定的 LoRA 动态权重,显著提升域内与跨域检测及多模态推理能力。
- CoRDS: Coreset-based Representative and Diverse Selection for Streaming Video Understanding
-
将长视频流式理解中的 KV Cache 压缩重构为基于几何覆盖与正交多样性的核心集(Coreset)选择问题,在固定显存预算下无需重训练即可大幅超越启发式剪枝基线并持平全量缓存。
- DeltaVid: Enhancing Fine-Grained Spatiotemporal Perception with Cross-Video Differences
-
针对视频多模态大模型对微弱局部与时序变化感知迟钝的瓶颈,DeltaVid 将跨视频“找茬”(spot-the-difference)构建为可自动验证的代理任务,通过可控扰动合成与规则奖励强化学习(GRPO),显著提升模型定位时空证据的能力并泛化至通用视频理解。
- Don’t Pause! Every prediction matters in a streaming video
-
针对现有流式视频基准仅采用“暂停-提问-播放”事后评估且忽略无动作空白期(dead-time)的缺陷,本文提出了首个全面评测连续主动干预能力的基准 SPOT-Bench 与时间敏感性指标 Timeliness-F1,并设计了无需训练的异步键值缓存管理方法 AsynKV。
- EgoStream: A Diagnostic Benchmark for Streaming Episodic Memory in Egocentric Vision
-
提出了首个针对第一人称流式情景记忆的诊断基准 EgoStream,定义了区分模型遗忘与环境状态变化的答案有效窗口(AVW),并建立涵盖七大认知维度的统一 MLLM 评估框架。
- Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding
-
FramePack-U 提出了一种无需训练的异构分辨率帧打包机制,通过结合提示词语义相关性与视觉多样性贪心采样关键帧,并在恒定视觉 token 预算下分层下采样其余帧,以 \(O(1)\) 的恒定内存开销显著提升了长视频理解性能。
- EVA-Cap: Optimizing Audiovisual Video Captioning via Event-Centric Alignment
-
针对全模态模型在视听视频描述中缺乏结构化事件对齐、容易出现声画时间错位与角色归因张冠李戴的问题,EVA-Cap 构建了包含事件级质控的 63K EVA-Data 数据集,并提出分解为全局事件完整性、事件内角色归因与事件间时间同步三重视听奖励的两阶段渐进式 GRPO 后训练框架。
- FrameScout: Scouting Query-Relevant Frames for Long Video Understanding
-
针对长视频理解中视觉 token 爆炸导致模型难以全量处理的痛点,提出了轻量级关键帧选择框架 FrameScout,通过滑动窗口 KV 缓存与反向继承者聚合构建具备全时序上下文的解耦帧表征,并基于帧-查询对比学习直接拉开正负样本间距,以恒定显存与线性复杂度实现精确帧检索与多查询场景下的显著加速。
- FreshMem: Brain-Inspired Frequency-Space Hybrid Memory for Streaming Video Understanding
-
受人类大脑韦伯-费希纳对数时间感知与尖波纹(SWRs)记忆巩固机制启发,FreshMem构建了多尺度频域记忆与空间缩略图记忆协同的混合架构,在免训练和轻量微调下显著提升了多模态大模型的在线流式视频理解表现。
- HAPACT: A Benchmark for Human-Centric Physical Impact Localization in Movies
-
针对视频中外部突发物理冲击缺乏细粒度时空表征的问题,提出以人为中心的物理冲击定位新任务与首个电影数据集 HAPACT,并构建了基于区域选择的多模态基线模型。
- Harnessing Streaming Video in the Wild
-
本文提出了覆盖模型、推理框架与评测基准的全栈解决方案,构建了 248K 逐秒对齐的流式多轮数据集与非对称训练损失,打造了支持 12 小时上下文与秒级时延的三层记忆与前缀缓存推理框架 StreamingHarness,并在兼顾准确性与及时性的 Streaming-Eval 上刷新最佳表现。
- iCATS: Fast Video Generation via Interaction-Aware Sparse Attention and Timestep-Adaptive Sparsity
-
iCATS 提出了一种无需微调的 Diffusion Transformer 视频生成加速框架,通过将 Q-K 交互重要性聚类重构为低秩二次型、设计基于信噪比(SNR)的动态反向 Sigmoid 稀疏调度以及执行 GPU 块感知的尾部合并策略,在保持高质量生成的同时实现了最高 2.03× 的实际端到端加速。
- LookWhen? Fast Video Recognition by Learning When, Where, and What to Compute
-
LookWhen 将视频识别解耦为选择器与抽取器的两阶段框架,通过在浅层选择器中基于空间-时间特征独特性指标(top1-distance)快速筛选前 K 个关键 patch,并在深层抽取器中利用多教师蒸馏与时间归一化帧特征表征全视频,实现了在无需全量稠密计算的前提下超越密集教师模型的精度-吞吐量权衡。
- Masked Diffusion Vision-Language Models for Temporal Action Localization
-
本文提出 MDVLM-TAL 框架,首次将时序动作定位转化为掩码扩散视觉语言序列生成任务,通过全局双向注意力打破自回归模型的左到右生成顺序,并配合规划训练目标与步级 tIoU 奖励实现语义描述与时序边界的协同迭代精细化。
- MedHorizon: 真实场景长上下文医学视频理解基准
-
针对真实临床长视频中解剖视野高度冗余且关键病变线索极端稀疏的时空特性,提出首个保留完整手术与检查流程的 759 小时医学长视频理解基准 MedHorizon,揭示出帧数扩展失灵、检索与临床解读双重瓶颈以及注意力向解剖冗余漂移的深层机制。
- MobileWan: Closing the Quality Gap for Mobile Video Diffusion
-
MobileWan 通过可学习高噪声偏置注意力头剪枝、因果线性混合注意力循环蒸馏、少步采样蒸馏及扩展时序感受野 VAE 解码器,首次将 50 亿参数服务端级视频扩散模型(Wan2.2-5B)部署于商用移动端 NPU,以 20 秒端到端延迟生成 5 秒 480×832 高质量视频。
- Parameterized Stripe Attention for Efficient Video Generation
-
针对视频生成 Diffusion Transformer (DiT) 全时空注意力推理开销巨大的瓶颈,本文揭示了注意力图中普遍存在的周期性对角条带结构,提出统一的六参数条带注意力 (PSA) 及硬件感知的统一 CUDA 核函数与无训练离线搜索算法,在 HunyuanVideo 和 Wan 2.1 上取得了 1.37×–1.57× 的端到端推理加速且几乎无画质损失。
- Rethinking Long-Video Efficiency: A Joint Allocation Perspective on Frames, Pixels, and Front-End Latency
-
针对长视频大模型以往仅在固定高分辨率下做帧/token筛选而忽视空间下采样与解码耗时的瓶颈,本文提出免训练单阶段框架 LoHi,将视频解耦为覆盖全时序的密集低分辨率视频流与补充关键细节的稀疏高分辨率图像流,在相同 token 预算下大幅超越现有方法并降低多达 7 倍的前端解码耗时。
- SLVMBench: Skill Learning from Video Memory
-
提出了首个联合评估视频大模型(Video-LLMs)从长达 2 小时干扰视频记忆流中提取教程技能并实时迁移应用于目标执行任务的基准 SLVMBench,揭示出前沿模型在时序大跨度下严重的认知衰减与程序性推理瓶颈。
- SphereVAD: Training-Free Video Anomaly Detection via Geodesic Inference on the Unit Hypersphere
-
针对预训练多模态大模型中间层特征呈现狭窄圆锥坍缩与跨域旋转偏差的问题,提出首个基于单位超球面黎曼测地线几何推理的完全免训练视频异常检测框架 SphereVAD,仅需极少量合成图像校准即可在三大基准上大幅刷新免训练 zero-shot SOTA。
- StreamOV: Streaming Omni-Video Understanding via Evidence-Guided Memory and Response Triggering
-
针对传统全模态模型难以胜任连续流式交互的问题,StreamOV 提出了基于证据解耦路由的长短期受限记忆机制与免自回归生成静默 Token 的前缀隐藏状态内生响应触发器,在固定计算预算下实现了高准确率的主动音视频推理。
- TACO: Towards Task-Consistent Open-Vocabulary Adaptation in Video Recognition
-
针对开放词表视频识别中微调目标局限于已知类别分布而评估面向未知类别的目标不一致矛盾,TACO通过高斯随机几何锚点引导的相对结构蒸馏保持全局表征几何一致性,并利用轻量残差特化投影解耦表征与优化空间,大幅提升了模型在未见视频动作类别上的零样本迁移泛化能力。
- Towards Fast and Effective Long Video Understanding of Multimodal Large Language Models via Adaptive Quasi-Gaussian Sampling
-
针对现有关键帧选择方法因硬采样缺乏灵活性和抗噪性导致全局理解掉点的缺陷,本文提出一种免训练的自适应准高斯采样框架 AdaQ,利用查询-帧相似度方差动态调节采样温度与 3-sigma 有效窗口,在 4 种主流 MLLM 上大幅提速并全面超越现有关键帧方法与均匀采样基线。
- TrAction: Action Recognition with Sparse Trajectories
-
针对传统稠密视频模型计算开销大且易依赖背景/外观捷径的问题,TrAction 提出首个完全基于 2.5D 稀疏点轨迹与轻量 Transformer 的动作识别架构,配合掩码轨迹自编码预训练,在无像素输入的条件下取得具竞争力的动作识别性能,并与 DINOv2、V-JEPA 2 等外观大模型形成显著的互补增益。
- Training-Free Temporal Abstraction for General Video Understanding
-
本文提出了免训练时序抽象方法 STITCH,利用冻结的 InternVideo2 视频-文本编码器提取短窗口特征,通过核变化点检测自适应切分视频时间线,一次性生成的语义块可无缝复用于事件边界检测、文本时刻检索以及长视频 VLM 帧选择。
- TT-VidT: Decoupling the Temporal Axis for Efficient Motion-Centric Video Pretraining
-
TT-VidT 用保持完整空间信息的首帧锚点和紧凑的可学习运动 token 重建后续帧,在约 170 万视频、8 epoch 的共享配方下突出提升运动敏感任务,同时将 TT3D 编码器计算量降至 456.1 GF,但不意味着通用视频理解或严格外观—运动解耦的全面领先。
- Video-Zero: Self-Evolution Video Understanding
-
针对视频自演化中全视频生成易依赖静态偏置与语言先验的问题,Video-Zero 提出以局部时序证据为核心的提问者-求解者协同演化框架,无需人工标注即可大幅提升视频时序定位与长程推理能力。
- VideoOdyssey: A Benchmark for Ultra-Long-Context and Omni-Modal Video Understanding
-
针对长视频评测中“视频时间虽长但仅需局部线索”的浅层推理痛点,提出首个以持续证明长度(CCL)量化认知负荷的超长上下文与全模态视频理解基准 VideoOdyssey(平均时长 109 分钟、CCL 达 16 分钟),全面揭示现有 SOTA 模型在长程推理、细粒度感知及非言语声学理解上的严重瓶颈。
- VideoSTF: Stress-Testing Output Repetition in Video Large Language Models
-
提出了首个针对视频大语言模型自回归生成重复退化现象的评测基准 VideoSTF,通过三项互补指标、万级视频测试集和时序扰动库,系统揭示了重复现象的广泛性、可放大性、黑盒攻击脆弱性及其与局部时序错位的深层关联。
- ViMU: Benchmarking Video Metaphorical Understanding
-
针对现有视频理解模型仅停留在显式字面感知而缺乏对深层潜台词推理能力的缺陷,本文提出了首个专注于视频隐喻与社交潜台词理解的无提示基准 ViMU,评测表明即便是最先进的前沿模型平均得分亦低于 50%。