跳转至

📹 视频理解

🎞️ ECCV2026 · 110 篇论文解读

📌 同领域跨会议浏览: 📷 CVPR2026 (187) · 🔬 ICLR2026 (48) · 🧪 ICML2026 (17) · 🤖 AAAI2026 (27) · 🧠 NeurIPS2025 (39) · 📹 ICCV2025 (56)

🔥 高频主题: 目标跟踪 ×18 · 压缩/编码 ×7 · 人体姿态 ×7 · 异常检测 ×5 · 少样本学习 ×4

EventMemAgent: Hierarchical Event-Centric Memory for Online Video Understanding with Adaptive Tool Use

EventMemAgent 用按事件组织的分层记忆压缩视频历史,再让 Qwen3-VL-8B 通过强化学习掌握检索、OCR 和目标检测的调用时机,在最多 32 帧短期缓存下实现 OVO-Bench 60.75% 的总体成绩。

History-Aware Transformation of ReID Features for Multiple Object Tracking

HATReID-MOT 将已有轨迹当作在线伪类别,用时序加权的 Fisher 线性判别构造当前视频专用的 ReID 子空间,再融合原始相似度,在不额外训练网络的条件下使 SportsMOT 测试集的默认外观基线 HOTA 从 67.3 提升到 78.1。

MegaFlow: Zero-Shot Large Displacement Optical Flow

MegaFlow 用预训练视觉几何先验建立跨帧特征,以全局匹配确定大运动的落点,再用局部与时序信息细化,在四帧 Sintel Final 零样本评测取得 1.83 EPE,并支持无需跟踪监督的点跟踪迁移。

TAR: Temporal Anchor-Constrained Reasoning for Video Temporal Grounding

TAR 把可与真实时间区间核验的中间锚点写进视频推理链,用渐进修正与数量惩罚约束强化学习,再通过同规模模型自举数据完成冷启动,使 7B 模型在 Charades-STA 上达到 61.1 mIoU。

Bounding-Box Trajectories Matter for Video Anomaly Detection

TrajVAD 把检测跟踪已产生的边界框轨迹提升为主要异常信号,用类别感知归一化流学习正常运动;纯轨迹版在 ShanghaiTech 达到 87.7 AP,加入可靠性门控姿态分支后达到 88.6 AUROC 和 90.9 AP,但姿态并非在所有数据集上都有收益。

CurveStream: Boosting Streaming Video Understanding in MLLMs via Curvature-Aware Hierarchical Visual Memory Management

CurveStream 用视觉特征轨迹的转向程度识别语义变化,再以在线双阈值决定帧的高清保留、低清保留或丢弃,在不训练模型的条件下,将 Qwen2.5-VL-7B 的 StreamingBench / OVOBench 准确率从 73.31% / 59.90% 提升到 84.00% / 73.48%。

EgoExo-Con: Exploring View-Invariant Video Temporal Understanding

本文提出 EgoExo-Con 基准(1,148 对同步 ego-exo 视频 + 2,269 条人工精炼的时序查询),首次系统评估 Video-LLM 在不同视角下时序理解的一致性,发现现有模型跨视角一致性仅勉强达到单视角性能的一半;并提出 View-GRPO 强化学习框架,通过语义对齐与结构一致性双重推理奖励,显著提升跨视角时序理解的鲁棒性和一致性。

Em-Garde: A Propose-Match Framework for Proactive Streaming Video Understanding

Em-Garde 把每帧都要完成的复杂“是否回答”推理改写为查询时一次性的视觉提案生成与流内轻量匹配,在 OVO-Bench 上取得 30.99 平均 F1、在 StreamingBench 上取得 38.0% 主动响应准确率,并以约 13 fps 维持恒定长度的流式计算。

OmniScript: Towards Audio-Visual Script Generation for Long-Form Cinematic Video

OmniScript 将电影视频转写为带时间定位的分层剧本,通过角色记忆辅助的数据构建、视听深层融合、剧情思维链与事件级分段奖励,使 8B 模型在 5 分钟视频上的事件 Overall F1 达到 37.7、[email protected] 达到 69.3,但尚未全面超过闭源模型。

Small Vision-Language Models are Smart Compressors for Long Video Understanding

Tempo 用 2B 小型视觉语言模型把视频片段压缩成查询相关记忆,再交给 4B 全局语言模型回答问题,并在推理时按相关性分配 token;在最多 1024 帧、4K 视觉预算下,LVBench 得分达到 52.7,超过 VideoChat-Flash 的 48.2。

VDC-Agent: When Video Detailed Captioners Evolve Themselves via Agentic Self-Reflection

VDC-Agent 让同一个多模态模型生成、评价并反思视频描述,再用轨迹偏好对进行由易到难的 DPO,将多轮改进转化为单次生成能力,在 VDC 上达到 49.08% 平均准确率,在 DREAM-1K 上达到 37.4% F1。

IRIS: A Real-World Benchmark for Inverse Recovery and Identification of Physical Dynamic Systems from Monocular Video

IRIS 是第一个覆盖多体碰撞现象的真实世界物理参数估计基准:240 段 4K/60fps 受控录制、8 类动力学系统(24 个实验设置、每设置 10 次重复)、真值由标定仪器独立测量并附不确定度,配套五轴评测协议与四条方程路由策略的首次系统对比;基线评测不仅量化了精度,还诊断出 SOTA 隐空间管线中一条切断参数梯度的积分器 bug(修正后单摆绳长 MAE 从 95.07 m 降到 3.80 m),并暴露出多步 rollout 损失在多体系统上的灾难性发散(双摆绳长 MAE 最差 741.1 m)。

Synthetic Visual Genome 2: Extracting Large-scale Spatio-Temporal Scene Graphs from Videos

SVG2 将真实视频自动标注扩展到 636K 视频规模,并训练轨迹条件模型 TraSeR,以分割对齐和全局/局部双重采样器生成时空场景图,在 SVG2test 上达到 79.0% 对象准确率和 27.1% 属性召回率,但关系预测并未全面超过 GPT-5。

DART: Difficulty-Adaptive Routing for Zero-Shot Video Temporal Grounding

DART 将同一个查询条件化 DPP 核同时用于关键帧选择和难度估计,仅对复杂事件启用结构化时序推理,在不做任务微调的条件下取得 Charades-STA 48.93、ActivityNet Captions 39.89 的 mIoU。

Reflect-R1: Evidence-Driven Reflection for Self-Correction in Long Video Understanding

Reflect-R1 让同一个视觉语言模型先检索并初答、再隔离上下文做盲验证、最后重查证据进行仲裁,通过 SD-GRPO 学会纠错而非重复初答,在 LongVideoBench 反思分析中实现 59.68% 到 62.50% 的准确率提升。

STRIDE: When to Speak Meets Sequence Denoising for Streaming Video Understanding

STRIDE 用一个基于 Qwen3-VL-2B 的掩码扩散激活模型,在滑动窗口内联合修订“该不该响应”的状态,再按需调用冻结的视频大模型,将 ET-Bench 在线激活评测的平均 F1 从 Baseline-AR 的 24.3 提升到 32.6。

Video-Oasis: Rethinking Evaluation of Video Understanding

Video-Oasis 不新造视频基准,而是提出一套可持续的诊断套件,用「抽掉视觉证据」「破坏时序结构」「人机协同核验标注歧义」三条轴审计了 14 个现有视频理解基准,发现 55% 的样本无需视觉或时序信息即可答对;过滤后剩下的 11,033 个「视频原生挑战」样本上,最先进模型仅略高于 25.6% 的随机猜测。

Vinci2: Providing Proactive Assistance in Continuous Egocentric Videos

Vinci2 把「第一人称助手该不该主动开口」重新形式化为一个依赖长时上下文的决策问题,并同时给出首个连续第一人称视频主动服务基准 EgoServe(3000+ 服务实例、4 个时间记忆跨度、10 个子类)与免训练的记忆增强 agent EgoMemo(多尺度时间摘要 + 演化知识图谱 + 视觉嵌入档案,配三路并行检索与字幕重建),在 EgoServe 上把总体 F1 从基线 GPT-5-mini 的 4.7 提到 8.0,并在 5 个已有基准上保持或刷新成绩。

Cambrian-P: Pose-Grounded Video Understanding

Cambrian-P 在视频大模型训练中加入逐帧相机姿态回归,并用交错训练和帧采样抖动协调几何学习与问答,在 VSI-Bench 上将匹配的无姿态基线从 69.2 提升至 73.7,收益主要来自学到的表示而非推理时使用姿态 token。

ConTrack: Constrained Hand Motion Tracking with Adaptive Trade-off Control

ConTrack 把物体运动跟踪设为优先满足的任务约束,以在线权重调节、可达状态重置库和接触先验学习机器人手部控制,在每片段 5000 次 PPO 更新下达到平均进度 0.899 和接触 F1 0.784,但不在所有误差指标上领先。

Learning Consistent Temporal Grounding between Related Tasks in Sports Coaching

本文利用「生成技术反馈」与「验证反馈是否正确」这两个紧密相关任务必须关注同一批关键帧这一观察,在共享 Vid-LLM 的选定视觉层与选定注意力头上做跨路径的注意力一致性自监督(验证路径带 stop-gradient 当参照),在不增加任何帧级标注的前提下把 ExAct / FitnessQA / ExpertAF 分别提升 +3.0 / +14.1 准确率与 +0.9 BERTScore。

Learning Probabilistic Embeddings for Unsupervised Action Segmentation

PEOT 用局部时序图预测每帧的高斯嵌入,以多次采样驱动最优传输伪标签和交叉熵训练,测试时只用均值,在 Desktop Assembly 上相对代码复现的 ASOT 将 MoF 从 59.0 提高到 71.2、F1 从 63.7 提高到 75.8,但并非所有数据集的所有指标都领先。

OnPoint: Offline-to-Online Multi-Level Distillation for Point-Supervised Online Temporal Action Localization

OnPoint 提出离线到在线的多级蒸馏框架,用仅需单帧点标注的离线教师模型生成伪段标签、帧级类激活序列(CAS)和窗口级动作预期信号,通过实例级、帧级、窗口级三层蒸馏注入严格在线的学生模型,辅以动作性校准注意力解码和锚点级原始点监督来稳定训练,在五个数据集上一致超越强基线(THUMOS 上平均 mAP 提升 4.8%,最高 +7.0%),首次打通了点监督在线时序动作定位(POTAL)这一新任务。

QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding

QCA 把长视频的固定帧预算先按「查询语义匹配 + 内容偏移」两路信号分给各个时间片段,再在段内以最相关帧为锚、在高相关候选集里做距离贪心选帧,全程免训练即可接进现有 Video-LLM;在四个长视频基准、三个 MLLM 骨干上一致超过均匀采样与已有帧选择方法(Qwen3-VL-8B、64 帧下 LongVideoBench 66.9 / Video-MME 69.5 / MLVU 75.7 / LVBench 51.8)。

ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA

ReQuest 用一个从 MLLM 自身回答里蒸馏出来的轻量选择器估计每一帧提供的视觉证据量,再用同一次推理的预测熵同时决定"要不要多想一轮"和"选帧时该多密",在不微调底层 MLLM 的前提下稳定提升长视频问答准确率,并把第二轮推理的算力只花在模型真正不确定的问题上。

Revisiting Weakly-Supervised Video Scene Graph Generation via Pair Affinity Learning

本文指出弱监督视频场景图生成沿用全监督两阶段流程时忽略了一个根本差异——现成检测器会无差别地检出大量与交互无关的物体,而训练时这些"未匹配对"被整批丢弃,于是模型只在交互对上受过训练、却要在以非交互对为主的检测空间里推理;作者为此引入可学习的成对亲和度(pair affinity),用 RAM 借视觉语言接地精修伪标签、PALS 把亲和度分数乘进推理排序、PAM 用亲和度门控空间与时序注意力,在 Action Genome 上把弱监督 STTran 的 R@10 从 15.39 提到 22.24。

TETO: Tracking Events with Teacher Observation for Motion Estimation and Frame Interpolation

TETO 从约25分钟无人工运动标注的真实配对记录中,把 RGB 跟踪器的对应关系知识迁移到事件模态,以物体运动感知采样改善点轨迹和光流,并用显式运动约束提升扩散式帧插值的感知质量。

TransVLM: A Vision-Language Framework and Benchmark for Detecting Any Shot Transitions

TransVLM 把镜头切换从单个边界点改为完整转场区间,以不增加视觉 token 序列长度的颜色与光流融合配合混合训练及滑窗推理,在 STD Benchmark 的公开数据上取得 0.783 区间级 F1,在合成数据上取得 0.938 帧级 F1。

Triangular Consistency as a Universal Constraint for Learning Optical Flow

本文从位移场可复合的几何第一性原理出发,提出三角一致性(triangular consistency)——一种与架构、监督类型和数据集无关的通用光流约束,通过对三帧构成的最小三角形施加组合一致性损失,在有监督、无监督和自监督域适应三种训练范式下均取得一致提升。

WristMimic: Full-Body Humanoid Control with Wrist-Guided Manipulation

WristMimic 把人-物交互重定向拆成「运动学姿态引导的无接触身体与腕部」和「仅由物体轨迹与接触结果塑形的手指」两种监督制度,并靠腕部奖励调制与相位相关重置阈值保证交互时腕部落位,在 OMOMO/ParaHome 各 20 条序列上以 91.1% 平均成功率超过使用完整手指监督的 InterMimic(43.3%)。

Adaptive Latent Trajectory Anchoring for Action Segmentation Dataset Condensation

本文把长视频动作特征压缩为 DDIM 噪声空间中的稀疏轨迹锚点,再按重建误差分配锚点预算;在 Breakfast 的 ASFormer 实验中,帧准确率达到 68.0%,高于相同时间锚点预算 GNI 的 62.8%,但仍低于完整数据训练的 70.7%。

Bridging VideoQA and Video-Guided Agentic Tasks via Generalized Keyframe Extraction

本文提出 TASKER,一种将关键帧提取形式化为图搜索问题的通用算法——MLLM 同时评估任务相关性(缺什么信息)和场景动态(哪里变化大)来指导搜索方向,配合双路置信度投票决定何时终止,在 EgoSchema 和 NExT-QA 上分别以仅约 15% 的帧数超越此前最佳基线 2.0% 和 1.8%,并配套发布 VG-GUI-Bench 基准以评估模型从视频教程中学习操作步骤并迁移到 GUI agent 任务的能力。

ClearText-Video: A Large-Scale Text-Centric Video Dataset Bridging Video Restoration and Scene-Text Enhancement

ClearText-Video(CTVid)用同一视频的高清、退化和恢复版本连接低层视觉恢复与高层文字问答,在 4,639 段视频上表明“看起来更清楚”并不保证“读得更准确”,而数据集内微调也可能提高准确率却降低不确定性感知指标。

DnA: Denoising Attention for Visual Tasks

DnA 在共享键上用 softmax/softmin 双查询提取互补交互,再通过独立值投影和逐头可学习权重融合,在 ImageNet-1K 将 ViT-B Top-1 从 81.1% 提升到 81.9%,并改善视频分类及视觉探针问答,但需要额外参数与计算。

Dynamic Inverse Rendering for Enhanced Material-Lighting Decomposition

DIR 将手持物体的刚体运动变成光照约束,以三阶段跟踪、几何精化和物理逆渲染恢复可重光照资产,在合成漫反射物体上,手持估计姿态的反照率 PSNR 为 40.33 dB,高于静态多视角使用真实姿态时的 32.68 dB。

EgoEverything: A Benchmark for Human Behavior–Inspired Long-Context Egocentric Video Understanding in AR Environment

EgoEverything 用真实眼动引导提问对象采样,再通过延迟提问、双智能体取证和人工筛选构建超过 100 小时视频、超过 5,000 道选择题的 AR 记忆基准,显示最佳受测模型 Gemini 1.5 Pro 的 63.1% 准确率仍比人类的 83.5% 低 20.4 个百分点。

EgoPolice: A Benchmark for Egocentric Video Understanding in High-Stakes Police Body-Worn Camera Footage

EgoPolice 用客观动作定义和逐秒人工标注构建真实执法记录仪视频基准,通过监督线性探测与零样本五选一问答揭示现有模型的细粒度识别和跨域短板,即使 Gemini 2.5 Pro 的一分钟问答准确率也仅为 76.9%,不能据此支持自主部署。

ESTANet: Efficient Online Error Detection in Procedural Videos via Prediction Inconsistency

ESTANet 提出了一种无需复杂大模型或全图推理的轻量实时在线错误检测框架,仅在无错误正常视频上训练标准与错误敏感动作检测器,通过多尺度时序上下文和敏感度引发的动作预测不一致性及多数投票,实现了对执行错误与规程错误的高精度即时检测。

FlowPainter: Inpainting Optical Flow via Confidence-Guided Completion

FlowPainter 将密集光流生成重构为置信度引导的软补全任务,先通过轻量置信度感知网络提取简单区域光流先验,再在扩散去噪中进行置信度初始化与时间衰减残差引导,以大幅降低去噪负担并加速收敛。

Following Motion for Sequential Modeling in Video Frame Interpolation

针对传统状态空间模型在视频插帧中采用固定扫描顺序导致动态运动下语义割裂的问题,本文提出 MGMVFI,将光流运动轨迹重构为 Mamba 的 1D 序列化机制,并结合空洞卷积上下文合成修复光流失效区域,实现了线性复杂度下的高精度视频插帧。

ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance

针对长时监控视频中基于多模态查询(参考人像+问题文本)进行证据检索与时序定位的难题,本文构建了首个支持图文查询与精确时间戳评测的基准 ForeSeaQA,并提出了基于以人为中心检索增强框架 ForeSea,在无需重训大模型的情况下大幅超越传统 Video LMM 与检索基线。

FreeFlow: A Bias-free Hierarchical Transformer for Optical Flow Estimation

FreeFlow 彻底摒弃了相关体、特征形变与迭代更新等光流任务专用归纳偏置,构建了基于窗口、移动窗口与降采样全局注意力交织的分层前馈 Transformer 编解码架构,在显著降低 1080p 推理显存的同时刷新了 Sintel、KITTI-2015 和 Spring 的 SOTA 记录。

HieDG: A Hierarchical Discrete Geometry-Guided Framework for Multi-Animal Tracking

HieDG 将多动物追踪中不稳定的连续几何信号(位置、尺度、速度)通过两级残差码本离散化为结构化 token,再与视觉特征融合注入 query-based 追踪器,在 AnimalTrack / BFT / BuckTales 三个动物追踪基准上取得 SOTA 关联性能(HOTA、AssA、IDF1 显著提升),并在 DanceTrack / SportsMOT 上验证了泛化性。

Keep It Simple: Multi-Key Episodic Memory Retrieval for Ultra-Long Video Understanding

MERIT 将超长视频保存为带有互补文本键的短片段记忆,在问题到来后才检索并过滤邻近上下文,以简单的记忆结构在 EgoLifeQA 上达到 71.2% 准确率,相比同用 GPT-5 的 WorldMM 提高 5.6 个百分点。

LongEgoRefer: A Benchmark for Long-Form Egocentric Video Referring Expression Comprehension

针对现有视频指称理解基准局限于短视频和稠密目标的痛点,本文提出了首个面向平均 45 分钟未修剪第一人称长视频的指称表达理解基准 LongEgoRefer,目标物体在全片中仅出现 1.3% 且聚焦复杂人物交互,并基于“大模型粗定位+Grounded SAM2 细追踪”的两阶段无训练基准揭示了时序定位误差传播是当前长视频时空定位的核心瓶颈。

MAVFusion: Efficient Infrared and Visible Video Fusion via Motion-Aware Sparse Interaction

MAVFusion 提出运动感知稀疏交互机制,将红外-可见光视频融合的跨帧跨模态交互按光流先导的运动区域检测拆分为"静态背景弱交互 + 动态区域稀疏全局注意力"两条路径,在三个基准上达到 SOTA 融合质量的同时,计算量仅为现有视频融合方案的 5% 左右。

Modality-Aware Out-of-Distribution Detection for Multi-Modal Action Recognition

针对多模态动作识别中现有 OOD 检测方法仅在训练期施加正则化、而在推理期沿用单模态现成检测器导致跨模态信息丢失的缺陷,本文首次提出纯事后(post-hoc)多模态感知 OOD 检测器,通过量化单模态到多模态预测的线性映射残差、提取多模态联合特征流形的低方差线性不变性、并将其融入虚拟 logit 归一化评分,在 Multi-OOD 基准上显著超越现有 SOTA。

O-VAD: Industrial Video Anomaly Detection through Object-Centric Tracking and Reasoning

针对工业视频中复杂物理变形与流程约束难以被全帧视觉语言模型捕捉的问题,本文提出了无需微调与特定领域先验的智能体框架 O-VAD,通过以目标为中心的状态轨迹追踪与六步层级认知推理,实现了高解释性、细粒度且开放域的工业异常检测与归因。

On the real-world generalisability of Optical Flow models

本文构建了首个涵盖 8,204 个真实视频帧对的大规模光流评估基准,并设计了精确解耦四大挑战因子的 FlowFactor 数据集,实证揭示了现代光流模型在合成数据集上的持续刷榜并未转化为真实世界泛化收益,甚至在大位移优化与光照稳健性之间存在显著权衡。

Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning

针对稠密视频描述中严格逐词自回归生成导致的延迟瓶颈与跨事件干扰,PadCaptioner 提出通过隐式全局规划重构事件间因果依赖图,并配合事件因子化注意力实现保质且大幅加速(3.8× 实际墙钟加速)的并行自回归解码。

Partial Skeleton Visibility for Action Recognition: A Constrained Field-of-View Approach

针对第一人称具身设备、移动机器人与密集监控中因受限视场(FoV)导致的骨骼关节点大面积缺失问题,本文提出了首个面向受限视场骨骼动作识别的超图框架 PartialVisGraph,通过可学习虚拟超边构建软关联矩阵并结合可见性先验门控特征聚合,在极度遮挡下相较强基线取得了高达 68.8% 的准确率突破。

QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding

针对长视频与流式视频理解中均匀采样与原始查询带来的相关性偏差、多样性匮乏及时间塌缩问题,QSVideo 提出解耦的问题语义重要度分析与三维细粒度语义排序器 QSRanker,并结合 L2 视觉距离度量与自适应时序窗口遍历策略 QSRetrieval,在极低帧预算下显著提升了视频大模型的问答精度与检索吞吐。

ReactVAU: A Slow-Fast Decoupled Framework for Streaming Video Anomaly Understanding

针对传统视频异常理解依赖全局离线时序采样而违背因果律、以及通用流式模型稀释瞬态异常特征且计算开销高昂的问题,ReactVAU 提出快慢解耦框架,通过空间网格折叠轻量检测模块实现连续低延迟初筛,结合异常感知持久化记忆守护关键视觉线索,仅在触发可疑事件时唤醒重量级多模态大模型进行深度因果推理。

RT-RMOT: A Dataset and Framework for RGB-Thermal Referring Multi-Object Tracking

针对传统文本引导多目标跟踪(RMOT)在夜间和烟雾等低能见度恶劣环境下可见光失效的痛点,论文提出了结合可见光与红外热成像的新任务 RT-RMOT,构建了首个基准数据集 RefRT,并提出了基于多模态大模型与裁剪优势缩放序列强化学习策略的统一跟踪框架 RTrack。

SAFER-Activities: A Dataset for Smart Assessment of Fall Events and Routine Activities

构建了包含超 66 小时未裁剪多视角视频、85,310 个动作实例和 5,406 次跌倒的细粒度帧级标注基准数据集 SAFER-Activities,系统性引入轮椅专项子集与真实家庭跨域测试,揭示了骨架模型在域迁移下的强鲁棒性与 RGB 预训练表征的脆弱性。

ScanFocus: A Coarse-to-Fine Framework for Spatio-Temporal Video Grounding

ScanFocus 提出了一种解耦全局时空扫描与局部边界聚焦的粗到细时空视频定位框架,结合轻量可变形语义-运动融合与语义引导时间聚合器(SGTA),在大幅降低计算开销的同时显著提高了边界定位精度。

Selective Synergistic Learning for Video Object-Centric Learning

针对视频槽位注意力中编码器注意力图边界锐利但多噪、解码器物体图语义平滑但边界模糊的归纳偏置不对称性,本文提出选择性协同学习(SSync),通过时空局部一致性筛选高置信边界与内部区域进行线性复杂度的非对称互蒸馏,并结合传递式伪标签合并彻底消除槽位过分割。

SFDATrack: Generalized Source-Free Domain Adaptive Tracking Under Adverse Weather Conditions

SFDATrack 提出首个面向恶劣天气下视觉跟踪的源数据无关域自适应框架,通过均值教师结构中的双向交互 Mamba 模块和超球面原型投影模块,在不访问任何源域数据的情况下鲁棒适应多种天气条件,在合成与真实恶劣天气跟踪基准上取得最佳性能。

Sink-Token-Aware Pruning for Fine-Grained Video Understanding in Efficient Video LLMs

本文发现注意力剪枝中高注意力但无语义的"sink token"是细粒度视频理解崩溃的关键障碍,提出 SToP 方法——定义跨帧 sink score 量化 token 的 sink 倾向,并分别注入空间剪枝(STSP,降低 sink token 保留优先级)和时序剪枝(STTP,提高 sink token 被剪概率),在 10% 极端保留率下将幻觉和组合推理的性能损失大幅收窄(如 FastVid 从 15.69% 降至 6.32%,VisionZip 从 16.79% 降至 6.87%)。

SkillSpotter: Pose-Aware Multi-View Skilled Action Detection and Grading in Ego-Exo Videos

针对 Ego-Exo 视频中熟练动作时间戳定位与执行质量评价(良好 vs. 需改进)的联合评测任务,提出融合双向跨视角注意力、门控 3D 人体姿态与自适应时序抑制的统一框架 SkillSpotter,将类别特定 mAP 从 12.40 提升至 21.82,并在平衡准确率上逼近人类标注者一致性上限的 94%。

STEP: Score-Based Temporal Energy for Human Pose Video Anomaly Detection

针对基于骨骼的视频异常检测在时序扩展时噪声破坏运动学结构导致的崩溃,STEP 将人体姿态序列投影至白化主成分空间进行多尺度去噪分匹配,并引入序列级置信度加权,在 UBnormal 上取得 90.1% AUROC(提升 12.2%),且推理吞吐达 1000+ FPS。

SVI360: Spherical Video Interpolation

针对等距柱状投影(ERP)两极畸变剧烈与大位移匹配失效的瓶颈,SVI360 提出引入 \(90^\circ\) 旋转正交视角的双分支多尺度架构,利用跨视角等变位移协同修正光流与中间特征,结合多候选帧合成与球形加权 Charbonnier 损失实现高质量 360° 视频插帧。

Temporal and Cross-modal Alignment for Enhanced Audiovisual Video Captioning

针对视听视频描述生成(Audiovisual Video Captioning)中普遍存在的模态脱离与时序错位问题,本文提出基于“观察者-检验者-修正者(OCC)”闭环数据提纯与高密度交互微调的 TCA-Captioner,并建立了解耦验证跨模态实体绑定与时序因果关系的基准 TCA-Bench。

Towards Long-Form Spatio-Temporal Video Grounding

本文定义并首次探索长视频时空定位(LF-STVG)问题,提出 ART-STVG——一种记忆增强的自回归Transformer架构,将视频视为流式输入逐帧处理,通过空间/时间记忆库加选择性检索策略和级联时空解码设计,在不依赖额外长视频训练数据的前提下,在 1-5 分钟级别的长视频定位任务上大幅超越现有方法。

Towards Video Anomaly Detection from Event Streams: A Baseline and Benchmark Datasets

针对事件相机在视频异常检测中基准匮乏与稀疏异步建模困难的挑战,本文构建了首套大规模同步事件流异常检测基准,并提出了结合事件密度感知动态采样、密度调制距离衰减注意力和RGB跨模态知识蒸馏的EWAD基准框架。

ViTAL-X: Video-Text Alignment with Cross-Modal Temporal Edits

针对视觉语言模型因时序池化与静态捷径导致的时序盲区问题,提出跨模态时序编辑框架 XTE 构造严格受控的跨模态时序难负例,并结合浅层时空适配器与双模态 LoRA 构成 ViTAL-X,仅以 0.4B 参数和 1M 训练样本在保持静态空间能力的同时超越 7B 大模型。

What You Ask is What You Ground: Bridging Question Intent to Temporal Evidence for Grounded VideoQA

针对弱监督时序定位问答中模型对不同问题给出雷同时序区间的“问题无关坍缩”现象,GroundFormer 通过可学习通信元标记建立先于定位模块的双向跨模态交互,结合多示例学习(MIL)解耦注意力与两阶段层次对比学习,在仅需候选级 QA 弱监督下实现了强问题区分度的时序证据定位与问答 SOTA。

Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition

针对零样本组合动作识别中因学习难度不对称与分布长尾导致的“物体驱动捷径”(以静态物体猜动词)问题,提出了 RCORE 框架,通过共现先验正则化(CPR)合成新组合并惩罚高频负例,结合时序顺序正则化(TORC)约束动词的时序敏感性,大幅提升未见组合的泛化能力。

WiFlow: Estimating Optical Flow using WiFi Channel State Information

WiFlow 首次探索了仅依靠商用 WiFi 信道状态信息(CSI)估计稠密二维光流场,提出了多天线商数预处理与解耦运动定位/流场估计的双分支网络架构,在无相机与黑暗环境下实现了准确的人体运动场预测与跨被试泛化。

A Dual-Transformer Architecture with Cross-Attention for Multi-Camera View Recommendation

本文把“理解已播出的镜头历史”和“评估当前候选机位”分开建模,让候选视角通过交叉注意力查询历史记忆;配合冻结的 SwinV2-Tiny 和焦点损失,在 TVMCE 上取得 69.65% 的 [email protected],但这一指标不是强制六选一的准确率。

Aligning Anything: Hierarchical Motion Estimation for Video Frame Interpolation

本文把 SAM 的物体区域先验接入视频插帧的特征提取、光流蒸馏和特征监督三个位置,使像素运动既参考物体整体又保留局部变化,同设定重训的 AMT-G 在 Vimeo90K 上由 36.42 提升至 36.62 dB。

Amplify, Aggregate, and Adjust: VideoMAE-based Holistic-Subtle Aggregation for Micro-Action Recognition

A3-MAE 在 RGB-only VideoMAE 上先定位并放大微动作区域,再双向交换全局与局部信息,最后用实例级置信度校准蒸馏监督,使 MA-52 Action Top-1 从 66.47% 提高到 67.92%,iMiGUE 从 66.44% 提高到 67.08%。

Bayesian Uncertainty Attribution-Guided Fine-Tuning for Open-Set Action Recognition

本文把集成模型的不确定性从测试时的拒识分数变成训练时的表征修正信号,通过三阶段微调和双阶段蒸馏,使 TPN 单模型在 UCF101/HMDB51 上取得 88.50 AUROC,而完整集成为 88.62。

ChronusOmni: Improving Time Awareness of Omni-Modal Large Language Models

ChronusOmni 把绝对时间文本、视频帧与对应音频交错输入 Ola-7B,再通过视听密集描述 SFT 和任务奖励驱动的 GRPO 学习六种时间关联任务,在 ChronusAV 上把音频定位 [email protected] 提升到 79.85,同时获得 LongVALE 零样本定位 mIoU 34.5。

CLUE-VAD: Structured Semantic Clues for Understanding Explainable Events in Video Anomaly Detection

CLUE-VAD 用动作、环境、物体三类文本线索组织视频证据,通过类别感知融合完成弱监督异常检测,再用片段注意力和线索条件化语言模型生成解释,在 UCF-Crime / XD-Violence 上取得 89.47% AUC / 88.24% AP,但不能据此宣称全面超越所有多模态检测器。

CTEPM: Continuous-Time Event Process Memory for Long-Video Language Models

CTEPM 把长视频表示成带语义标记与条件强度的连续时间事件过程,让时间算子先计算证据、语言模型再组织回答,在相同 64 帧预算下将 LongVideoBench 准确率从 46.0% 提升到 49.2%。

DART: Deformable Adaptive Reasoning with Temporal Queries for Online Skeleton-Based Action Recognition

DART 先用可变形多尺度时间网络从已观测骨架中寻找关键历史时刻,再让可学习查询从紧凑记忆中提炼动作演化线索,以不显式预测未来的方式实现逐帧识别,在 NTU60 X-Sub 上达到 73.99% AUC,比 InfoGCN++ 提高 3.04 个百分点。

DE2TR: Dual Evidence Detection Transformer for Video Temporal Grounding

DE2TR 把“视频片段是否符合文本”和“片段从哪里开始、在哪里结束”交给不同查询子空间处理,结合双先验引导与边界增强,在 QVHighlights 测试集把平均 mAP 从 TD-DETR 的 46.69% 提升到 49.87%,提高 3.18 个百分点。

DisentangledTMR: Privacy-Preserving Skeleton Motion Retargeting via Factorized Transformers

DisentangledTMR 将源人物的动作和参考人物的骨架身份分开编码,再用因子化 Transformer 重组运动;在 NTU60 的推荐部分重定向配置下,预训练身份重识别率由 75.4% 降至 18.1%,同时保留 75.8% 预训练动作识别率和 87.1% 重新训练后的动作识别率。

EatVid-Bench: A Multimodal Fine-Grained Eating Behavior Video Dataset

EatVid-Bench 将 682 段真实进食视频转化为可追溯的多层行为标注和 8,184 条问答,发现 Video-LLM 的高分健康描述常与低分客观感知并存,并用 AGCoT-LoRA 在 64 帧 Hard 子集上把 Qwen2.5-VL-7B 的客观题加权分从 0.1623 提高至 0.3214。

Egocentric Procedure Parsing

VidParse 把第一人称视频的在线步骤识别改为“先找视觉段落、再按任务图解释”的免微调推断,在 GTEA 和 EgoPER 上分别取得 80.5 和 77.6 的 [email protected],但仍需要带步骤标注的参考序列构建原型和任务图。

EventSTU: Event-Guided Efficient Spatio-Temporal Understanding for Video-LLMs

针对长视频大语言模型计算开销大、视觉冗余高的问题,EventSTU 提出了一种无需训练的生物启发事件引导框架,结合事件累积粗细双阶时域采样与物理显著性-语义注意力空域剪枝,在降低 66.7% 计算量的前提下反超原始模型性能。

FeatTracker: Short- and Long-Range Temporal Feature Consistency for Robust Underwater Object Tracking

针对水下目标跟踪中严重的颜色失真与能见度退化,FeatTracker 跳出传统图像级增强与自回归视频级跟踪的局限,在特征空间通过“轻量类扩散增强+动态记忆池”(短程一致性)与“2D Haar 小波结构/细节解耦”(长程一致性)实现鲁棒时空特征对齐,在 4 大水下跟踪基准上均取得 SOTA 表现。

From Noise to Events: Conditional Diffusion for Event Data Augmentation

针对传统事件数据裁剪或混合操作破坏时空连续性与混淆标签的瓶颈,N2E 提出一种维度解耦表征与条件 DDIM 扩散模型,通过可控调控去噪步数、隐空间随机噪声与条件向量实现保真且多样化的从噪声到事件数据增强。

FusionTrack: Collaborative Multi-Object Tracking with Arbitrary Multi-UAVs

针对任意无人机集群下视场动态重叠、目标频繁进出与视角外观剧烈形变挑战,FusionTrack 抛弃传统“先单视角跟踪后关联”的割裂范式,通过轨迹记忆池与轨迹身份池的双向特征融合联合优化跟踪与重识别,并结合带空间近邻过滤的视点感知层次聚类实现高精度跨视角协同追踪。

Geometry Grounding: Elevating Blind Distortion Correction with 3D Structural Priors

针对传统盲图像畸变校正仅依赖 2D 像素与光流重建导致 3D 拓扑崩塌的瓶颈,提出 G2DC 框架,利用预训练 3D 几何基础模型 VGGT 的多维几何表征与显式投影物理约束,实现了保持真实 3D 结构一致性的高保真单图畸变校正。

GuideMe: Benchmarking Multi-Domain Task Guidance and Intervention in Streaming Video

构建了首个支持闭环交互式任务指导的多领域流式视频基准 GuideMe(包含 2,458 个长视频、47,775 个交互样本),并通过时空语义二部图匹配与行为分类评估框架,揭示了现有 MLLM 擅长单向步骤指令却在实时错误检测与纠正干预上普遍严重退化的关键能力不对称性。

H2SVC: Head-aware Heterogeneous Streaming Video Cache for Online Video Understanding

揭示多模态大模型注意力头固有的时间感受野异质性,提出无须训练的头感知异质流式视频缓存框架 H2SVC,通过离线静态路由与几何轨迹曲率淘汰算法,在显存大幅降低 50% 以上的同时实现长视频流式理解 SOTA。

MASS: Motion-Aligned Selective Scan for Refinement in Flow-Based Video Frame Interpolation

MASS 将视频帧插值中 SSM 的特征扫描从静态空间网格重新定义为沿光流轨迹的动态序列建模,通过可学习非线性路径积分和速度感知自适应扫描,在保持高效计算的同时显著提升大位移和复杂遮挡场景下的插值质量,在 SNU-FILM Extreme 子集上以 26.04 dB PSNR 超越此前最优方法 0.38 dB。

Mode-Conditioned Residual Calibration for Multi-Object Tracking

针对密集人群与遮挡场景下关联代价严重失准的问题,提出轻量级即插即用模块 MCRC,通过聚类原型诊断错误模式并预测加权残差修正,结合不确定性门控语义去噪器,在极低额外开销下大幅降低身份切换并提升跟踪准确率。

Motion-aware Sparse Pipeline for Lightweight Object Tracking

针对单流视觉Transformer跟踪器因早期注意力发散导致剪枝滞后、以及密集预测头破坏稀疏收益的核心瓶颈,MaST在首层引入高斯运动先验引导单步稀疏化并设计“先打分、单次回归”的非结构化稀疏预测头,在端侧设备上以近两倍的推理速度刷新SOTA。

MotionChain: Fine-Grained Video Motion Understanding via Structured Decomposition

针对现有视觉语言模型在均匀抽帧下易遗漏亚秒级运动突变且推理缺乏结构约束的问题,本文提出免训练框架 MotionChain,将视频运动解耦为结构化四元组链,利用密集光流能量变点实现毫秒级物理边界校准与关键帧补充,并将元组转化为可视觉验证的运动断言实现逐段精确问答。

OCTA-SOT: Online Cross-Modal Trajectory Adjustment for RGBT Anti-UAV Single Object Tracking under Spatio-Temporal Misalignment

针对反无人机场景中可见光与热红外传感器固有的时空非对齐与视差偏移问题,OCTA-SOT 提出了一个免训练、即插即用的在线跨模态轨迹自适应校准框架,通过卡尔曼滤波动态估计模态间变换关系并自适应重置低置信度跟踪状态,在 Anti-UAV300 基准上将 DIMP 的平均 AUC 显著提升 9.3%。

ODONet: Online Dynamic Offset Network for Visual Object Tracking

针对现有跟踪器偏移量学习局限于离线单帧、无法应对目标连续外观形变与快速运动漂移的问题,ODONet 提出在编码阶段通过双向交互注入历史框运动提示,并在推断时将历史在线偏移与当前离线偏移动态融合,主动引导可形变注意力自适应聚焦目标,在 LaSOT(75.1% AUC)和 GOT-10k(81.4% AO)等基准上取得最优性能。

PA-VAD: 基于扩散模型的纯伪异常视频异常检测

PA-VAD 提出一个无需任何真实异常视频的框架,通过 CLIP 引导的初始帧选择和 VLM 提示词精炼驱动视频扩散模型合成类感知的伪异常片段,并设计领域对齐正则化模块(DARM)抑制伪异常在特征空间中的幅度偏差,在 ShanghaiTech (98.2% AUC)、UCF-Crime (82.5%) 和 XD-Violence (95.1%) 上超越 UVAD SOTA,甚至超过部分使用真实异常视频的 WVAD 方法。

Path-JEPA: Path Signature Based Predictive Learning for Skeleton Action Recognition

Path-JEPA 首次将粗糙路径理论中的路径签名引入自监督骨骼动作识别,通过多尺度空间路径(关节点、骨骼边、运动链)与全局-局部时间视角的签名词元构建预测目标,配合消除泄漏的签名增强遮蔽与 JEPA 架构,在下游分类与变帧率扰动下均取得领先性能。

Progressively Spiral Mamba Fusion for Multimodal Tracking

针对多模态跟踪中跨模态交互局限于离散层、忽视单模态层间互补及二次计算复杂度高的问题,PSMTrack 提出贯穿浅深层的渐进式 Mamba 架构,结合差异引导双向增强、动态稀疏路由跨层交互以及局部-全局混合螺旋扫描融合,在保持近似线性计算复杂度的同时显著提升了 RGB-X 目标跟踪精度。

Proposal Score Realignment Guided by Semantic Completeness for Weakly Supervised Temporal Action Localization

针对弱监督时序动作定位中提议置信度与真实质量严重失配导致伪标签噪声累积的痛点,本文提出即插即用的提议分数重校准框架 SCLR,通过构建局部与全局双语义中心、自监督解耦类别不变语义与视频特有上下文,以重构的完整类别中心指导提议级语义完整性学习,并在 THUMOS14 上将弱监督定位平均 mAP 提升至 53.2%。

Remembering Across Blocks: Topology-Conditioned Block-Progressive Memory for Skeleton-Based Action Recognition

本文针对骨架图卷积网络在层级堆叠时因反复一阶邻域聚合导致的过平滑与早期细粒度时空线索衰减痛点,提出一种沿 GCN 块轴递进更新的拓扑条件记忆模块,通过自监督拓扑重构损失提取未被解释的“惊奇”信息,在训练期重塑主干表征,实现了在推理期完全脱离记忆模块(Mem-free)即可显著超越 SOTA 的优异表现。

Rethinking Temporal Modeling in Visual Object Tracking via Decoupled Auxiliary Supervision

针对视觉目标跟踪中时序 Token 易被密集空间外观匹配边缘化而引发表征塌陷的问题,本文提出 DASTrack 框架,通过在训练期构建模板严格掩码的解耦辅助监督分支,强迫网络仅凭时序 Token 定位目标,在零推理开销下激活真实时序建模能力。

S3-Prune: Stability-Aware Token Budgeting for Long-Form Video-Language Models

针对长视频语言模型中局部启发式剪枝带来的瞬时噪声敏感与累积预算失衡问题,S3-Prune 提出结合时空动态表征与卡尔曼滤波平滑的稳定性感知 Token 预算机制,在保持极低推理开销与高达 90% 剪枝率的同时无损保留关键语义。

Saber: Anchoring Semantics to Scale-Aware Kinetic Salience for Zero-Shot Skeleton Action Recognition

本文提出 Saber 框架,通过尺度感知二部图编码器结合实例自适应高通滤波克服图卷积的谱平滑问题以保留高频动作细节,并利用动能引导的动态聚焦与方差自适应高斯分布实现确定性敏感的跨模态概率对齐,在多个零样本与广义零样本骨骼动作识别基准上刷新 SOTA。

SOVTrack: Open-Vocabulary Multi-Object Tracking with Self-Supervised Pseudo Labeling and Feature Distillation

针对开放词表多目标跟踪中新类别泛化差与视频时序动态利用不足的问题,SOVTrack 利用检测器引导与双向时序循环闭环验证自动挖掘高质伪标签及置信度,并通过解耦的双分支架构将 SAM2 的多线索表征对抗蒸馏至目标级跟踪器,仅需 10K 真实视频帧即可在 TAO 基准上刷新 SOTA。

SPAR: A Sequential Primacy and Attribution Ranking Framework for Skill Determination

SPAR 通过阶段感知认知记忆(SaCM)显式模拟人类评估者随时间递进演化的认知状态,结合基于全局上下文的时序窗口加权(TWW)与判定偏见缓解损失(JBM),实现了高鲁棒性、可解释的时序动作技能排序与质量打分。

Sticking Information in Plain Sight: Encoding and Detecting Hidden Stickers in the Real World

针对传统图像隐写需整张打印覆盖物理背景且无法容忍粘贴错位的缺陷,本文提出联合优化编码器、定位网络与解码器的端到端框架,将 100-bit 隐写信息打印在透明贴纸上部署于真实物体表面,实现了对贴纸微小错位、视角形变与多贴纸共存鲁棒的隐蔽信息传递。

SV-TAD: Native Sparse Convolutions for Efficient Temporal Action Detection

SV-TAD 首次提出面向 Vision Transformer 动态剪枝序列的原生稀疏 2D 卷积基元与适配器架构,彻底免除了密集网格重构开销,在保持 SOTA 检测精度的同时将 VideoMAEv2-L 的计算量降低 64%、推理速度提升 2.2 倍。

Towards Effective Long Video Understanding: Dynamic MAS Construction via Meta-Agent

针对长视频理解中传统多智能体系统固定静态架构带来的计算冗余与推理刚性问题,本文提出 DyMAC 框架,通过视觉语言元智能体将多智能体系统建模为有向计算图并端到端生成代码,结合 SFT 与两阶段可验证奖励强化学习(RLVR),实现按视频-问题对动态定制轻量高效的协作系统。

TR-MoE: Temporal Reliability-Aware Mixture-of-Experts for Robust Tracking

针对SAM2细粒度分割与判别式跟踪器在遮挡模糊下的互补特性,TR-MoE打破基于单帧置信度的静态融合范式,将多跟踪器融合建模为时序演化过程,利用Mamba时序轨迹修正器与KAN解耦预测头实现对累积误差的自适应专家门控与高精几何修正,在LaSOT与GOT-10k上创下SOTA。

UniDynamics: Event-RGB Fusion for Unified Future 4D Dynamic Scene Generation

针对自动驾驶在单帧输入下缺乏动态先验且易受运动模糊干扰的难题,UniDynamics 提出首个基于单对事件-RGB输入的扩散生成框架,通过事件潜变量增强与感知动态空间(PDS)解耦交互,统一生成未来的外观视频、三维深度与光流场。

Where and What: Long-Term Object Tracking in Egocentric Videos

Whareformer 提出了首个针对第一人称视频“离线不离心”(OSNOM)长时目标跟踪任务的可学习方案,将观测与轨迹间的外观与 3D 相对距离联合映射为轨迹似然,并引入显式 New Track 词元进行全局前馈匹配,在 EPIC-KITCHENS-100 上取得 72.2% mPCL 和 84.0% IDF1,显著刷新 SOTA。