跳转至

🎬 视频生成

🧠 NeurIPS2026 · 89 篇论文解读

📌 同领域跨会议浏览: 🎞️ ECCV2026 (179) · 📷 CVPR2026 (188) · 🔬 ICLR2026 (99) · 💬 ACL2026 (4) · 🧪 ICML2026 (32) · 🤖 AAAI2026 (11)

🔥 高频主题: 视频生成 ×36 · 扩散模型 ×14 · Agent ×3 · 自监督学习 ×3 · 多模态 ×3

AdaState: Self-Evolving Anchors for Streaming Video Generation

AdaState 针对自回归流式视频生成中静态首帧 Anchor 锁死场景动态的固有缺陷,设计了联合去噪但不解码渲染的自演化隐状态(Adaptive State),将单向去噪过程重构为隐式循环状态转移,彻底打破视频长程生成中的「一致性-动态度」权衡。

Addressable Memory for Video World Models

针对自回归视频世界模型长程生成中时序 RoPE 越界导致历史不可寻址以及旋转空间压缩相位抵消的问题,提出免训练记忆框架 WorldTrace,通过虚拟位置分配与规范空间键写入,在恒定显存下大幅提升时序连贯性与长程场景回访召回率。

Advancing Narrative Long Video Generation via Training-Free Identity-Aware Memory

提出无需额外训练的自回归长视频生成框架 IAMFlow,通过大模型构建全局实体注册表以显式维护跨片段角色身份,结合注意力键向量匹配检索关键帧,并配合自适应提示词过渡与异步视觉校验,在显著提升长视频身份一致性的同时实现了 1.69 倍的端到端生成加速。

AnyMo: Scaling Any-Modality Conditional Motion Generation with Masked Modeling

本文构建了包含逾 5,000 小时动作并精确对齐文本、语音、音乐与轨迹的多模态动作数据集 OmniHuMo,并提出了结合残差标量量化(R-FSQ)分词器与可扩展双向掩码 Transformer 的 AnyMo 框架,实现了任意模态组合条件下的高保真 3D 人体动作生成。

AtlasVid: Efficient Ultra-High-Resolution Long Video Generation via Decoupled Global-Local Modeling

AtlasVid 通过将长程全局语义代理与高分辨率局部细节分支显式解耦,配合时间尺度缩放 RoPE 与保持几何局部性的分块注意力,以仅在 720P 上训练的轻量 LoRA 实现了最高 8K、321 帧超高清长单镜头视频的直接泛化生成与 60.9 倍推理加速。

AUTEUR: Language-Driven Cinematographic Framing for Human-Centric Video Generation

Auteur 提出了一种以人体为中心的相机运镜参数化表征与影视 DSL,借助微调的多模态大语言模型由自然语言生成稀疏分镜程序,并通过确定性插值解码为连续 6-DoF 轨迹,实现了高保真的人体构图协同运镜。

AVENUE: Audio-Video Editing, Understanding, and Evaluation

针对现有音视频编辑基准类型受限且评测忽略“未目标模态保留”的问题,AVENUE 构建了涵盖 1,291 段视频与 7,957 条指令的大规模基准,并提出基于样本专属意图与保留约束的多模态评测体系,系统揭示了联合、串行与分离三种编辑范式在模态选择性控制上的本质缺陷。

Bernini: Latent Semantic Planning for Video Diffusion

Bernini 提出以 MLLM 原生 ViT 嵌入空间为语义桥梁的“语义规划-像素渲染”解耦框架,配合分段感知 3D RoPE 与思维链规划,统一了文本生视频、参考图生视频及指令视频编辑。

Beyond Distribution Matching: Self-Supervised Representation Forcing for Few-Step Video Generation

针对分布匹配蒸馏在少步数视频生成中缺乏内部特征显式约束而导致的时空闪烁与细节退化,提出自流强迫(SF2),通过非对称轨迹噪声加权与自启动 EMA 教师对齐中间层表征,在保持边际分布保真度的同时显著提升时空动态一致性与几何稳定性。

Beyond Distribution Matching: Self-Supervised Representation Forcing for Few-Step Video Diffusion

针对分布匹配蒸馏(DMD)仅依赖输出层监督导致少步视频生成中细节模糊与时序闪烁的缺陷,本文提出自流迫使(SF2),通过共享去噪轨迹构造异质噪声信息非对称性,迫使学生网络预测 EMA 教师网络的深层内部特征,在不改变输出端目标且几乎零额外开销的前提下显著提升时空一致性与运动质量。

Bidirectional Sparse Attention for Faster Video Diffusion Training

针对视频扩散 Transformer(DiT)长序列训练中注意力计算开销占比超 90% 的瓶颈,本文提出首个正交解耦的“查询-键值双向稀疏注意力”(BSA)框架,通过时空局部语义查询剪枝与基于统计分布的动态自适应 KV 块选择,在保证甚至提升生成质量的前提下实现最高 20× 计算量削减与 17.79× 训练注意力加速。

Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE

SplitMoE 将视频扩散 Transformer 的稀疏专家分成语义与通用两组,用干净 VAE 特征引导语义路由,在总参数 27B、激活参数 14B 的预算下改善同源基线的视频质量,而非让所有专家强行承担等量 token。

CanvasMAR: Improving Masked Autoregressive Video Prediction With Canvas

针对掩码自回归(MAR)视频预测在极少步数采样下缺乏全局结构先验而产生严重畸变的问题,CanvasMAR 提出单步预测模糊全局“画布”作为非均匀掩码,并结合运动感知自适应采样与组合式 CFG,在显著减少空间自回归步数的同时匹敌先进扩散模型画质。

CausalCine: Real-Time Autoregressive Generation for Multi-Shot Video Narratives

针对自回归长视频生成在多镜头叙事中易陷入动作停滞和语义漂移的缺陷,CausalCine 提出先在长序列多镜头数据上进行因果自回归微调、引入无参数的内容感知记忆路由(CAMR)检索跨镜头语义,再结合 DMD 与对抗正则化蒸馏出 4 步实时生成器,实现了 16 FPS 的在线多镜头流式生成。

Character Mixing for Video Generation

针对跨作品、跨视觉风格的角色无法自然共存与交互的瓶颈,提出结合跨角色嵌入(CCE)与跨角色数据增广(CCA)的微调框架,在消除跨域风格幻觉的同时实现了高保真的多角色交互视频生成。

CineOrchestra: Unified Entity-Centric Conditioning for Cinematic Video Generation

CineOrchestra 将视觉主体、运镜轨迹与分镜头转场统一抽象为带有时间区间的实体元语,通过无参的区间采样时间 RoPE 与 2D 实体-时间交叉注意力 RoPE,首次在单一视频 Diffusion Transformer 中联合实现了多主体个性化、事件时序控制、多镜头组合与自然语言镜头运镜控制。

City-RAG: Stepping into a City via Spatially-Grounded Video Generation

CityRAG 将街景数据库的地理配准全景序列作为外部记忆进行检索增强,通过时空不对齐训练在 Wan 2.1 DiT 中解耦静态几何与瞬态环境属性,实现了遵循用户轨迹且保留真实物理城市地貌的分钟级 3D 一致漫游视频生成。

Coarse-to-Real: Generative Rendering for Populated Dynamic Scenes

C2R 提出了一种两阶段生成式渲染框架,利用轻量级粗粒度 3D 模拟控制场景布局、运镜轨迹与人群动态,并通过自监督隐式时空特征与“虚实域对冲”策略,将极粗粒度的 3D 代理渲染转化为高质量、强时序一致性的真实城市场景视频。

CoDMD: Copula-aware Distribution Matching Distillation for Fast Video Generation

针对传统分布匹配蒸馏(DMD)在少步数视频生成下容易遭遇运动退化与模式崩溃的结构性缺陷,本文基于 Sklar 定理引入 Copula 视角,提出了复用教师与伪评分场余弦相似度矩阵的轻量级关系正则化蒸馏(CoDMD),在 4 步推理下实现约 25 倍加速与领先的视频生成质量。

CompAdapt: Adaptable Composite Motion Modeling for Physics-Consistent Text-to-Video Generation

针对文生视频在复杂物理动力学下失效的问题,CompAdapt 提出语言到物理再到视频的解耦框架,通过双分支 LLM 结构化解析物理语义、运动类型复合与多物体碰撞动力学预测连续状态轨迹,并结合空间仿射扭曲扩散引导与先验匹配单样本自适应,显著提升复合运动与未知物理环境下的物理一致性与视觉保真度。

Decoupling Action from Egocentric Observation for World Simulation

提出了免训练的测试时第一人称动作迁移框架 EgoACT,通过去噪早期的速度引导结构锚定与中后期的稀疏对应校准,将动作交互语义与场景外观彻底解耦,并构建了基准 EgoActionBench。

Diffusion-DRF: Free, Rich, and Differentiable Reward for Video Diffusion Fine-Tuning

本文提出 Diffusion-DRF 微调框架,利用冻结的通用多模态大模型(VLM)作为免训练评判器,通过多维度结构化提问与自由形式密集解释构建无标注偏好、高信息密度且全程可微的反馈流,彻底规避标量奖励模型易受欺骗(Reward Hacking)与优化崩溃的问题。

Do Joint Audio-Video Generation Models Understand Physics?

提出了首个评估音视频联合生成模型物理常识的基准 AV-Phys Bench,定义了场景演化三级分类法与跨模态物理一致性评测细则,并构建结合音频数字信号处理工具的 AV-Phys Agent,揭示出当前生成模型在动态转折与逆向物理下性能严重崩溃的本质瓶颈。

Dynamic Video Generation: Shaping Video Generation Across Time and Space

DVG (Dynamic Video Generation) 针对视频扩散模型推理中时空计算瓶颈,提出在轻量潜在草图中估计空间纹理与时间动态需求,自适应联合选择时空压缩策略并在多网格间灵活重缩放与重加噪,实现无需重训练、跨密集模型与MoE架构的最高18倍无损推理加速。

DynamicRad: Content-Adaptive Sparse Attention for Long Video Diffusion

DynamicRad 将径向局部先验与内容自适应稀疏筛选深度结合,提出双模式候选块选择、离线贝叶斯优化与超轻量语义运动路由,在保持高保真度与时序连贯性的前提下,将长视频扩散模型自注意力稀疏度提升至 80% 以上并带来 1.7×–2.5× 的端到端推理加速。

Dynamics-Aware Sparse Attention for Efficient Autoregressive Video Diffusion

针对自回归视频扩散模型在长视频生成中面临的 KV Cache 显存暴涨与计算时延过高瓶颈,本文提出基于动静解耦的动态感知稀疏注意力(DASA),通过帧级分层记忆管理与区域级计算复用跳过冗余,并结合动态引导蒸馏消除静态偏置,在 1080P 分辨率下取得 2.16× 加速且视频质量无损。

DynaTokens: Teaching Dynamics to Camera-Controlled Video Models at Test Time

针对相机控制视频世界模型在引入动态时相机控制与动态相互缠绕导致退化的问题,本文提出轻量级测试时训练方法 DynaTokens,通过跨注意力引入场景专属可学习动态 token,将全局相机控制与空间局部动态解耦,仅需约 15 条少样本轨迹即可在冻结基座模型的前提下实现新视角轨迹的高保真动态生成。

EditDistill: Is It Possible to Guide Video Editing with Image Editing?

EditDistill 将前沿图像编辑模型产出的首帧修改蒸馏为一个紧凑的 1024 维编辑描述符算子,并通过轻量级跨注意力-FiLM-残差多分支门控注入模块和 DINO 结构对齐损失引导冻结的 Wan2.1-I2V 骨干网络去噪轨迹,在无需显式掩码的情况下实现高保真度局部编辑、全局重光照及动态时序一致性。

EntityBench: Towards Entity-Consistent Long-Range Multi-Shot Video Generation

针对多镜头长程叙事视频生成中跨镜头角色、物体与场景漂移的瓶颈,本文构建了包含 140 个长故事剧集(2,491 个镜头)、支持显式逐镜头实体排期的基准 EntityBench,提出涵盖单镜头质量、提示词遵循度与跨镜头一致性的三支柱评测框架(51 项指标与保真度门控),并设计了基于前置实体记忆库的免微调系统 EntityMem。

Equilibrium Forcing: Adaptive Video Generation Without Noise Conditioning

针对传统流匹配与扩散模型在自回归视频生成中依赖固定噪声调度导致噪声偏离与误差累积的问题,本文提出无噪声条件的平衡强迫(Equilibrium Forcing, EqF)框架,通过学习统一平衡速度场,在推理阶段结合轻量读出器实现闭环反馈、NAG 加速与预算自适应采样,显著提升了长序列视频生成的质量与时序一致性。

FaithfulFaces: Pose-Faithful Facial Identity Preservation for Text-to-Video Generation

针对复杂动态场景下大幅度头部姿态变化与遮挡导致的身份畸变问题,FaithfulFaces 提出姿态共享身份对齐器与显式欧拉角嵌入,从单视角图像提取全局面部姿态先验,显著提升文本到视频生成的身份保持一致性与结构稳定性。

FashionChameleon: Towards Real-Time and Interactive Human-Garment Video Customization

本文提出首个面向实时交互式人物服装定制的自回归流式视频生成框架 FashionChameleon,通过上下文学习教师模型、梯度重加权分布匹配流式蒸馏以及免训练 KV 缓存重调度机制,在单张 H200 GPU 上以 23.8 FPS 实现 720p 实时生成与生成过程中的无缝动态换装。

FlockWorld: Toward Population-Scale Multi-Agent Video World Models through Artificial Life Simulation

提出基于 Reynolds Boids 人工生命仿真环境 FlockWorld 与多智能体流匹配视频模型 FlockDiT,首次实现 2 到 30 个相机智能体同步第一人称视频的联合生成,揭示了联合建模与 Diffusion Forcing 对跨视角一致性的关键增益。

Focused Forcing: Content-Aware Per-Frame KV Selection for Efficient Autoregressive Video Diffusion

Focused Forcing 提出了一种无需训练的细粒度 KV 缓存压缩方案,通过解耦并联合注意力与多样性打分实现逐帧历史帧选择,并基于分布匹配损失自适应分配注意力头预算,在多种自回归视频生成范式下达成最高 1.48× 端到端加速且画质更优。

FreeSpec: Training-Free Long Video Generation via Singular-Spectrum Reconstruction

针对长上下文注意力窗口诱发奇异谱向低秩方向集中、导致画面过度平滑与运动退化的难题,FreeSpec 提出一种基于奇异谱分解重构的免训练长视频生成框架,以全局分支作为低秩结构先验引导、以局部分支为高阶奇异基进行重构,在保持长程全局一致性的同时极大释放了长视频的运动动态度。

From Articulated Kinematics to Routed Visual Control for Action-Conditioned Surgical Video Generation

针对手术机器人动作条件视频生成中低维关节控制与高维图像空间演化失配的难题,KVLR 提出将低维关节运动学升维为五模态像素对齐的运动学到视觉动作场(KVA-Field),并通过物理模态与运动尺度双层路由动态分配条件计算,结合运动学先验正则化与稀疏蒸馏,在显著降低延迟的同时大幅提升了动作忠实度与视觉保真度。

From Zero to Hero: Training-Free Custom Concept Spawning in World Models

本文提出免训练的概念生成方法 SPAWN,利用视频扩散主干网络第一上下文槽位的注意力锚点特性,通过在短注入窗口内临时替换锚点槽位为概念潜在特征,实现无需微调即可在交互式世界模型中生成并持久化特定概念。

GameVerse: A Minute-Scale Gameplay Dataset for Long-Horizon Interactive World Modeling

GameVerse 构建了包含 69.7K 片段、1,655 小时(含 1,358 小时连续两分钟序列)的分钟级交互式游戏视频数据集,通过统一的场景一致切分、多阶段质量过滤、ViPE 相机轨迹抖动过滤与四层级解耦标注,显著提升了交互式世界模型在 60 秒长程生成中的时间一致性与几何控制能力。

GLARE: Generating Listening Heads with Appropriate Reactions

GLARE 将倾听者的点头、微笑等反馈建模为有类别和时间边界的事件,通过韵律条件流匹配与训练期反应监督,在 RealTalk 和 Seamless 上提高反应一致性,但其指标衡量的是单参考一致性,而不是唯一正确的社交反应。

H-Control: Training-Free Camera Control via Block-Conditional Gibbs Refinement

针对预训练流匹配视频生成模型在相机控制中硬替换伪影重、软引导轨迹偏离的两难,本文提出一种训练无关的采样器 H-Control,在外部硬替换引导基础上引入未观测潜变量区域的同噪声级块条件伪 Gibbs 细化,并结合 3D 局部性与自适应冻结机制,在 RealEstate10K 与 DAVIS 上取得最优 FVD 与 SOTA 级控制性能。

Holo4D: Holistic 4D Reconstruction as Geometric Control for Video Diffusion

Holo4D 提出利用前馈 4D 重建获取的持久 3D 轨迹与源外观作为统一的 4D 几何骨架(Scaffold),将其投影至目标视角并通过通道维度注入预训练视频扩散模型,在完全解耦上游重建模型的同时实现了极高精度的相机视角控制与逼真新视角视频合成。

HOMIE: Human-Object Centric Video Personalization via Multimodal Intelligent Enhancement

HOMIE 针对以人和物体为中心的视频个性化(HOCVP),在保留文本编码器控制力的前提下引入 MLLM 提取跨参考语义关系,通过全局多模态引导与模态-参考嵌入统一处理跨主体交互与同主体多参考视图增强。

I2V-DETACH: Source Grounding Detachment for Unauthorized Image-to-Video Generation

针对未经授权的图像生成视频(I2V)滥用风险,I2V-Detach 提出源提示解耦免疫框架,通过抑制源-视频跨注意力并增强视频内部动态自交互,促使生成视频自然脱离源图像视觉身份束缚。

I2V-Detach: Source Grounding Detachment for Unauthorized Image-to-Video Generation Defense

针对未经授权的图生视频(I2V)滥用风险,提出通过源图像接地解耦(I2V-Detach)主动免疫源图,联合抑制源图到视频的交叉注意力检索并增强视频帧间自注意力,从而切断生成视频对源图外观身份的忠实继承。

LaMo: Self-Supervised Latent Motion Priors for Physical Realism in Video Generation

针对视频扩散模型缺乏帧间物理与运动约束的问题,LaMo 提出直接从未标注视频的潜编码差分中自监督提取隐式运动先验,并通过训练期宏观运动漂移损失与推理期微观运动场引导两级读出,在无需外部仿真器或教师模型的前提下显著提升物理真实性。

Learning to Correct Geometry in Generated Videos

针对生成视频在相机大范围运动下容易出现几何扭曲、视差错乱与场景漂移的问题,本文提出后验式视频到视频扩散校正器 VGC,通过构建自适应关键帧合成的成对监督数据集 VG-Pairs,并引入光流显式解耦相机与物体运动,在不修改原生成器的情况下显著提升跨模型几何一致性。

LongScape: Advancing Long-Horizon Embodied World Models with Context-Aware MoE

LongScape 提出了一种结合块内扩散去噪与块间因果自回归生成的具身世界模型,通过机器人动作先验驱动的变长分块机制与上下文感知混合专家架构(CMoE),有效消除了传统固定块切分的时序伪影与累积漂移,实现了长达 15 次自回归展开的稳定长时序物理交互视频生成。

Meta Inverse Prompting for Video Generative Models

提出首个实用的视频逆向提示词框架 MVIP,将基于重构的提示词搜索形式化为元学习问题,学习跨视频共享的软提示词初始化,无需测试时耗时优化即可快速推断兼顾时间动态与保真度的可重用提示词。

MEV: A Multi-Event Video Dataset for Long-Take Generation

针对长镜头多事件视频生成缺乏细粒度时间边界与层级化描述的瓶颈,提出包含 8K+ 高清视频与 25K+ 事件片段的 MEV 数据集,构建全局-局部多粒度结构化标注管线及以事件为中心的 MEV-Eval 评测协议,并在此基础上微调 Wan2.1 实现连贯的长镜头事件过渡。

Motion Forcing: Decoupling Ego and Object Motion via Sparse Inputs for Structured Video Generation

Motion Forcing 将稀疏物体轨迹与相机运动先转为动态深度,再用共享扩散骨干渲染 RGB 视频,在 Waymo 上取得 FVD 157.8、FVMD 205.2、Physics-IQ 33.2,以部分视觉分布相似度换取更好的运动一致性与物理合理性。

MotionGrounder: Grounded Multi-Object Motion Transfer via Diffusion Transformer

针对基于扩散 Transformer(DiT)的视频动作迁移受限于单物体且缺乏显式语义定位的问题,MotionGrounder 提出基于光流的稳定运动信号(FMS)与物体-描述对齐损失(OCAL),在无需额外训练的零样本优化下首次实现了多物体可控动作迁移。

MotionGrounder: Grounded Multi-Object Motion Transfer via Diffusion Transformers

针对现有 DiT 视频运动迁移方法受限于单目标且缺乏精细语义绑定的核心瓶颈,本文提出首个支持多目标空间接地的免微调框架 MotionGrounder,通过光流运动信号(FMS)构建稳健运动先验,并利用目标-文本对齐损失(OCAL)约束跨注意力映射,实现多实体解耦运动迁移与精确空间生成。

NEvo: Neural-Guided Evolutionary Video Synthesis for Dynamic Visual Selectivity

针对传统模型驱动的大脑刺激合成局限于静态图像的瓶颈,NEvo 首次提出结合多层动态脑编码模型与两阶段结构化 Prompt 演化搜索的神经引导视频生成框架,在整个人类视觉皮层高效合成了超越真实视频与手工局部化视频的超激活动态刺激,并揭示了侧向视觉通路的社会动态功能梯度。

OmniMem: Scalable and Adaptive Memory Retrieval for Long Video Generation

针对基于 Diffusion Transformer(DiT)的块级自回归长视频生成面临的局部偏置与记忆膨胀(Union Explosion)瓶颈,OmniMem 提出了显式全范围记忆检索框架,通过自适应窗口排除、查询共享检索与逐头离散访问,在仅增加 1.7% 显存的开销下使长视频动态度大幅提升 52.3%。

OmniVerifier-C1: Decomposed Graded Verifier for Rule-Governed Generative World Modeling

提出显式分解与逐级连续评分的视觉验证器 OmniVerifier-C1,通过解耦强化学习同时优化子问题二元判断与全局对齐评分,并引入参考真值图的成对验证范式,为文生图对齐及规则约束世界模型生成提供高保真判别奖励。

ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration

针对以人为中心的视频合成中结构控制与生成灵活性难以兼顾、3D预处理繁重及长序列漂移的问题,ONE-SHOT提出规范空间运动注入机制、动态自适应RoPE以及混合上下文集成,仅需轻量LoRA微调即可实现分钟级人景解耦可控视频生成。

OpenCoF: Learning to Reason Through Video Generation

提出包含 1.7 万样本的多任务视频推理数据集 OpenCoF-17K 与互补的视觉/文本推理 Token(vt 与 tt),在 Wan2.2-I2V-A14B 上大幅提升视频扩散模型的帧链时序逻辑推理能力。

PanoWorld: Geometry-Consistent Panoramic Video World Modeling

PanoWorld 将全景视频生成重构为几何与动力学自洽的潜在状态建模问题,基于透视视频先验引入纬度感知编码、球面积加权与循环位移自适应,并通过离线伪标签监督的深度与 3D 点轨迹一致性损失,实现了从单幅透视图与文本驱动的高保真、几何时空一致的 360° 全景视频世界建模。

PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory

PermaVid 提出将空间上下文解耦为 RGB 语义外观记忆与深度几何结构记忆,并结合编辑感知的记忆失效与检索策略,在长程相机重访与视频编辑下保持时空与跨视角一致性。

Persistent Planar Memory for Video World Models

PPMem 将紧凑的参数化平面图元作为视频世界模型的持久化 3D 空间记忆,通过自回归分块联合预测视频与平面几何、几何合并更新记忆池并前瞻渲染深度回传条件,在仅占用约 5 MB 显式几何内存的极致紧凑性下,实现了数百帧大幅度视点漫游中的长时程视觉与度量几何一致性。

PhyMetric: Diagnosing Physical Plausibility in Text-to-Video Generation via Scene-Level QA

PhyMetric 将文本到视频(T2V)生成中的物理合理性评估解构为基于场景级结构化先验与问题自适应帧采样的 8,920 个平衡二元问答对,覆盖 6 大物理领域 50 个物理类别,揭示了传统粗粒度评分的不可靠性并提供了可解释的物理缺陷诊断。

PhyProbe: Rethinking Physical Consistency Evaluation in Generated Videos

PhyProbe 在冻结的视频编码器上训练轻量评分头,用异构数据提供的排序、严重程度回归与端点锚定共同学习单视频物理违规分数,在四个物理基准中的三个取得最高成对准确率,但其分数仍是感知合理性的代理而非物理定律检验。

Physics-Informed Video Generation via Mixture-of-Experts Latent Alignment

针对主流大规模视频生成模型缺乏物理规律表征而导致动态失真与违背常识的问题,PILA 提出在冻结的流匹配骨干潜空间中构建物理属性槽位与类别残差 MoE 适配器,通过锚定场估计与流场残差校正实现免显式物理模拟的高保真物理对齐视频生成。

PickMoment: Single-Image-to-Video via Learning Continuous-Time Reblurring

PickMoment 将运动模糊的物理积分形成过程与 MeanFlow 的平均速度场建立代数对偶,训练单一定向模型预测曝光窗内任意子区间的积分均值模糊,在零区间极限下实现无需迭代采样的连续时间单图生成视频、去模糊与任意时刻精准挑选。

PISCO: Precise Video Instance Insertion with Sparse Control

PISCO 用可变密度条件训练、编码前补帧与编码后掩码,以及深度和外观增强,把少量实例关键帧传播到已有视频;在 PISCO-Bench 上,14B 模型的首尾帧控制将全视频 FVD 从 VACE 的 371 降至 204,但比较方法的输入条件并不相同。

Proprio: Latent Self-Scoring and Inference-Time Refinement for Physically Plausible Whole-Body Pose Estimation

本文提出无需额外训练的 Proprio 框架,将冻结视频扩散/流匹配生成器在潜变量扰动下的流残差转化为内在物理合理性自评分,并结合动态时空掩码与逆方差加权,在推理期驱动最佳候选搜索与初始噪声自优化细化。

Q-ARVD: Quantizing Autoregressive Video Diffusion Models

针对自回归视频扩散模型在流式生成中误差级联累积与权重离群值异构的瓶颈,提出首个专为其定制的后训练量化框架 Q-ARVD,通过最终质量引导的帧敏感度加权与离群值感知自适应双尺度量化实现高质量 INT8/INT4 推理。

RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO

针对因果自回归视频扩散蒸馏中训练与推断历史分布失配及历史表征缺乏端到端监督的问题,RAVEN 通过重排自展开序列实现端到端跨块监督,并提出直接作用于一致性高斯转移核的 CM-GRPO 在线强化学习算法,在 1.3B 规模上实现高质量实时自回归流式视频生成。

Rebalancing Reference Frame Dominance to Improve Motion in Image-to-Video Models

DyMoS 在图像到视频模型的早期去噪中,仅对文本条件分支的“非参考帧查询→参考帧键”自注意力 logits 减去可调偏置,使 Wan 2.2 的 VBench Dynamic Degree 从 51.7 提升至 64.8,但更强动态性并不自动意味着更真实的运动或更高的参考保真度。

RISE-Video: Can Video Generators Decode Implicit World Rules?

提出了面向图生视频(TI2V)隐式世界规则与认知推理能力的评测基准 RISE-Video,通过涵盖 8 大知识域的 467 个专家标注样本与四维解耦评估协议(推理对齐、时序一致、物理合理、视觉质量),揭示出当前主流生成模型在复杂物理与符号逻辑推理上的严峻瓶颈。

RoboAlign-R1: Distilled Multimodal Reward Alignment for Robot Video World Models

针对机器人视频世界模型在决策有效性对齐与长时程误差累积上的双重瓶颈,提出 RoboAlign-R1,通过多模态教师裁判蒸馏的高效奖励模型进行强化学习后训练,并配合无需重训的滑动窗口重编码推理策略,显著提升了交互动作的物理真实感与长程推演稳定性。

SierpinskiCam: Camera-Controlled Video Retaking with Sierpinski Triangle Pattern Cues

针对单目视频沿用户自定义相机轨迹重新拍摄(Video Retaking)时大视角外推导致几何引导失效的问题,SierpinskiCam 提出了利用具有多尺度可追踪特征的谢尔宾斯基分形天球顶纹理补充几何引导,并结合解耦空间位置的负旋转位置编码(NegRoPE)实现无须结构改动的参考源注入。

SocialDirector: Training-Free Social Interaction Control for Multi-Person Video Generation

针对多人视频生成中动作主体错配与交互目标偏离等注意力泄漏难题,提出免训练控制器 SocialDirector,通过时空掩码与方向性重加权调制跨模态注意力图,以不到 3% 的微小计算开销实现高保真社交互动控制。

Solaris: Building a Multiplayer Video World Model in Minecraft

提出了首个在开放 3D 世界 Minecraft 中模拟多玩家一致视角的视频世界模型 SOLARIS,通过自动化分布式数据采集系统 SolarisEngine、交织跨玩家自注意力 DiT 架构以及显存优化的 Checkpointed Self Forcing 训练范式,实现了长程稳定的多人动作条件视频生成。

Sparkle: Realizing Lively Instruction-Guided Video Background Replacement via Decoupled Guidance

针对传统混合生成管线导致的背景死板与结构崩塌问题,本文提出基于解耦前景与背景双路控制引导的五阶段数据合成管线,构建了包含约 14 万对高质量视频的数据集 Sparkle 与评测基准 Sparkle-Bench,使通用编辑模型下游微调后效果大幅跃升。

Sparse Video Generation Propels Real-World Beyond-the-View Vision-Language Navigation

针对视觉语言导航中 LLM 短视距监督导致的死胡同受困与原地打转问题,提出首个基于稀疏视频生成的世界模型导航系统 SparseVideoNav,通过四阶段渐进训练与蒸馏实现长达 20 秒稀疏未来视界与亚秒级连续动作推理。

SpecLoR: Spectral Lookahead Rectification for Motion-Coherent Text-to-Video Generation

针对 Flow Matching 视频生成中 ODE 数值积分累积误差导致的轨迹漂移与物理伪影问题,SpecLoR 提出在采样早期通过单步前瞻投影解耦 3D 时空频谱,锁定敏感相位的同时校准宏观振幅至自然先验,以仅 4 次额外 NFE 将采样轨迹拉回真实视频流形。

SPIRAL: Self-Evolving Action-Conditioned Video Generation via Reflective Planning

提出闭环智能体框架 SPIRAL,通过规划、批判与长程记忆构成“思考-执行-反思”生成循环,并借助课程强化学习(GRPO)驱动底层视频扩散模型实现自演化持续提升。

Teaching Video Generators to Remember: Eliciting Dynamic Memory for Out-of-Sight State Evolution

ReMind用事件帧图、可靠锚点训练和保留原始时空地址的KV缓存教视频生成器跨遮挡恢复状态,在STEVO-Bench取得最高总分300.9,但状态推进仅14.5%,证据仍主要支持短时恢复而非长期不可见物理演化。

Temporal Concentration from Rollout Errors: Implicit Preference Optimization for Text-to-Video Generation

针对视频扩散生成中偏好获取依赖外部奖励模型且时间步监督均匀分配导致局部伪影无法精准纠正的问题,本文提出聚焦式隐式偏好优化(cIPO),通过在线前向加噪并单向去噪重建构筑内生偏好对,并基于潜空间帧级重建误差在局部高误差时间窗口实施密集 DPO 优化。

The Invisible Hand of Physics: When Video Diffusion Models Know More Than They Show

通过对视频流匹配扩散模型执行显式逆向积分以恢复真实视频的隐空间轨迹,论文发现即便去噪扩散模型未经过任何自监督预测训练,其中间层表征也能高精度线性解码出物理合理性与连续物理变量(IntPhys 准确率达 81.27%),证明物理表征是生成去噪过程的自然副产物。

The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction

ViDiHand 首次将互联网规模预训练的视频扩散模型作为表征基座,通过手部叠加渲染代理任务微调 VACE 分支,并配合双路互注意力与闭式混合投影求解器,在无需检测器、时序填补器或测试时优化的前提下实现了鲁棒抗严重遮挡的度量级 4D 双手姿态重建。

TrajLoc: Trajectory-Attention Localization for Multi-Object Motion Control

TrajLoc 提出无需密集条件张量或额外控制模块的稀疏多目标轨迹控制方案,通过在 DiT 注意力层中用时空高斯热图直接替换物体文本 token 的交叉注意力权重,并结合文本空间的轨迹与外观嵌入,实现了多达 20 个目标的高保真、抗遮挡运动控制。

TrajLoc: Trajectory-Attention Localization for Multi-Object Motion Control

TrajLoc 抛弃了将稀疏轨迹膨胀为稠密控制张量的传统范式,直接在扩散模型交叉注意力层中用高斯热图覆盖物体 Token 的权重列,并辅以专用的轨迹自编码嵌入与首帧外观 Token,在零额外稠密参数下实现了高保真、强抗遮挡的多目标复杂运动控制。

Transforming Image Editors into Video Editors

本文提出基于锚点的视频编辑范式 AVE,将视频编辑显式解耦为关键帧图像编辑与运动引导的时序插值两阶段,仅需训练轻量化运动编码器即可直接继承强图像编辑器的语义能力。

TriTD: Tri-Partite Trajectory–Distribution Distillation for Real-Time Autoregressive Video Generation

针对自回归视频扩散模型在少步蒸馏中面临的质量与效率权衡难题,本文建立闭式累积误差上界并提出三方协同蒸馏框架 TriTD,在单卡 H100 上以 4 步无 KV-cache 额外刷新实现 26.8 FPS 实时生成与 SOTA 视频质量。

Ultra Flash: Scaling Real-Time Streaming Video Generation to High Resolutions

Ultra Flash 提出了一种级联流式视频生成框架,通过保持架构的生成式超分辨率转换、轻量因果隐空间上采样器与级联流式自强制偏好优化,在单张 GPU 上首次实现了 1K 分辨率约 30 FPS 与 2K 分辨率约 18 FPS 的实时交互式流式视频生成。

VINCIE-NExT: Unlocking Video Editing from Images via In-Context Modeling

提出 VINCIE-NExT 框架,将视频编辑分解为“视频→图像→图像→视频”子任务链,借助上下文视觉示例将成熟图像编辑先验无缝迁移到视频,并结合时序双频 3D 旋转位置编码与两阶段链式推理实现高保真时序一致编辑。

ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing

ViTeX-Bench 用真实视频配对训练数据、冻结评测集和三轴 13 项指标揭示文字正确、运动稳定与背景保留之间的差异,并提供带运动对齐字形条件的 ViTeX-Edit-14B 参考编辑器,其字符准确率均值在受测视频原生编辑器中最高,但并非所有指标最优。