Free-Lunch Long Video Generation via Layer-Adaptive O.O.D Correction¶

会议: CVPR 2026
arXiv: 2603.25209
代码: https://github.com/Westlake-AGI-Lab/FreeLOC
领域: 视频生成 / 扩散模型
关键词: 长视频生成, 免训练, 位置编码外推, 稀疏注意力, 层自适应

一句话总结¶

FreeLOC 提出一种免训练的层自适应框架，通过识别视频DiT中各层对"帧级相对位置OOD"和"上下文长度OOD"两种分布外问题的敏感度差异，选择性地在敏感层应用多粒度位置重编码(VRPR)和分层稀疏注意力(TSA)，在不增加训练成本的情况下实现SOTA的长视频生成质量。

研究背景与动机¶

领域现状：视频扩散模型(如Wan、HunyuanVideo)能生成高质量短视频，但通常只在短片段(约5秒)上训练。直接用于生成更长视频会导致质量严重下降。
现有痛点：训练式自回归方法计算昂贵且难以匹配原生短视频质量。已有免训练方法分为两类：滑动窗口方法(如FreeNoise)能维护局部一致性但无法捕获远距帧间依赖；全局操作方法(如FreeLong)通过操纵潜变量改善质量但仍有伪影(身份漂移、光照不一致)。且大多方法基于UNet架构，与SOTA的DiT模型不兼容。
核心矛盾：长视频生成面临两个OOD问题——(a) 帧级相对位置OOD：3D RoPE位置编码在超出训练长度时外推失败；(b) 上下文长度OOD：超长token序列使softmax注意力过于扩散，注意力熵增加，削弱对局部信息的聚焦能力。
本文目标 如何在不重训练的前提下解决这两个OOD问题，同时兼顾局部细节和全局一致性？
切入角度：作者发现视频DiT中各Transformer层对这两种OOD问题的敏感度差异显著——有些层对位置偏移敏感，有些对上下文扩展敏感。因此应该有针对性地对最敏感的层施加校正，而非全局统一应用。
核心 idea：通过自动层敏感度探测，选择性地在位置敏感层应用多粒度RoPE重编码、在上下文敏感层叠加分层稀疏注意力。

方法详解¶

整体框架¶

FreeLOC包含三个组件：(1) 离线层敏感度探测——自动量化每层对两种OOD问题的敏感度；(2) VRPR——多粒度相对位置重编码，将超出预训练范围的帧级相对位置映射回训练域；(3) TSA——分层稀疏注意力，在约束有效上下文长度的同时保留远距依赖。根据探测结果，对仅位置敏感层应用VRPR，对上下文敏感层应用VRPR+TSA。

关键设计¶

Video-based Relative Position Re-encoding (VRPR):
- 功能：将超出训练范围的帧级相对位置重新映射到预训练域内
- 核心思路：基于视频注意力随时间距离衰减的观察，设计三级精度的重编码方案。对短距帧(\(|i-j| \leq W_1\))保留原始相对位置，确保动作连续性。对中距帧(\(W_1 < |i-j| \leq W_2\))以组大小\(G_1\)进行FLOOR量化压缩，公式为 \(P = \lfloor P_{ori}/G_1 \rfloor + \text{sign}(P_{ori})(W_1 - \lfloor W_1/G_1 \rfloor)\)。对长距帧(\(|i-j| > W_2\))用更大组\(G_2\)激进量化，仅保留近似顺序。各级之间确保平滑过渡。
- 设计动机：LLM中的裁剪(clipping)和分组(grouping)方法忽略了视频时序依赖的层级结构——近距帧需高精度位置信息保持运动细节，远距帧仅需粗略顺序维护全局一致。本方法直接对应注意力衰减特性。
Tiered Sparse Attention (TSA):
- 功能：约束有效上下文长度在预训练范围内，同时保留远距时序依赖
- 核心思路：构造4D注意力掩码 \(\tilde{M} \in \{0,1\}^{f \times f \times n \times n}\)，分三层设计：(a) 短距(\(|i-j| < D_1\))使用标准密集注意力窗口捕获局部细节；(b) 中距(\(D_1 \leq |i-j| < D_2\))使用条纹注意力(striped attention)，仅允许空间位置相近的token(\(|k-l| < D_s\))交互，有效减少计算量同时扩展时序感受野；(c) 长距(\(|i-j| > D_2\))裁剪直接注意力，但所有帧可注意首帧(attention sink)作为全局锚点。
- 设计动机：固定滑动窗口注意力保持局部细节但切断远距依赖；TSA通过条纹注意力利用"相同空间位置跨帧高注意力"的经验观察，在减少token数量的同时扩大时序感受野。
层自适应探测机制(Layer-wise Probing):
- 功能：自动量化每层对两种OOD的敏感度，指导选择性应用校正策略
- 核心思路：对位置OOD，逐层偏移RoPE键的位置索引(±20,±40)生成探测视频，用Vision Reward和Attention Logits Difference(ALD)衡量质量和注意力变化。对上下文OOD，逐层应用滑动窗口约束上下文长度生成探测视频，用注意力熵差异 \(S_i = \|H_i^{probing} - H_i^{original}\| / \|H_i^{original}\|\) 衡量敏感度。
- 设计动机：统一应用校正策略到所有层忽略了层间异质性。实验表明不同层角色差异显著(如Wan2.1中Layer 18对位置不敏感但Layer 28非常敏感)。

损失函数 / 训练策略¶

FreeLOC完全免训练。VRPR和TSA仅在推理时应用。探测过程为离线一次性完成，之后的生成使用固定的层策略配置。

实验关键数据¶

主实验 (Wan2.1-T2V-1.3B, 4×扩展 = 321帧)¶

方法	Subject Consist.↑	BG Consist.↑	Motion Smooth.↑	Imaging Quality↑	Aesthetic↑	Dynamic↑
Direct Sampling	98.50	97.89	98.83	59.21	49.43	4.32
Sliding Window	96.15	95.92	98.54	65.64	54.04	39.81
RIFLEx	98.41	97.87	98.86	59.92	49.67	4.45
FreeLong	97.88	97.51	98.91	63.17	54.56	21.21
FreeNoise	97.31	97.25	98.84	66.32	56.01	35.11
FreeLOC	98.44	97.78	98.97	67.44	61.21	36.27

消融实验¶

配置	SC↑	BC↑	MS↑	IQ↑	AQ↑	DD↑
Direct	98.50	97.89	98.83	59.21	49.43	4.32
Direct+TSA	97.41	96.76	98.67	65.87	57.05	37.01
Direct+VRPR	98.42	97.81	98.89	61.88	54.13	15.32
(TSA+VRPR)_uniform	97.56	97.67	98.75	65.19	56.34	34.44
(TSA+VRPR, VRPR)_random	98.03	97.61	98.91	63.90	54.44	33.13
FreeLOC(layer-wise)	98.44	97.78	98.97	67.44	61.21	36.27

关键发现¶

层自适应策略至关重要：统一应用(TSA+VRPR)_uniform在AQ上仅56.34，layer-wise策略达61.21，提升+4.87
VRPR单独应用主要改善一致性(SC从98.50→98.42变化小)但对动态度贡献有限(DD从4.32→15.32)
TSA单独应用大幅提升视觉质量和动态度(IQ 65.87, DD 37.01)但牺牲部分一致性(SC降至97.41)
FreeLOC在一致性和质量间取得最佳平衡，且在HunyuanVideo上同样验证了跨模型有效性
对比不同位置重编码方法，VRPR的三级粒度设计优于简单clipping和grouping

亮点与洞察¶

从OOD视角分析长视频生成退化：将位置外推和上下文扩展分解为两个独立OOD源，每个都有清晰定义和度量方式，分析框架优雅
层敏感度探测：用自动化实验量化各层敏感度而非凭经验假设，使层策略分配有据可依。这一探测方法论可迁移到其他逐层干预场景
三级粒度VRPR：从注意力衰减特性出发设计差异化精度的位置重编码，比LLM的简单截断/分组更符合视频特性。条纹注意力利用跨帧空间对应关系也很巧妙

局限与展望¶

探测过程需要为每个新模型进行一次离线分析(生成M×N个探测视频)，成本非零
当前VRPR的窗口参数(\(W_1, W_2, G_1, G_2\))和TSA的距离参数(\(D_1, D_2\))需要预设，对不同扩展倍率可能需要调整
仅验证了2×和4×扩展，更极端的扩展(如10×+)效果未知
未与训练式方法进行公平对比(因定位不同)

评分¶

新颖性: ⭐⭐⭐⭐ 两个OOD问题的识别和层自适应探测机制有原创性，但VRPR的多级量化和分层稀疏注意力的单个技术成分属于已有思路的组合
实验充分度: ⭐⭐⭐⭐⭐ 双模型验证(Wan+HunyuanVideo)、多种消融(策略/组件/位置编码/注意力机制)、定量+定性对比充分
写作质量: ⭐⭐⭐⭐ 问题定义清晰、探测实验可视化直观，整体逻辑自洽
价值: ⭐⭐⭐⭐ 免训练的长视频生成对社区有直接实用价值，开源代码进一步增强影响力