SPIRAL: Self-Evolving Action-Conditioned Video Generation via Reflective Planning¶

会议: NeurIPS 2026
arXiv: 2603.08403
OpenReview: https://openreview.net/forum?id=Eez8xYYlu3
代码: https://github.com/spiral-videogen/SPIRAL
领域: 视频生成
关键词: 动作条件视频生成、长程规划、反思式智能体、强化学习、自演化

一句话总结¶

提出闭环智能体框架 SPIRAL，通过规划、批判与长程记忆构成“思考-执行-反思”生成循环，并借助课程强化学习（GRPO）驱动底层视频扩散模型实现自演化持续提升。

研究背景与动机¶

近年来视频生成模型在短片段视觉保真度与运动平滑度上取得了巨大突破，但在需要因果持续性与复杂工具交互的“长程动作条件视频生成”任务上依然频频崩溃。当给定一个高层抽象目标（例如烹饪料理或工具拆解）时，现有的主流文/图生视频模型（TI2V）极易出现动作执行中途截断、与文本指令不匹配的动作幻觉，以及跨长时序时因缺乏状态追踪而导致的前后物体与场景漂移。

这类失效的深层症结在于传统视频生成沿袭了单次单步（single-shot）的前馈开环范式。在开环生成中，模型缺乏显式的步骤分解机制，也没有任何中间阶段的物理状态校验与纠错反馈闭环，导致前序步骤积累的时空误差像滚雪球一样在后续帧中持续放大并彻底崩塌。

针对这一根本矛盾，本文提出不能单靠扩增底层生成器参数或端到端生成，而必须引入智能体闭环控制与反思机制，让视频生成具备“因果规划、分段渲染、批判校验、闭环纠错”的能力。核心 idea：构建由 PlanAgent（因果规划）、VideoGenerator（分段合成）、CriticAgent（多维批判）与 ContextMemory（时序记忆）组成的闭环反思框架，并在推理期双层反馈的基础上，利用 GRPO 强化学习配合难度递进的课程学习将批判信号反哺内化，驱动底层视频生成模型完成自演化提升。

方法详解¶

整体框架¶

SPIRAL 将长程动作条件视频生成形式化为马尔可夫决策过程（MDP）。给定全局高层目标，系统通过“思考-执行-反思（Think-Act-Reflect）”循环协同推进：首先由高层规划策略 PlanAgent 将抽象指令分解为带物理因果约束的原子步骤；执行策略 VideoGenerator 结合当前步骤与时序上下文记忆流式渲染局部视频片段；CriticAgent 充当环境审核者评估动作与物理一致性，触发局部重写或全局重规划的双层反馈；最后将合格片段纳入长程记忆，并通过组相对策略优化（GRPO）实现模型权重的持续自演化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    G["全局目标与初始观测"] --> PA["结构化因果规划<br/>CoT分解+前后置物理约束"]
    PA --> VG["流式动作视频合成<br/>结合记忆流式渲染视频段"]
    VG --> CA["多维批判与双层反馈<br/>五维评估打分与诊断建议"]
    CA -->|局部轻微失败| VG
    CA -->|全局连续失败| PA
    CA -->|校验通过| CM["全局长程记忆<br/>跨步骤特征持久化保留"]
    CM --> VG
    CA -.->|提供奖励反馈| GRPO["组相对策略自演化<br/>SDE随机探索与课程强化学习"]
    GRPO -.->|参数策略更新| VG

关键设计¶

1. 结构化因果规划：显式建模物理前后置条件 直接依赖视频生成模型理解高层抽象指令通常会引发动作遗漏与幻觉。PlanAgent 基于视觉语言大模型（Qwen3-VL-8B）构建，采用两阶段精调：首先在专项数据集上进行指令微调（IT）诱导思维链（CoT）推理，随后引入直接偏好优化（DPO）对齐物理因果逻辑与防范幻觉。在规划阶段，PlanAgent 将全局目标分解为结构化的原子三元组： $$s_t = (a_t, c_t^{pre}, c_t^{post})$$ 其中 $a_t$ 为具体动作语言指令（如“跨栏跳跃”），$c_t^{pre}$ 与 $c_t^{post}$ 分别为严格的物理前置条件（如“处于助跑状态”）与后置状态（如“平稳着陆”）。通过强制模型显式推导因果状态转移，确保生成的动作步骤在物理世界中具备真实可行性，为下游评判提供了精确锚点。

2. 流式动作视频合成：记忆感知的长程生成 底层视频生成器可以即插即用集成主流文生视频（T2V）或图生视频（I2V）扩散/Flow Matching 架构（如 Wan2.1、SVI 等）。为赋予基础生成器执行原子动作的能力，模型在包含细粒度时序边界的数据集上进行流式长序列微调（Streaming Long-Tuning）。在合成当前步骤视频片段 $v_t$ 时，生成器同时接收当前动作指令 $a_t$ 与时序上下文记忆编码： $$v_t \sim \pi_{\text{gen}}(\cdot \mid a_t, \text{Encoder}(\mathcal{M}_{t-1}))$$ 记忆模块以视觉关键帧或扩散注意力 KV-Cache 形式保留全局语义与实体布局，避免模型因窗口滑动而丢失历史参考，保障长程生成中的主体外貌与背景几何一致性。

3. 多维批判与双层反馈：局部修正与全局重规划 为解决开环执行中错误沿时间轴发散的问题，CriticAgent（基于 Qwen3-VL-8B 并经 Gemini-3-Pro 蒸馏与 Bradley-Terry 成对偏好微调）负责从动作遵从、物体交互、目标达成、时序连贯、物理真实性五个维度审查生成的视频段 $v_t$，输出标量奖励 $r_t \in [0, 1]$ 与诊断反馈 $f_t$。系统由此构建双层反馈纠错回路： - 内环局部修正（Inner Loop）：当评判得分低于阈值 $\tau$ 时，利用诊断文本 $f_t$ 强化动作指令（例如提示“手部需先接触把手再施力”），命令 VideoGenerator 立即针对当前步骤局部重新采样生成； - 外环全局重规划（Outer Loop）：当同一动作步连续失败超过预设次数 $K$ 时，判定当前规划路线在物理上不可行，触发 PlanAgent 从当前时间步 $t$ 起结合上下文记忆对剩余步骤进行因果重规划。

4. 组相对策略自演化：基于强化学习的内化提升 推理期的闭环修正虽然有效，但生成耗时较长。为将外部智能体的纠错经验固化到底层视频扩散模型中，SPIRAL 引入基于组相对策略优化（GRPO）的自演化机制。在反向去噪扩散过程中，模型引入带布朗运动的逆时随机微分方程（SDE）实现可控探索，同时采用共享初始噪声策略防止奖励作弊。对同一动作指令生成一组候选视频片段后，CriticAgent 输出奖励集合，并通过组内归一化计算优势函数： $$A_i = \frac{r_i - \text{mean}(\{r_1, \dots, r_G\})}{\text{std}(\{r_1, \dots, r_G\}) + \delta}$$ 随后借助裁剪代理目标更新生成器参数并施加 KL 正则防止策略漂移。配合由短程简单动作向长程复杂程序递进的课程学习，驱动生成器直接掌握复杂物理动力学。

损失函数 / 训练策略¶

PlanAgent 采用负对数似然进行指令微调，并以 Sigmoid DPO 损失进行因果偏好对齐（$\beta = 0.1$）；CriticAgent 在 GAIA 等成对质量偏好数据上最小化 Bradley-Terry 交叉熵损失。VideoGenerator 的 GRPO 自演化目标函数定义为： $$\mathcal{J}(\theta) = \mathbb{E}_{\substack{s_t \sim \pi_{\text{plan}} \\ v_{t,i} \sim \pi_{\theta_{\text{old}}}}} \left[ \frac{1}{G} \sum_{i=1}^G \min\left(\rho_{t,i} A_i, \text{clip}(\rho_{t,i}, 1-\epsilon, 1+\epsilon) A_i \right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{gen}}) \right]$$ 其中重要性权重 $\rho_{t,i} = \frac{\pi_\theta(v_{t,i} \mid s_t)}{\pi_{\theta_{\text{old}}}(v_{t,i} \mid s_t)}$，采样时采用多分辨率递进训练（480P 平方 $\rightarrow$ 640×480 $\rightarrow$ 832×480）以稳步巩固动作控制能力。

实验关键数据¶

主实验¶

在涵盖简单（1-3步）、中等（3-5步）及困难（>5步，>40秒）三档梯度的 ActVideoGen-Bench 上，评估 SPIRAL 对不同主流底层视频生成基线在长程动作质量指标上的加持效果：

生成范式	底层基线模型	动作完整度 (AC)	动作平滑度 (AS)	物体交互 (OI)	物理真实性 (PF)
T2V	LongLive	0.273	0.646	0.776	0.808
T2V	LongLive + SPIRAL	0.721 (+44.8%)	0.902 (+25.6%)	0.860 (+8.4%)	0.924 (+11.6%)
T2V	Wan2.1	0.565	0.834	0.756	0.894
T2V	Wan2.1 + SPIRAL	0.875 (+31.0%)	0.918 (+8.4%)	0.926 (+17.0%)	0.958 (+6.4%)
T2V	Sora	0.378	0.820	0.894	0.852
T2V	Sora + SPIRAL	0.540 (+16.2%)	0.714 (-10.6%)	0.910 (+1.6%)	0.844 (-0.8%)
I2V	SVI	0.233	0.746	0.816	0.782
I2V	SVI + SPIRAL	0.353 (+12.0%)	0.754 (+0.8%)	0.838 (+2.2%)	0.808 (+2.6%)
I2V	Kling2.1	0.042	0.702	0.704	0.848
I2V	Kling2.1 + SPIRAL	0.424 (+38.2%)	0.896 (+19.4%)	0.878 (+17.4%)	0.878 (+3.0%)

消融实验¶

1. 智能体组件与反馈回环消融（评估 PlanAgent 与 CriticAgent 双层反馈对动作质量的贡献）：

配置	规划智能体 (Plan)	评判智能体 (Critic)	内环反馈 (Inner)	外环反馈 (Outer)	动作完整度 (AC)	动作平滑度 (AS)	物体交互 (OI)	物理真实性 (PF)
开环基准 (Baseline)	-	-	-	-	0.347	0.796	0.804	0.820
仅加入规划 (Plan only)	✓	-	-	-	0.628	0.754	0.838	0.840
规划 + 内环局部重试	✓	✓	✓	-	0.715	0.816	0.880	0.848
完整框架 (Full SPIRAL)	✓	✓	✓	✓	0.781	0.862	0.872	0.934

2. 训练阶段演化收益分析（验证闭环推理与 GRPO 自演化的增量收益）：

训练与运行阶段	动作完整度 (AC)	动作平滑度 (AS)	物体交互 (OI)	物理真实性 (PF)	综合质量 (Overall)
SFT 基础模型	0.273	0.646	0.776	0.808	0.626
SFT + 闭环推理回环	0.721 (+44.8%)	0.902 (+25.6%)	0.860 (+8.4%)	0.924 (+11.6%)	0.852 (+22.6%)
SFT + 闭环回环 + GRPO 自演化	0.841 (+56.8%)	0.942 (+29.6%)	0.864 (+8.8%)	0.936 (+12.8%)	0.896 (+27.0%)

关键发现¶

显式规划彻底打破长程动作截断僵局：单纯增加生成器参数无法解决动作漏做问题，引入 PlanAgent 分解使动作完整度单项跃升 28.1% 以上，配合双层闭环纠错在开源基线上甚至取得超过 40% 的大幅跨越。
自演化有效内化批判能力：GRPO 自演化在闭环推理高基线的基础上进一步将动作完整度拔高 12.0%、动作平滑度提升 4.0%，证实强化学习成功将外部智能体的批判先验固化到底层生成网络权重中。
长序列稳健性差异显著：在大于 40 秒的多步复合任务中，开环模型几乎完全崩溃；而 SPIRAL 依赖 ContextMemory 与动态重规划，在长时序任务上维持了接近短序列的执行稳定性。

亮点与洞察¶

多智能体与扩散生成紧密耦合的闭环范式：不同于传统的仅依赖 prompt 提示或后处理截取的管线，SPIRAL 建立了包含“局部微调重试”与“全局因果重排”的双层回环，真正让视频生成系统具备了反思与试错能力。
共享噪声与 SDE 驱动的视频强化学习：将 Diffusion/Flow Matching 的去噪轨迹形式化为有限步 MDP，创新性地采用反向 SDE 探索机制与组内共享初始噪声，巧妙规避了传统强化学习探索中的模式坍塌与奖励作弊风险。
面向过程动作的综合数据基准体系：构建了包含 11.8 万结构化步骤的 ActVideoGen-Dataset 与基于多智能体交叉问答评测的 ActVideoGen-Bench，为长程因果动作视频生成提供了标准化的数据与严谨评测协议。

局限与展望¶

推理与多轮重试的时延开销较高：由于引入了 CriticAgent 逐段审阅以及失败时的重新采样与重规划，端到端生成长视频的计算量与显存占用显著大于单次开环模型，在实时高频交互场景下部署面临挑战。
极端物理交互细粒度建模受限：对于流体、微小柔性物体形变或高速穿透等复杂连续动力学接触，视觉评判模型本身可能存在尺度判断盲区，偶尔给出误导性的奖励反馈。
未来方向：探索端到端联合训练策略以压缩多智能体交互延迟，并将物理引擎几何先验直接引入 Critic 奖励建模中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将闭环反思智能体协同与 GRPO 强化自演化深度融合于长程动作视频生成领域。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 种主流 T2V/I2V 底层模型，包含详尽的模块消融、训练阶段分析及定性物理案例。
写作质量: ⭐⭐⭐⭐⭐ 叙述流畅自然，图表形式丰富，问题形式化与算法实现细节非常完备严谨。
价值: ⭐⭐⭐⭐⭐ 为解决长视频中普遍存在的因果逻辑崩塌与动作幻觉难题提供了极具落地与扩展潜力的标杆范式。