OpenCoF: Learning to Reason Through Video Generation¶

会议: NeurIPS 2026
arXiv: 2607.08763
OpenReview: https://openreview.net/forum?id=txkEmHILO7
代码: https://opencof.github.io/
领域: 视频生成
关键词: 视频生成, 帧链推理 (CoF), 视觉推理 Token, 文本推理 Token, 扩散 Transformer (DiT)

一句话总结¶

提出包含 1.7 万样本的多任务视频推理数据集 OpenCoF-17K 与互补的视觉/文本推理 Token（vt 与 tt），在 Wan2.2-I2V-A14B 上大幅提升视频扩散模型的帧链时序逻辑推理能力。

研究背景与动机¶

随着多模态大模型在各类视觉-语言推理基准上的快速演进，赋予模型稳健的逻辑推理与因果推断能力已成为构建通用智能体不可或缺的核心目标。然而，主流视觉思维链（Visual Chain-of-Thought, Visual CoT）主要依赖静态图像输入，通过局部区域放大、调用外部检测/标注工具或生成静态辅助图像逐步推导。这类范式受限于静态视觉载体，无法原生建模物理世界的连续动态演变、时序因果连锁反应以及多步动作产生的视觉后果。

视频生成扩散模型的迅速成熟为视觉推理开辟了全新路径：通过时间上连续连接的视频帧序列直接呈现动态推导过程，这一机制被称为帧链（Chain-of-Frame, CoF）推理。现有视频模型展现出了初步的物理常识与空间因果规律，但绝大多数模型仍在大规模开放域通用视频语料上预训练。由于缺乏针对多步严密逻辑和物理规律的专用时序监督，现有模型在长程时序一致性、多步几何变换与复杂规划任务中极易发生幻觉，生成的画面往往只是视觉质感逼真，其底层因果转移和规则执行却破绽百出。此外，以往研究多侧重于评测基准构建或特定狭窄任务（如走迷宫）的数据缩放，尚未从模型内在表示层面探索如何让视频扩散模型显式维护和组织中间推理状态。

面对这一挑战，本文的核心目标是探索通用视频生成模型如何通过显式监督与结构机制系统性获得 CoF 推理能力。核心 idea：构建跨 11 类任务的专用时序推理数据集 OpenCoF-17K 提供多样化动态演化监督，并引入在自注意力与交叉注意力中分别运作的视觉推理 Token（vt）与文本推理 Token（tt），为视频扩散 Transformer 提供显式维护时空推导与抽象语义先验的内部推理状态通道。

方法详解¶

整体框架¶

OpenCoF 框架围绕视频扩散模型（DiT）的帧链（CoF）推理能力构建，整体方案包含两个递进阶段：首先是基于多源生成的时序推理数据构建与 LoRA 微调阶段（Wan-CoF），验证通用时序演化监督对 CoF 泛化迁移的有效性；其次是专用内部推理机制探索阶段（Wan-CoFvt 与 Wan-CoFtt），为 DiT 主干引入显式维护时序状态的推理 Token。

在推理过程中，模型接收单张初始条件图像与文本提示词，在去噪扩散步骤中生成时间跨度为 81 帧的推理演变视频。在网络前向传播中，视觉推理 Token 在潜空间序列中与图像/视频潜向量进行双向自注意力交互，文本推理 Token 在交叉注意力中注入全局任务级语义先验。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：初始条件图像 + 文本提示词"] --> B["OpenCoF-17K 多源时序推理数据集构建<br/>4种流水线覆盖11大任务族，共17,312条视频"]
    B --> C["扩散去噪主干 DiT (Wan2.2-I2V-A14B)<br/>多尺度时空潜向量编码与去噪迭代"]
    C --> D["视觉推理 Token (vt)<br/>隐空间可学习 Token，双向自注意力聚合时空线索"]
    C --> E["文本推理 Token (tt)<br/>提示词序列可学习 Token，单向交叉注意力提供语义先验"]
    D --> F["时空去噪交互与中间推理状态组织<br/>浅层与早期去噪步骤锚定时空规划与物理演化"]
    E --> F
    F --> G["输出：81帧高质量逻辑连贯推理视频 (CoF)"]

关键设计¶

1. OpenCoF-17K 多源时序推理数据集构建：解决视频模型推理监督单一与分布耦合问题

以往研究大多依赖单一仿真器生成特定领域的合成数据（如虚拟迷宫），导致模型学到的推导行为无法泛化到外部独立的评测基准。为了提供多样化且结构严密的时序演化监督，OpenCoF-17K 汇聚了 11 大任务家族、共计 17,312 个样本，涵盖棋盘规则推导、数独求解、2D 辅助线几何证明、连点画图、七巧板拼图、2D 转 3D 纸盒折叠、3D 多立方体旋转、基础物理运动模拟、迷宫寻路、具身机械臂操控以及认知任务集合 VBVR。

在构建流水线上，该数据集整合了四种互补路径： - 基于实例的程序化渲染（Instance-based Rendering）：针对象棋一步杀（Mate in One）和 4×4 简易数独（Sudoku-Easy），从结构化资产中采样局面，通过确定性算法脚本逐步渲染合法走子与填数解题步骤； - 专家引导式渲染（Expert-guided Rendering）：针对 2D 几何（Geo170K 辅助线构造）引入人工标注坐标并按步渲染，针对连点画图（Dot-to-dot）由大语言模型生成概念、文生图模型生成线稿后通过图像处理提取点位并自动连线； - 程序化场景合成（Procedural Scene Synthesis）：针对七巧板、纸盒折叠（Matplotlib 3D 动态折叠）、3D 多立方体旋转以及变摩擦力/曲面物理滑动，采用物理引擎和 3D 图形流水线从纯几何参数渲染连续物理与拓扑动画； - 外部视频重构与重定向（External Video Repurposing）：从 VR-Bench 采样迷宫、从 VBVR 筛选 30 个高质子任务、从 BridgeData V2 采样具身操作，并将所有数据源统一重定为 480p 分辨率、15 fps 帧率与 81 帧长度（5.4 秒），平均提示词长度达 53.2 词。

2. 视觉推理 Token（vt）：在视觉隐空间内双向自注意力维护局部时空规划

标准的视频 DiT 模型直接在压缩的视觉隐变量上进行去噪，隐变量序列需要同时承担像素级视觉纹理渲染和高层因果逻辑演进的双重负担，缺乏显式维护“当前中间推导状态”的计算槽位。为此，设计了可学习的视觉推理 Token（Visual Reasoning Tokens, vt）。给定视频潜变量序列经过展平后的视觉 Token \(x \in \mathbb{R}^{M \times d}\)（其中 \(M = T \times H \times W\) 为时空 Token 总数），系统引入 \(N_r\) 个可学习的连续向量 \(r^v \in \mathbb{R}^{N_r \times d}\)，在进入首个 DiT Block 之前拼接到视觉序列前端：

\[z_0 = [r_1^v, r_2^v, \dots, r_{N_r}^v, x_1, x_2, \dots, x_M]\]

在 DiT 内部的每一层全自注意力中，推理 Token \(r^v\) 与视觉 Token \(x\) 之间进行完全双向的自注意力交互：视觉 Token 可以自由查询推理 Token 获取全局时空状态摘要，推理 Token 也同步吸收全图关键时空线索并在推理 Token 之间交换信息。注意力分析表明，vt 展现出高度空间局部性，注意力密集分布于机械臂末端夹爪、待操作物体等关键交互区域，并在时序上着重激活于初始状态帧与终止结果帧。在 DiT 最终层输出后，推理 Token 被直接丢弃，仅由视觉隐变量经过 VAE 解码器还原为视频。

3. 文本推理 Token（tt）：在条件交叉注意力中注入全局任务语义先验

与视觉空间局部紧凑的特征不同，任务级逻辑往往具有提示词之外的全局约束（如规则守恒、不可穿透性等不变语义）。为了在条件注入通路引入高层语义先验，设计了文本推理 Token（Textual Reasoning Tokens, tt）。针对文本编码器输出的提示词序列 \(c \in \mathbb{R}^{L \times d}\)，前置拼接 \(N_t\) 个可学习的文本推理向量 \(r^t \in \mathbb{R}^{N_t \times d}\)：

\[c_0 = [r_1^t, r_2^t, \dots, r_{N_t}^t, c_1, c_2, \dots, c_L]\]

在 DiT 模块的交叉注意力层中，每个视觉隐变量以自身为 Query，对 \(c_0\) 中的文本与推理 Token 联合做 Key/Value 注意力查询。与 vt 不同，tt 不参与视觉自注意力的动态更新，因而在所有时间帧和空间 Patch 之间共享且保持恒定。注意力热力图表明，tt 在空间上分布平缓且广泛覆盖整个任务交互工作区，在时序上去噪早期维持极高的全局先验激活，从而作为一种独立于特定提示词的全局高层语义控制器，与局部双向的 vt 形成机制上的互补分工。

损失函数 / 训练策略¶

主干网络采用开源 Wan2.2-I2V-A14B，其内部采用高噪声与低噪声专家分离的 Mixture-of-Experts（MoE）扩散架构，搭载 umT5 文本编码器与 Wan-VAE。在训练策略上： - 文本编码器与 VAE 均保持完全冻结； - 采用 LoRA 微调 DiT 去噪主干中的自注意力、交叉注意力的投影层 \((q, k, v, o)\) 以及 FFN 的两层线性层，LoRA rank 设定为 32，学习率为 \(2 \times 10^{-5}\)； - 纯数据训练版本 Wan-CoF 在 OpenCoF-17K 上训练 22 个 epoch； - 配备推理 Token 的版本 Wan-CoFvt 与 Wan-CoFtt 分别配置 \(N_r = 16\) 与 \(N_t = 16\)，训练 55 个 epoch 以确保新增的可学习 Token 参数与 LoRA 充分收敛。推理 Token 数量消融验证表明，\(n=16\) 相较于 \(n=32\) 在绝大多数基准上表现更优且参数更精简。

实验关键数据¶

主实验¶

评估严格在四个完全独立的外部视频推理基准上进行：MME-CoF（0-4 分制）、Gen-ViRe（0-1 分制）、VIPER（[email protected] 命中百分比，0-100）和 RULER-Bench（过滤 I2V 场景，0-100 分制）。所有评测统一调用官方评测模型，覆盖了模型未见过的外部任务分布。

模型	类型	MME-CoF (Overall)	Gen-ViRe (Avg.)	VIPER (POC)	RULER-Bench (Overall)
Kling-v1	闭源商业	0.71	0.198	-	-
Seedance-1.0-Pro / 1.5	闭源商业	1.48	0.301	9.5	-
Veo-3.1	闭源商业	1.53	0.486	20.3	-
Sora-2	闭源商业	1.80	0.560	23.3	-
HunyuanVideo-I2V / 1.5	开源基线	0.98	-	8.1	-
Wan2.2-I2V-A14B (Baseline)	开源基准	1.00	0.304	3.3	55.8
Wan-CoF (数据微调)	本文方法	1.30 (+0.30)	0.391 (+0.087)	7.5 (+4.2)	56.8 (+1.0)
Wan-CoFvt (视觉Token)	本文方法	1.34	0.441	8.2	59.6
Wan-CoFtt (文本Token)	本文方法	1.35	0.406	8.8	57.7

消融实验¶

针对推理 Token 数量 \(n \in \{16, 32\}\) 在各外部基准上的表现进行了完整消融对比（以 Wan-CoF 纯数据基线为参考）：

配置	参数数量 \(n\)	MME-CoF (Overall)	Gen-ViRe (Avg.)	VIPER (POC)	RULER-Bench (Overall)	说明
Wan-CoF (纯数据)	0	1.30	0.391	7.5	56.8	无额外推理 Token
Wan-CoFvt (视觉)	16	1.34	0.441	8.2	59.6	视觉空间最佳折中
Wan-CoFvt (视觉)	32	1.28	0.416	8.9	58.5	Token倍增反而引发性能退化
Wan-CoFtt (文本)	16	1.35	0.406	8.8	58.4	语义先验最佳表现
Wan-CoFtt (文本)	32	1.34	0.412	6.8	57.7	文本条件过载导致VIPER大幅下降

关键发现¶

外部泛化与因果对齐：仅通过 OpenCoF-17K 进行监督微调（Wan-CoF），所有四大基准总分显著提升；最大的增益集中于时序一致性（MME-CoF +0.33）、物理运动模拟（VIPER Physics +5.5）、空间感知（VIPER Spatial +5.3）以及算法逻辑（Gen-ViRe Algo & Logi +0.147），证明多样化时序监督确实促使模型学到了跨任务可迁移的因果演进规律，而非对特定数据模式过拟合。
vt 与 tt 的互补分工：vt 擅长需要时空精细连贯与局部动态规划的维度（Gen-ViRe Planning 达 0.628，MME-CoF 视觉稳定性达 2.33）；tt 则主导规则一致性与高层指令遵从（MME-CoF 指令对齐达 0.34，VIPER 结构性得分达 15.0）。
去噪早期与边界关键帧主导：注意力分析证明，推理 Token 在高噪声步长（去噪早期）和模型浅中层被高度激活，主要用于确定全局运动拓扑与因果轨迹；随着去噪进入后期细节微调，注意力强度平缓下降。在时序维度上，vt 显著集中在初态输入帧与最终结果帧，有效担负起“首尾因果锚定”的职能。

亮点与洞察¶

从隐式生成到显式 CoF 状态组织：该工作率先在开源大型视频 DiT（Wan2.2-14B）上系统验证了时序推理的可行性，打破了“视频生成只是拼视觉画质”的固有认知，证明扩散隐空间中能够承载复杂的逻辑与物理链式推导。
Token 机制简洁且与架构解耦：提出的 vt 和 tt 设计不需要修改 DiT 核心算子或改动 VAE，即可无缝接入任意主流扩散 Transformer，且仅需微小参数增量（16 个 Token）即可激发显著的时序规划能力。
可复用的跨模态经验：推理 Token 随去噪时间步衰减的特性表明，未来扩散生成模型的测试时计算（Test-Time Compute）或推理增强应重点置于高噪声规划阶段，无需对所有去噪步骤平均分配算力。

局限与展望¶

vt 与 tt 尚未联合训练：当前实验中视觉推理 Token 与文本推理 Token 是独立探索与评测的，二者如何在同一 DiT 架构中通过显式跨注意力协同工作仍有待进一步攻关。
长时序复杂多步任务存在瓶颈：受限于 81 帧的固定长度与 480p 分辨率，面对需数分钟执行的超长程复杂博弈或超多步算法，单次 I2V 生成仍难以彻底避免累积漂移。
离线监督与强化学习结合：目前仅采用 LoRA 监督微调，若能引入基于过程反馈的强化学习（如针对生成视频各关键帧因果正确性的直接偏好对齐或强化奖励），将有望进一步逼近前沿闭源系统。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向视频生成帧链推理（CoF）的多源数据集与显式内部推理 Token 架构。
实验充分度: ⭐⭐⭐⭐⭐ 在四大独立外部基准上系统对比闭源与开源模型，包含深度的层深、去噪步长、空间与时序注意力透视分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨、叙述清晰，图表与分析详实自洽。
价值: ⭐⭐⭐⭐⭐ 为视频大模型从单纯的“多媒体内容生成工具”向“物理与逻辑世界模拟器”演进提供了极为关键的开源基准与架构参考。