IC-World: In-Context Generation for Shared World Modeling¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/wufan-cse/IC-World
领域: 视频生成 / 世界模型
关键词: 共享世界建模、上下文生成、几何一致性、运动一致性、GRPO

一句话总结¶

IC-World 把同一世界的多视角图像拼成一个网格来联合生成视频，再用三维几何与运动一致性奖励做 GRPO 微调，在双视角动态场景测试中将 Wan2.1 基线的 M-FID 从 185.2354 降至 157.6099。

研究背景与动机¶

单视角图像到视频模型可以把一张图片续写成动态场景，却不必回答另一个相机此刻应该看到什么。如果把同一房间的两张照片分别交给模型，两段视频可能各自自然，但桌椅位置、遮挡关系和人物动作却彼此冲突。共享世界建模要求这些输出是同一环境在不同视角下的观测，而不是几个主题相近的独立视频。这与多人游戏或多机器人共享工作空间有关：观察者可以不同，世界中的事件却不能各发生一遍。论文研究的是这种视觉一致性，不是完整的交互式游戏引擎或机器人控制策略。

已有自动驾驶多视角生成通常依赖预设相机系统，物体中心的 4D 生成则围绕特定对象组织视角。本文希望处理一般场景，而且不预先约束每个相机的轨迹，因此难以直接套用这些任务专用方法。逐个生成视角还会引入依赖顺序：后生成的视频需要与前面的历史保持一致，独立采样本身没有保证这种一致性的渠道。问题因此不只是单段画面质量，而是如何让多个输出在生成过程中获得共同上下文。不过，“不约束轨迹”并不等于已经提供精确相机轨迹控制，本文输入主要仍是图像集合与世界描述。

大规模视频扩散 Transformer 已能理解带有多个区域的视觉布局，这让作者把信息交流问题转化为输入组织问题。将多个视角放在同一张图中，再明确指示它们属于同步的同一世界，就能让一个生成过程同时处理这些区域。这种做法不需要新增跨视角网络模块，但预训练知识并不能保证几何和动作始终正确，所以还需对生成结果施加针对性反馈。作者用三维重建和点轨迹把这种反馈变成可计算奖励，而不是完全依赖稀缺的成对目标视频监督。 核心 idea：先用网格输入和同步世界指令激活联合生成，再用跨视角三维几何与运动奖励，把“看起来像同一世界”进一步推向“空间和事件也一致”。

方法详解¶

整体框架¶

输入是同一时刻、同一世界的 \(N\) 张不同视角图像，以及描述场景和事件的共享文本。输出是分别对应这些初始图像的 \(N\) 段视频；主要实验限定为 \(N=2\)。模型先执行“网格上下文生成”，将图像缩小、拼接成一个画布，并生成一段包含多个视角区域的大视频。随后按像素区域裁开视频，得到可以独立观看、同时参与跨视角评估的子视频。训练时，“几何一致性奖励”和“运动一致性奖励”并行评价这些子视频，再由“组相对策略优化”更新生成模型。推理时只需使用训练后的生成模型完成拼接、生成和裁分，正文没有要求在线运行这些奖励模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["同步多视角图像<br/>共享世界描述"] --> Grid["网格上下文生成"]
        Grid --> Split["裁分为对应子视频"]
        Split -->|训练评估| Geometry["几何一致性奖励"]
        Split -->|训练评估| Motion["运动一致性奖励"]
        Geometry --> Optimize["组相对策略优化"]
        Motion --> Optimize
        Optimize -.->|训练更新| Grid
        Split -->|推理输出| Output["共享世界视频组"]

关键设计¶

1. 网格上下文生成：让视角之间的依赖发生在同一次生成中

常规基线对每个输入图像分别运行图像到视频生成，共需进行 \(N\) 次独立生成。 IC-World 则先缩小输入，再按固定区域进行像素级拼接，把多张图变成普通视频模型能接收的一张条件图。配套文本要求输出网格视频，强调各区域是从不同相机位置观察到的同一同步世界，并补充具体世界描述。这些文字不是分别给每个视角写一套事件，而是给所有区域提供共同的语义条件。生成后按输入布局裁分各帧，得到各视角对应的视频，而不是重新训练一个视频解码器来分离视角。两个视角因此共用一次视频生成的时空上下文，这是它比独立续写更容易维持一致性的原因。

这里的“并行”指网格中各视角联合生成，不应理解为简单地把两个独立模型放到不同 GPU 上运行。跨区域依赖由原有视频模型承载，作者没有增加一个显式共享三维场景表示或额外跨视角模块。因此零样本版本已经可以运行，GRPO 是进一步强化一致性的后训练阶段，并非网格方案生效的前提。代价同样来自画布共享：总输出尺寸固定时，每个视角只能获得其中一部分像素。输入视角增多也会加重模型同时维持多个场景区域的负担，不能由双视角成功直接推断任意规模都有效。

2. 几何一致性奖励：把相机差异与场景形状差异分开

直接比较两个视角的像素会把正常透视变化当成错误，所以作者先将子视频分别送入 Pi3，重建稠密三维点云。两个重建处于各自的坐标系，必须先对齐，才能询问它们是否描述相同的空间结构。 Lepard 用学习到的局部特征进行点云配准，处理部分重叠和重建噪声，再把两份点云放到可比较的坐标系中。配准后计算对称 Chamfer 距离 \(D_g\)：分别对两边的每个点寻找另一边的最近点，求欧氏距离的平均值，再对两个方向取平均。双向计算避免只检查一份点云能否被另一份包含，而忽略另一边多出来或缺失的结构。距离越小，表示重建几何越一致；奖励用指数变换把距离映射为越大越好的分数。

\[ r_g=\exp(-D_g),\qquad r_m=\exp(-D_m). \]

上式同时列出后面的运动奖励形式；两者共享距离到奖励的变换，但底层比较对象不同。几何奖励主要约束场景级布局，例如桌子是否位于相同位置，而不是要求不同相机生成相同画面。评测额外使用 Pi3 置信度阈值 0.1、0.5、0.7 筛选点，得到三个 Geometry 分数。这些下标是点云置信度筛选条件，不是距离阈值或几何正确率。奖励仍依赖重建与配准的可靠性，不能被等同为有真实三维标注验证过的物理正确性。

3. 运动一致性奖励：比较对齐后的三维点轨迹

即使两段视频的房间布局相似，人物也可能在一个视角中开始倒水、在另一个视角中已经结束动作。为发现这种时间层面的矛盾，作者使用三维点跟踪模型，从采样帧预测相机外参与点轨迹。正文方法段简称 SpatialTracker，评测段与参考文献明确写作 SpatialTrackerV2。利用估计外参进行旋转和平移后，两边轨迹才能在共同坐标系中比较，避免把视角偏移误判为物体运动差异。点对应不是直接依赖语义身份标注：方法先计算轨迹的时间平均位置，再为一侧轨迹寻找另一侧平均位置最近的轨迹。得到对应关系后，在各采样时刻计算匹配点的欧氏距离，并对轨迹与时间求平均，得到运动距离 \(D_m\)。

最终运动奖励 \(r_m\) 使用上面的指数变换，鼓励两段视频中的对应运动在空间和时间上同时吻合。评测每隔 5 帧取样，并报告跟踪密度设置 10、20、30 下的 Motion 分数。这些下标代表密度设置，不是视频帧数、动作类别数或准确率百分比。与几何奖励相比，它更直接地惩罚某只手在两个视角中处于不相容位置的情况。但按平均位置找最近轨迹并非显式语义匹配，密集交叉运动或多物体靠近时可能出现错误对应，这是读者对该设计的局限分析。

4. 组相对策略优化：用候选之间的相对一致性学习

对同一个图像组与描述，训练时采样 \(M\) 个完整网格视频，每个候选都包含全部视角。算法将每个候选裁分后计算两类奖励，再以同一候选组的均值和标准差构造相对优势。实验中两项奖励权重相同；下面采用清晰下标重述正文的加权奖励与组内归一化定义。

\[ r_i=0.5r_{g,i}+0.5r_{m,i},\qquad A_i=\frac{r_i-\operatorname{mean}(r_1,\ldots,r_M)}{\operatorname{std}(r_1,\ldots,r_M)}. \]

这样，模型学习的是哪些候选比同条件下的其他候选更一致，而不必依赖跨场景通用的绝对奖励阈值。训练沿用 DanceGRPO，将视频去噪过程看成马尔可夫决策过程，用新旧策略的概率比和裁剪目标更新参数。算法还从去噪步中抽取一部分步骤计算梯度，以控制训练成本；正文未给出该采样比例的具体取值。正文算法对组内每个样本计算优势，因此不能把这一步简单写成“只学习最佳视频”。图 2 图注却描述找到最佳候选来计算梯度，与算法的表述存在差异；这里以 Algorithm 1 的组内优势流程解释，并保留这一不确定性。组大小也影响奖励噪声：作者展示从 8 增至 32 时奖励曲线更平滑，但完整定量敏感性分析被放在未包含的附录中。

一个完整示例¶

以论文图 4 的调饮场景为例，两张输入图从不同方向观察同一名正在厨房准备饮品的人。它们先被放进网格，并共用描述人物与场景的文本；一次生成随后同时展开两个视角中的动作。若一个视角里的手已经举高，而另一视角里的同一动作仍在较低位置，仅有“都在调饮”这样的语义相似还不足以通过运动检查。裁分后，点跟踪与外参对齐用于衡量这种运动差异，点云配准则检查厨房和工作台的几何关系。训练中的 \(M=16\) 个候选各自获得奖励，再通过相对优势更新同一个生成模型。这个例子解释的是论文机制，不额外声称该具体视频具有正文未报告的单样本分数。

损失函数 / 训练策略¶

主模型基于 Wan2.1-14B 的步数蒸馏版本初始化，支持 4 步推理。作者选择 rank 为 64 的 LoRA，而不是全参数微调，理由是观察到更稳定的训练和更连贯的结果。训练使用 AdamW，学习率为 \(1\times10^{-5}\)，组大小为 \(M=16\)，最多进行 200 个训练步骤。实验平台为 8 张 H20，每张显存 95 GB；作者报告微调耗时 40 小时。静态场景任务从 DL3DV-10K 抽取 1K 训练与 1K 测试样本，动态场景任务从 MultiCamVideo 也各抽取 1K。 MultiCamVideo 是 Unreal Engine 5 渲染数据，包含 13.6K 动态场景，每个场景有 10 个相机视角，因此动态结果不能直接视作真实视频验证。 Qwen2.5-VL-32B 为输入数据生成世界描述，覆盖静态场景属性和动态物体行为。核心方法使用 GRPO 而不要求 SFT 预热；正文表 5 另外比较了 SFT、SFT+GRPO 与 GRPO，以检验这种选择。

实验关键数据¶

主实验¶

下面节选原文表 1、表 2（第 8 页），均为双视角设置；静态场景配运动相机，动态场景配静止相机。 M-FID 衡量生成视角之间的感知差异，越低越好，不是与真实目标视频比较的常规 FID。 Geometry 和 Motion 均为指数化距离分数，越高越好；CLIP 衡量网格视频与文本的匹配。 VLM 由 Qwen2.5-VL-32B 判断是否属于同一世界；正文说评分范围为 0 到 10，表格却给出小于 1 的数值，缩放方式未在所读正文交代。下表忠实保留 VLM 的报告值，不将其转写为准确率。

场景 / 来源	方法	M-FID ↓	CLIP ↑	VLM ↑	Geometry0.5 ↑	Motion20 ↑
静态 / 表 1	CogVideoX-I2V-5B	96.1624	0.6208	0.7684	0.7150	不适用
静态 / 表 1	Wan2.1-14B	103.5042	0.6204	0.7193	0.7171	不适用
静态 / 表 1	IC-World	98.8324	0.6170	0.7822	0.7217	不适用
动态 / 表 2	CogVideoX-I2V-5B	202.9558	0.6412	0.7915	不适用	0.7963
动态 / 表 2	Wan2.1-14B	185.2354	0.6405	0.7949	不适用	0.8344
动态 / 表 2	IC-World	157.6099	0.6400	0.7958	不适用	0.8466

相对 Wan2.1，动态场景 M-FID 降低 27.6255，Motion20 提高 0.0122；这是表格数值之差，不是准确率提升。静态场景中 IC-World 并未超过 CogVideoX 的 M-FID，CLIP 也不是最佳，因此不能概括成所有质量指标都领先。原文表 3（第 9 页）另报告 VBench 加权平均 81.15，高于所列 Gen-4 的 80.89，但各个子项并非均胜出，且基线来自官方 VBench 报告。

消融实验¶

先看表 4（第 9 页）的 Wan2.1-14B-distill 零样本消融，它隔离了网格上下文生成本身，不包含 GRPO 增益。

场景 / 来源	零样本设置	M-FID ↓	VLM ↑	Geometry0.5 ↑	Motion20 ↑
静态 / 表 4a	无上下文生成	103.5042	0.7193	0.7171	不适用
静态 / 表 4a	有上下文生成	99.1513	0.7818	0.7199	不适用
动态 / 表 4b	无上下文生成	185.2354	0.7949	不适用	0.8344
动态 / 表 4b	有上下文生成	160.0052	0.7981	不适用	0.8441

再看表 6（第 11 页）的奖励消融，所有设置都使用 Wan2.1-14B 与上下文生成。 “无几何与运动奖励”仍使用 DanceGRPO 的视频文本对齐奖励，不能把它当作完全未训练或没有奖励的模型。

奖励设置	静态 M-FID ↓	静态 Geometry0.5 ↑	动态 M-FID ↓	动态 Motion20 ↑	动态 Motion30 ↑
无几何与运动奖励	101.2243	0.7180	165.4712	0.8364	0.8411
仅几何奖励	97.7391	0.7270	159.5929	0.8380	0.8412
仅运动奖励	99.1874	0.7253	159.1588	0.8445	0.8479
几何与运动奖励	98.8324	0.7217	157.6099	0.8466	0.8500

关键发现¶

网格生成已贡献大部分动态 M-FID 改善：零样本为 160.0052，最终模型为 157.6099，不能把全部变化归因于强化学习。
几何奖励单独使用时，静态 Geometry0.5 为 0.7270，高于双奖励的 0.7217；双奖励不是每个指标的单调最优解。
运动任务中双奖励的 Motion20 为 0.8466，高于仅运动奖励的 0.8445，支持跨目标的互补性，但提升幅度应按原值理解。
表 5（第 10 页）中，动态场景 2K 样本 SFT 的 M-FID 为 166.4103，1K 样本 GRPO 为 157.6099；这是特定训练设置的比较，不是普遍的数据效率定律。

亮点与洞察¶

最值得复用的是条件组织方式：把相关输出放入同一生成上下文，可能比新增复杂交互模块更容易利用预训练模型已有能力。零样本消融为这一点提供直接支持，但 LTX-Video 的部分指标退化也提醒这种提示方式并非无条件有效。
两个奖励把共享世界拆成场景结构和随时间变化的点运动，避免只用文本相似度衡量一致性。这种分解有解释性，也能通过任务相关消融看到几何与运动目标之间的取舍。
读者可借鉴“先改变联合生成方式，再学习专用约束”的路线，但应先验证零样本收益，再判断昂贵后训练是否值得。这是方法论启发，不是论文已经在其他任务上完成的迁移实验。

局限与展望¶

作者明确承认像素拼接降低每个视角的有效分辨率，提出视频超分辨率作为可能补救，但正文没有给出补救后的定量结果。
主体证据是双视角、静态场景与动态相机或动态场景与静态相机这两种分离设置，尚不能据此确认复杂场景与相机同时运动时的表现。
训练奖励与核心评测都依赖 Pi3、Lepard 和点跟踪工具，存在优化同一代理指标的风险；真实三维监督或独立评估器能提供更强检验。
正文提到更多视角、用户研究、奖励波动和失败案例见附录 6 至 10，但所给缓存止于参考文献，相关细节未能核验。
“相互记忆”和机器人、游戏应用主要由定性示例支持，正文没有证明长时记忆、实时交互或实际策略训练收益。
公式抽取含部分符号损坏；本笔记仅重述文字与上下文能明确支持的奖励定义，不重建存在坐标约定疑问的精确外参乘法式。

评分¶

新颖性: 4/5。将简单网格上下文扩展到共享世界视频，并配套几何与运动反馈，组合有明确任务价值。
实验充分度: 4/5。具有主对比、零样本、训练策略及奖励消融，但动态数据为合成场景，附录证据未在缓存中提供。
写作质量: 3/5。机制主线清楚，但图注与算法、VLM 评分尺度存在说明不一致，部分公式抽取受损。
价值: 4/5。适合作为联合视频生成与奖励设计的参考，距离可扩展、可交互的世界模拟器仍有明显差距。