ActionParty: Multi-Subject Action Binding in Generative Video Games¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4221
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4992.pdf
项目: https://action-party.github.io/
领域: 视频生成 / 世界模型
关键词: 多主体动作绑定、主体状态 token、注意力掩码、空间 RoPE、自回归生成

一句话总结¶

ActionParty 在同一幅游戏画面中联合预测视频与每个角色的坐标，用注意力隔离动作归属、用空间 RoPE 对齐角色位置，在 Melting Pot 的 46 个二维游戏、最多 7 名玩家的设置下，将移动准确率从 Text-Action 的 0.158 提升至 0.779。

研究背景与动机¶

能生成连贯游戏视频，并不等于能让多个玩家分别控制自己的角色。单主体世界模型通常只有一路动作输入，动作究竟属于谁几乎不用解释；一旦同一画面里出现多个角色，“角色甲前进、角色乙转身”就同时要求模型理解动作、维持身份并找到正确像素区域。简单把所有指令写进文本，会把这些不同职责塞进同一个条件通道。角色移动离开初始位置，甚至外观完全相同时，语言中的身份就很容易失去视觉落点。

这里的控制也不是给物体指定一条绝对轨迹。Melting Pot 中的前进相对于角色朝向，交互动作在不同游戏中可能产生不同效果；模型必须从画面读取朝向、障碍和环境状态，再决定动作结果。为每位玩家分别生成一个视角可以弱化身份歧义，但视频 token 成本会随人数增长，而且仍需解决多视角一致性。本文选择生成包含所有玩家的一幅共享画面，把额外开销放在轻量主体状态上。

作者因此借用游戏引擎的职责划分：先有“哪个角色的状态被哪个动作更新”，再有“这些状态如何表现为画面”。但 ActionParty 并未实现一个符号游戏引擎，而是在预训练视频扩散 Transformer 内约束信息流。核心 idea：为每个主体保留可持续预测的坐标状态，让动作只进入对应主体的状态通路，再通过带空间绑定的注意力把主体状态与视频共同生成。

方法详解¶

整体框架¶

输入包括游戏文本描述、初始画面、各主体初始坐标，以及逐步给出的离散动作。输出不仅是下一帧，还包括每个主体的新坐标；生成的图像与坐标一起回到上下文，驱动下一步。视频 latent 和主体状态 token 在序列维拼接，交给同一个 DiT 联合去噪，因而坐标并非生成后额外跑跟踪器得到的标注。

在每个 DiT block 内，自注意力先借助主体隔离与空间 RoPE 建立“状态对应画面中的谁”，交叉注意力再利用动作掩码建立“谁读取哪一路动作”。这种结构在多个 block 和去噪步骤中反复执行。论文用“更新与渲染”解释功能分工，不应误读成每帧仅调用一次、严格先更新后渲染的两个独立网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["画面、主体坐标<br/>与历史上下文"] --> B["主体状态联合去噪"]
    B --> C["空间绑定渲染<br/>自注意力与 RoPE"]
    C --> D["专属动作更新<br/>交叉注意力掩码"]
    E["各主体动作<br/>与游戏文本"] --> D
    D -->|重复 block 与去噪| F["下一帧与新坐标"]
    F -->|滑动窗口反馈| A

关键设计¶

1. 主体状态联合去噪：把身份落在持续存在的空间状态上

普通视频模型只在像素特征里隐式表示角色，外部动作没有稳定的连接对象。ActionParty 为每个主体在每个时间步增加状态 token，并将其具体状态定义为二维坐标。这里的“状态”不是包含生命值、朝向和背包的完整游戏记录，也不是任意学习的身份向量；在本文多数网格游戏中，两个角色不能占据同一位置，坐标已足以提供区分主体的空间依据。主体索引维持跨时间的控制通道，坐标则随运动更新，两者共同支撑持续绑定。

视频 token 与主体 token 拼接后共同去噪，模型必须同时预测“画面里角色出现在哪里”和“该主体的新坐标是什么”。坐标作为显式输出可被检查，但动作所需的朝向等信息仍要通过视频读取。这一点避免把任务偷换成从完整引擎状态预测完整引擎状态，也解释了为什么主体 token 不能完全脱离视频独立演化。与此同时，坐标准确性服务于身份区分，不要求任何小幅坐标误差都立即导致动作失败；作者的定性结果也展示了这种容忍度。

2. 空间绑定渲染：允许读取共享画面，但阻断主体之间直接混合

自注意力掩码 \(M_{SA}\) 允许主体读取视频，也允许视频读取所有主体，却屏蔽不同主体之间的直接注意力。视频因此是共享环境信息的载体：每个角色可以从中感知朝向与场景，整幅图像也能综合各角色状态完成渲染。禁止的是主体状态之间不加区分的直接混合，而不是禁止环境交互。仅有这种隔离仍不够，因为某个主体 token 还不知道应该对应哪个视频位置。

空间 RoPE 补上这个缺口。视频中位置为 \((h,w)\)、时间为 \(t\) 的 token 使用旋转 \(R(t,h,w)\)；主体 token 则使用上一时刻该主体坐标构造旋转：

\[ R\bigl(t,h_{t-1}^{i},w_{t-1}^{i}\bigr). \]

选择上一时刻而非当前时刻，是因为当前坐标本身正被去噪，尚不可用。上一步位置通常距离本步真实位置不远，因此问题从“在全图中辨认这是哪个角色”缩小为“在一次动作能到达的局部范围内细化位置”。这是注意力的空间偏置，不是把主体硬裁剪到固定区域，也不是输入真实未来轨迹。它的有效性依赖相邻时刻移动有限，不能直接假定适用于瞬移或长期消失后的重新出现。

3. 专属动作更新：把动作序列路由到对应主体，而不是整幅画面

每个离散动作先映射成与模型隐空间匹配的嵌入，再和游戏文本嵌入组成交叉注意力条件。掩码 \(M_{CA}\) 只允许主体 \(i\) 的状态 token 读取主体 \(i\) 的动作嵌入，阻断其他主体的动作串入；游戏文本的条件通路只与视频 token 连接。这样，文本描述负责环境语义，主体动作负责个体变化，预训练模型的文本视频联系得以保留，而逐主体控制不再依赖长文本自行消歧。

这个掩码按主体划分，而不是进一步强制只看当前帧动作。原文允许主体读取其动作序列，并讨论使用当前及历史动作作为上下文；将通路改成仅同帧可见，Coins 消融的 MA 从 0.872 降到 0.052。因此这里的结论不是“注意力越稀疏越好”，而是需要切断错误主体之间的联系，同时保留同一主体的时间联系。由于缓存未给出完整实现级时间掩码，不能据此宣称推理需要未知的未来动作。

一个完整示例¶

考虑 Paintball 中两个角色：甲保持不动，乙先前进，再转向并发射光束。这个例子用于解释机制，不是新增测量结果。模型首先接收初始画面和两者坐标，因而即便角色外观相近，也知道两个动作通道各自从哪里开始。

预测乙前进后的画面时，乙的主体 token 通过交叉注意力读取自己的前进指令，通过视频特征判断当前朝向；空间 RoPE 仍用乙的上一步位置把它连接到附近像素。甲的状态不能直接读取乙的动作，也不能直接混入乙的主体状态。去噪结束后，新的画面与两者预测坐标一起成为下一步上下文。

乙随后转身、交互时，模型不能把“交互”简单理解成固定方向的位移，而须结合新画面中的朝向产生相应光束。这解释了为什么只报告位置变化不足以评价本任务，也解释了论文为何另外测量邻近图块的视觉效果。

损失函数 / 训练策略¶

训练采用干净真实上下文与带噪预测目标：历史视频和坐标保持干净，仅对下一帧及下一步主体状态进行去噪学习；未使用的后续序列位置用全噪声帧填充，以兼容不同上下文长度。目标是同时作用于视频与主体状态的 flow matching loss，使用 Adam 优化。缓存中的式 (1)、式 (2) 已出现排版损坏，正文也未给出完整损失权重定义，因此此处不重建这些公式或猜测两种损失的配比。

骨干为 Wan2.1-1.3B。先只用游戏文本与视频做 22.5k 步自回归适配，不增加动作控制或主体结构；随后加入完整 ActionParty 结构训练 65k 步，两阶段 batch size 都为 64。训练窗口 \(T=5\)，对应 4 次动作；场景最多 7 个主体，填充主体状态置零。推理采用 20 步采样、timestep shift 为 5.0。

推理必须提供初始坐标，尤其当角色外观相同时，仅靠首帧无法确定动作通道与角色的对应。之后使用自身预测的帧与坐标自回归推进，窗口超过限制时丢弃最旧上下文，最多保留 \(T-1\) 帧历史。训练时读取真实历史、推理时读取生成历史，仍存在分布偏移；本文没有因此就消除累积漂移。作者报告 7 玩家、\(T=5\) 时额外开销为 6%，但缓存中额外 token 数的表述不够一致，不据此推导精确复杂度或实时帧率。

实验关键数据¶

主实验¶

训练覆盖 Melting Pot 的 46 个游戏，每个游戏收集 2,000 段、分辨率为 \(512\times512\) 的视频；动作空间共 25 种。评测有 230 个 rollout，即每个游戏 5 个。前两个时间步限制为移动或转向，后续保证至少一个主体执行交互，避免完全随机动作使角色一直停留在初始附近。这是在训练覆盖的游戏集合内测试，不能写成对 46 个未见游戏的零样本泛化。

MA 衡量从连续生成帧检测出的主体移动方向与输入动作是否一致；SP 衡量生成结束时保留了多少主体；DR 是主体位置与真实轨迹位置一致的时间步比例，不只是“检测器能否看到角色”。\(z_t\) Error 为预测坐标与真实坐标的 L2 距离，缓存未说明其归一化或物理单位，因此不把该值解释成像素或格数。

表 1 节选原文 Table 1，MA、SP、DR、PSNR 越高越好，LPIPS、FVD 越低越好。

方法	MA	SP	DR	LPIPS	PSNR	FVD
Pretrained AR	0.065	0.571	0.330	0.0494	26.98	59.30
Zero-shot I2V	0.027	0.422	0.440	0.0906	23.17	281.55
View-based	0.013	0.237	0.588	0.0503	27.38	75.1
Text-Action	0.158	0.668	0.433	0.0353	29.14	56.74
ActionParty	0.779	0.903	0.886	0.0102	36.35	17.16

相对同骨干的 Text-Action，MA 提升 0.621，即 62.1 个百分点；SP 提升 23.5 个百分点，PSNR 提升 7.21 dB。Zero-shot I2V 使用更大的 Wan2.1-14B，但没有相同的训练适配，不能将它的失败单独解释为参数规模无用。更有说服力的是：同骨干文本控制仍无法替代显式动作绑定。

EA 检查真实角色位置周围 \(3\times3\) 图块相对前一帧的变化，借助 SSIM 判断局部动作效果。缓存原文写作“SSIM ≥ 0.85 检测执行动作”，却同时强调帧间不相似度，两者的方向关系需要补充材料或代码才能澄清；这里保留原文结果，不擅自改成另一不等号，也不把 EA 当作完整游戏规则正确率。

表 2 节选原文 Table 2；EA 越高越好。

方法	Idle EA	Move EA	Turn EA	Interact EA	Overall EA
Pretrained AR	0.399	0.414	0.462	0.346	0.412
Text-Action	0.357	0.420	0.553	0.326	0.433
ActionParty	0.899	0.867	0.914	0.774	0.861

Interact EA 从 Text-Action 的 0.326 提高到 0.774，提升 44.8 个百分点，但仍低于本文自身的转向 EA 0.914。依赖环境与朝向的交互效果比简单角色变化更难，动作绑定改善不代表所有规则都已学会。

消融实验¶

表 3 来自原文 Table 3。此实验只在双玩家、4 动作的 Coins 游戏上进行，使用 2.5k 样本、\(256\times256\) 分辨率，相同自回归预训练检查点初始化，再微调 45k 步；不能直接把这里的 0.872 与全游戏主实验的 0.779 当作同设置比较。

配置	MA	\(z_t\) Error	SP	DR
去掉 \(M_{SA}\)	0.580	0.108	1.00	0.716
去掉 \(M_{CA}\)	0.052	0.215	0.88	0.307
仅同帧 \(M_{CA}\)	0.052	0.240	0.80	0.293
自注意力去掉 RoPE	0.032	0.291	1.00	0.278
ActionParty	0.872	0.072	1.00	0.913

关键发现¶

去掉 RoPE 后 MA 降低 84.0 个百分点，却仍有 SP=1.00：角色都还在，并不说明动作施加给了正确角色，外观保留不能替代绑定评测。
去掉 \(M_{CA}\) 或只保留同帧动作，MA 都降至 0.052；主体专属通道和时间上下文同样重要。去掉 \(M_{SA}\) 的退化较温和，但从 0.872 到 0.580 仍说明直接状态混合有害。
Figure 5 展示 4 个动作步骤中的稳定性优势，Figure 6 展示 2、4、7 玩家场景；这些支持短程多主体控制，尚不能证明分钟级连续游玩的稳定性。

亮点与洞察¶

控制接口比更长提示更关键。 每个主体有独立动作入口，再用空间信息连接到图像，避免要求文本嵌入同时承担身份跟踪与动力学控制。
小状态可以支撑大画面。 坐标只负责消歧，复杂朝向和环境信息仍从视频提取。这比为每名玩家复制完整视频流更节约，但收益依赖坐标足够区分主体。
不同指标揭示不同失败。 SP、MA、DR 与 EA 分别检查主体存在、动作归属、轨迹对齐和局部效果；消融中的 SP=1.00、MA=0.032 是尤其清楚的反例。

局限与展望¶

作者将扩展到三维、部分可观测场景留给未来；当前证据来自二维网格、离散动作及最多 7 名玩家，不能直接外推到真实开放世界。
方法依赖初始主体位置与训练时坐标监督。主体长时间遮挡、瞬移、同位置重叠或动态加入时，仅靠二维坐标与上一步 RoPE 可能不够；加入身份记忆和不确定性状态是值得检验的扩展。
受训练成本限制，结构消融仅覆盖 Coins。缺少跨游戏重复消融、不同随机种子误差条和更长 rollout，使各组件收益的普适性仍有不确定性。
EA 依赖局部图块及经验阈值，检测器也主要在真实游戏帧上验证。需要核实生成伪影下的测量可靠性，并补充事件级规则检查；缓存中 EA 判定方向尤其需要回源确认。
20 步采样和 6% 额外开销不等于实时交互性能。未来应报告硬件、端到端延迟，以及不同玩家数与序列长度下的吞吐和漂移。

评分¶

新颖性：4/5。将主体状态联合生成、专属动作通路与 RoPE 空间绑定组合成明确的多主体控制机制，贡献集中且可检验。
实验充分度：3/5。46 个游戏与多类指标覆盖面不错，但结构消融局限单游戏，长期稳定性及不确定性报告不足。
写作质量：4/5。游戏引擎类比和注意力图便于理解；EA 判定方向与额外 token 数表述需要澄清，缓存公式损坏也限制精确复核。
价值：4/5。为共享视频中的个体控制给出低额外开销的有效设计，距离通用实时多人世界模型仍有明显边界。