World Models for Policy Refinement in StarCraft II¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/yxzzhang/StarWM
领域: LLM Agent
关键词: 大语言模型智能体、世界模型、星际争霸II、策略精炼、混合动力学建模
一句话总结¶
本文提出面向星际争霸 II 的玩家视角动作条件化文本世界模型 StarWM 与 StarWM-Agent 决策系统,通过五模块文本因式分解表示构建 SC2-Dynamics-50K 指令微调数据集,并在轻量级“生成-模拟-精炼”循环中利用前瞻模拟指导策略修正,在非作弊高难内置 AI 对抗中取得显著胜率提升与宏观运营优化。
研究背景与动机¶
近年来,大语言模型(LLMs)凭借出色的逻辑推理与上下文泛化能力,被广泛探索应用于复杂时序决策环境中。作为即时战略(RTS)游戏的代表作,星际争霸 II(StarCraft II, SC2)具有庞大的状态-动作空间、战争迷雾下的部分可观测性以及复杂的宏观微观协同机制,是检验大模型序列决策能力的经典严苛试验场。近期涌现的大语言模型星际智能体(如 TextStarCraft II、LLM-PySC2 与 StarEvolve 等)分别从历史观测摘要压缩、外部知识与多模态输入增强、以及战略规划与战术执行分层解耦等角度进行了有益探索,但现有工作绝大多数将精力倾注在策略网络自身的直接提示与改进上,大模型决策循环中始终缺失一个可学习、由动作条件化驱动的前向动力学模型。
在真实复杂的动态环境中,缺乏环境模拟器使得纯反应式或启发式策略极易陷入短视决策。人类专业选手在处理复杂任务时,高度依赖内心的大脑内部世界模型来进行短期推演与心理模拟,从而提前预见潜在风险、评估资源开销并规避致命惩罚。然而,在星际争霸 II 中构建玩家视角的文本世界模型面临两大根本性挑战:首先,星际的动力学特性本质上是强耦合的混合动力学系统,既涵盖资源的积累与消耗、生产建筑的确定性时序推进,又包含微观单位的空间运动学以及基于复杂伤害机制的非线性战斗损耗,且全部笼罩在战争迷雾的部分可观测约束之下;其次,在巨大的动作与状态空间中,如何将预测出的短期未来状态以可控的计算成本有效赋能策略,避免陷入昂贵且难以实时的蒙特卡洛树搜索(MCTS)或模型预测控制(MPC),也是世界模型落地决策的核心痛点。
针对上述挑战,本文首次系统性研究了星际争霸 II 中玩家视角、动作条件化文本世界模型的可学习性(Learnability)与决策效用(Decision Utility)。作者团队解耦出物理规律完备的文本因式分解表示,构建了首个星际动力学指令微调数据集 SC2-Dynamics-50K,并提出了基于前瞻模拟的轻量级闭环修正决策系统。核心 idea:设计显式分解五大语义模块的文本动力学表示以因式化建模 SC2 混合动力学,并构建“生成-模拟-精炼”(Generate–Simulate–Refine)推理循环,让轻量级前向推演充当策略修正的前瞻透镜,以极低推理代价规避宏观卡人口与资源瓶颈。
方法详解¶
整个决策系统围绕动作条件化环境模拟与短时前瞻修正两个核心阶段展开。首先,StarWM 作为一个在受限玩家视角下运作的自回归大语言模型,接收当前文本观测与玩家意图动作序列,预测数秒后的局部未来状态;随后,StarWM-Agent 在在线对局中并不盲目直接执行策略生成的初步动作,而是将初步提案送入世界模型进行短程推演,再将推演出的未来局势反馈给策略模型进行二次审校与修正,形成高效稳健的“生成-模拟-精炼”工作流。
整体框架¶
系统与 SC2 引擎通过双向文本接口交互,输入端由观测文本化算子 \(\Phi(x_t)\) 将原始游戏引擎状态映射为结构化分块文本,输出端由动作文本化算子 \(\Psi(u_t)\) 实现规范动作指令与底层执行的近双射映射。决策主干遵循轻量级 Generate–Simulate–Refine 循环:策略模型 \(\pi_\theta\) 首先根据当前观测 \(o_t\) 生成初始动作提案 \(a_{\text{init}}\);世界模型 \(M_\phi\) 条件化于 \((o_t, a_{\text{init}})\) 预测短时末态 \(\hat{o}_{t+\tau}\)(默认推演时间窗 \(\tau = 5\) 秒);最后,将当前状态、动作提案与模拟未来拼接为增强上下文 \(c_t = [o_t; a_{\text{init}}; \hat{o}_{t+\tau}]\),驱动策略模型输出最终修正动作 \(a_{\text{final}}\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["当前引擎观测 xt"] --> B["五模块文本化观测表征 Φ(xt)"]
B --> C["初筛动作生成 a_init = π(ot)"]
C --> D["动作条件化前向动力学模拟 M_ϕ(ot, a_init)"]
D --> E["生成-模拟-精炼决策闭环 π([ot; a_init; o_pred])"]
E --> F["最终执行动作 a_final 下发引擎"]
关键设计¶
1. 五模块文本化观测表征:解耦 SC2 异构混合动力学的多机制演化
针对星际争霸 II 引擎输出的高维、多类型混合数据(离散标量、空间浮点坐标、分类变量与进度条等),直接扁平化输入大模型会导致数字规律与空间拓扑相互混淆。为此,文本表示算子 \(\Phi(x_t)\) 将当前观测显式因式分解为五个语义互补的动力学子模块:[Info] 模块聚合矿石、高能瓦斯、采矿速率、人口使用/上限以及警报和升级科技,专门负责追踪连续宏观经济流;[Queue] 模块记录基地建造、单位折跃与科技研发的时序百分比,隔离出遵循固定游戏速度的确定性时钟推进;[My Units] 记录己方农民与战斗单位的 ID、坐标、生命百分比与实时行为状态,专注空间运动学与受击磨损;[My Structures] 梳理己方静态建筑物及挂件状态;[Visible Hostiles] 模块则专门收拢战争迷雾下当前可见的敌方单位与遗留快照建筑。这种因式分解使得原本杂乱的全局转移被清晰归约到各子动力学空间,大幅降低了语言模型的表征学习难度。
2. 动作条件化前向动力学模拟:在战争迷雾与部分可观测下捕捉局部因果转移 与全局上帝视角的通用环境模拟器不同,玩家视角世界模型 \(M_\phi\) 仅能感知受战争迷雾严重遮蔽的局部历史,并面临敌方战略意图的不确定性。为了学习真实因果响应,作者基于规则脚本智能体对抗内置 AI 收集覆盖多种随机对局风格的 100 场全流程轨迹,切分为 50,407 条滑动步长为 1 秒、预测跨度为 \(\tau = 5\) 秒的指令微调三元组 \((o_t, a_{t:t+\tau}, o_{t+\tau})\),构成 SC2-Dynamics-50K 数据集。在骨干模型 Qwen3-8B 上进行监督微调时,模型被约束在统一规则提示词下优化自回归负对数似然损失: $\(L_{\text{SFT}} = - \sum_{\mathcal{D}} \log P_{M_\phi}(o_{t+\tau} \mid o_t, a_{t:t+\tau})\)$ 在微调中,模型学会在给定具体动作指令时精确定向扣除建造费用、启动队列计时,并根据速度推算位移;而在敌方动态演化上,模型学会捕捉“己方部队推进至敌方盲区边缘时统计上大概率遭遇驻守防军”的合理先验模式,有效支撑了战术风险评估。
3. 生成-模拟-精炼决策闭环:兼顾前瞻纠偏效用与推理成本的轻量级策略修正 在星际争霸 II 极其庞大的组合动作空间中,暴力树搜索(如 MCTS)在单步即时对抗中会导致数分钟的不可承受延迟,而纯无模拟策略又极易出现卡人口、盲目投资建筑导致经济崩盘或部队脱节送死。StarWM-Agent 提出了非搜索式“Generate–Simulate–Refine”两段式推演流水线。策略模型首次采样给出的 \(a_{\text{init}}\) 往往遵循直觉策略惯性(例如在矿石充裕但人口冗余充足时误判建造水晶塔/补给站);通过注入 StarWM 模拟出的 5 秒后切片 \(\hat{o}_{t+\tau}\),策略模型在精炼提示词的引导下进行“假想未来回溯”(Look Back),核验推演状态中的人口剩余量、采矿消耗后结余及部队血量波动。实验表明,该机制触发了约 20%~33% 的动作重修率,将大量盲目基建指令校正为补农民生产或部队回撤,以仅多一次语言模型前向计算的极低代价实现了类人类的“三思而后行”。
一个完整示例¶
考虑游戏对局早期(01:02)的一个典型宏观运营决策切片:
1. 当前状态输入:基地处于空闲状态,矿石存量 145,气矿 12,当前可用人口余量为 18(Supply unused: 18),此时距离人口上限尚早,且兵营建造进度仅 29%。
2. 初始策略提案:零样本 LLM 策略根据通用规则惯性,输出了建造补给站的动作提案 TERRANBUILD_SUPPLYDEPOT(target: [30, 61])。
3. 世界模型模拟:StarWM 接收该提案并在当前状态基础上推演 5 秒后的状态,准确预测出矿石将骤降至 50,新建补给站进入队列且进度为 23%,而系统未用人口仍然高达 18。
4. 策略二次精炼:策略模型比对模拟未来报告,敏锐捕捉到关键痛点——“人口完全不卡,但提前花费 100 矿石建补给站直接导致矿石枯竭,挤占了关键的持续生产资金”。策略模型随即撤回建补给站指令,修改为在指挥中心补造探机农民 COMMANDCENTERTRAIN_SCV(units: [137])。这一纠偏有效避免了早期经济节奏的断档。
损失函数 / 训练策略¶
世界模型基于开源 Qwen3-8B 基础模型,利用 LLaMA-Factory 框架进行全流程指令微调。训练采用 LoRA 架构(rank = 8),在 8 张 NVIDIA H100 GPU 上以 \(5 \times 10^{-5}\) 的初始学习率微调 10 个 epoch。输入 Prompt 设计了严格的自然语言动力学规则与输出格式约束,要求模型直接输出无任何 Markdown 围栏或寒暄解释的纯文本预测切片,保证了高达 99.44% 的下游自动化解析成功率。
实验关键数据¶
主实验¶
离线动力学评测(Table 1)与多难度在线对抗评测(Table 2)全面证明了 StarWM 的建模精度与决策效能。在离线混合动力学评估中,StarWM 显著超越了静态复制基线(Static Bias)与零样本 Qwen3-8B/32B;在在线全对局测试中(每配置 20 场对局),StarWM-Agent 相比纯策略基线在各难度均斩获显著胜率跃升与宏观指标改善:
| 对抗等级 / 模型配置 | 胜率 Win Rate (%)↑ | 人口卡顿率 SBR (%)↓ | 资源转化率 RCR (%)↑ | 战损比 KLR (%)↑ | 有效动作率 VAR (%)↑ |
|---|---|---|---|---|---|
| LV5 (Hard - 域外对手) | |||||
| Qwen3-8B 基线策略 | 0.0% | 63.58 ± 13.54 | 29.09 ± 19.14 | 15.22% | 17.89 ± 12.25 |
| StarWM-Agent (8B) | 10.0% (+10.0) | 5.42 ± 4.97 (-58.16) | 84.20 ± 14.21 (+55.11) | 50.44% (+35.22) | 86.29 ± 12.88 (+68.40) |
| Qwen3-32B 基线策略 | 20.0% | 25.45 ± 17.47 | 52.32 ± 23.03 | 62.42% | 41.31 ± 20.81 |
| StarWM-Agent (32B) | 50.0% (+30.0) | 6.09 ± 4.61 (-19.36) | 81.11 ± 7.56 (+28.79) | 89.87% (+27.45) | 85.57 ± 11.01 (+44.26) |
| LV6 (Harder) | |||||
| Qwen3-8B 基线策略 | 5.0% | 58.31 ± 21.15 | 36.12 ± 21.36 | 6.25% | 28.00 ± 21.64 |
| StarWM-Agent (8B) | 10.0% (+5.0) | 10.57 ± 9.28 (-47.74) | 78.77 ± 8.82 (+42.65) | 28.12% (+21.87) | 82.37 ± 10.23 (+54.37) |
| Qwen3-32B 基线策略 | 25.0% | 21.41 ± 21.29 | 58.81 ± 21.34 | 27.42% | 55.49 ± 25.58 |
| StarWM-Agent (32B) | 40.0% (+15.0) | 5.93 ± 5.20 (-15.48) | 78.67 ± 8.66 (+19.86) | 41.30% (+13.88) | 84.00 ± 11.22 (+28.51) |
| LV7 (VeryHard) | |||||
| Qwen3-8B 基线策略 | 0.0% | 58.74 ± 19.99 | 32.78 ± 21.61 | 12.30% | 25.29 ± 20.86 |
| StarWM-Agent (8B) | 20.0% (+20.0) | 5.51 ± 5.21 (-53.23) | 82.89 ± 8.96 (+50.11) | 20.00% (+7.70) | 82.13 ± 11.91 (+56.84) |
| Qwen3-32B 基线策略 | 20.0% | 16.39 ± 21.25 | 55.74 ± 20.72 | 29.26% | 61.64 ± 26.31 |
| StarWM-Agent (32B) | 50.0% (+30.0) | 5.39 ± 4.90 (-11.00) | 76.27 ± 16.14 (+20.53) | 50.51% (+21.25) | 81.99 ± 22.50 (+20.35) |
消融实验¶
针对 LV7 (VeryHard) 环境,作者通过逐步堆叠决策组件来剖析性能增益来源(Table 4),同时在历史摘要互补性实验中与 Chain-of-Summarization(CoS)对比(Table 3):
| 决策流水线配置 | 胜率 Win (%)↑ | 人口卡顿 SBR (%)↓ | 资源转化 RCR (%)↑ | 战损比 KLR (%)↑ | 有效动作 VAR (%)↑ | 动作修改率 ARR (%) | 单步延迟 (s)↓ |
|---|---|---|---|---|---|---|---|
| 消融组件递进 (LV7) | |||||||
| 直接生成 (Generate / 纯策略) | 0.0 | 58.74 | 32.78 | 12.30 | 25.29 | — | 1.96 ± 0.62 |
| + 自我反思精炼 (+ Refine) | 5.0 | 9.19 | 76.44 | 13.97 | 78.04 | 34.64 | — |
| + 零样本世界模型推演 (+ Zero-shot WM) | 10.0 | 9.98 | 72.80 | 14.80 | 78.44 | 26.66 | — |
| + StarWM 真实推演 (完整 StarWM-Agent) | 20.0 | 5.51 | 82.89 | 20.00 | 82.13 | 32.33 | 11.61 ± 3.78 |
| 机制互补性分析 | |||||||
| CoS 历史摘要基线 | 10.0 | 31.00 ± 21.51 | 56.07 ± 17.03 | 11.34 | 54.37 ± 16.16 | — | 6.34 ± 0.81 |
| CoS + StarWM-Agent 联合决策 | 35.0 | 6.13 ± 7.48 | 86.92 ± 10.00 | 29.40 | 83.16 ± 15.02 | — | 14.92 ± 3.25 |
关键发现¶
- 世界模型不仅优于自反思,更提供精确前瞻指引:消融实验清晰展示,仅靠策略自身反思(Generate + Refine)虽能降低人口卡顿,但胜率仅从 0% 微增至 5%;引入未经微调的零样本世界模型提供推演时,胜率升至 10%;而接入经过混合动力学微调的 StarWM 后,胜率大幅飙升至 20%,各项宏观与战损指标均达到最佳,证明了动作条件化预测精度的不可替代性。
- 历史压缩与未来推演高度正交互补:现有的历史摘要方案 CoS 负责向下压缩过去多帧的经验(\(o_{\le t}\)),而 StarWM 负责向上推演未来动作分支(\(o_{t+\tau}\))。两者结合后在 LV7 对抗中达到了全场最高的 35.0% 胜率、86.92% 资源转化率和 29.40% 战损比,证明了“知往鉴来”在复杂 RTS 决策中的协同放大效应。
- 扩展 100 场统计显著性验证:在对 LV7 的 100 场扩充评估中,StarWM-Agent (8B) 取得了 23.0% 的真实胜率(95% Wilson 置信区间 [15.8%, 32.2%]),远优于纯策略基线的 5.0%([2.2%, 11.2%]),双尾 Fisher 精确检验 \(p = 0.00037\) 达到了极强的统计显著性。
亮点与洞察¶
- 多机制解耦表征设计:作者没有将游戏观测一股脑转化为平铺 JSON,而是因式分解为经济流、时钟队列、己方动态、己方静态和敌方战争迷雾五大语义模块。这一设计极具启发性,表明面对高异构混合动力学系统时,结构化语义解耦是低成本注入物理与逻辑先验的关键。
- 避免高昂树搜索的实用工程折中:在 SC2 这类庞大动作空间中,MCTS 等经典搜索在 LLM 身上因高延迟而难以落地;本文采用短视界(5 秒)两段式“生成-模拟-精炼”,以仅多一次正向调用的开销换取关键宏观失误的大幅修正(如卡人口率从近 60% 暴跌至 5% 左右),具有极强的落地复用价值。
- 部分可观测性下的动力学边界明晰:论文诚实揭示了单一时间步推演在敌方迷雾下的局限(敌方预测 AWD 误差难以仅靠单帧超越静态基线),并验证了引入滑动历史帧(\(h=3\))可以提升自方与敌方预测一致性,为后续基于隐式信念状态(Belief State)的 POMDP 建模指明了演进方向。
局限与展望¶
- 战争迷雾下单帧推演的理论上限:作者承认在战争迷雾下,敌方单位的行动具有内在的不确定性与博弈意图,单帧未来预测往往退化为先验统计。未来需要引入长程时序信念状态模型(Belief-state Modeling)或粒子滤波等机制显式追踪不可观测信息。
- 实验受限于单一种族与对称地图:当前核心微调数据集 SC2-Dynamics-50K 集中在 Flat64 地图的人类内战(TvT)场景下,虽然在 Flat128 地图上展现了一定的跨地图泛化能力,但推广到异构种族对抗(如 TvZ、TvP)以及复杂梯形高低地地图上仍需进一步探索。
- 决策推理延迟对硬实时对战的制约:StarWM-Agent 依赖于暂停游戏引擎的单步推理协议,单步耗时约 11~14 秒,尚无法在不暂停引擎的严格 APM 实战竞赛中直接部署。未来可通过状态增量预测(Delta Prediction)、世界模型轻量化蒸馏及推理并行引擎进行加速。
相关工作与启发¶
- vs AlphaStar (Vinyals et al., 2019): AlphaStar 采用大规模自博弈强化学习与端到端神经网络,需耗费天量算力且缺乏可解释性与跨任务泛化能力;StarWM 探索以轻量微调的大语言模型作为文本世界模型,以更低的数据门槛与清晰的自然语言可解释性辅助决策。
- vs TextStarCraft II / CoS (Ma et al., 2024): TextStarCraft II 采用 Chain of Summarization 压缩过去历史帧的信息,本质属于对过去经验的紧凑编码;StarWM-Agent 专注于对未来行动结果的前向预测推演,两者在理论上互为镜像,在实验中结合实现了最强的协同收益。
- vs RAP (Hao et al., 2023) / WebDreamer (Gu et al., 2025): RAP 等工作在文本游戏中将 LLM 用作世界模型并配合 MCTS 搜索,但在 RTS 庞大状态动作空间中会导致搜索组合爆炸;StarWM 提出短视界“生成-模拟-精炼”非搜索两阶段修正框架,在复杂决策任务中实现了性能与计算预算的优异平衡。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性探索并构建了星际争霸 II 中的玩家视角文本世界模型与因式化数据集,填补了该领域研究空白。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖离线多维度动力学评测、在线高难 AI 对抗、跨地图泛化测试、组件渐进消融及百场统计显著性检验,论证扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 论文逻辑清晰、问题建模严谨,案例研究直观生动。
- 价值: ⭐⭐⭐⭐⭐ 为复杂 POMDP 与具身智能体引入可学习世界模型提供了极具借鉴意义的数据构建范式与轻量级推演推理框架。