RuleSmith: Multi-Agent LLMs for Automated Game Balancing¶
会议: NeurIPS 2026
arXiv: 2602.06232
代码: https://adonis-galaxy.github.io/RuleSmith-website/
领域: LLM Agent
关键词: 游戏数值平衡, 多智能体自我博弈, 贝叶斯优化, 非对称对抗游戏, 自适应采样
一句话总结¶
提出基于大模型自我博弈与贝叶斯优化的自动化游戏平衡框架 RuleSmith，将大模型作为零样本规则评估器，配合基于期望改进（EI）的自适应采样高效搜索连续松弛离散规则空间，在非对称文明策略游戏 CivMini 中稳定搜索出双阵营胜率逼近 50/50 的可解释数值规则。
研究背景与动机¶
非对称策略游戏的数值平衡是游戏设计与多智能体系统中的核心挑战。不同阵营在单位技能、机动性、经济产出模型与战斗数值上具有本质差异，微小的数值改动往往通过复杂的多步博弈链条非线性放大，导致阵营失衡。传统游戏工业界高度依赖资深策划专家手动调参、直觉试错与大规模人工内部测试（Playtesting），这种研发工作流不仅耗费数周至数月的漫长时间与高昂人力成本，而且随着规则维度的增加，人工调优极易陷入局部死局甚至不可行。
在利用 AI 辅助平衡的探索中，过往基于强化学习（如自我博弈 RL）的方案主要在固定规则下优化智能体策略，训练成本极高且策略更替会导致规则适应度漂移；而先前将 LLM 引入游戏设计的研究（如 AI Game Designer）多让大语言模型充当“规则修改者”，依赖统计反馈通过自然语言推理直接给出修改意见，但 LLM 缺乏精确定量优化能力与不确定性度量。核心矛盾在于：大模型天然具备理解自然语言规则手册并执行零样本多步博弈的通用推理能力，却不擅长高维连续数值极值搜索；相反，传统代理模型黑盒优化算法精于全局参数搜索，却极度缺乏对游戏机制语义的理解和评估手段。
本文切入角度是实现“评估器”与“优化器”的角色解耦：让 LLM 充当博弈玩家提供含噪声的仿真评估，将参数搜索交给严谨的高斯过程贝叶斯优化。核心 idea：将多智能体 LLM 自我博弈作为黑盒规则评估器，通过连续松弛高斯过程与基于期望改进（Expected Improvement）的自适应评估采样，实现非对称游戏规则空间的高效闭环自动平衡。
方法详解¶
整体框架¶
RuleSmith 包含五个核心实体：执行动作并返回状态的确定性游戏引擎、参数化离散规则空间、自然语言规则手册、指令遵循的 LLM 玩家智能体，以及标量平衡损失目标。在每一次外层迭代中，优化器在连续松弛的参数空间中依据采集函数提议一组新参数，经过确定性离散投影映射为合法游戏数值后注入规则手册；双阵营 LLM 智能体读取各自状态与规则开展多轮自我博弈仿真，游戏引擎校验动作合法性并判定胜负，据此计算平衡损失；高斯过程代理模型接收反馈并更新后验分布，指导下一轮采样。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["连续候选参数 θ~t"] --> B["离散投影算子 D(θ~t)<br/>映射至合法离散规则 θt"]
B --> C["注入 CivMini 规则手册与引擎<br/>更新经济/战斗/造兵/计分配置"]
C --> D["双阵营 LLM 多智能体自我博弈<br/>零样本解析状态并输出联合动作"]
D --> E["引擎确定性校验与结算<br/>收集胜率与平局率 (wE, wN, wD)"]
E --> F["标量平衡损失计算 L(θ)<br/>偏离 0.5 惩罚 + 0.5×平局惩罚"]
F --> G["高斯过程代理模型更新 g(θ)<br/>Matérn-5/2 核拟合平衡损失曲面"]
G --> H["EI 采集函数与自适应采样预算<br/>动态分配自适应对局数 Nt ∈ [16, 64]"]
H -->|提出下一轮候选| A关键设计¶
1. 参数化非对称测试基准 CivMini：设计解耦但高维耦合的 12 维规则空间
为了在可控且具备代表性的环境中检验机制，作者设计了极简 4X 风格棋盘回合制策略游戏 CivMini。在 \(7\times 7\) 网格地图上，帝国（Empire）与游牧（Nomads）展现出深度非对称机制：帝国初始拥有农民与士兵，农民移动力为 1 且负责收集资源，士兵负责防御与攻城；游牧仅拥有单一兵种骑兵，移动力为 2 且无法主动采集，主要依赖击杀敌人获取战利品经济。两阵营均有城市并可通过建造或消耗资源生产单位，游戏以摧毁敌方城市或达到最大回合数后按资源、战斗胜场、存活单位综合计分决定胜负。系统暴露出 4 大类共 12 个可调离散参数 \(\theta\in\Theta\)：经济类（初始资源、帝国农民采集量、游牧击杀掠夺量）、战斗类（帝国士兵攻击力与生命值、游牧骑兵攻击力与生命值）、生产类（双阵营单位生产成本）以及计分权重（资源权重、战斗权重、存活单位权重），总离散状态空间高达约 \(1.9\times 10^{10}\)。该设计保持了阵营独特性质（移动力与基础机制固定），而将数值对抗与经济杠杆交由算法探索。
2. 引擎校验驱动的零样本 LLM 自我博弈评估器：兼顾推理吞吐与行动合法性
传统每单位单次调用 LLM 的决策方式会导致高昂的推理延迟与开销。RuleSmith 采用多动作联合输出模式（Multi-action Mode）：在玩家回合，环境通过轻量级 RAG（TF-IDF + 余弦相似度）检索规则并拼接格式化地图网格状态、阵营专属策略指导与当前合法动作列表，单次 LLM 推理即输出所有单位与城市的 JSON 动作字典。游戏引擎负责两层确定性校验：第一层对未解析或非法动作按照预设优先级兜底修正（战斗 > 采集 > 移动 > 待机）；第二层在按固定顺序执行单位指令时实施动态依赖重检（如先前移动导致后续碰撞、或金币已被前序造兵消耗，则将冲突动作置为 PASS）。这既保留了 LLM 跨单位宏观战术协同的能力，又严格保证了游戏推演的状态合法性与可复现性。
3. 连续松弛离散投影与 EI 自适应采样优化：攻克昂贵黑盒的采样分配瓶颈
离散组合优化在近 \(2\times 10^{10}\) 空间中直接搜索极为低效，且由于单局 LLM 自我博弈成本昂贵（100 轮优化需约 40 小时 A100 计算），无法对每个参数设定均分配大量对局。RuleSmith 在连续松弛空间 \(\widetilde{\Theta}\) 上建立 Matérn-5/2 核高斯过程代理模型 \(g(\theta)\)，在提议连续候选 \(\tilde{\theta}_t\) 后，通过确定性投影算子 \(D(\tilde{\theta}_t)\) 舍入并截断至各维度物理网格精度后输入引擎。为解决有限预算与评估噪声的矛盾，提出基于期望改进（Expected Improvement, EI）的自适应采样机制：
$\(e_t = \text{EI}(\tilde{\theta}_t) = (y^* - \mu(\tilde{\theta}_t))\Phi(z) + \sigma(\tilde{\theta}_t)\phi(z)\)$
其中 \(y^*\) 为历史最优观测损失，\(\mu(\cdot)\) 与 \(\sigma(\cdot)\) 为高斯过程后验均值与方差。每轮评估对局数 \(N_t\) 根据当前候选点的 EI 值占历史最高 EI 的比例动态缩放：
$\(N_t = \text{clip}_{[N_{\min}, N_{\max}]}\left(\left\lfloor N_{\min} + (N_{\max} - N_{\min})\min\left\{\frac{e_t}{\max(M_t, \epsilon)}, 1\right\}\right\rfloor\right)\)$
设定 \(N_{\min}=16, N_{\max}=64\)。在探索潜力大、预期改进高的候选点上分配多达 64 局充分压制多项式估计方差（估计误差界达 \(\mathcal{O}(N_t^{-1/2})\)），而在平庸区域仅分配 16 局快速剪枝，将优化计算量较固定最大预算削减了近一半。
损失函数 / 训练策略¶
优化目标为最小化偏离对称胜率与平局惩罚的复合平衡损失 \(\mathcal{L}(\theta)\)： $\(\mathcal{L}(\theta) = |w_E(\theta) - 0.5| + |w_N(\theta) - 0.5| + 0.5\,w_D(\theta)\)$ 式中 \(w_E(\theta), w_N(\theta), w_D(\theta)\) 分别为帝国胜率、游牧胜率和平局率。无平局时前两项等价于胜率绝对差 \(|w_E - w_N|\)；引入 \(0.5\,w_D\) 项作为安全屏障，防止算法陷入双方均无进攻破局能力、过度消极防守以平局收场的退化局部解。
实验关键数据¶
主实验¶
基于 InternVL3.5-8B 智能体，在独立 100 局留出测试集（Held-out Evaluation）中对比人工初始默认规则与 RuleSmith 各优化配置的胜率表现。
| 规则配置 | 帝国胜率 (%) | 游牧胜率 (%) | 平局率 (%) | 平衡损失 \(\mathcal{L}\) | 判定结果 |
|---|---|---|---|---|---|
| 人工初始规则 (Initial \(\theta\)) | 100.0 | 0.0 | 0.0 | 1.000 | 严重失衡（帝国碾压） |
| 代码发布默认规则 (Default) | 11.3 | 88.7 | 0.0 | 0.774 | 严重失衡（游牧碾压） |
| RuleSmith 独立运行 Run 1 (300局) | 51.7 | 48.3 | 0.0 | 0.034 | 接近完全平衡 |
| RuleSmith 独立运行 Run 2 (300局) | 49.3 | 50.7 | 0.0 | 0.014 | 接近完全平衡 |
| RuleSmith 独立运行 Run 3 (300局) | 52.7 | 47.3 | 0.0 | 0.054 | 接近完全平衡 |
| RuleSmith 最优规则 (500局大样本) | 47.6 | 52.4 | 0.0 | 0.048 | 接近完全平衡 |
消融实验¶
在相同 100 次迭代预算下，对比不同搜索算法与采样策略对游戏平衡收敛性的影响（双阵营均为 InternVL3.5-8B，100 局留出评估）：
| 配置 / 搜索算法 | 优化消耗总局数 | 最终帝国胜率 (%) | 最终游牧胜率 (%) | 平衡损失 \(\mathcal{L}\) | 说明 |
|---|---|---|---|---|---|
| Random Search (\(N=64\)) | 6,400 | 13.0 | 87.0 | 0.740 | 离散空间过大，随机采样无法命中平衡域 |
| (1+1)-ES 进化策略 (\(N=64\)) | 6,400 | 26.0 | 74.0 | 0.480 | 高斯变异易困在局部非凸鞍点 |
| 固定预算 GP-BO (\(N=16\)) | 1,600 | 34.0 | 66.0 | 0.320 | 噪声过高误导高斯过程后验 |
| 固定预算 GP-BO (\(N=32\)) | 3,200 | 61.0 | 39.0 | 0.220 | 采样数仍不足以压制关键拐点方差 |
| 固定预算 GP-BO (\(N=64\)) | 6,400 | 48.0 | 52.0 | 0.040 | 虽达到平衡，但计算开销高昂 |
| RuleSmith 自适应 BO (\(N_t\in[16, 64]\)) | ~3,500 | 51.0 | 49.0 | 0.020 | 平衡度极佳且对局开销降低 45% |
| 替代优化器 NTBEA (\(N=300\)) | 4,200 | 48.0 | 52.0 | 0.040 | 验证了 LLM 自我博弈接口的算法可替换性 |
| 替代优化器 TPE (\(N=300\)) | 4,000 | 54.3 | 45.7 | 0.086 | 树状 Parzen 估计器亦能收敛至平衡区间 |
关键发现¶
- 多维度数值协同补偿：在由失衡到平衡的调节中，算法并非单点微调，而是展现出全局协调性。例如针对游牧初始攻击力偏弱（伤害 1，击杀 13 生命值的帝国士兵需要 13 次攻击），优化器将游牧攻击力提至 3，同时将单位造价从 3 调高至 8 进行经济制约，并将帝国士兵生命值降为 9，使双向消灭所需攻击次数（Time-to-Kill, TTK）精准收敛至均等的 3 次攻击。
- 自适应采样的核心价值：消融实验证明，固定小样本（\(N=16\)）因博弈评估方差大而彻底破坏了高斯过程的信噪比；而自适应 EI 采样策略能自动在早期不确定区域投入最低算力（16 局），在逼近最优解的收敛区加大投入（64 局），仅需固定 64 局约 55% 的计算量即可取得更优的平衡点。
- 跨模型与人类泛化验证：由 InternVL3.5-8B 优化出的规则，直接部署至 Qwen3.5-9B、Gemini 2.5 Flash/Pro 甚至是人类高水平玩家对局中，双方胜率均稳定保持在 50%±5% 的平衡区间（如 4 位人类 60 局对战中帝国胜率 53.3% vs 游牧 46.7%），说明规则平衡抓取了游戏底层拓扑与博弈机制的客观规律，而非过拟合特定大模型的行为偏见。
亮点与洞察¶
- 解耦设计打破 LLM 定量搜索瓶颈：避免让擅长发散语言推理但缺乏数值敏感度的大模型直接“盲猜”规则数值，将大模型限定在“遵循手册模拟真实博弈”的评估器定位，将高维数值搜索委托给经典统计优化器，形成了各取所长的高度工程自洽。
- 可解释的闭环设计参数：不同于神经网络强化学习黑盒策略，RuleSmith 产出的全部是人类可直接读懂、游戏策划可直接部署的规则变量（如 HP、攻击力、采集速率、计分权重），使 AI 平衡工具可无缝接入商业游戏流水线。
- 自适应置信度驱动的博弈仿真预算分配：将多保真度贝叶斯优化思想嫁接到 LLM 多智能体评估中，用采集函数 EI 动态控制每轮 rollout 次数，巧妙化解了 LLM 采样昂贵与博弈环境高方差的矛盾，这一范式可广泛迁移到基于大模型模拟的经济学政策推演、多智能体沙盘推导与运筹规划中。
局限与展望¶
- 受限于完全信息与离散网格微型基准：CivMini 采用完全可观测状态、离散动作与 7x7 棋盘，而工业级商业战略游戏普遍包含战争迷雾（不完全信息）、超长决策周期、连续行动空间与成百上千个交叉技能，大模型在复杂上下文下的推理长尾失误会显著增加。
- 大模型与人类玩家存在绝对实力差距：虽然平衡胜率在人类对局中表现出良好的迁移性，但人类玩家对大模型展现出压倒性胜率（对 2B 智能体胜率 91.7%，对 8B 胜率 80.0%）；如果大模型普遍未能探索出某种深度高阶战术套路，所平衡的规则可能在人类极客玩家开发出“主流版本答案”（Meta）后迅速崩溃。
- 规则参数空间边界依赖人工预设：优化参数的离散网格粒度与上下界仍需策划人工圈定，部分优化参数紧贴搜索上界，未来需要探索具有动态自适应扩张边界的规则搜索机制。
相关工作与启发¶
- vs AI Game Designer (Huang et al., 2026)：AI Game Designer 依靠 LLM 直接分析关卡数据并用语言提出调整建议，缺乏不确定性度量与精确数值收敛性；RuleSmith 明确将 LLM 约束在博弈模拟器角色，将数值寻优交给严格的贝叶斯优化，具备更强的收敛性保证。
- vs AlphaStar / OpenAI Five / PSRO：传统博弈 AI 旨在固定规则下训练达到超人水准的对抗策略（优化玩家策略 \(\pi\)）；RuleSmith 则是“逆向博弈”，冻结零样本 LLM 玩家行为，在规则空间 \(\Theta\) 中寻找实现胜率均等的博弈环境参数。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将多智能体 LLM 自我博弈与贝叶斯优化闭环结合用于非对称游戏规则自动化平衡，视角独特。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 次独立优化重复性检验、大样本（500局）留出评估、NTBEA/TPE 优化器消融、跨大模型迁移以及人类对抗测试，统计论证极为严密。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰，理论与工程实现界限划分诚实坦率，实验分析详实客观。
- 价值: ⭐⭐⭐⭐⭐ 为游戏研发中的数值平衡提供了高可解释性且即插即用的 AI 落地范式，对社会模拟与机制设计亦具重要启发。