RuleSmith: Multi-Agent LLMs for Automated Game Balancing¶
会议: NeurIPS 2026
arXiv: 2602.06232
代码: https://github.com/Adonis-galaxy/RuleSmith
领域: 其他
关键词: 游戏平衡, 多智能体系统, 大语言模型自博弈, 贝叶斯优化, 自适应采样
一句话总结¶
RuleSmith 将大语言模型多智能体自博弈作为黑盒评估器，结合期望提升驱动的自适应采样贝叶斯优化，实现了无需特定任务策略训练的非对称游戏规则自动化平衡。
研究背景与动机¶
非对称策略游戏的数值平衡是游戏设计与多智能体系统领域的长期难题。在非对称博弈中，不同阵营通常拥有差异化的单位属性、移动力机制与经济生产模型，微小的规则参数变动可能在复杂的动态交互中发生非线性级联放大，导致优势阵营出现压倒性胜率。传统工业界高度依赖资深策划专家的人工经验、启发式试错以及多轮周期漫长且成本昂贵的人类玩家测试。随着规则维度与博弈复杂度的增长，全人工调优不仅迭代极其缓慢，且在高维离散参数空间中极难收敛到真正均衡的机制组合。
大语言模型（LLM）的兴起为自动化博弈模拟提供了全新的可能性。大语言模型具备零样本理解自然语言规则手册、解析结构化态势并自主规划行动的能力，能够直接作为通用虚拟玩家介入游戏交互。然而，若直接利用 LLM 自博弈评估游戏平衡性，面临着核心矛盾与工程瓶颈：多智能体交互的自博弈评估计算成本极其高昂，且模型随机解码与动态对局中存在固有的高方差噪声；盲目为每个候选规则分配固定且大量的对局采样会迅速耗尽计算预算，而在小样本下估算的胜率又因方差过大而容易误导优化方向。以往少数利用 LLM 辅助游戏设计的研究多偏向让模型直接提议参数修改，缺乏严格的闭环黑盒搜索与统计学保障。
本文的切入角度是将大模型与黑盒优化器进行明确解耦：让 LLM 智能体退回到单纯的“评估受试者”角色，仅依据文本规则开展零样本对抗模拟，而将规则参数空间的探索交由外部高效的代理模型优化器负责。核心 idea：将非对称游戏平衡形式化为参数化规则空间上的黑盒优化问题，利用自然语言规则驱动的 LLM 多智能体自博弈输出胜率估计，并引入基于期望提升（Expected Improvement）的自适应采样贝叶斯优化动态分配对局算力，以最小评估开销闭环收敛至各阵营势均力敌的平衡规则。
方法详解¶
整体框架¶
RuleSmith 包含五个核心接口输入：可执行游戏引擎、参数化规则空间、自然语言规则手册、指令遵循的大语言模型智能体，以及标量平衡度目标函数。系统在每轮迭代中提出候选规则配置，经确定性离散投影后交由游戏引擎实例化，两个扮演不同阵营的 LLM 智能体在文本规则和态势提示驱动下展开多轮自博弈，引擎实时校验并执行动作。汇总对局胜率计算平衡损失后，高斯过程（GP）代理模型更新后验分布，并通过最大化采集函数提议新参数，同时由采集值动态决定下一次评估的博弈局数。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：参数化规则与自然语言规则手册"] --> B["规则配置连续提议与离散投影"]
B --> C["自博弈评估：自然语言驱动的多智能体决策与引擎校验"]
C --> D["平衡度损失计算与高斯过程代理模型更新"]
D --> E["自适应采样：基于期望提升动态分配博弈预算"]
E -->|自适应局数闭环迭代| B
D --> F["输出：近平衡游戏规则参数设置"]关键设计¶
1. 规则手册驱动的零样本多智能体自博弈评估：以纯文本理解实现无训练对抗模拟 传统多智能体强化学习（MARL）需要针对特定游戏规则训练策略网络，一旦底层规则变动，旧策略往往失效甚至崩溃。RuleSmith 构建了轻量级文明风格网格对抗环境 CivMini，定义了帝国（Empire）与游牧（Nomads）两个高度非对称的阵营，涉及经济、战斗、生产和计分共 12 个可调参数。在每个决策步，环境结合当前局势、合法动作列表及轻量 TF-IDF 检索出的规则条目，生成结构化态势描述。LLM 智能体在无需任何微调或策略训练的前提下，直接阅读自然语言规则并输出当前阵营所有单位的联合动作 JSON。游戏引擎对动作实施严格的确定性合法性校验与冲突降级（将无效动作回退为合法待机 PASS），确保了博弈轨迹的严格可执行性。
2. 离散规则空间的连续松弛与高斯过程贝叶斯优化：高效规避高维组合爆炸 CivMini 的 12 个参数（如生命值、攻击伤害、采集速率、招募费用与计分权重）构成了约 \(1.9 \times 10^{10}\) 种离散组合，暴力枚举完全不可行。RuleSmith 采用连续松弛机制，将离散整数与步进参数空间松弛为紧致连续空间 \(\widetilde{\Theta} \subset \mathbb{R}^{12}\)。优化器维护一个基于 Matérn-5/2 核函数的高斯过程代理模型 \(g(\theta)\)，在连续空间中全局建模平衡度损失函数的几何形态。当优化器通过 L-BFGS 最大化采集函数选出连续提议点 \(\tilde{\theta}_t\) 后，系统应用确定性离散算子 \(\mathcal{D}(\cdot)\) 将其坐标就近舍入并截断至原生离散网格 \(\theta_t = \mathcal{D}(\tilde{\theta}_t)\)，确保物理引擎执行有效规则，并将实测胜率损失回传以更新高斯过程。
3. 基于期望提升（EI）的自适应动态博弈预算采样：在潜力候选点聚焦评测算力 大模型推理开销巨大，固定局数采样要么在差配置上浪费算力，要么在优配置上因方差过大而错失最优解。RuleSmith 借鉴多保真度优化思想，提出与期望提升（Expected Improvement, EI）动态绑定的局数分配策略。在迭代轮次 \(t\)，优化器首先计算候选规则的期望提升 \(e_t = \text{EI}(\tilde{\theta}_t)\)，并对比历史最大提升 \(M_t = \max_{i \le t} e_i\)，按下式动态确定本轮自博弈局数 \(N_t\)： $\(N_t = \text{clip}_{[N_{\min}, N_{\max}]}\left(\left\lfloor N_{\min} + (N_{\max} - N_{\min}) \min\left\{\frac{e_t}{\max(M_t, \epsilon)}, 1\right\}\right\rfloor\right)\)$ 其中基准局数 \(N_{\min}=16\)，最大局数 \(N_{\max}=64\)。对于置信度较低或改良潜力极小的平庸规则，仅分配 16 局快速筛选；而对于逼近平衡前沿的高潜力配置，自动分配多达 64 局以降低胜率估计误差，从而将有限的大模型评估预算精确投入至关键候选区域。
损失函数 / 训练策略¶
RuleSmith 的优化目标是最小化两阵营胜率偏离 0.5 的程度，同时遏制无法决出胜负的僵局平局。形式化定义的标量平衡损失函数 \(\mathcal{L}(\theta)\) 如下： $\(\mathcal{L}(\theta) = |w_E(\theta) - 0.5| + |w_N(\theta) - 0.5| + 0.5 \, w_D(\theta)\)$ 式中 \(w_E(\theta)\)、\(w_N(\theta)\) 和 \(w_D(\theta)\) 分别代表帝国胜率、游牧胜率和平局率，满足 \(w_E + w_N + w_D = 1\)。在无平局时该式严格等价于胜率绝对差 \(|w_E - w_N|\)，而平局惩罚项 \(0.5 w_D\) 则避免优化器陷入双方互不进攻或均无进攻能力的无效死锁配置。整体优化采用 10 个随机样本初始化，在 100 轮贝叶斯迭代中协同调节 12 个参数。
实验关键数据¶
主实验¶
主实验在 8 张 NVIDIA A100 GPU 上展开，智能体基座选用 InternVL3.5（2B 与 8B 版本，仅采用文本推理能力），并在 100 局独立验证集上评估最终规则质量。实验同时考察了规则在不同规模模型、不同模型家族（Qwen3.5-9B、Gemini 2.5 系列）以及真实人类玩家间的泛化转移能力。
| 规则配置与对战设定 | 优化智能体 | 评测智能体/人群 | 帝国胜率 (%) | 游牧胜率 (%) | 平衡损失 \(\mathcal{L}\) | 统计显著性 (\(p\) 值) |
|---|---|---|---|---|---|---|
| 初始策划参数 (Initial \(\theta\)) | 人工设定 | InternVL3.5-8B | 100.0 | 0.0 | 1.000 | \(< 10^{-40}\) |
| 开源默认参数 (Default) | 人工设定 | InternVL3.5-8B | 11.3 | 88.0 (2平) | 0.777 | \(2.9 \times 10^{-45}\) |
| RuleSmith 优化 (E8B vs N8B) | InternVL3.5-8B | InternVL3.5-8B | 51.0 | 49.0 | 0.020 | 0.86 (不显著偏差) |
| RuleSmith 优化 (500局大样本) | InternVL3.5-8B | InternVL3.5-8B | 47.6 | 52.4 | 0.048 | 0.30 (95% CI: [43.3, 52.0]) |
| 跨家族迁移 (InternVL \(\to\) Qwen) | InternVL3.5-8B | Qwen3.5-9B | 50.0 | 50.0 | 0.000 | 1.00 |
| 跨家族迁移 (Qwen \(\to\) InternVL) | Qwen3.5-9B | InternVL3.5-8B | 49.0 | 51.0 | 0.020 | 0.84 |
| 商业闭源模型验证 (Gemini Flash) | InternVL3.5-8B | Gemini 2.5 Flash | 51.0 | 49.0 | 0.020 | 0.86 |
| 商业闭源模型验证 (Gemini Pro) | InternVL3.5-8B | Gemini 2.5 Pro | 47.0 | 53.0 | 0.060 | 0.55 |
| 人类真实对战 (Human vs Human) | InternVL3.5-8B | 人类玩家 (4人60局) | 53.3 | 46.7 | 0.066 | 0.70 (95% CI: [40.9, 65.4]) |
| 人机对抗 (Human vs 8B) | InternVL3.5-8B | 人类 vs 8B (60局) | 43.3 | 56.7 | 0.134 | 0.37 (阵营平衡无显著偏差) |
消融实验¶
为验证自适应采样机制与搜索算法的有效性，作者对比了随机搜索（Random Search）、(1+1) 演化策略（Evolution Strategy, ES）、固定采样局数贝叶斯优化（Fixed BO）以及不同代理搜索组件（NTBEA 与 TPE）。
| 搜索算法与采样策略 | 迭代轮次 | 单候选评估局数 | 总评估对局消耗 | 最终验证胜率 (E | N) | 平衡损失 \(\mathcal{L}\) | 达到近平衡 (50%±5%) |
|---|---|---|---|---|---|---|
| 随机搜索 (Random Search) | 100 | 固定 64 | 6,400 | 13% | 87% | 0.740 | 否 |
| (1+1)-演化策略 ((1+1)-ES) | 100 | 固定 64 | 6,400 | 26% | 74% | 0.480 | 否 |
| 固定贝叶斯优化 (BO, \(N=16\)) | 100 | 固定 16 | 1,600 | 34% | 66% | 0.320 | 否 |
| 固定贝叶斯优化 (BO, \(N=32\)) | 100 | 固定 32 | 3,200 | 61% | 39% | 0.220 | 否 |
| 固定贝叶斯优化 (BO, \(N=64\)) | 100 | 固定 64 | 6,400 | 48% | 52% | 0.040 | 是 |
| RuleSmith 自适应 BO (EI) | 100 | 自适应 16–64 | ~3,500 | 51% | 49% | 0.020 | 是 (开销减半) |
| 强搜索基线：NTBEA (300局评估) | 68 | 固定 16 (局部变异) | 1,088 | 48.0% | 52.0% | 0.040 | 是 (\(p=0.53\)) |
| 强搜索基线：TPE (300局评估) | 68 | 默认 TPE (16局) | 1,088 | 54.3% | 45.7% | 0.087 | 是 (\(p=0.15\)) |
| 采集函数消融：GP-LCB (单次运行) | 100 | 自适应 16–64 | 2,899 | 57.7% | 42.3% | 0.153 | 否 (\(p=0.009\)) |
关键发现¶
- 自适应采样的算力减半增效：在贝叶斯优化中，自适应采样仅需约 3,500 局总模拟量即可达成 51|49 的近乎完美平衡，而固定 64 局的 BO 需要 6,400 局才能达到相当效果（48|52）。固定 16 或 32 局则因胜率噪声过大而发生欠拟合，证明基于 EI 的自适应精度分配对抵消模拟噪声至关重要。
- 机制协同调整而非单一参数碾压：面对初始极大偏向帝国的配置，优化器自动将游牧伤害从 1 提升至 3、骑兵生命值调整为 12，并将帝国士兵生命值从 13 下调至 9，使两军的主战单位击杀所需攻击次数（TTK）对称收敛至 3 次，同时协同上调游牧击杀收益与招募成本，形成了攻防平衡的非对称闭环。
- 不同水平玩家间的规则有效泛化：虽然人类玩家对阵 8B 模型展现出压倒性的个人胜率（80% 胜率），但在由 RuleSmith 优化出的规则下，人类扮演帝国与扮演游牧的阵营胜率依然保持在 43.3% 与 53.3%，双侧二项式检验均无法拒绝 50% 等概率假设，证实了平衡规则在人类认知维度的可迁移性。
亮点与洞察¶
- 解耦设计打破传统自博弈死结：将大模型从传统的“策略学习者”定位转为“零样本评估受试者”，避免了强化学习在非对称环境中容易学出局部偏门策略（Exploit）导致的虚假平衡，为复杂社会系统模拟和经济规则设计提供了全新范式。
- 多动作单次调用的高效工程落地：通过单次 LLM 推理联合生成当前阵营所有单位的行动方案，配合引擎层的确定性冲突仲裁与回退保护，大幅降低了 API 轮询消耗与调用延时，同时保留了多单位协同战术意图。
- 黑盒搜索组件即插即用：框架不强绑定于单一高斯过程，NTBEA 和 TPE 等组合优化组件均可直接挂载，且在多阵营扩展（3 阵营）、地图尺度扩展（5x5 至 11x11）以及离散网格尺寸联调中均展现出稳健收敛性。
局限与展望¶
- 受限于完全信息小规模测试床：CivMini 为完全信息网格游戏，具有相对较小的动作空间与状态维度；在存在战争迷雾（部分可观测）、数百兵种单位或超长规划周期的工业级商业大作（如《星际争霸》《文明》全集）中，提示词构建与 LLM 规划上下文将面临重大挑战。
- 大模型偏好与真实玩家策略分布仍存鸿沟：LLM 表现出的博弈倾向（如轻微好斗）在双向镜像时虽能相互抵消，但无法完全等同于人类高水平选手的博弈论纳什均衡，面对极端博弈漏洞（Exploitative Meta）可能缺乏主动探测能力。
- 离散松弛的边界近似误差：连续松弛与离散截断投影在网格交界处会引入不连续阶跃，导致高斯过程核函数的平滑性先验假设在理论上面临一定失配。
相关工作与启发¶
- vs AI Game Designer (Huang et al., 2026)：AI Game Designer 依赖 LLM 依据统计数据反思并直接提议参数修改，偏向启发式设计；RuleSmith 明确将 LLM 作为纯对抗玩家，交由贝叶斯优化器负责严格的数值空间闭环搜索。
- vs AlphaZero / Multi-Agent RL：传统自博弈强化学习固定游戏规则并优化策略权重；RuleSmith 反转了优化对象，冻结通用智能体策略并直接优化底层游戏规则超参数。
- vs NTBEA (Lucas et al., 2018)：NTBEA 使用脚本或启发式智能体评估游戏；RuleSmith 验证了当评估源替换为零样本自然语言驱动的 LLM 时，算法能容忍更高水平的决策方差，且优化出的规则能在不同模型规模间平滑迁移。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆性反转了自博弈优化的对象，首创 LLM 多智能体评估与贝叶斯规则搜索的闭环架构。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 次独立种子复现、大样本置信区间、多模型跨家族泛化、人类实测双盲对局及扩展性验证。
- 写作质量: ⭐⭐⭐⭐⭐ 理论分析清晰、系统架构完整，深入讨论了方差集中界与实际工程权衡。
- 价值: ⭐⭐⭐⭐⭐ 为游戏工业界数值平衡、机制原型快速验证乃至跨领域政策模拟开辟了兼具理论与实用的新路径。