Synthesis Through Simulation: Generating Coherent Enterprise Data via Scalable Agent-System Interaction¶

会议: NeurIPS 2026
arXiv: 2610.10549
OpenReview: https://openreview.net/forum?id=d9jIdRauHh
代码: https://github.com/SAP/synthesis-through-simulation
领域: LLM Agent
关键词: 仿真合成数据, 智能体工作流, 工具调用智能体, 企业数据合成, 约束满足

一句话总结¶

提出无需数据库模式的仿真数据合成范式（STS）与通用填充智能体（GP），通过在模拟企业环境中让智能体调用带策略约束校验的 API 闭环交互，以“构造即满足”保证结构合法性，在 10 个企业级场景中达成 100% 规则通过率并显著提升下游智能体微调效果。

研究背景与动机¶

工具调用智能体已成为企业级人工智能落地的关键基础设施，但要对其进行大规模训练与评测，严重受限干企业真实业务数据中严格的合规性要求、隐私保护限制（如个人可识别信息 PII）以及组织对专有数据库架构（Schema）的严密管控。表格数据统计合成方法（如 CTGAN、TabDDPM、GReaT 等）虽能拟合单表属性的经验边缘分布，却天然割裂了行与行、表与表之间的关系依赖；更为致命的是，真实企业业务中的“合法性”从来不是孤立记录的静态属性，而是在写入阶段由实时系统状态和业务策略共同决定的动态关系规则（例如员工请假时长不可透支当前累计余额、航班改签必须基于当前有效预订）。传统统计生成器既无法感知实时策略校验，又面临缺乏冷启动种子数据的致命困境；而基于规则的过程式生成方法虽然能保证结构合法，却需要人工针对每个领域手工编写大量的约束编码与采样脚本，难以扩展且分布拟合度极差。

这引发了企业数据合成中“结构合法性”（Structural Validity）与“分布逼真度”（Distributional Fidelity）的深层矛盾：传统方法试图在生成端同时兼顾这两种要求，导致要么模型绕过业务层直接向数据库写入产生大量违背业务逻辑的垃圾数据，要么因死记具体实体 ID 在跨任务执行中因状态漂移产生级联崩溃。现存的交互式环境生成框架（如 EnvScaler）即使被赋予了完整的数据库 Schema 与内部状态特权，也常常因为将生成的具体 ID 硬编码进任务链，而在面对前置状态修改时遭遇超过 80% 的执行锁死。

本文切入的角度在于重新审视约束执行的边界：既然真实企业系统本身就拥有完备的 API 校验与前置条件拦截逻辑，那么结构合法性完全无需由生成模型在概率空间中苦苦拟合，而应委托给环境自身的 API 执行层。核心 idea：提出仿真合成范式（STS），将结构合法性与分布建模解耦，让大语言模型智能体直接通过调用受策略约束的企业 API 闭环交互生成数据，借由环境“接受即合法”的判定在数学构造上实现 100% 的结构校验通过率，并通过无预设模板的通用填充智能体（GP）在完全不访问数据库底层 Schema 的前提下达成高质量的关系型数据模拟。

方法详解¶

整体框架¶

STS 将企业数据合成解构为三个独立轴向：结构合法性、分布逼真度以及通用可扩展性。其体系由两大部分构成：一组提供强类型工具注册表 $\mathcal{T}$ 和程序化业务规则验证集 $\mathcal{V}$ 的模拟企业环境 $\mathcal{E}=(\mathcal{D},\mathcal{T},\Psi,\mathcal{V})$，以及一个零领域配置、仅面向工具签名交互的通用填充智能体——Generalist Populator（GP）。整个合成流程围绕 GP 的 $N$ 轮轨迹展开，并在全局维持一个轻量级的持久化长期记忆库——ExplorationManifest。每一条轨迹严格经历“探索（Explore）”、“规划（Plan）”和“执行（Execute）”三阶段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境工具注册表<br/>函数签名与描述"] --> B["阶段1：Explore 探索阶段<br/>前置只读探查与依赖图构建"]
    B --> C["ExplorationManifest<br/>实体依赖图与写入采样权重"]
    C --> D["阶段2：Plan 规划阶段<br/>实体解耦的具象任务说明生成"]
    D --> E["阶段3：Execute 执行阶段<br/>多步工具调用与启发式捷径提炼"]
    E -->|成功写入提交| F["数据库状态转移<br/>构造即合法 VPR=1.0"]
    E -->|失败回显更新| C

关键设计¶

1. 策略约束仿真环境与构造即合法的数学保证：将业务逻辑校验内化于系统转移函数

在传统数据生成中，数据合成器直接生成 SQL 行并执行底层插入，绕过了企业系统的业务规则守门人。STS 将企业环境形式化定义为状态机 $\mathcal{E}=(\mathcal{D},\mathcal{T},\Psi,\mathcal{V})$，其中数据库底层模式对外部生成器完全黑盒屏蔽，仅暴露函数名、自然语言描述与入参模式的强类型工具集 $\mathcal{T}$。每个工具 $t \in \mathcal{T}$ 绑定前置条件判定 $\phi_t: \mathcal{D} \times \mathrm{Args} \to \{0,1\}$，状态转移函数严格定义为： $$\Psi(a,d) = \begin{cases} \mathrm{apply}(t,x,d) & \text{if } \phi_t(d,x)=1 \\ d & \text{otherwise} \end{cases}$$ 只有当当前数据库状态与调用参数同时满足业务约束时，状态修改才被原子提交，否则回滚并返回结构化错误。根据归纳法，初始种子状态 $d_0$ 合法，每一步提交 $a_i$ 均受限于 $\phi_{t_i}$，因此合成的最终数据库快照 $d_n$ 天然满足所有验证规则，使得验证通过率满足 $\mathrm{VPR}=1$。这种“构造即合法”（Structural Validity by Construction）的机制彻底解放了大模型的认知负荷，使其专注于业务流与属性分布。

2. Explore 探索阶段与动态实体依赖推断：在无 Schema 条件下自主构建全局心智模型

为了在没有任何底层数据库表定义与实体关系图的严苛限制下实现全自动冷启动，GP 在前 $K$ 轮轨迹（实验证明 $K=3$ 为最优平衡点）激活探索阶段。在此阶段，系统故意拦截所有写操作并返回结构化拒绝，强迫智能体仅通过只读查询与工具参数签名的静态审查展开推演。智能体分析哪些字段是外键关联标识符，自底向上推断实体之间的拓扑依赖关系（例如预订记录必须依赖乘客与航班实体的存在），并自动估计写入操作的相对采样权重。所有推断出的实体依赖图和工具分类信息均持久化注入 SQLite 支持的 ExplorationManifest，在后续 $N-K$ 轮中直接复用，避免了每轮重复探索的计算浪费。

3. Plan 规划阶段的双层分布锚定与实体解耦任务生成：根除级联死锁与单调偏置

如果让执行智能体脱离宏观规划自由生成，模型会陷入批量迭代固定用户的懒惰模式（例如在航班环境中仅生成单程票而放弃复杂的往返行程）。Plan 阶段在每轮开始前由 LLM 结合全局 Manifest 进行单次结构化规划。其关键创新在于“实体解耦”：任务说明中精确指定复杂的属性组合（例如“为黄金会员预订往返商务舱航班”），但故意不绑定具体的实体 ID（如不指定具体的 user_1024 或 flight_301）。具体的实体查询被显式推迟到执行阶段由智能体在线查阅当前数据库状态决定。同时，Plan 引入覆盖率滑动窗口机制，强制优先排期此前未被充分调用的写入工具，从而在多轮模拟中维持平衡的操作分布。

4. Execute 执行阶段与在线启发式提取：错误自适应与跨轨迹经验沉淀

在执行阶段，智能体挂载当前任务说明、Manifest 上下文以及过往经验进入多轮工具交互循环。当遭遇状态冲突或 API 报错时，智能体根据报错原因动态重试。更为关键的是，在轨迹完成之后，系统调度审查模块回溯整条工具调用链路，识别智能体是否经历了多次摸索后偶然发现了关键捷径（例如“先调用 list_existing_reservations 查询可用路线，优于穷举式盲搜航班参数”）。一旦检测到这种显著降低调用开销的模式，系统便将其提炼为具名启发式规则写入 Manifest。后续轨迹启动时将自动在系统提示词中加载该规则，使工具调用开销在复杂环境中降低达 40% 以上。

一个完整示例¶

以航空公司环境（Airline）中生成一次合法的往返机票预订为例： 1. Plan 阶段输出实体解耦指令：“为系统内任意一位拥有信用卡支付方式的黄金会员预订一张未来两周内的 JFK 往返直接航班，舱位为经济舱，附带 1 件额外托运行李。” 2. Execute 阶段在线检索：智能体首先调用 list_users 筛选出处于激活状态的 gold_alice_1；随后调用 get_user_details 确认其具备有效信用卡；接着调用 search_direct_flight 获取去程与返程航班编号与余票状态。 3. 状态递进提交：智能体调用 book_reservation，入参填充提取到的真实用户 ID 与两段配对的航班 ID，设置 flight_type = round_trip。环境 API 校验舱位余票、旅客身份及支付有效性，通过前置条件并提交写入，在三张关联表中同时生成满足外键关系的记录。 4. 追加业务属性：智能体紧接着调用 update_reservation_baggages 将托运行李数递增 1。整个轨迹产生 4 次成功写操作，全部符合航空业务规则，数据校验通过率 100%。

实验关键数据¶

主实验¶

评估覆盖 10 个包含复杂业务逻辑的企业级模拟环境（涵盖 HR、航空、银行、电商、IT 服务等）及 2 个真实企业系统（包含 42 个工具的商业 Payroll 系统与包含 54 个工具的开源 MintHCM）。对比基准涵盖统计生成模型（CTGAN、TVAE、SDV HMA、REaLTabFormer）以及特权级智能体基准 EnvScaler（被赋予完整 Schema、实时数据库状态及显式业务规则）。评估指标采用基于 JSD 变换的边缘分布保真度（MDF）、成对联合分布保真度（PDF）、跨表外键子记录分布保真度（CDF）以及约束校验通过率（VPR）。

环境/数据集	方法	结构合法率 VPR	边缘保真度 MDF	联合保真度 PDF	跨表保真度 CDF	每轨迹有效写入 WO
Airline (航空)	GP (STS)	1.000	0.973	0.900	0.949	1.07
Airline (航空)	EnvScaler	0.180 (82%失败)	n/a	n/a	n/a	0.00
Airline (航空)	CTGAN	0.769	0.901	0.812	N/A	n/a
Airline (航空)	SDV HMA	0.923	0.915	0.840	0.910	n/a
HR (人力资源)	GP (STS)	1.000	0.939	—	0.505	3.32
HR (人力资源)	EnvScaler	0.890	0.939	—	0.509	2.85
Cloud (云架构)	GP (STS)	1.000	0.850	0.825	0.610	1.85
Cloud (云架构)	EnvScaler	0.850	0.828	0.821	0.649	1.54
真实 Payroll	GP (STS)	1.000	0.927	0.748	0.841	11.09
真实 MintHCM	GP (STS)	1.000	0.902	0.344	0.634	11.97

消融实验¶

在航空（Airline）与银行（Banking）环境上分别对核心模块（探索预算 $K$、规划阶段 Plan、启发式提炼 Heuristics）及是否绕过仿真环境直接直插数据（LLM-Direct）进行严格消融验证：

消融配置	验证通过率 VPR	边缘保真度 MDF	联合保真度 PDF	往返票占比 (%)	写入开销 Calls/WO
GP 完整版 ($K=3$)	1.000	0.973	0.900	52.5% (真实55%)	20.5
去除探索阶段 ($K=0$)	1.000	0.951	0.813	48.1%	27.8
去除规划阶段 (w/o Plan)	1.000	0.908	0.838	7.9%	5.6 (盲目刷量)
去除启发式提取 (w/o Heuristics)	1.000	0.971	0.895	51.8%	40.0 (+96%开销)
绕过API直插 (LLM-Direct)	0.846	0.928	0.813	—	—

此外，在下游智能体微调评估中（在 $\tau^2$-bench 航空基准上使用 TED 框架评估）：在覆盖 Qwen2.5-3B、Qwen3.5-4B、Qwen3.5-9B 及 Gemma-4-E2B-it 的 12 组评测中，基于 STS 生成的合成环境快照进行监督微调（SFT）在 10 组（83.3%）指标上超越了基于原始种子数据快照训练的模型，显著提升了下游智能体在复杂业务中的交互成功率。

关键发现¶

构造即合法的决定性意义：一旦剥离 API 仿真层执行直插（LLM-Direct），无论底层模型多强（即使是 Claude 4.5 Opus），规则违规率均会飙升至 15%~18% 以上（VPR 跌至 0.820~0.846）；而统计生成器在缺少种子数据的 7 个环境中完全无法冷启动。
解耦式规划对分布真实度的绝对统治力：去除 Plan 阶段后，虽然智能体会为了刷量向数据库写入大幅增加的行数（每轨迹 16.7 笔预订 vs 0.61 笔），但生成分布发生灾难性偏移——需要复杂编排的往返行程比例从 52.5% 暴跌至 7.9%（真实世界基准为 55%）。
特权智能体的状态漂移陷阱：掌握全局 Schema 和具体实体 ID 的 EnvScaler 在紧耦合流程中遭遇了高达 82% 的首步执行崩溃，证实了硬编码实体在动态多步演化环境中的严重脆弱性，反衬出 GP“按签名抽象规划 + 执行时动态解析”范式的高鲁棒性。

亮点与洞察¶

解耦有效性与分布建模的范式创新：将原本耦合在模型内部的“既要保证结构有效，又要模拟真实分布”的双重包袱进行物理拆解，把约束校验全权下放给系统 API 边界，使智能体专注干拟合属性分布与调用链编排。
动态实体依赖与经验提炼飞轮：利用受限的初始探索轨迹自主推断无标签系统的拓扑依赖（在被完全混淆的航空系统上依然能准确推断 11 个实体的拓扑次序，GED 仅为 2），并通过执行后启发式提取实现了轨迹间的经验复用，大幅削减 API 交互冗余。
反直觉的特权负增益发现：论文证明了在企业交互场景中，过度暴露静态数据库 Schema 反而会诱发模型产生具象实体绑定的幻觉，导致生成过程对状态变化极度敏感；而坚持面向抽象 API 签名的黑盒交互不仅更安全，且鲁棒性显著更优。

局限与展望¶

操作频率分布的世界知识先验漂移：在完全缺乏领域参考分布时，LLM 基于世界知识估计的意图权重无法准确捕捉长尾运维倾角（例如在论坛环境中发帖与回帖比例被估计得过于均等，导致主题下的回帖数 CDF 偏低）。
重度依赖业务 API 前置检查的完备性：STS 的核心前提是系统的业务规则均已固化在 API 网关处；如果底层真实系统存在大量未在 API 层拦截的隐式约束或脏数据容忍，该方法的理论合法性保证将被削弱。
非结构化资产合成尚未纳入：当前环境主要面向关系型结构化数据库与事务型业务流，对于企业环境中大量存在的复杂非结构化附件（如 PDF 合同、工单图片等）的协同生成仍有待拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了传统表格数据合成的思路，将数据生成重构为面向策略环境的智能体仿真交互，构思精巧。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 10 个合成领域、2 个真实商业系统、多种基模与下游微调任务，消融与对比极度详实。
写作质量: ⭐⭐⭐⭐⭐ 理论证明清晰严密，实验设计逻辑环环相扣，图表表达专业准确。
价值: ⭐⭐⭐⭐⭐ 完美击中企业级 AI 落地中数据隐私合规与高保真测试数据匮乏的工业核心痛点，开源贡献巨大。

消融配置	验证通过率 VPR	边缘保真度 MDF	联合保真度 PDF	往返票占比 (%)	写入开销 Calls/WO
GP 完整版 (\(K=3\))	1.000	0.973	0.900	52.5% (真实55%)	20.5
去除探索阶段 (\(K=0\))	1.000	0.951	0.813	48.1%	27.8
去除规划阶段 (w/o Plan)	1.000	0.908	0.838	7.9%	5.6 (盲目刷量)
去除启发式提取 (w/o Heuristics)	1.000	0.971	0.895	51.8%	40.0 (+96%开销)
绕过API直插 (LLM-Direct)	0.846	0.928	0.813	—	—