WorldCoder-Bench: Benchmarking Physically Grounded 3D World Synthesis¶

会议: NeurIPS 2026
arXiv: 2606.01869
代码: https://anonymous.4open.science/r/WorldCoder-Bench/
领域: 3D 生成
关键词: 3D世界合成, 物理规律约束, Three.js代码生成, 执行验证, 隐藏契约评测

一句话总结¶

提出了首个面向可执行且遵循物理规律的浏览器原生 3D 世界合成基准 WorldCoder-Bench，包含 2,026 个专家构建的 Three.js 任务，并通过基于运行时状态断言与变异强化的 StateProbe 协议揭示现有顶尖大模型在物理交互与状态同步上的严峻短板。

研究背景与动机¶

大语言模型（LLM）的前端代码生成能力正从生成静态 UI 界面演进到构建端到端、可执行的交互式应用。利用浏览器原生技术栈（特别是基于 WebGL 的 Three.js）直接根据自然语言指令合成交互式 3D 物理模拟器、科学可视化面板、产品配置器与小游戏，为交互式 3D 内容创作提供了极具前景的范式跃迁。然而，当生成目标从普通网页转变为包含完整交互逻辑的三维世界时，“视觉上看起来合理（Looks right）”便不再等价于“功能和机理上运行正确（Works right）”：场景中物体必须在正确的空间位置发生碰撞、能量需要满足耗散或守恒定律，且界面控件必须在用户交互时与隐藏的内部物理引擎状态保持精确同步。

现有的网页与多模态代码生成评测方案普遍存在关键技术盲区。无论是 DOM 树解析、截图相似度比对、还是多模态大模型视觉裁判，都只能对渲染结果做外部表面观察；然而在 Three.js 中，整个三维世界被渲染进一个不透明的 <canvas> 画布，底层的几何网格、刚体速度、碰撞判定与复杂事件链完全封装在 JavaScript 运行时中。实验表明，DOM 匹配度与实际的三维状态正确性毫无相关性（Kendall 相关系数仅为 -0.021），多轮视觉 Agent 检查在消耗 400 倍成本的前提下仍会将 45.6% 具有严重功能缺陷的生成结果误判为合格。这种表层启发式评测不仅噪声极大，更会从根本上误导 3D 代码生成模型的研发方向。

为了穿透 <canvas> 黑盒直接检验三维世界的内在机理，本文建立了一套基于代码执行与内部状态验证的全新评测体系。核心 idea：构建包含 2,026 个任务的交互式 3D 世界合成基准 WorldCoder-Bench，并提出基于沙箱浏览器、隐藏行为契约与变异测试强化的 StateProbe 执行验证协议，以状态一致性与物理守恒规则精准度量模型的机制级生成能力。

方法详解¶

整体框架¶

WorldCoder-Bench 将 3D 世界合成建模为端到端条件代码生成任务。输入为包含自然语言任务需求与状态接口规范的说明文件（可附带 .glb 资产），模型需单次输出一个自包含的 HTML 页面，内嵌 Three.js 逻辑以实现指定功能并暴露统一的运行时接口（如 window.__3D_STATE__）。随后，StateProbe 评测协议在沙箱无头浏览器中加载该页面，执行预设的动作序列（点击、拖拽、按键与物理演化步），在动作前后分别抓取底层状态快照并针对隐藏行为契约（Behavioral Contracts）进行数值级与逻辑级断言校验，最终根据多级覆盖率与经济效用指标给出综合评判。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入规范<br/>自然语言指令 + 状态接口规范 + .glb资产"] --> B["端到端Three.js世界合成<br/>大语言模型零样本生成单个HTML页面"]
    B --> C["沙箱化无头浏览器执行<br/>Playwright驱动Chromium加载WebGL与渲染循环"]
    C --> D["动作驱动状态探针<br/>注入交互序列并在动作前后捕获运行时状态快照"]
    D --> E["变异加固的隐藏行为契约检验<br/>在状态增量上执行容错断言与物理不变量校验"]
    E --> F["评测产出<br/>四维覆盖率指标(A/S/T/V-Cov) + 经济效用(RoA/TEM)"]

关键设计¶

1. 基于三层宏类与高难度分布的任务集构建：覆盖模拟、渲染与应用的真实 3D 需求 现有代码生成基准主要偏向静态排版或简单组件，无法涵盖 3D Web 应用的多样化目标。WorldCoder-Bench 依照核心用户意图将任务划分为三大宏类（Macro-Categories）：观察系统物理演化的物理与动态模拟（Simulation，649 题）、控制视觉呈现与材质着色效果的高级渲染（Rendering，620 题）、以及完成目标驱动任务与状态同步的交互应用（Application，757 题），细分为 15 个子领域。任务由 5 位图形学博士构建种子，经 LLM 扩充并经过执行稳定性和确定性断言过滤，最终保留 2,026 个规范化任务。核心测试集 WorldCoder-Core 汇聚了 205 个高难度长尾任务（80% 达到 D5–D6 难度级别），并进一步引入参数扰动机制构建包含 615 个变体的 WorldCoder-Robust 鲁棒性评测集，通过系统性扰动重力、弹性、质量、物体数量和初始配置，严防模型死记硬背提示词模板。

2. 变异测试强化的隐藏行为契约：杜绝宽松阈值与表层拟合 传统人工手写测试断言容易陷入阈值过宽或漏检严重逻辑漏洞的陷阱。StateProbe 为每个任务配备隐藏的执行期规范，详细约束允许的交互操作（Affordance）、可达状态空间（Reachable States）、状态转移后置条件（Transition Invariants）以及物理守恒律。更为关键的是，评测团队引入软件工程中的变异测试（Mutation Testing）技术：在基准代码中程序化注入典型缺陷——例如删除局部状态更新、微调重力等物理常数比例、损坏资产加载路径、交换事件绑定目标或制造 HUD 界面与内部状态不匹配。只有能够 100% 捕获并拦截这一整套缺陷变异体的契约规则才被准许纳入评测体系，确保最终通过评测（Check_Pass）真实反映代码的机制正确性而非契约漏洞。

3. 动作驱动的状态快照探针协议：穿透 Canvas 验证运行时内部状态 由于 WebGL 画布外部不可见，StateProbe 要求模型生成的代码暴露出标准化的状态对象 window.__3D_STATE__，实时报告物体坐标、线速度与角速度、相机视角、选定状态模式、内部计数器以及交互标志位。在 Playwright 驱动的沙箱 Chromium 实例中，系统首先验证环境的加载与渲染循环存活性，筛除产生早期 JavaScript 异常或 WebGL 上下文丢失的崩溃样本（Runtime_Crash）；随后注入预设的行为交互序列（例如单步物理演算、鼠标拖动或按键事件），在操作前后捕获状态增量 $\Delta s = s_{\text{after}} - s_{\text{before}}$，精准验证浮点精度下的能量变化、位移碰撞响应以及 UI 与三维实体的同步状态。

4. 结合人工成本与耗时的质量折扣效用乘数：客观度量自动化经济价值 单纯的准确率指标无法直接反映模型在产业场景下的降本增效价值，且廉价模型的幻觉代码可能带来高昂的返工成本。因此，论文提出了自动化投资回报率（Return on Automation, RoA）与时间效率乘数（Time Efficiency Multiplier, TEM）。基于专业 3D Web 前端开发者的平均工时费率 $R = \$60/\text{hour}$ 与专家评估的人工耗时 $H_{\text{human}}(t)$，通过归一化验证覆盖率 $\widehat{\text{V-Cov}}(t) \in [0, 1]$ 作为质量折扣因子对收益进行惩罚： $$\text{RoA} = \frac{\sum_{t=1}^{n}\widehat{\text{V-Cov}}(t)\cdot H_{\text{human}}(t)\cdot R}{\sum_{t=1}^{n}C_{\text{model}}(t)}, \quad \text{TEM} = \frac{\sum_{t=1}^{n}\widehat{\text{V-Cov}}(t)\cdot H_{\text{human}}(t)}{\sum_{t=1}^{n}H_{\text{model}}(t)}$$ 只有生成的代码在行为契约上通过断言验证，才能按通过比例折算其节省的人工开发时间与人力成本；完全失效的错误代码将无法累积任何正向价值。

实验关键数据¶

主实验¶

在 WorldCoder-Core（205 篇核心困难任务）上对 9 款前沿商用闭源大模型与开源/区域模型进行了零样本评测，涵盖验证覆盖率（V-Cov）、各宏类表现、诊断层级覆盖率（可操作项 A-Cov、状态 S-Cov、状态转移 T-Cov）以及经济效用指标。

模型	V-Cov (%) ↑	Sim. (%)	Render. (%)	App. (%)	A-Cov (%)	S-Cov (%)	T-Cov (%)	RoA ($/$) ↑	TEM (hr/hr) ↑
GPT-5.4	27.8	26.8	37.8	23.5	66.2	46.1	26.3	1,264.6	68.87
Gemini 3.1 Pro Preview	26.5	27.0	35.9	21.4	67.4	45.9	25.1	1,551.2	56.81
Qwen3.6-Plus	25.3	24.6	30.4	23.2	65.3	43.6	23.7	4,343.9	37.10
MiniMax-M2.7	23.0	22.6	30.2	19.7	57.6	39.9	21.7	12,322.2	48.36
DeepSeek-V3.2	21.9	21.3	28.8	18.8	60.5	37.4	20.7	14,538.8	22.49
Claude Sonnet 4.6	18.7	21.4	25.1	13.7	56.5	33.4	17.0	1,020.7	48.34
Kimi-K2.5	18.2	13.6	29.3	15.8	50.9	34.4	17.1	4,062.7	38.26
Claude Opus 4.6	17.5	18.2	22.2	14.6	58.6	38.3	15.8	562.3	44.19
DeepSeek-V4-Flash	16.5	11.8	24.2	15.8	40.6	30.7	15.9	19,150.4	23.23

消融实验：评测范式对比与鲁棒性验证¶

论文系统对比了不同外部评测范式与真实内部状态契约（V-Cov）的一致性，并在 WorldCoder-Robust 扰动测试集上考察了模型面对物理参数随机化时的机理泛化表现。

评测范式 (WorldCoder-Core)	通过率 (%)	Kendall $\tau_b$ 相关性	误报率 (FPR, %) ↓	相对成本
DOM 结构检测	32.6	-0.021	33.7	1.0×
截图 + VLM 评判 (GPT-5.4)	2.7	-0.068	3.2	~50×
8步多轮 Agent 交互审计	49.7	+0.111	45.6	~400×
StateProbe (本文 V-Cov 真值)	—	1.000	0.0	~2×

模型 (WorldCoder-Robust 扰动集)	V-Cov (%) ↑	A-Cov (%)	S-Cov (%)	T-Cov (%)	相对 Core 下降幅
GPT-5.4	19.9	65.6	44.9	18.3	-7.9%
Gemini 3.1 Pro	19.1	66.8	46.3	17.6	-7.4%
Kimi-K2.5	15.6	57.9	34.9	14.3	-2.6%
Claude Opus 4.6	13.9	58.3	39.8	12.4	-3.6%
Qwen3.6-Plus	13.5	52.2	34.8	12.1	-11.8%

关键发现¶

行为正确性远未解决：目前顶尖大模型的整体验证覆盖率（V-Cov）最高仅为 27.8%（GPT-5.4），所有模型得分均未突破 30%。开源模型 Qwen3.6-Plus（25.3%）与闭源第一梯队差距微弱（仅差 2.5 个百分点）。
“形似神不似”的层级断层：诊断层级显示出明显的金字塔衰减。模型能够成功实例化物体与界面元素（A-Cov 达 40.6%–67.4%），也能进入部分中间状态（S-Cov 达 30.7%–46.1%），但一旦触发动作交互，状态转移断言的通过率骤降至 15.8%–26.3%（T-Cov）。绝大部分失败发生在动态转移与状态同步阶段。
外部评测范式的系统性失效：DOM 检查与 V-Cov 几乎零相关（$\tau_b = -0.021$）；VLM 裁判过于严苛且易被细微视觉误差误导（$\tau_b = -0.068$）；即便是耗资 400 倍成本的 8 步交互 Agent，由于只能基于外部画面推测，其假阳性误报率高达 45.6%，将大量存在严重内部逻辑缺陷的代码判为通过。
扰动暴露模板记忆本质：在物理参数随机化的 WorldCoder-Robust 集中，Qwen3.6-Plus 的 V-Cov 从 25.3% 暴跌至 13.5%，降幅达 11.8 个百分点，暴露出其对提示词和预训练模板的高依赖性；而 GPT-5.4 和 Gemini 3.1 Pro 保持了较强的机理泛化能力（仍接近 20%）。
失败原因归咎于状态漂移与事件断链：在对零 T-Cov 样本的深入归因中，状态模式漂移（State Schema Drift，42.8%）与交互链条中断（Broken Interaction Chain，40.8%）合计贡献了 83.6% 的失败案例，证明模型难以在用户交互事件发生时准确维护和更新内部状态契约。

亮点与洞察¶

穿透 Canvas 黑盒的 StateProbe 机制：针对 WebGL 渲染导致的视觉遮蔽与外部无法观测痛点，通过规范化全局状态对象并配合动作级快照差异检查，以极低的测试开销（仅为 DOM 的 2 倍成本）实现了确定性、高鲁棒性的细粒度代码验证。
变异测试引入契约审核：首次在 3D 代码生成评测中引入软件工程变异测试机制，对人工编写的断言规则注入破坏性故障进行前置拦截率验证，从机制上根除了基准评测“阈值过松”导致的指标虚高。
自动化投资回报率与时间倍率框架：将代码生成评测与产业界真实人工作业成本及 API 延迟挂钩，并使用测试通过率作为严格的质量惩罚项，清晰指引了“成本敏感型应选高性价比模型（DeepSeek-V4-Flash 的 RoA 达 19,150 $/$)，延迟与完备度优先选旗舰模型（GPT-5.4 的 TEM 达 68.87 hr/hr）”的选型决策。

局限与展望¶

状态接口对模型的依赖约束：要求模型严格遵循并在代码中维护 window.__3D_STATE__ 运行时接口，导致 42.8% 的失败来源于状态字段名命名不符或格式漂移（Schema Drift），在一定程度上混淆了纯粹的 3D 图形学/物理模拟能力与细致遵循复杂命名约束的能力。
长尾复杂交互场景下的极低表现：在复杂物理系统、高度创造性生成算法等长尾复杂子领域中，所有受测模型的 RoA 均几乎跌落至零，目前的纯 Prompt 零样本生成范式在多步几何算法与数值积分稳定性上面临严重瓶颈。
缺乏多轮自我修复循环：当前基准仅评估了一次性（Single-turn）端到端生成，未来可将 StateProbe 的断言错误信息作为执行反馈回传给模型，研究交互式代码 Agent 在 3D 仿真环境中的自我修复与自适应演进能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出针对浏览器原生 3D 代码生成中物理规律与隐藏状态的执行期探针评测协议。
实验充分度: ⭐⭐⭐⭐⭐ 评测了 9 款顶尖模型，包含 2,026 个任务、变异测试加固、外部评测范式对比及经济效用分析。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，动机论证极具说服力，图表丰富且实验分析深入透彻。
价值: ⭐⭐⭐⭐⭐ 为大模型从静态界面合成走向具备物理因果律与可交互性的具身三维世界智能体提供了权威试金石。