3DCodeBench: Benchmarking Agentic Procedural 3D Modeling Via Code¶

会议: NeurIPS 2026
arXiv: 2606.01057
OpenReview: https://openreview.net/forum?id=P7NuAH00OC
代码: https://3dcodebench.com
领域: LLM Agent
关键词: 3D代码生成, 程序化建模, 视觉语言模型, 智能体评估, Blender

一句话总结¶

提出了包含 212 个类别、2.6 万条多模态提示-独立代码-3D网格三元组的程序化建模基准 3DCodeBench，并搭建了基于人类成对偏好的 3DCodeArena 竞技场，系统评测并揭示了 12 款前沿 VLM 在执行力、API 适配以及 3D 物理合理性上的核心瓶颈与测试时扩展规律。

研究背景与动机¶

通过编写程序化代码生成 3D 资产是现代数字内容创作与高保真物理仿真的核心支柱，它能够提供神经 3D 生成器所欠缺的确定性、引擎即用性以及精确的参数化编辑能力。然而，手工编写高质量的程序化 3D 资产成本极高，要求建模师同时掌握三维软件复杂的 API 规范、参数化几何设计以及代码层级的空间拓扑推理。随着视觉语言模型（VLM）与代码智能体（如驱动 Blender 的 MCP 服务与自主代码编写流水线）的快速发展，利用智能体端到端自动生成程序化 3D 脚本成为极具潜力的研究方向。

然而，现存评测基准存在四个难以逾越的瓶颈：一是程序化配对数据匮乏，ShapeNet 或 Objaverse 等静态网格数据缺乏底层代码；二是现有环境复杂度严重不足，BlenderGym 侧重于预设场景微调而非从零生成，VoxelCodeBench 则局限于简单体素网格；三是评测机制脱离真实设计流，普遍依赖单轮 Prompt 而缺乏执行报错反馈与视觉自省等多轮闭环；四是缺乏统一可靠的感知度量体系与真实人类偏好排序。

面对上述空白，构建真实工业级复杂度、覆盖多轮交互机制与标准化人类偏好排名的程序化 3D 评测体系迫在眉睫。核心 idea：从 Infinigen 提取程序化资产工厂并通过智能体清洗流水线构建首个涵盖 212 类、26K 代码三元组的程序化 3D 基准 3DCodeBench，搭配基于成对人类偏好的 3DCodeArena，全面解构前沿 VLM 在单轮生成与多轮智能体闭环下的几何推理与物理合理性边界。

方法详解¶

整体框架¶

3DCodeBench 将程序化 3D 生成任务严格建模为智能体代码合成问题：给定多模态条件 $c$（文本描述或 4 个标准视角参考图），策略网络 $\pi$ 合成独立的 Blender 5.0 Python 脚本 $f_{\pi} = \pi(c)$，由确定性算子 $\mathcal{E}$（沙箱化运行的 Blender 运行时）执行并导出 3D 网格 $M_{\pi} = \mathcal{E}(f_{\pi})$。评测同时考察单轮生成（$T=1$）与多轮智能体修正（$T>1$）设定下的代码可执行率以及几何感知质量。

整个系统涵盖三大核心组件：智能体数据清洗流水线（实现深度嵌套工厂的独立化抽离与高质量三元组构建）、标准化自动化评测指标套件（解耦可执行性与网格感知质量），以及公开的人类成对偏好竞技平台 3DCodeArena。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态条件输入<br/>文本提示 / 4 视角参考图像"] --> B["程序化代码生成与执行<br/>VLM 策略合成独立脚本并在 Blender 5.0 编译"]
    B --> C["智能体多轮自省与反馈修正<br/>沙箱执行报错重试 / 视觉自省与反思"]
    C --> D["双轨质量度量套件<br/>SigLIP-2 / DINOv3 / Chamfer / Uni3D"]
    D --> E["3DCodeArena 人类偏好竞技场<br/>中立材质盲测 / Bradley-Terry Elo 排序"]

关键设计¶

1. 智能体数据清洗流水线：解耦嵌套工厂与高质数据提炼 真实工业级程序化资产（如 Infinigen 生成器）依赖高度嵌套的代码依赖与环境上下文，无法直接用作独立的基准任务。为此，设计了包含技能库（Skills Library）、经验库（Experience Library）与人机协同验证（Human-in-the-Loop Verification）的自动化数据工程智能体。技能库封装了代码精简器（Code Simplifier，化简嵌套但无损几何）、沙箱模拟器（Blender 5.0 运行时捕获语法报错与非流形缺陷）以及多视角渲染视觉批评家；经验库沉淀了跨 Blender 版本的 API 迁移映射表、组件装配模板与代码规范。最终每条数据均经过人工质检，过滤掉语义漂移与几何损坏，提炼出 212 个高复杂度语义类别（涵盖动植物、机械、家具等，平均单脚本达 531 行，中位数 387 行），并衍生出供训练使用的 26K 独立代码与 3D 对象配对数据。

2. 程序化代码生成与执行：基于沙箱运行时的确定性编译 策略合成的模型脚本必须严格在无网络、无多余 I/O 且限定核心依赖的 Blender 5.0 环境中执行。形式化上，执行指示函数定义为： $$\mathrm{Exec}_{i} = \mathbb{I}\bigl[\mathcal{E}(f_{\pi,i}) \neq \emptyset \;\wedge\; |\mathrm{Mesh}(\mathcal{E}(f_{\pi,i}))| \ge 1\bigr]$$ 执行失败时根据捕获阶段划分为语法运行异常（ERR_EXEC）、无有效网格生成（ERR_NO_MESH）、视角渲染失败（ERR_RENDER）或执行超时（ERR_TIMEOUT，240 秒上限），这为分析模型在版本语法变更（如 Blender 4.x 到 5.0 的 API 迁移）中的脆弱性提供了精确指纹。

3. 双轨质量度量套件：解耦可执行性与网格感知质量 传统自动化度量在代码崩溃时往往引发评估偏差，因此评测套件将每个指标设计为条件均值（Conditional Mean，仅在 $\mathrm{Exec}=1$ 的样本集上平均，纯粹衡量几何与外形生成质量）与惩罚均值（Penalized Mean，执行失败赋值 0，对于 Chamfer Distance 赋予 $1.5 \times \max$ 的惩罚项，杜绝模型通过降低执行率刷分）两种统计范式。在多视角渲染上，提取 4 个正交偏置视角（$45^\circ, 135^\circ, 225^\circ, 315^\circ$），采用双重视觉主干：SigLIP-2 提取全局语义匹配度，DINOv3（ViT-L/16）则针对未贴图网格精准捕捉几何结构与部件拓扑；在三维点云层面上，采用带 4-yaw 姿态对齐的对称 Chamfer Distance 以及跨模态对齐的 Uni3D 巨模型，在 1024 维统一特征空间中度量生成的 3D 点云与参考目标之间的结构相似性。

4. 3DCodeArena 人类偏好竞技场：基于中立材质盲测的 Elo 排名 为消除神经图像度量对纹理、光照的非几何偏置，搭建了面向公众的双盲成对投票平台。平台加载导出的 GLB 网格时，强制覆盖为完全中立的双面灰度材质（MeshStandardMaterial，颜色 0xb8b8bc、粗糙度 0.7、金属度 0），支持独立轨道相机自由旋转缩放。系统收集 A 胜、B 胜、平局（Tie）或两者皆差（Both Bad）四类标签（平局各计 0.5 分），采用 Bradley-Terry 极大似然估计并经 1000 次 Bootstrap 计算 95% 置信区间，基准重置于 1000 Elo。文本生成 3D 与图像生成 3D 独立计分，为衡量感知美感与结构合理性提供了可信的地面真值。

5. 智能体多轮自省与反馈修正：闭环调试与测试时计算扩展 突破单轮提示局限，框架构建了两种进阶交互模式：一是无状态多轮错误反馈重试（Multi-Turn Error-Feedback），当代码抛出异常时，截取截断后的栈回溯（头 70% + 尾 30%，上限 3K 字符）与原代码反馈给模型，允许最多 2 轮修正；二是全自主 Coding-Agent Harness，将模型置于真实命令行智能体环境（如 Claude Code、Gemini CLI、Codex CLI）中，赋予 600-900 秒时间预算，由智能体自主创建文件、调用 Blender 驱动脚本、解析报错并迭代修改。实验证明，错误回溯可直接消除约 90% 的 API 语法错误，但几何结构的内在合理性仍依赖底座模型的空间推理厚度。

实验关键数据¶

主实验¶

在 3DCodeBench 的 212 个高难类别上，12 款前沿模型在最优思考预算下的综合表现如下表所示（执行率与各项质量指标取文本生成与图像生成两轨道的平均）：

模型	Exec. ↑	SigLIP-2 (cond) ↑	DINOv3 (cond) ↑	Chamfer ↓	Uni3D 3D-3D ↑	3DCodeArena ELO ↑	单次生成成本 ($)
GPT-5.5	0.906	0.834	0.576	0.059	0.562	1,163	0.28
Gemini 3.1 Pro	0.725	0.824	0.569	0.069	0.567	1,147	0.19
Gemini 3.5 Flash	0.464	0.824	0.563	0.068	0.519	1,119	0.04
GPT-5.4	0.866	0.817	0.560	0.064	0.552	1,074	0.18
Gemini 3 Flash	0.481	0.810	0.528	0.067	0.543	1,039	0.02
Claude Sonnet 4.6	0.804	0.813	0.551	0.068	0.525	1,015	0.26
Claude Opus 4.7	0.910	0.814	0.545	0.067	0.490	1,006	0.08
Gemma 4 31B	0.582	0.801	0.518	0.076	0.494	952	free
GPT-5.4 mini	0.731	0.803	0.526	0.070	0.506	951	0.10
Gemini 3.1 Flash Lite	0.575	0.778	0.496	0.077	0.445	877	0.01
Gemma 4 26B	0.517	0.786	0.483	0.077	0.435	859	free
Claude Haiku 4.5	0.502	0.761	0.413	0.095	0.363	799	0.02

消融实验：多轮执行错误反馈与 Agent Harness 效能¶

多轮错误反馈（至多 2 次重试）与原生智能体 Harness 对可执行性及惩罚均值质量带来了显著提升：

模型 / 架构	评测设定	Exec. ↑	Δ Exec. (pp)	Δ SigLIP-2 (penal) ↑	Δ Chamfer (penal) ↓	Δ Uni3D 3D-3D (penal) ↑
GPT-5.5	多轮反馈重试	1.000	+9.4	+0.040	-0.129	+0.086
GPT-5.4	多轮反馈重试	1.000	+13.4	+0.066	-0.117	+0.084
Claude Opus 4.7	多轮反馈重试	1.000	+9.0	+0.033	-0.084	+0.056
Claude Sonnet 4.6	多轮反馈重试	0.993	+18.9	+0.068	-0.130	+0.058
Gemini 3.1 Pro	多轮反馈重试	0.993	+29.5	+0.145	-0.193	+0.130
Gemini 3.5 Flash	多轮反馈重试	0.946	+46.7	+0.201	+0.036	+0.212
Gemini 3 Flash	多轮反馈重试	0.936	+38.9	+0.208	-0.009	+0.006
全模型平均 (11 款)	多轮反馈重试	0.972	+28.0	+0.128	-0.079	+0.069
8 款主力平均	单轮基线 (ST)	0.716	—	0.173 (cond)	0.071 (cond)	0.506 (cond)
8 款主力平均	Agent Harness	0.995	+27.9	0.163 (cond)	0.071 (cond)	0.494 (cond)

关键发现¶

指标与人类偏好强关联：自动化多视角感知指标是人类主观偏好的强预测因子，SigLIP-2 展现出最高的线性相关性（Pearson $r=0.964$），DINOv3 则呈现出最高等级排序一致性（Spearman $\rho=0.972$），证明无需昂贵的人工打分即可对三维程序化模型实现高置信自动化排名。
物理合理性是跨过执行门槛后的核心瓶颈：前沿模型编写代码的可执行率在多轮机制下普遍可跃升至 97%~100%，然而即使编译成功，模型生成的几何体仍普遍存在部件断裂、浮空悬挂、比例失调等缺陷，暴露出模型对真实物理世界结构常识与空间拓扑推理的深层匮乏。
测试时扩展的边际效应：增加推理思考预算对轻量级模型收益巨大（Gemini 3.1 Flash Lite 执行率提升近 19 个百分点），主要帮助其预先排查并纠正 Blender 5.0 API 语法冲突；而重型基座模型（如 Claude Opus 4.7、GPT-5.5）在极低思考预算下即已收敛。
Agent Harness 治标不治本：虽然完整的命令行智能体流水线能将代码可执行率推至 99.5%，但在成功编译网格的交集上，几何相似性（SigLIP-2、Uni3D）并未显著提高，说明当前智能体环境主要解决了 API 语法调试，尚未赋予模型更高级的几何审美与从零自省重构能力。

亮点与洞察¶

构建了首个代码级程序化 3D 权威基准：打破了现有 3D 生成评测偏向静态隐式场、单体低维体素的局限，提供长达数百行、具备高度语义层次的真实 3D Python 脚本基准，推动了 3D 领域向可编辑、可交互的软件工程级建模演进。
打造了去除了纹理干扰的纯几何 3DCodeArena：通过统一灰度材质着色与多视角轨道交互，剥离了神经贴图对人类审美的欺骗效应，确保人类偏好完全聚焦在空间拓扑与形态逼真度上。
明确了多模态辅助与中间生成的适用边界：消融实验揭示单纯依靠文本转图像再转代码（Text-to-Image-to-3D）反而会因单张图像细节丢失和风格诱导引发更严重的几何崩溃，只有在模型具备充裕推理算力且结合原文本时才能实现正向收益。

局限与展望¶

作者承认的局限：当前基准仅涵盖单物体程序化生成，尚未扩展至包含物理约束与多资产组合的宏观复杂场景建模；且评测平台绑定于 Blender 5.0，尚未涵盖 Houdini 或 Unreal Engine 等跨平台程序化流水线。
未来改进方向：可进一步将环境扩展为具备可微分几何反馈与实时局部网格编辑的交互式开发沙箱，并利用本基准产出的 26K 高质量数据对开源多模态模型进行后训练对齐。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性确立了 VLM 驱动的程序化代码 3D 建模基准与双盲人类偏好体系。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 12 款主流前沿模型，结合单轮、多轮反馈、Agent Harness、多视角预算等多维度消融。
写作质量: ⭐⭐⭐⭐⭐ 框架设计严密，度量推导清晰，实验洞察深刻。
价值: ⭐⭐⭐⭐⭐ 为具身智能环境生成、游戏与工业级数字资产智能建模提供了极具价值的评测底座。