3DrawAgent: Teaching LLM to Draw in 3D with Early Contrastive Experience¶

会议: CVPR 2026
arXiv: 2604.08042
代码: 无（基于LLM API）
领域: 3D视觉 / 生成式AI
关键词: 3D草图生成, LLM, 免训练, 对比经验优化, Bezier曲线

一句话总结¶

提出免训练的 3DrawAgent 框架，让冻结的 LLM 通过"对比经验优化"（contrastive knowledge extraction）自我学习3D空间推理，以自回归方式生成语言驱动的3D Bezier草图，无需参数更新即可达到接近有训练方法的水平。

领域现状：语言驱动的2D草图生成已有进展（如SketchAgent），但3D草图生成仍未被探索。现有3D形状生成方法（扩散/神经隐式方法）需要显式几何监督或大量训练。

现有痛点： - 扩散式3D草图方法（Diff3DS, Dream3DVG）依赖 SDS 优化，计算密集 - SketchAgent 仅限2D坐标空间，无法推理深度和投影 - Training-free GRPO 依赖标量奖励或GT参考，不适用于开放式创作任务

核心idea：LLM 本身具有强大的序列推理能力，通过精心设计的 in-context prompt + 自我对比反馈，可以"教"LLM 进行3D绘图，完全无需梯度更新。

文本描述 → LLM 自回归生成3D Bezier曲线控制点 → 差分渲染器多视角渲染 → CLIP评分 + LLM质量判断 → 构建对比经验对 → 更新经验库 → 指导后续生成。

3D草图的语言化表示：将3D Bezier曲线用结构化文本表达：\(a_t = \text{draw\_bezier}[(\mathbf{P}^{(0)}, \mathbf{P}^{(1)}, \mathbf{P}^{(2)}, \mathbf{P}^{(3)})]\)，每个控制点 \(\mathbf{P}^{(k)} \in \mathbb{R}^3\)。整个草图是动作序列 \(\mathcal{A} = \{a_1, ..., a_N\}\)。
- 精心的 prompt 设计包含：角色指令、输出格式规范、数据类型约束、坐标系定义、GT示例、边界规则
- 设计动机：让LLM在其熟悉的文本空间工作，避免跨模态转换
对比经验提取（CKE）：核心创新——将 training-free GRPO 推广到成对对比设置：
- 对每个查询采样 \(K=5\) 个候选草图
- 使用 CLIP 多视角评分：\(r_{\text{CLIP}} = \frac{1}{V}\sum_{v=1}^{V} \cos(E_I(I_v), E_T(\mathcal{T}))\)
- 构建对比对 \((\mathcal{S}_i^+, \mathcal{S}_j^-)\)，其中 \(r_i > r_j\)
- LLM 作为"语义优势判官"分析好坏原因
- 提取的知识更新经验库：\(\mathcal{E} \leftarrow \text{Update}(\mathcal{E}, A^{\text{text}})\)
- 设计动机：不需要GT 3D草图、不需要梯度、不需要结构化group rollout
经验引导的3D绘图：将经验库 \(\mathcal{E}\) 注入 context window 作为额外 prompt 段：\(o = p_\theta(o | \mathcal{T}, \mathcal{E})\)
- 经验编码了可迁移的几何原则（曲率连续性、对称拓扑保持等）
- 通过迭代积累，LLM 逐步内化3D感知策略

方法	需训练	CLIP-ST (类别)	AES (类别)	CLIP-ST (细粒度)	AES (细粒度)
Diff3DS	✓	0.648	3.791	0.650	3.770
Dream3DVG	✓	0.660	4.150	0.670	4.174
3DrawAgent (Gemini)	✗	0.649	4.161	0.669	4.175