DrawingsDreamer: A Unified Multi-View Engineering Drawings Generation Model¶
会议: NeurIPS 2026
arXiv: 2609.35242
领域: 图像生成
关键词: 工程制图、矢量图形生成、大语言模型、自回归建模、跨视角对齐
一句话总结¶
DrawingsDreamer 将多视角工程制图表示为基于分层后置分词的纯离散序列，摆脱栅格图像编码器，并通过任务感知课程学习在单一大语言模型内统一实现局部拓扑修复与多视角宏观图纸生成。
研究背景与动机¶
可缩放矢量图形（SVG）凭借分辨率无关性、极小文件体积以及基于多边形和贝塞尔曲线的精确参数化控制能力，长期作为现代计算机辅助设计（CAD）工业制图的核心载体。随着生成式大模型在视觉合成领域的爆发，针对艺术图标、字体和插画等领域的 SVG 自回归模型层出不穷，但直接生成严谨的工业工程图纸依然困难重重。不同于自由奔放的艺术创作，工业制造蓝图要求严苛的拓扑结构合法性、毫米级的精确几何参数化，以及主视图、俯视图、左视图（右视图）和轴测图之间严格的投影几何投影对齐。
现有的矢量图形生成与 CAD 重建方案难以满足上述工业级诉求。基于可微渲染优化的方案不仅单样本计算开销极其高昂，还会生成大量破坏 SVG 原生可编辑性的密集锚点；而基于大语言模型的自回归 SVG 生成工作大多局限于艺术领域，训练语料中缺少复杂 CAD 制图的长程坐标依赖，且通常依赖预训练栅格图像编码器，导致空间几何对齐能力退化。另一方面，三维 CAD 生成社区以往主要关注从点云或图像生成 3D 边界表示（BRep）或网格，却将现代制造链中不可或缺的二维工程图纸生成留为了完全的空白。
工程图纸的本质并非像素图，而是具有严密内在投影规律与拓扑边界的几何符号序列。既然通用序列建模已被证明能够胜过繁复的手工启发式优化，完全可以将多视角三维工程图纸建模为自回归纯序列生成任务。核心 idea：摒弃栅格图像编码器，提出基于分层后置分词的精简几何序列表示，并结合「微观局部拓扑修复 → 局部视角对齐 → 宏观全局投影转换」的渐进式任务感知课程学习，构建首个统一多视角工程图纸生成大模型。
方法详解¶
整体框架¶
DrawingsDreamer 将三维 CAD 实体投影为主视图（Front）、右视图（Right）、俯视图（Top）三个正交投影视图以及一个轴测图（Isometric），构成完备的四视角集合 \(\mathcal{V}=\{v_{\text{front}},v_{\text{right}},v_{\text{top}},v_{\text{iso}}\}\)。整体流程不输入也不经过任何栅格图像编码器，直接在规范化离散坐标与结构标记上展开自回归序列建模。输入由统一的任务指令、上下文视角序列和待生成目标序列拼接而成；模型端采用 LLaMA-3.2-3B 作为因果语言模型基座，通过 LoRA 高效微调；训练阶段由任务感知课程调度动态调整任务采样权重，平滑衔接微观修复与宏观生成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["三维 CAD 实体投影<br/>{v_front, v_right, v_top, v_iso}"] --> B["精简几何表示与分层后置分词<br/>连续坐标全局归一化与离散量化"]
B --> C["多任务统一指令序列构造<br/>[指令, 上下文序列, 目标序列]"]
C --> D["三阶段任务感知课程学习调度<br/>阶段I: 路径掩码 → 阶段II: 视角补全 → 阶段III: 跨视角转换"]
D --> E["因果语言模型自回归生成 (LoRA)<br/>仅计算目标序列交叉熵损失"]
E --> F["输出高保真多视角工程矢量图 (SVG)"]关键设计¶
1. 精简几何表示与分层后置分词：引导模型先锚定连续坐标再闭合语义边界
传统矢量生成模型常采用前置标记范式（如先输出绘图指令 M/L/C，再输出对应坐标），但在工程制图复杂的拓扑闭合场景下，模型极易产生语法错位或坐标漂移。DrawingsDreamer 提出分层后置分词策略（Hierarchical Postfix Tokenization），强制语言模型首先连续自回归回归几何坐标数值，最后再输出一个语义边界标记（如 <end_curve>、<end_line>、<end_move>）。这种设计贴合因果语言模型的自回归生成特性，让模型在充分利用局部坐标连续性之后再决定基元的终止。此外，模型将标准 SVG 的闭合路径指令 Z 显式转换为一条连接当前点到起始点的线段并以 <end_line> 结束，大幅简化了结构标记词表搜索空间。
在坐标量化方面，正交视图集合 \(\mathcal{V}_{\text{ortho}}=\{v_{\text{front}}, v_{\text{right}}, v_{\text{top}}\}\) 共享同一个全局缩放因子以保持跨视角严格的空间尺寸比例，轴测图 \(v_{\text{iso}}\) 因投影范围差异进行独立归一化，坐标映射到统一画布 \(L\times L\)（\(L=1000\)）并通过分辨率 \(Q=256\) 进行整数量化：
$\(q(x) = \mathrm{clip}\left(\left\lfloor \frac{Q \cdot x}{L} \right\rfloor, 0, Q\right)\)$
多视角序列按基元边界、路径边界（<end_path>）以及视角专属边界（<end_front>、<end_right>、<end_top>、<end_iso>）构建分层嵌套结构。
2. 统一多任务序列指令构造：单模型覆盖全谱系制图需求
为了让单一语言模型能够同时处理条件生成、无条件生成以及局部修复任务，DrawingsDreamer 构造了动态多任务指令序列 \(S_{\mathcal{M}} = [\mathcal{I}, S_{\text{context}}, S_{\text{target}}]\)，其中 \(\mathcal{I}\) 为特定任务的自然语言提示。具体涵盖五种任务模式：
- 无条件生成：\(S_{\text{context}} = \emptyset\)，\(S_{\text{target}} = \mathcal{V}\)，从零合成完整的四视角工程蓝图；
- 轴测图到正交视图转换：\(S_{\text{context}} = \{v_{\text{iso}}\}\)，\(S_{\text{target}} = \mathcal{V}_{\text{ortho}}\)，根据三维立体透视图推导三视图；
- 正交视图到轴测图转换：\(S_{\text{context}} = \mathcal{V}_{\text{ortho}}\)，\(S_{\text{target}} = \{v_{\text{iso}}\}\)，根据二维正投影图重建立体轴测图；
- 部分视角补全：\(S_{\text{context}} = \{v_{\text{iso}}, v_i\}\)（\(v_i \in \mathcal{V}_{\text{ortho}}\)），\(S_{\text{target}} = \mathcal{V}_{\text{ortho}} \setminus \{v_i\}\)，依据轴测图与单一正交图补全其余两投影图；
- 路径级语义掩码修复：从完整序列中随机掩码部分连续路径 \(\mathcal{P}_{\text{mask}}\)，用占位符 <mask_path> 代替，\(S_{\text{target}} = \{\mathcal{P}_{\text{mask}}\}\)。
3. 三阶段任务感知课程学习调度：从微观局部拓扑到宏观全局投影的认知递进
若在弱条件甚至无条件的复杂跨视角任务上直接训练 LLM，模型容易陷入局部极小值并产生几何幻觉。DrawingsDreamer 引入自适应课程学习调度：无条件生成（\(\emptyset \rightarrow \mathcal{V}\)）作为底层基石任务，其采样权重贯穿整个训练过程，确保模型牢固锚定全局数据分布分布先验；而条件生成任务则经历三阶段动态平滑过渡： - 阶段 I（微观语法与拓扑建立）：训练初期极高权重采样路径级语义掩码任务，迫使模型在简单的微观补全中学习离散坐标的数值语法、线条曲率连续性与局部轮廓闭合； - 阶段 II（部分视角空间对齐）：训练中期将权重向部分视角补全任务倾斜，引导模型在已知轴测图及某一视图的强先验下，学习不同视图间投影轮廓的空间对齐相关性； - 阶段 III（宏观全局空间投影转换）：训练后期重心全面转移到轴测图与三视图之间的互推，模型此时已具备坚实的几何语法与局部对齐认知，可专注于高难度宏观三维投影几何推理。
损失函数 / 训练策略¶
训练过程采用标准自回归因果语言模型交叉熵损失。为了防止任务指令和上下文提示引入无效梯度干扰，损失仅在目标生成序列 \(S_{\text{target}}\) 的 token 上计算： $\(\mathcal{L} = -\sum_{t=1}^{|S_{\text{target}}|} \log P\left(x_t \mid x_{<t}, \mathcal{I}, S_{\text{context}}; \Theta\right)\)$ 其中 \(\Theta\) 为 LoRA 适配器可训练参数（设置 \(r=8, \alpha=32\)）。优化器使用 AdamW，批大小为 16，采用余弦退火学习率策略（初始学习率 \(5\times 10^{-4}\)），基于 8 块 NVIDIA RTX 4090 GPU 训练 15 个 epoch。
实验关键数据¶
主实验¶
论文基于 DeepCAD 数据集包含的 178,238 个工业 CAD 模型构建四视角对齐数据集（划分为 160,414 / 8,912 / 8,912 训练/验证/测试集）。在跨视角转换任务与部分视角补全任务上，与 GPT-4o（5-shot）、Zero123 以及针对通用 SVG 的 OmniSVG 进行对比。评价指标涵盖符号级命令准确率（\(\text{Acc}_{\text{cmd}}\)）、参数公差准确率（\(\text{Acc}_{\text{params}}\)）、栅格渲染相似度（PSNR、SSIM、LPIPS），以及从矢量线段采样点云计算的 Chamfer Distance（CD，数值越小几何越吻合）。
| 方法 | 任务方向 | \(\text{Acc}_{\text{cmd}} \uparrow\) | \(\text{Acc}_{\text{params}} \uparrow\) | PSNR \(\uparrow\) | SSIM \(\uparrow\) | LPIPS \(\downarrow\) | CD \(\downarrow\) |
|---|---|---|---|---|---|---|---|
| GPT-4o (5-shot) | \(\{v_{\text{iso}}\} \rightarrow \mathcal{V}_{\text{ortho}}\) | 46.44% | 35.54% | 33.53 | 0.80 | 0.19 | 0.34 |
| Zero123 | \(\{v_{\text{iso}}\} \rightarrow \mathcal{V}_{\text{ortho}}\) | – | – | 24.93 | 0.85 | 0.16 | 0.75 |
| OmniSVG | \(\{v_{\text{iso}}\} \rightarrow \mathcal{V}_{\text{ortho}}\) | – | – | 20.01 | 0.88 | 0.10 | 0.47 |
| DrawingsDreamer (本文) | \(\{v_{\text{iso}}\} \rightarrow \mathcal{V}_{\text{ortho}}\) | 89.77% | 80.82% | 50.16 | 0.94 | 0.03 | 0.02 |
| GPT-4o (5-shot) | \(\mathcal{V}_{\text{ortho}} \rightarrow \{v_{\text{iso}}\}\) | 11.33% | 56.68% | 11.04 | 0.72 | 0.23 | 0.23 |
| DrawingsDreamer (本文) | \(\mathcal{V}_{\text{ortho}} \rightarrow \{v_{\text{iso}}\}\) | 73.53% | 68.36% | 32.03 | 0.88 | 0.06 | 0.02 |
| GPT-4o (5-shot) | 视角补全 \(\{v_{\text{iso}}, v_{\text{front}}\} \rightarrow \{v_{\text{top}}, v_{\text{right}}\}\) | 65.48% | 30.13% | 16.52 | 0.83 | 0.16 | 0.30 |
| DrawingsDreamer (本文) | 视角补全 \(\{v_{\text{iso}}, v_{\text{front}}\} \rightarrow \{v_{\text{top}}, v_{\text{right}}\}\) | 92.82% | 82.52% | 58.61 | 0.97 | 0.02 | 0.01 |
在无条件生成任务（\(\emptyset \rightarrow \mathcal{V}\)）中，DrawingsDreamer 同样展现出极强的多样性与真实分布对齐：JSD 为 \(0.61 \times 10^{-2}\)（vs GPT-4o 的 \(1.17 \times 10^{-2}\)），覆盖率 COV 达 66.24%（vs GPT-4o 的 33.12%），MMD 降低至 \(5.64 \times 10^{-2}\)（vs GPT-4o 的 \(8.35 \times 10^{-2}\)）。
消融实验¶
论文对后置分词格式、任务感知课程学习调度、路径掩码预训练任务以及统一多任务框架进行了系统消融（指标中 LPIPS、CD、JSD、MMD 均乘以 \(10^2\)）：
| 配置变体 | 轴测转正交 \(\text{Acc}_{\text{params}} \uparrow\) | 轴测转正交 CD \(\downarrow\) | 部分补全 \(\text{Acc}_{\text{cmd}} \uparrow\) | 部分补全 PSNR \(\uparrow\) | 无条件生成 COV \(\uparrow\) | 说明 |
|---|---|---|---|---|---|---|
| 完整模型 (Ours) | 80.82% | 2.41 | 92.82% | 58.61 | 66.24% | 后置分词 + 渐进式三阶段课程 + 统一多任务 |
| w/o 路径级掩码 | 75.64% | 3.17 | 89.24% | 52.19 | 60.77% | 缺乏微观拓扑修复，几何精度显著下跌 |
| 前置分词格式 (Prefix) | 80.58% | 2.83 | 88.38% | 57.86 | 62.45% | 先输出命令后出坐标破坏自回归连续性 |
| 随机任务调度 (Random) | 73.42% | 3.03 | 92.18% | 57.19 | 61.21% | 缺少认知难度渐进，全局坐标回归不稳定 |
| 单任务独立训练 (Isolated) | 79.22% | 2.36 | 85.02% | 55.52 | 60.38% | 各自为政无法获得多任务互补的空间先验 |
关键发现¶
- 分层后置分词是坐标精准度的基石：将前置格式（Prefix）换为后置格式（Postfix），在部分视角补全上参数匹配精度从 80.07% 跃升至 82.52%，证实了让 LLM 优先关注坐标回归、后收束拓扑边界的有效性。
- 课程学习防止训练初期崩塌：若用随机调度替代三阶段课程，轴测转正交任务的参数精度从 80.82% 骤降至 73.42%，PSNR 从 50.16 掉到 40.91。先微观打底再宏观外推能有效抑制拓扑幻觉。
- 模型体量展现出极佳 Scaling 潜力：在附录实验中，将底座升级为 LLaMA-3-7B 后，轴测转正交的参数精度进一步提升至 85.41%，CD 从 2.41 压低至 2.04；在部分补全中 CD 改善至 1.92，对于薄壁件和重复孔位阵列的计数幻觉明显减轻。
亮点与洞察¶
- 完全舍弃栅格图像编码器的矢量化纯自回归路线：证明了通用因果 LLM 在经过精炼坐标量化与符号设计后，本身具备卓越的投影几何与多视角空间推理能力，规避了自然图像编码器引入的模糊与特征失真。
- 后置分词与闭合路径精炼技巧：消除原版 SVG 中模糊的
Z指令并将其显式转化为物理坐标闭环，使语法解析确定化；后置标记为复杂几何闭合提供了天然的注意力缓冲。 - 任务感知课程学习范式高度通用：将结构化修复与全局生成依难度统一在同一调度框架下，为其他结构化代码生成、电路图生成以及复杂 3D 几何建模提供了极具价值的训练参考。
局限与展望¶
- 作者承认的局限：模型在处理高度重复的离散特征（如多孔阵列或周期性槽口）时仍存在自回归计数偏差（漏孔或冗余生成）；对于极其薄扁的构件，微小的量化误差可能在跨视角投影中被放大，导致厚度与局部尺寸微小漂移。
- 未来改进方向：当前框架依赖纯自监督模仿学习，未来可设计显式惩罚跨视角几何投影误差的可微奖励模型，结合强化学习（RL/PPO/GRPO）进一步强化严苛的几何尺寸对齐约束。
相关工作与启发¶
- vs OmniSVG / StarVector: 现有自回归矢量生成模型聚焦于艺术插画与平面图标，深度依赖视觉多模态编码器，无法承载工程图纸严格的正交投影约束与毫米级坐标参数；DrawingsDreamer 采用纯离散符号表示，首次实现了多视角一致的 CAD 工程制图。
- vs DeepCAD / BRepNet / CadCrafter: CAD 社区长年关注从扫描点云或自然图像反求三维 BRep 或 CSG 构造树，完全忽视了生产制造基石的 2D 多视角工程蓝图；本文打通了从三维数据自动推演多视角工程图纸生成的技术闭环。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将多视角工业工程图纸生成抽象为大语言模型离散序列建模，提出了独创的分层后置分词与课程调度。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖无条件生成、跨视角双向互推、部分补全等全套任务，指标覆盖符号级、栅格级与三维点云几何层面，消融详实。
- 写作质量: ⭐⭐⭐⭐⭐ 动机清晰，问题定义数学严谨，插图直观精美，实验分析逻辑完备。
- 价值: ⭐⭐⭐⭐⭐ 填补了工业 CAD 工程蓝图自动化生成的关键拼图，对智能制造与计算机辅助设计领域具有里程碑意义。