Controllable Road Marking Generation¶

会议: NeurIPS 2026
arXiv: 2610.05771
OpenReview: https://openreview.net/forum?id=2BbIJHhfqI
代码: https://github.com/RU0804/CRMG
领域: 自动驾驶
关键词: 道路标线生成, 可控扩散模型, 鸟瞰图布局, 拓扑感知损失, 结构化高斯渲染

一句话总结¶

本文提出可控道路标线生成任务，结合潜空间整流流 DiT、拓扑感知软骨架损失与免训练结构化高斯渲染（SGR），实现了依据可行驶区域几何、外圈已知标线及自然语言指令高质量合成中心区域车道线、道路分隔线和人行横道。

研究背景与动机¶

道路标线（包括车道分隔线、双黄虚实中心线以及人行横道）是道路交通规则的核心视觉载体，直接决定了自动驾驶车辆的行驶约束、轨迹规划边界与多智能体博弈行为。然而，构建高精地图中精细且多样的标线层目前高度依赖人工测绘与专业工程修图，导致仿真测试与极端场景生成常常受制于固定地图。现有计算方案多聚焦于相邻旁支：过程化规则生成器依赖手工模板且难以扩展；自动驾驶场景扩散模型往往仅在既有固定底图上摆放动态交通参与者；而高精地图感知算法本质上是在强传感器或航拍先验下的逆向重构，而非依语义需求进行正向交互式设计。

将标线生成显式表述为条件扩散或流生成模型面临严重的拓扑稀疏性矛盾。道路标线在鸟瞰图（BEV）栅格中属于极度稀疏、高频且对几何拓扑高度敏感的细长结构。一个像素的栅格偏移或模糊扩散，就会导致虚线断连、相邻双黄线粘连，或使整条长连通线的拓扑彻底断裂；然而传统的像素级或潜变量 MSE 损失在此类背景占主导地位的栅格上极度迟钝，直接在离散二值硬掩码上端到端训练往往会输出发虚、碎裂或融合的不可用标线。

针对该矛盾，本文的切入角度是将生成阶段的连续分布平滑学习与推理阶段的显式矢量几何先验解耦。核心 idea：采用高斯模糊目标稳定潜空间整流流生成器的连续场学习，结合拓扑感知软骨架辅助损失保证连通性，并在推理阶段引入免训练的结构化高斯渲染（SGR）后处理，通过多项式多折线提取、三次贝塞尔拟合及各向异性超高斯基元重绘，直接恢复锋利闭合且拓扑严格的细长道路标线。

方法详解¶

整体框架¶

算法流水线接收多模态条件输入：可行驶区域二值掩码、外圈已知标线环状观测以及由元数据规范生成的自然语言文本指令，目标是合成中心 $256 \times 256$ 像素区域内的三通道标线掩码（车道分隔线、道路分隔线、人行横道）。输入空间几何特征与外圈约束由空间算子拼合后输入冻结的预训练自编码器，文本指令经由冻结的 CLIP 文本编码器与投影层后通过门控交叉注意力注入 DiT 主干。训练时对中心真实标线施加高斯模糊，通过流匹配与像素级多通道加权、拓扑感知软骨架损失联合监督；推理时，模型预测出粗糙连续栅格，再将车道与道路分隔线两通道送入免训练的 SGR 模块转换为平滑各向异性样条高斯渲染，人行横道通道则直接保留区域掩码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["条件输入<br/>可行驶掩码 + 外圈标线 + 文本指令"] --> B["条件构建与潜空间整流流 DiT<br/>门控交叉注意力 + 空间潜变量拼接"]
    B --> C["高斯模糊平滑训练目标<br/>σ=2 连续场构建稳定流匹配"]
    C --> D["拓扑感知软骨架损失监督<br/>可微骨架提取 + clDice 连通性约束"]
    D --> E["结构化高斯渲染 SGR 几何重绘<br/>骨架提取 + 贝塞尔拟合 + 各向异性超高斯渲染"]
    E --> F["输出三通道高精道路标线<br/>车道线 + 道路分隔线 + 人行横道"]

关键设计¶

1. 空间与语义非对称条件注入与潜空间整流流：解耦几何拓扑硬约束与语义属性柔性编辑

在条件构建中，输入包含 $100\,\mathrm{m}\times 100\,\mathrm{m}$（$512\times 512$ 栅格）范围的可行驶区域掩码 $\mathbf{s}$、外圈已知标线 $\mathbf{p}$ 和文本描述 $\mathbf{m}$。空间算子 $\psi(\mathbf{s}, \mathbf{p})$ 将中心待生成窗口仅保留道路几何，外圈保留已有标线，构筑空间对齐条件 $\mathbf{c} = \psi(\mathbf{s}, \mathbf{p})$，并经冻结自编码器降维为 $\mathbf{z}^c = \mathrm{Enc}(\mathbf{c})$。生成核心采用连续整流流（Rectified Flow）框架建立两点间直线位移速度场插值 $\mathbf{z}_t = (1-t)\mathbf{z}_0 + t\boldsymbol{\epsilon}$，直接由 DiT 架构预测清晰隐变量 $\hat{\mathbf{z}}_0$。文本指令 $\mathbf{m}$ 经过预训练 CLIP 文本编码器提取特征并通过门控交叉注意力层（Gated Cross-Attention）逐层注入。该设计的优势在于，空间掩码为道路走向、交叉口物理宽度与边缘曲率提供决定性几何锚点，而文本则专注调整车道数量（例如 2 lanes each direction）、分道线类型与人行横道数量，实现了粗粒度道路骨架与细粒度语义编辑的正交分离。

2. 高斯模糊目标与前景重加权流匹配：攻克极度稀疏细线引起的梯度震荡与断连

道路标线在整个 $256 \times 256$ 生成区域中的像素占比通常低于 3%，若直接监督离散二值掩码，微小的单像素平移都会导致重构均方误差剧烈跳变，诱发扩散过程中的棋盘格伪影与虚线斑驳。为此，模型在中心目标送入自编码器前采用高斯核进行通道级预平滑 $\bar{d} = \mathcal{B}_{\sigma}(d)$（实验选定 $\sigma = 2\,\text{px}$）。在此平滑流场基础上，设计带静态前景加权的隐空间流匹配损失： $$\mathcal{L}_{\text{flow}} = \mathbb{E}\left[\mathbf{M}_{\text{center}} \odot \mathbf{W}_{\text{mark}} \odot (\hat{\mathbf{z}}_0 - \mathbf{z}_0)^2\right], \quad \mathbf{W}_{\text{mark}} = \mathbf{1} + \alpha \Big(A_{\downarrow}\big(\max_{k\leq 3}\bar{d}_k\big)\Big)^\rho$$ 其中 $\mathbf{M}_{\text{center}}$ 严格屏蔽外圈引导区域，仅计算生成中心窗口；$\mathbf{W}_{\text{mark}}$ 利用下采样算子 $A_{\downarrow}$ 映射标线支撑集，给予标线前景更高权重。同时搭配经自编码器解码后的多通道像素级加权重建损失 $\mathcal{L}_{\text{sem}}$，针对稀疏度赋予车道线、道路分隔线和人行横道不同的加权系数 $\boldsymbol{\beta} = (3.0, 2.0, 1.5)$，确保细薄线状结构的梯度在早期训练中不被广阔的沥青背景吞噬。

3. 拓扑感知软骨架损失：强化细长曲线的连通性并抑制伪分支

传统像素级 $L_2$ 损失在长条线结构中断开 1 个像素与边缘扩张 1 个像素的惩罚量完全相同，导致模型生成的车道线经常出现微小断点。为在训练中直接惩罚拓扑拓扑断连，本文在解码预测 $\hat{d}$ 与模糊真实标签 $\bar{d}$ 之间引入基于可微形态学骨架化算子 $S_K(\cdot)$ 的 clDice 拓扑损失： $$T_p = \frac{\sum S_K(\hat{d}) \odot \bar{d} + \varepsilon}{\sum S_K(\hat{d}) + \varepsilon}, \quad T_s = \frac{\sum S_K(\bar{d}) \odot \hat{d} + \varepsilon}{\sum S_K(\bar{d}) + \varepsilon}, \quad \ell_{\text{topo}} = 1 - \frac{2 T_p T_s}{T_p + T_s + \varepsilon}$$ 该损失通过软骨架与对应掩码的交叉相交比例，衡量长条结构的骨架精准率 $T_p$ 与骨架敏感度 $T_s$。辅以低噪声时间步自适应加权 $w(t) = \max(1-t, 0.2)$，在时间步 $t \to 0$（接近纯净图像阶段）施加更大拓扑纠偏力度，同时对饱和损失设置上限截断 $\min(\ell_{\text{topo}}, 0.95)$，从监督信号层面直接迫使整流流保留道路中线与车道线的长程连通性。

4. 结构化高斯渲染（SGR）：免训练的曲率自适应各向异性几何重塑

训练阶段引入的高斯模糊虽然稳定了反向扩散，却使推理直接输出的栅格缺乏真实标线刀刻般的边缘锐度。结构化高斯渲染（SGR）作为免训练的纯几何后处理流程，专门针对车道分隔线和道路分隔线两个细线通道运作。对于车道线，先进行自适应阈值化与骨架化提取并剪枝交叉节点，追踪成有序多折线；对于中心道路分隔线，则借助结构张量（Sobel）估计局部朝向、NMS 提取局部峰值并结合分水岭算法切分密集平行线，每条提取到的线段均通过弦长参数化最小二乘法拟合为三次贝塞尔曲线。随后以近似均匀弧长重新采样控制点，每个采样点扩展为一个各向异性超高斯基元 $(x, y, \sigma_\ell, \sigma_s, \theta, \alpha)$，其核函数定义为： $$g_i(u, v) = \exp\left(-\frac{1}{2}\left[\left(\frac{u_i'}{\sigma_{\ell, i}}\right)^2 + \left(\frac{v_i'}{\sigma_{s, i}}\right)^2\right]^{p/2}\right), \quad \hat{d}_{u,v,k}^{\text{SGR}} = 1 - \prod_{i\in\mathcal{G}_k}\big(1 - \alpha_i g_i(u, v)\big)$$ 通过将超高斯阶数设为 $p=3$（比传统二维高斯具有更平坦的核心区域和更陡峭的边缘滚降），以及沿着切向 $\theta_i$ 旋转后的乘法 Alpha 混合，彻底消除了由于密集采样重叠引起的尾部饱和现象，将发散模糊的概率图瞬时转换为高精矢量化的清晰线段。

损失函数 / 训练策略¶

总体训练目标由三部分线性组合构成： $$\mathcal{L} = \mathcal{L}_{\text{flow}} + \mathcal{L}_{\text{sem}} + \lambda_{\text{topo}} \mathbb{E}\left[w(t) \min(\ell_{\text{topo}}, 0.95)\right]$$ 其中拓扑权重设为 $\lambda_{\text{topo}} = 0.2$。模型在单机 4 卡 RTX 5090 集群上采用 AdamW 优化器，学习率设为 $8 \times 10^{-5}$，批量大小为 16，训练步数达 180k 步。为支持分类器无关引导（CFG），在训练期间以 $p_{\text{uncond}} = 0.1$ 的概率随机丢弃文本输入；外圈条件标线在训练时以 20% 的概率实施随机块状丢弃（keep ratio 随机分布于 $[0, 1]$），使模型同时具备依据局部稀疏观测补全中心线以及在完全无外圈线时根据道路边界自主规划标线的能力。

实验关键数据¶

主实验¶

评估在 Argoverse 2（AV2）测试集 4,597 个切片上展开，统一度量指标为容忍半径 $r=3$ 像素（约 $0.59\,\text{m}$）的 Buffered F1 和连通性骨架指标 clDice。对比基线包括针对中心补全重构改写的空中掩码精炼扩散模型 LSR-DM，以及使用轻量级残差 CNN 替代 SGR 的消融变体。

方法	全局平均 F1↑	全局平均 clDice↑	车道线 F1↑	车道线 clDice↑	道路分隔线 F1↑	道路分隔线 clDice↑	人行横道 F1↑	人行横道 clDice↑
LSR-DM (Adapted)	38.8	24.6	37.3	15.6	43.6	27.9	35.4	30.4
本文方法 (w/ CNN deblur)	62.7	46.3	50.2	18.5	64.9	37.3	73.0	83.1
本文方法 (w/ SGR deblur)	80.8	50.2	74.0	28.4	66.6	38.0	89.7	84.1

消融实验¶

针对拓扑感知损失与推理阶段 SGR 后处理在 AV2 与 Waymo 数据集上的双因素 $2 \times 2$ 消融检验如下：

数据集	拓扑损失	SGR 渲染	Buffered F1↑	clDice↑	说明
AV2	否	否	80.5	43.4	基础模型，缺乏连通性约束与平滑重构
AV2	否	是	81.8	47.2	仅靠几何超高斯拟合带来骨架指标改善
AV2	是	否	78.2	48.1	拓扑显式约束显著提升 clDice，但边缘软点影响 F1
AV2	是	是	80.8	50.2	完整模型：二者协同实现最高的拓扑连通得分
Waymo	否	否	88.6	59.1	基础配置在 Waymo 清晰几何上表现稳健
Waymo	否	是	87.3	61.9	SGR 提升骨架一致性 (+2.8 clDice)
Waymo	是	否	86.4	62.7	拓扑损失巩固长程连续性
Waymo	是	是	88.0	66.2	双组件使 clDice 达到最优的 66.2 (+7.1)

关键发现¶

SGR 对细线通道提升巨大：在 AV2 主实验中，相较于 CNN 反卷积去模糊，SGR 将车道线 F1 从 50.2% 大幅提升至 74.0%，clDice 从 18.5% 跃升至 28.4%，证明了参数化贝塞尔拟合对规则交通标线具有传统卷积不可替代的先验重塑能力。
拓扑损失与 SGR 互补：单纯开启拓扑损失会使软输出更集中在中心骨架处，但边缘略有退化，导致裸 F1 略降；然而一旦与 SGR 级联，二者结合在 AV2 上 clDice 达到最高的 50.2%，在 Waymo 上达到 66.2%，表明训练端连通性增强为推理端贝塞尔拟合提供了极佳的连续点链追踪输入。
可控编辑的非目标侧效应权衡：单子句文本编辑评估（添加/删除人行横道、单黄变双黄）中，删除人行横道的成功率达到 75.1%，但带来了 19.7% 的非目标误激活率；进一步调大 CFG 引导系数虽能使编辑成功率从 7.7% 上升到 35.3%，但非目标区域均方误差（fa-MSE）也随之急剧扩大。

亮点与洞察¶

“先模糊再各向异性渲染”的反直觉训练策略：通常图像生成极力追求高清锐利真值，但对于极度细薄且稀疏的线网，主动施加高斯模糊构造连续平滑密度场反倒根治了流匹配初期的梯度崩溃与断网，最后借由贝塞尔矢量基元完美复原边缘锐度，思路极为精妙。
超高斯核函数消除重叠饱和：在样条重绘时采用 $p=3$ 阶超高斯替代标准二维高斯，获得了更贴近真实物理标线的平坦盒型横截面，并通过局部切向自适应旋转和乘法合成解决了密集多基元叠加处过度变粗的问题。
技术迁移潜力：该套“潜空间流匹配 + 软骨架 clDice 拓扑正则 + 贝塞尔超高斯重塑”框架可直接迁移到电力线提取、医学视网膜血管网络补全、地下管网生成及遥感河流航道推演等所有高频细长连通图元合成场景。

局限与展望¶

作者承认的局限：目前文本生成提示完全依赖于元数据模板的确定性拼装，自然语言自由度有限；对于极精细的车道级风格控制（如单黄虚线换双黄实线）成功率仅为 31.0%，编辑可靠性仍有待提升。
评测协议与任务维度的局限：由于将问题建模为栅格像素通道生成，缺乏直接对应的矢量有向车道拓扑图（Lane Graph）与转向语义连通关系，生成产物仍需额外的矢量化工具才能导入车辆规划器。
未来改进方向：可将光栅扩散与自回归矢量拓扑生成网络（如 Polyline Transformer）联合训练，并在奖励函数中引入交通法规物理合规性判定，进一步强化端到端交互式城市场景设计闭环。

评分¶

新颖性: ⭐⭐⭐⭐☆ [首次将道路标线生成定义为结合几何与文本的多模态条件生成任务，提出软模糊搭配超高斯渲染的新范式]
实验充分度: ⭐⭐⭐⭐⭐ [跨 AV2、Waymo 与 nuScenes 三大数据集验证，包含全面的 $2 \times 2$ 拓扑/渲染消融、数据尺度曲线及单属性编辑控制评测]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述极其扎实，数学形式化严谨，实验图表详实且对负面编辑溢出效应有坦诚讨论]
价值: ⭐⭐⭐⭐☆ [为自动驾驶高精地图数据增广、极端工况虚拟仿真构建和早期智慧交通基础设施方案探索提供了实用工具]