TASE: Truncation-Aware Semantic Embeddings for 3D Scene Understanding and Editing¶

会议: ECCV 2026
论文: ECCV 原文
领域: 自动驾驶
关键词: 3D高斯泼溅, 3D场景编辑, 截断感知语义嵌入, 套娃表示学习, 几何一致性

一句话总结¶

TASE 通过套娃自编码器将预训练 2D 语义特征映射为通道有序且无 2D 位置偏置的截断感知嵌入，并将其提升至 3D 高斯泼溅中，借助渐进通道截断调控语义抽象层级与场景贴合度，实现了支持大幅几何重构的高保真文本引导 3D 场景编辑。

研究背景与动机¶

高保真 3D 场景表征（如 3D Gaussian Splatting, 3DGS）因其实时渲染与显式几何属性，在机器人导航、自动驾驶仿真构建及虚拟现实中扮演着核心角色。为了满足自动驾驶闭环测试与数字孪生重建中对于极端天气、罕见障碍物乃至特定目标属性替换的需求，可控且灵活的 3D 场景编辑成为了迫切需要攻克的问题。尽管已有研究尝试利用预训练 2D 扩散模型通过分数蒸馏（SDS）或伪视角迭代合成来更新 3DGS 场景参数，但现有方案高度依赖当前视角的 RGB 渲染图或几何深度图作为条件引导，这使得编辑过程紧紧受困于原始场景的已有几何轮廓，难以实现从自行车到摩托车这类伴随大幅拓扑形变与结构重构的复杂编辑。

将开放词表 2D 密集语义特征（如 DINO、CLIP）提升至 3D 空间是破解这一瓶颈的潜在路径，但直接提升面临多重严峻挑战。首先，预训练特征维度极高，直接绑定高斯点会导致显存爆炸与计算瓶颈；其次，既有基于量化或场景专用自编码器的压缩方案缺乏对「语义抽象级别」的细粒度调控机制；更为关键的是，2D 视觉主干网络普遍隐含强烈的 2D 绝对位置偏置（如 Patch 绝对坐标依赖），多视角联合优化时极易引发多视角特征不一致和模糊伪影。如何在压缩特征维度的同时消除位置偏置，并建立一种可自由在「粗粒度语义结构」与「细粒度实例纹理」之间连续调控的表征空间，构成了当前 3D 语义编辑的核心矛盾。

本文的核心思路是利用通道有序的套娃表示学习（Matryoshka Representation Learning）构建截断感知的语义嵌入空间，并辅以尺度与平移一致性约束消除 2D 位置偏置。核心 idea：通过训练轻量对称自编码器将预训练 DINOv3 特征投影为 64 维截断感知语义嵌入（TASE），利用通道截断直接调控生成模型对原场景的语义抽象与结构贴合度，配合微调版 ControlNet 与渐进式解算调度，实现支持显著几何形变的高质量 3DGS 局部与全局编辑。

方法详解¶

整体框架¶

TASE 的完整工作流包含四个阶段：预训练 2D 语义特征的截断感知自编码投影、3D 高斯场景的语义提升与联合优化、基于语义相似度的 3D 目标分割（用于局部编辑），以及由 TASE 条件引导的 ControlNet 视角生成与 3DGS 迭代更新循环。整个编辑循环通过逐步增加保留的特征通道数，实现从早期大刀阔斧重构几何结构，到后期细化局部外观细节的平滑过渡。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["2D 输入图像 / 渲染图像"] --> B["1. 截断感知语义自编码器<br/>DINOv3 特征提取 + 套娃截断与位置去偏"]
    B --> C["2. 语义嵌入 3DGS 空间提升<br/>特征泼溅渲染 + 平滑与马氏距离正则化"]
    C --> D["3. 相似度引导的 3D 空间分割<br/>多视角锚点匹配 + 空间连通传播过滤"]
    D --> E["4. 截断条件 ControlNet 与编辑调度<br/>FLUX.1 扩散引导 + 通道递增与去伪影微调"]
    E -->|迭代优化 3DGS 参数| C

关键设计¶

1. 截断感知语义自编码器：通道有序分级与位置偏置剔除 为了同时满足特征降维、语义抽象分层与跨视角一致性的严苛要求，作者设计了对称结构的轻量 Transformer 自编码器，将冻结的 DINOv3 骨干输出特征 $F_o \in \mathbb{R}^{H \times W \times N_o}$ 压缩至 $N_h = 64$ 维的潜空间 $F_h$。重构损失结合余弦相似度与均方误差： $$ \ell_r(\mathbf{f}_o, \mathbf{f}r) = \lambda}} \left(1 - \frac{\mathbf{fo^\top \mathbf{f}_r}{klzzwxh:001\mathbf{f}_o||\mathbf{f}r|}\right) + \lambda_r|_2^2 $$ 为了在潜变量中赋予通道内在的重要度层级，模型引入套娃表示学习机制，在训练阶段对离散截断层级集合 }} |\mathbf{f}_o - \mathbf{f$\mathcal{T} = \{2^1, 2^2, \dots, 2^6\}$ 施加通道后缀掩码 $\mathtt{mask}(\mathbf{f}_h, t)$，将最后 $N_h - t$ 个通道置零后送入解码器计算平均重构损失 $\mathcal{L}_r^{\text{nested}}$。此外，针对 2D 视觉 Transformer 固有空间绝对位置偏置导致的跨视角不一致缺陷，模型施加尺度与平移一致性损失 $\mathcal{L}_{\text{cons}}$：强制要求整图裁剪区域的潜特征与直接对局部裁剪图像提取并编码得到的潜特征高度对齐。这种设计使得模型彻底剥离绝对网格位置线索，仅保留纯粹且跨视角不变的物体语义属性。

2. 语义嵌入 3DGS 空间提升：泼溅渲染与流形正则化约束 将训练好的编码器学得的 TASE 嵌入提升并固化到三维场景中时，每个三维高斯点不仅携带中心位置、旋转四元数、缩放向量、不透明度与球谐系数，还额外附加一个可学习的 64 维特征向量 $\mathbf{f}_i$。利用与 RGB 完全一致的 $\alpha$-blending 泼溅渲染机制，在任意训练视角下前向光栅化出连续的二维语义特征图 $\mathcal{F}_h^{\text{rendered}}$，并与该视角的真实图像特征图计算重构损失 $\mathcal{L}_{f_h}$。由于 2D 特征分辨率远低于原始像素，直接反向传播易使高斯点产生高频空间混叠与伪影，因此引入 $k$ 近邻局部平滑损失 $\mathcal{L}_s$： $$ \mathcal{L}s = \frac{1}{N} \sum_j) $$ 更为精妙的是，为了防止 3DGS 在自由拟合过程中使特征向量漂移出预训练自编码器的合理分布空间，作者引入了马氏距离正则化损失 }^N \frac{1}{k} \sum_{j \in \mathtt{kNN}(\mathcal{G}_i, \mathcal{G})} \mathcal{L}_r(\mathbf{f}_i, \mathbf{f$\mathcal{L}_{\text{maha}}$。该损失严密约束每个高斯点的特征向量紧邻离线计算好的特征统计均值与协方差椭球，确保提升后的三维语义场在几何密集化和分裂时依然严格保持在流形内部，避免下游分割与生成分支发生崩溃。

3. 相似度引导的 3D 空间分割：语义锚点匹配与自适应邻域传播 在执行局部对象编辑（如单独替换场景中的车辆或动物）时，必须精准隔离目标高斯子集而绝不破坏背景建筑或道路。用户只需在单一或少量视角中点击标注目标区域，系统即提取该区域在对应渲染语义特征图中的中位数特征作为语义锚点 $\mathbf{f}_k^{\text{anchor}}$。通过计算场景中所有三维高斯特征向量与该锚点的余弦相似度，初步按严格阈值 $\tau_s$ 过滤核心点集： $$ \delta_i = \bigvee_k \left( \frac{\mathbf{f}_i^\top \mathbf{f}_k^{\text{anchor}}}{|\mathbf{f}_i| |\mathbf{f}_k^{\text{anchor}}|} > \tau_s \right) $$ 为了解决目标局部阴影或反光导致的欠分割问题，算法以已选取的种子点为中心，采用宽松阈值 $\tau_p < \tau_s$ 向空间相邻的高斯球做迭代连通传播；随后利用空间 $k$ 近邻进行多数投票，强效消除游离孤立的误判噪点。用户还可选取背景区域设定负锚点（Negative Anchors）施加硬排除。值得注意的是，该分割流程天然支持通道截断，用户可通过调整比对通道数来自由决定匹配的是粗粒度类别还是细粒度实例。

4. 截断条件 ControlNet 与编辑调度：解算解耦与几何去伪影微调 场景编辑生成器以 FLUX.1[dev] 的 Vision Transformer（MViT）为基础扩散主干，构建了一套与 TASE 空间完全对齐的 ControlNet 控制分支。输入特征 $F_h$ 经双线性插值直接适配扩散潜空间维度，避免经过二次 VAE 编码损失语义保真度。在训练 MCtrl 时，随机对特征通道进行套娃式零掩码，使网络学会理解不同抽象粒度下的语义引导信号。在实际 3D 编辑循环中，算法采用了巧妙的动态调度机制（Curriculum Scheduling）： - 前期阶段（强力重构）：将输入特征图激进截断为极少通道（如 2 或 4 维），特征仅提供极其粗略的几何轮廓约束，此时文本提示词占据绝对主导，ControlNet 得以在目标区域大胆生成与原形貌截然不同的全新几何结构与外观； - 后期阶段（保真精修）：逐步将特征恢复至全通道（64 维），同时将当前 3DGS 渲染的 RGB 图像引入生成回路，大幅降低几何参数的学习率，专注于消除细微接缝并恢复逼真纹理细节。针对剧烈几何重构（如高斯密集化与修剪）容易引入几何漂浮物与接缝伪影的顽疾，作者进一步借鉴 Difix3D+ 思想构建了 50k 几何扰动退化图像对，利用 AnySplat 合成带有局部高斯形变的视图并在 $t_{\text{corrupted}}=200$ 加噪潜空间微调生成网络，使得 ControlNet 具备了主动修复 3D 粗糙几何渲染瑕疵的强大去噪能力。

损失函数 / 训练策略¶

TASE 整体分为两阶段离线预训练与单场景在线编辑优化： 1. TASE 自编码器训练：在 ImageNet-1k 上单卡训练 1 个 epoch，学习率为 $10^{-4}$，总损失为 $\mathcal{L}_{\text{TASE}} = \tilde{\mathcal{L}}_r + \lambda_{\text{cons}} \mathcal{L}_{\text{cons}}$。 2. ControlNet 训练与微调：MCtrl 分支在 ImageNet-1k 上训练 1 个 epoch（余弦退火，峰值学习率 $10^{-5}$），随后在 50,000 对扰动数据集上以学习率 $10^{-6}$ 微调 4 个 epoch。 3. 3DGS 编辑在线拟合：高斯场景的优化目标函数为： $$ \mathcal{L}{\text{splat}} = \lambda} \mathcal{L{l1} + \lambda}} \mathcal{L{\text{SSIM}} + \lambda_f \mathcal{L}} + \lambda_s \mathcal{Ls + \lambda $$ 在局部编辑时，将扩张后的 3D 分割投影掩码作为 Inpainting 边界，并对目标区域的高斯不透明度 }} \mathcal{L}_{\text{maha}$\alpha_i$ 和基底球谐系数施加权重衰减，使旧几何体能够顺利消融衰退，避免高斯点过度密集化膨胀。

实验关键数据¶

主实验¶

评估涵盖多个公开 3DGS 编辑场景，针对局部场景编辑任务，作者采用了 CLIP Directional Similarity（度量编辑方向在图像与文本空间的一致性）以及用户主观评估（User Study，分别统计几何结构与外观重构的偏好胜率）。对比基线包括 Direct Gaussian Editing (DGE)、GaussianEditor (GE)、EditSplat (ES) 与 DreamCatalyst (DC)。

方法	CLIP dir. sim. ↑	用户偏好 (几何) ↑	用户偏好 (外观) ↑	说明
DreamCatalyst [ICLR'25]	0.0985	—	—	基于分数蒸馏，局部形变受限严重
GaussianEditor [CVPR'24]	0.1179	16.7%	8.8%	依赖粗粒度几何引导，大形变下失真
DGE [ECCV'25]	0.1247	19.1%	18.7%	多视角伪视角迭代，无法突破原图几何结构
EditSplat [CVPR'25]	0.1492	—	—	注意力引导优化，缺乏可控语义抽象能力
TASE (本文)	0.1542	64.3%	72.5%	在涉及大幅几何形变的编辑中均获得压倒性胜率

消融实验¶

作者在测试视角原始场景重建指标（PSNR, SSIM, 特征损失 $L_f$）以及编辑一致性指标（CLIP dir. sim.）上，针对降维机制（PCA 对比 MTASE 自编码器）、位置一致性损失 $\mathcal{L}_{\text{cons}}$ 以及几何去伪影微调阶段（FT）进行了全面隔离验证。

配置	PSNR ↑	SSIM ↑	特征损失 $L_f$ ↓	CLIP dir. sim. ↑	说明
PCA	22.64	0.73	0.0879	0.1067	传统 PCA 线性投影，几何容易崩溃
PCA + FT	—	—	—	0.1365	几何微调能部分修补局部伪影
MTASE (无 $\mathcal{L}_{\text{cons}}$)	23.89	0.76	0.1016	0.0852	存在 2D 绝对位置偏置，跨视角严重不一致
MTASE + FT (无 $\mathcal{L}_{\text{cons}}$)	—	—	—	0.0905	缺少跨视角一致性，微调无法拯救编辑发散
MTASE + $\mathcal{L}_{\text{cons}}$	24.64	0.78	0.0120	0.1385	一致性损失将特征拟合误差压低一个数量级
MTASE + $\mathcal{L}_{\text{cons}}$ + FT (完整模型)	24.64	0.78	0.0120	0.1542	各项指标全面最优，几何与纹理兼备

关键发现¶

一致性损失是跨视角提升的胜负手：消融数据显示，引入 $\mathcal{L}_{\text{cons}}$ 使三维场景拟合的特征损失 $L_f$ 从 0.1016 骤降至 0.0120（降低近 90%）。缺少这一项时，2D 特征所绑定的 Patch 坐标偏置会引发高斯球在多视角投影中的严重“拉扯撕裂”，导致后续 3DGS 优化频繁崩溃。
套娃截断实现了连续的语义抽象解耦：当将控制通道截断至 2 维时，生成的图像几乎完全脱离原始物体形状、全心顺从文本提示词（如将单车彻底重构为粗壮的越野摩托车）；而保留 64 维时则近乎完整复原原始结构与精细轮廓。
Difix3D+ 微调有效抚平几何断层：在大幅修改几何体时，新插入或分裂的高斯点常常产生破损毛刺，经伪影微调的 ControlNet 能在去噪过程中智能识别出渲染退化并自动平滑补齐。

亮点与洞察¶

将套娃表示学习无缝引入三维生成控制：巧妙利用渐进掩码机制将多粒度语义抽象压缩进单一紧凑潜空间，打破了以往 3D 编辑要么被输入网格/深度“锁死”、要么彻底自由发散失控的两难境地。
2D 绝对位置偏置的自监督解耦策略：无需任何真值 3D 点云或多视角标注数据，纯粹通过二维图像裁剪区域特征与全图局部特征的仿射一致性约束，在轻量自编码器层级根治了 ViT 提取特征用于三维重建时的视角撕裂顽疾。
动态调度课程学习范式：在编辑推进过程中动态增加有效特征维度、同时衰减旧几何透明度的退火策略，非常契合从“拓扑塑形”到“纹理上色”的三维编辑客观规律，可直接泛化到其他基于 NeRF/3DGS 的重构管线。

局限与展望¶

高斯自适应致密化超参数较为敏感：在极具挑战的极端几何形变下（如细长自行车变为宽体汽车），高斯分裂与剪枝的阈值调度仍需针对不同复杂场景微调，否则可能导致欠致密化孔洞或背景过度密集膨胀。
颜色与语义未显式解耦：由于 TASE 是基于纯视觉自监督特征训练的单一潜空间，当文本提示词要求对复杂几何同时进行细微指定换色时，语义与外观调整可能发生轻微混叠，偶尔会有少量高斯浮游物溢出至背景边界。
计算开销与推理时延：尽管 3DGS 渲染极快，但在多视角迭代编辑回路中频繁调用 FLUX.1 大模型进行潜变量去噪，相比纯显式几何变形算法仍耗费更多显存与计算时间。

评分¶

新颖性: ⭐⭐⭐⭐⭐（首次将套娃表示学习与无位置偏置 2D 特征无缝嫁接到 3DGS 可控场景编辑中）
实验充分度: ⭐⭐⭐⭐☆（主实验指标全面，消融实验针对每个核心组件均给出了硬核数值与定性证据）
写作质量: ⭐⭐⭐⭐⭐（逻辑链条层层递进，从痛点剖析到方法公式推导清晰连贯）
价值: ⭐⭐⭐⭐⭐（为自动驾驶多模态仿真资产生成、场景编辑与长尾 Corner Case 仿真合成提供了极具实用价值的基础设施）