Velocity-Space 3D Asset Editing¶

会议: NeurIPS 2026
arXiv: 2605.07385
论文: https://arxiv.org/abs/2605.07385
领域: 3D 生成
关键词: 3D资产编辑、整流流、无掩码编辑、结构隐空间、速度空间控制

一句话总结¶

提出无需微调、反演与空间掩码的原生 3D 编辑框架 VS3D，在整流流 ODE 内部通过动态校准无条件嵌入消除身份泄露、子样本均值外推增强编辑信号，并借助孪生前向残差注入实现几何与材质的高保真局部编辑。

研究背景与动机¶

局部编辑 3D 资产是内容创作、游戏开发以及具身智能仿真中的基础需求。用户往往期望对局部目标区域施加显著且精确的语义修改，同时使未编辑区域的几何结构与 PBR 材质严格保持原样。当前主流的原生 3D 生成模型（如 TRELLIS 2.0）普遍基于整流流扩散 Transformer（Rectified-Flow DiT）构建，其三维生成过程由条件流匹配训练出的速度场常微分方程（ODE）驱动。在此类模型上进行局部编辑，本质上要求速度场在目标编辑区域具备足够的更新强度，而在需保留的背景区域收敛为零。然而，现有的 3D 编辑方法普遍回避在 ODE 采样器内部探究速度场失真根源，而是依赖外挂机制维持身份一致性：或依赖人工绘制粗糙易产生接缝瑕疵的三维掩码，或通过后处理连通分支硬拼贴导致几何伪影，或退化为多视角 2D 编辑再三维提升而累积视角不一致性。

无反演速度空间编辑（如 FlowEdit）尝试通过共享噪声耦合源分支与目标分支，利用二者的差分速度场 $v_\Delta$ 驱动编辑位移。然而深入分析该 ODE 动力学后可以发现，差分速度场无法同时兼顾局部修改与全局保真，暴露出三个深层矛盾：首先是双通道身份泄露，由于有效编辑必须满足目标引导权重大于源分支（$\omega_{\mathrm{tgt}} \gg \omega_{\mathrm{src}}$），非对称分类器无关引导（CFG）直接产生结构性非零速度残差；加之 DINOv3 图像条件以单全局 token 输入，交叉注意力机制会将局部图像差异弥散至全部体素，使欧拉积分在非编辑区持续累积几何漂移。其次是编辑放大通道缺失，在 3D DiT 高昂计算代价所迫的极少采样步数下，蒙特卡洛估计方差压制了真实编辑信号，导致抑制泄露后编辑强度明显不足。最后是下游阶段的全局条件拖拽，在稀疏几何与材质生成阶段，源与目标体素坐标支持集不一致导致速度耦合失效，全局目标图像条件会强行覆盖保留区域的几何与纹理细节。

面对上述矛盾，将身份保持与编辑增强强行交由外部机制切割是治标不治本的做法，最本质的解法是直接介入 ODE 内部速度场的演化机制。核心 idea：构建纯速度空间、无反演且无掩码的 3D 编辑框架 VS3D，在占用率生成阶段利用源重建探针将无条件嵌入校准为动态锚点（RASI）消除身份泄露，通过子样本均值对比外推（PMG）定向放大编辑信号，并在稀疏几何与材质阶段通过孪生前向自适应残差注入（TAR）选择性恢复源资产高频细节。

方法详解¶

整体框架¶

VS3D 面向基于 TRELLIS 2.0 的三阶段原生 3D 生成架构构建，该骨干包含 Stage 1 稠密低分辨率占用率生成（连续潜在张量 $z^{\mathrm{ss}} \in \mathbb{R}^{C \times R \times R \times R}$，解码为二值激活体素集 $\mathcal{V} \subset \mathbb{Z}^3$）、Stage 2 稀疏几何 SLAT 生成与 Stage 3 稀疏材质 SLAT 生成。系统输入源 3D 资产 $\mathcal{A}_{\mathrm{src}}$ 与一对参考图像 $(I_{\mathrm{src}}, I_{\mathrm{tgt}})$，在不微调任何模型参数、不引入外部 3D 掩码的前提下完成单步前向流编辑。整体流程分为密集占用率速度空间控制与稀疏结构残差回拉两大阶段：Stage 1 首先通过 RASI 消除速度泄露并由 PMG 放大编辑强度生成目标占用率坐标 $\mathcal{C}_{\mathrm{tgt}}$；Stages 2–3 则在目标坐标上执行条件置换的孪生前向，利用特征一致性置信度精准识别未修改 token 并注入源资产编码残差。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：源 3D 资产与参考图像对<br/>(A_src, I_src, I_tgt)"] --> B["Stage 1 占用率流编辑<br/>共享噪声耦合差分速度场"]
    B --> C["重建锚定源注入（RASI）<br/>源重建探针动态校准无条件嵌入 phi_t"]
    C --> D["部分均值引导（PMG）<br/>全样本与子样本差分速度均值外推"]
    D --> E["解码获得目标激活坐标集 C_tgt"]
    E --> F["Stage 2 几何与 Stage 3 材质生成<br/>稀疏 DiT 条件置换孪生前向采样"]
    F --> G["孪生一致性残差注入（TAR）<br/>计算 token 差异图并自适应注入源编码残差"]
    G --> H["输出高保真编辑后 3D 资产<br/>Flexicubes 提取网格与 PBR 材质"]

关键设计¶

1. 重建锚定源注入（RASI）：动态优化无条件嵌入以消除两通道身份泄露 针对 FlowEdit 差分速度场 $v_\Delta$ 在非编辑区无法归零导致的体素漂移问题，本文在理论上证明了即使在两分支输入相同条件（$c_{\mathrm{tgt}} = c_{\mathrm{src}}$）的退化情况下，差分速度场仍存在非零项： $$v_{\Delta}\big|_{c_{\mathrm{tgt}}=c_{\mathrm{src}}} = (\omega_{\mathrm{tgt}}-\omega_{\mathrm{src}})\big[v_{\theta}(z_{t}^{\mathrm{src}},t,c_{\mathrm{src}})-v_{\theta}(z_{t}^{\mathrm{src}},t,\phi)\big]$$ 由于有效编辑必然采用强目标引导（$\omega_{\mathrm{tgt}} \gg \omega_{\mathrm{src}}$），系数 $(\omega_{\mathrm{tgt}}-\omega_{\mathrm{src}})$ 结构性非零；同时全局 DINOv3 token 的密集交叉注意力会将局部编辑差异广播到整个三维体素空间。RASI 敏锐地发现，网络内置的无条件空嵌入 $\phi$ 是天然的泄露吸收位点。在每个活跃时间步 $t_k$，算法设置源重建探针（Source-Reconstruction Probe）：令目标分支同样输入源条件 $c_{\mathrm{src}}$ 但保留真实的强编辑引导权重 $\omega_{\mathrm{tgt}}$，构建单步欧拉重建误差优化目标： $$\phi_{t_{k}} = \arg\min_{\phi} \Big\| z_{t_{k}}^{\mathrm{edit}} + \Delta t\big(\tilde{v}_{\theta}(z_{t_{k}}^{\mathrm{tgt}},t_{k},c_{\mathrm{src}},\phi;\omega_{\mathrm{tgt}}) - \tilde{v}_{\theta}(z_{t_{k}}^{\mathrm{src}},t_{k},c_{\mathrm{src}},\phi;\omega_{\mathrm{src}})\big) - x_{\mathrm{src}} \Big\|_{2}^{2}$$ 仅需 3 步轻量梯度回传，$\phi_{t_k}$ 便吸收了 CFG 非对称性与全局条件偏差。在正式编辑时，以缓存的 $\phi_{t_k}$ 替换原本的静态空嵌入 $\phi_0$，使得未编辑体素上的差分速度自发衰减坍缩至零，无需任何空间硬掩码即锁定背景身份。

2. 部分均值引导（PMG）：基于蒙特卡洛子样本均值外推放大编辑信号 在 RASI 强力压制非编辑区速度漂移后，由于优化过程基于单步欧拉重建，可能连带削弱了编辑区域的真实更新幅度；加之 3D DiT 计算开销限制导致单步噪声采样数极小（如 $S=5$），差分速度估计值极易被蒙特卡洛方差主导。PMG 巧妙利用多样本估算的内在统计结构，在不增加额外网络前向的前提下构建自门控编辑放大器。设单次噪声抽样计算的差分速度为 $v_\Delta^{(s)} = \mu + \eta^{(s)}$，其中 $\mu$ 为期望编辑信号，$\eta^{(s)}$ 为均值为零的高斯噪声项。全样本均值 $\hat{\mu}_S = \frac{1}{S}\sum_{s=1}^S v_\Delta^{(s)}$ 与低样本子集均值 $\hat{\mu}_L = \frac{1}{L}\sum_{s=1}^L v_\Delta^{(s)}$（$1 \le L < S$）均为 $\mu$ 的无偏估计，但后者方差显著更大。PMG 沿着高置信度方向执行外推： $$u = \hat{\mu}_S + w(\hat{\mu}_S - \hat{\mu}_L) = (1+w)\hat{\mu}_S - w\hat{\mu}_L, \quad w \ge 0$$ 这一机制具有极为优雅的自门控特性：在未编辑区域，RASI 已使真实信号 $\mu \to 0$，两个估计均在零点附近随机抖动，外推修正项均值为零；而在编辑区域，$\mu$ 显著存在且 $\hat{\mu}_S$ 更为精准，外推计算自动定向拉长真实编辑速度分量，解耦了编辑强度与背景保真度的相互掣肘。

3. 孪生一致性残差注入（TAR）：通过条件置换探测稀疏阶段编辑敏感性并回拉源特征 当 Stage 1 确定目标占用率网格 $\mathcal{C}_{\mathrm{tgt}}$ 后，下游几何与材质稀疏 DiT 无法复用速度空间耦合，因为源与目标的激活坐标集 $\mathcal{C}_{\mathrm{src}}$ 与 $\mathcal{C}_{\mathrm{tgt}}$ 不一致；若直接以 $c_{\mathrm{tgt}}$ 进行前向采样，全局图像特征会强行篡改保留体素的微观几何与表面纹理。TAR 提出在目标支撑坐标集 $\mathcal{C}_{\mathrm{tgt}}$ 上执行孪生前向探测：保持相同的初始噪声种子与调度序列，分别在目标图像嵌入 $c_{\mathrm{tgt}}$ 与源图像嵌入 $c_{\mathrm{src}}$ 下运行稀疏 DiT 前向： $$z_{\mathrm{tgt}} = \mathcal{S}_{\theta}^{\mathrm{stage}}(\mathcal{C}_{\mathrm{tgt}};\,\varepsilon,\,c_{\mathrm{tgt}}), \qquad z_{\mathrm{src}}^{\mathrm{twin}} = \mathcal{S}_{\theta}^{\mathrm{stage}}(\mathcal{C}_{\mathrm{tgt}};\,\varepsilon,\,c_{\mathrm{src}})$$ 通过计算各 token 的特征欧氏距离 $d_i = \|z_{\mathrm{tgt}}[i] - z_{\mathrm{src}}^{\mathrm{twin}}[i]\|_2$，经由鲁棒分位数归一化映射为保留置信度 $p_{\mathrm{flow}}[i] = 1 - \mathrm{clip}\big(\frac{d_i - q_\alpha(d)}{q_\beta(d) - q_\alpha(d)}, 0, 1\big)$。在源与目标坐标重合区域 $\mathcal{I} = \mathcal{C}_{\mathrm{tgt}} \cap \mathcal{C}_{\mathrm{src}}$ 上，利用预先由 SC-VAE 提取的源资产离散编码特征 $z_{\mathrm{src}}^{\mathrm{enc}}$，实施自适应残差回拉： $$z[i] = z_{\mathrm{tgt}}[i] + \lambda p_{\mathrm{flow}}[i] \mathbf{1}[p_{\mathrm{flow}}[i] \ge \vartheta] \mathrm{clip}_\tau\big(z_{\mathrm{src}}^{\mathrm{enc}}[i] - z_{\mathrm{tgt}}[i]\big) \quad (i \in \mathcal{I})$$ 而在全新增生的坐标区域（$i \in \mathcal{C}_{\mathrm{tgt}} \setminus \mathcal{I}$），则完全保留目标分支生成内容。该设计使模型无需任何人工交互即可实现 token 级别的几何与纹理自适应保护。

损失函数 / 训练策略¶

VS3D 属于无需模型重训练与权重微调（Training-free）的测试期编辑框架，骨干生成器权重完全冻结。Stage 1 的 RASI 模块在活跃采样区间 $t \in [0.6, 1.0]$（离散步数 $n_{\max}=12$）内执行在线校准，采用 Adam 优化器更新无条件嵌入 $\phi_{t_k}$，内部步数 $K=3$，学习率设为 $10^{-5}$，早停阈值设为 $10^{-5}$；CFG 权重设定为 $\omega_{\mathrm{src}}=1.5, \omega_{\mathrm{tgt}}=9.0$。PMG 模块设定子样本窗口 $L=2, S=5$，外推增益因子 $w=1.2$。Stage 2 与 Stage 3 的 TAR 模块设定分位数阈值 $(\alpha, \beta) = (0.05, 0.95)$，置信度阈值 $\vartheta=0.7$，模长截断 $\tau=10$，残差混合强度 $\lambda=0.5$。

实验关键数据¶

主实验¶

在基于 Objaverse 构建的标准 3D 编辑测试集上，针对单视角参考图像与文本指令引导的局部编辑任务进行系统评估。测试包含 16 个典型视角的渲染保真度指标（PSNR、SSIM、LPIPS）、跨视角目标语义一致性（DINO-I）、文本对齐度（CLIP-T）以及未编辑区域的三维几何倒角距离（Chamfer Distance, CD）。

方法	无需掩码 (Mask-free)	PSNR ↑ (dB)	SSIM ↑	LPIPS ↓	DINO-I ↑	CLIP-T ↑	CD ↓
TRELLIS 2.0 (原生重绘)	✗	17.30	0.793	0.288	0.720	0.278	0.089
VoxHammer	✗	18.12	0.786	0.155	0.809	0.283	0.024
Instant3dit	✗	14.96	0.684	0.229	0.609	0.267	0.053
VecSet-Edit	✗	20.40	0.829	0.199	0.763	0.212	0.051
Edit360	✓	16.74	0.830	0.299	0.501	0.245	0.173
Nano3D	✓	19.04	0.801	0.242	0.715	0.285	0.096
VS3D (本文)	✓	22.51	0.867	0.145	0.841	0.294	0.034

消融实验¶

消融实验以基础 FlowEdit 为基线逐步叠加各核心组件，分析其在解决非编辑区漂移、编辑强度恢复以及纹理/材质保真度上的独立贡献，并统计在单张 NVIDIA RTX 4090 GPU 上的推理耗时。

配置	核心作用与行为表现	推理耗时 (s)
Base FlowEdit	非编辑区遭受严重的体素占有率漂移，背景几何严重变形	~35
+ RASI	锚定源轨迹，有效抑制非编辑区占有率漂移；但编辑信号受损，局部修改强度不足	~48
+ RASI + PMG	子样本均值外推显著放大编辑信号，新增部件与形态变形恢复清晰，背景保持稳定	~50
+ RASI + PMG + TAR (Full VS3D)	在几何与材质阶段高保真恢复源资产表面纹理与细节，实现全流程高质量编辑	57

对比其他代表性方法在 RTX 4090 上的单资产运行时间：VoxHammer（394s，需要反演与复杂匹配）、Edit360（495s，需要 360 度视频扩散与提升）、Nano3D（143s，需要连通分支计算与特征拼接）、Instant3dit（46.2s）。VS3D 在仅需 57 秒的极短时间内实现了无需掩码的最佳编辑质量。

关键发现¶

RASI 与 PMG 构成了一对互补的制衡机制：RASI 针对 ODE 的无条件嵌入切断了非编辑区域的漂移通道，而 PMG 依托蒙特卡洛方差特性实现信号强度的定向恢复，二者缺一不可。
TAR 成功弥补了跨阶段离散坐标失配的技术断层：即使 Stage 1 的占有率边界存在轻微偏差，TAR 依靠语义敏感度对比图准确分离修改与保持区域，使材料与高频几何能够无缝锚定到源资产特征。
在包含增、删、改以及复合编辑（Add & Remove 同时发生）的极端场景下，基线方法往往由于边界硬切割或累积误差崩溃，而 VS3D 全程在流速度空间内连续积分，表现出卓越的结构稳定性与外观逼真度。

亮点与洞察¶

将无条件嵌入转化为动态校准阻尼器：传统扩散引导将空文本/空条件视为不可变的静态常数，而 RASI 揭示了通过源重建探针动态微调 $\phi$ 可以吸收复杂的引导非对称误差与全局注意力泄露，为测试期无反演控制提供了通用思路。
方差外推带来的免开销自门控：PMG 避开了复杂的显式空间注意力加权网络，直接从蒙特卡洛积分固有的子样本统计方差差异中提取编辑方向，不仅完全不增加前向推理代价，而且在物理机理上实现了自动自门控。
孪生前向自适应特征掩码：TAR 摆脱了 3D 空间显式几何掩码的刚性束缚，通过在同一坐标架构下置换条件对比潜在特征差异，赋予了 DiT 模型自身判断“何处该变、何处该留”的内生能力。

局限与展望¶

无掩码机制下的像素级纹理边界约束上限：由于完全不依赖人工提供的精确硬掩码，未编辑区域的纹理与材质依靠潜在特征残差回拉，虽然在感知层面极其接近源资产，但在严格几何投影下仍无法做到 100% 像素级比特一致。
生成能力强依赖骨干网络先验：VS3D 属于无微调的即插即用型控制框架，编辑结果的几何精细度与材质表现严格受制于基础生成模型（如 TRELLIS 2.0）的表现上限；若底层模型无法生成特定拓扑，算法难以超额补偿。
未来改进方向：可进一步探索将 RASI 的自适应优化思想扩展至高阶 ODE 求解器（如 DPM-Solver 或 UniPC），进一步减少时间积分步数并加速三维流编辑过程。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从整流流 ODE 速度场内在动力学切入解决原生 3D 资产编辑中的漂移矛盾，理论剖析深入透彻。
实验充分度: ⭐⭐⭐⭐⭐ 构建了严格的无掩码与有掩码横向评测体系，消融细致且全面报告了渲染、语义、几何以及运行耗时。
写作质量: ⭐⭐⭐⭐⭐ 问题建模严谨，数学推导清晰连贯，算法流程与设计动机呼应紧密。
价值: ⭐⭐⭐⭐⭐ 为预训练原生 3D 生成模型的高效无监督控制开辟了崭新途径，具备极强的工业实用与学术参考价值。