RADmesh: Remesh-Aware Mesh Deformation¶

会议: ECCV 2026
论文: ECCV 官方
项目主页: https://threedle.github.io/radmesh
领域: 3D生成与编辑
关键词: 显式网格形变, 动态重网格化, 状态插值, 分数蒸馏采样, 生成式3D编辑

一句话总结¶

针对显式网格在噪声视觉损失引导下做大幅度生成式形变易导致网格面退化与拓扑受限的难题，RADmesh 提出将顶点级六维尺度-旋转形变表征与由粗到细的周期性各向同性重网格化及优化器状态插值相结合，实现了保面片质量、支持大尺度局部生长与全局结构细化的纯网格端到端生成。

研究背景与动机¶

近年来，借助预训练 2D 扩散模型通过分数蒸馏采样（SDS/CSD）提供语义监督，对 3D 网格进行显式形变与编辑取得了显著进展。诸如 TextDeformer、MeshUp 以及 Geometry in Style 等代表性方法，通常将形变优化变量定义在固定的网格拓扑之上（如优化面片雅可比矩阵或顶点局部旋转），通过可微求解器（如 dARAP 或泊松方程）解算全局顶点位移。然而，这些方法严格锁定网格的拓扑连接关系，只能在初始三角剖分的几何表达能力范围内进行拉伸或挤压。当目标编辑涉及大尺度几何重构、长距离肢体生长（如为动物添加大翅膀、长尾巴、分叉鹿角）或薄壁结构生成时，固定拓扑不可避免地导致局部三角形被极端拉伸或扭曲，引发严重的几何退化、自相交以及局部面片分辨率匮乏，最终使复杂几何特征无法生成。

直接在生成式形变优化中引入重网格化（Remeshing）具有直观的必要性，因为合理的三角网格剖分本身就隐含了底层几何的分布与曲率特征。然而，将重网格化与生成式视觉监督耦合面临极为棘手的技术壁垒。重网格化本质上是离散且非可微的操作（包含边折叠、边分裂、边对齐等指针调整），而扩散模型提供的 SDS 梯度监督具有众所周知的极高随机噪声。现有面向逆向渲染（Inverse Rendering）的连续重网格化方法（如 Palfinger、RoAR）深度绑定原始顶点坐标作为优化变量，依赖梯度的局部统计启发式调整面片，这种机制直接套用于生成任务时极不稳定。与此同时，生成式形变任务表现优异的微分形变量（如面片雅可比矩阵）属于面片级属性，在发生离散拓扑重构时，极难无损地映射并插值到新生成的网格顶点或面片上，极易造成几何断裂与优化崩溃。

RADmesh 的切入角度在于：放弃面片级雅可比表征，构建一种能够天然支持重网格化连续过渡的顶点级微分形变表征，并将离散重网格化操作与连续优化器的动量状态无缝桥接。核心 idea：提出一种结合局部旋转与局域各向异性尺度的顶点级六维形变参数化，在粗到细的各向同性周期性重网格化循环中，通过重心坐标将 Adam 优化器内部状态完整插值并传递到新剖分拓扑，实现大尺度保质量几何生长与结构雕刻。

方法详解¶

整体框架¶

给定初始输入网格 $M_0 = (V_0, F_0)$ 与目标文本提示词 $x$，RADmesh 旨在通过迭代优化与周期性重网格化生成符合文本语义的新网格 $M^* = (V^*, F^*)$。方法支持全局形变以及局部区域选择（通过二进制掩码 $\text{sel}(k) \in \{0, 1\}$ 指定仅变形特定区域并保持其余网格严格不变）。整个系统以周期 $N=100$ 个 epoch 为重网格化节奏，在重网格化间期冻结网格连接关系 $F_{r_i}$，仅对顶点级形变量 $Q_i$ 进行梯度下降；每经过 $N$ 轮迭代，中断形变优化并调用各向同性重网格化算法更新基础网格基底，随后将优化器历史动量插值至新顶点后继续优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入网格 M0 + 区域选择掩码 sel"] --> B["预处理与初始自适应充气<br/>归一化至单位立方体 + 几何膨胀"]
    B --> C["当前基础网格 M_ri + 顶点形变量 Qi"]
    C --> D["顶点级局部形变与全局坐标求解<br/>6D参数分解为旋转与尺度 + dARAP解算"]
    D --> E["可微渲染与多视角级联分数蒸馏<br/>nvdiffrast渲染 + CSD梯度反向传播"]
    E --> F{"是否达到重网格化周期 N=100 ?"}
    F -->|否：继续当前基底优化| G["Adam更新形变量 Qi+1"]
    G --> C
    F -->|是：执行离散重网格化| H["由粗到细各向同性重网格化<br/>边折叠/分裂/翻转/切向光顺/重投影"]
    H --> I["重心坐标优化器状态插值<br/>将Adam一阶与二阶动量映射至新顶点"]
    I --> J["重置基底网格 M_ri+1 与 Qi+1"]
    J --> C
    D --> K["输出目标网格 M*<br/>保各向同性高质量面片与精细结构"]

关键设计¶

1. 顶点级尺度-旋转微分形变表征：解耦大尺度形变与无损状态传递 为了使形变量与优化状态在经历离散重网格化后仍能无损插值，RADmesh 摒弃了传统难以映射的面片雅可比矩阵，将形变变量定义为每个顶点上的六维向量 $q_k = (q_k^{\text{dir}}, q_k^{\text{scale}}) \in \mathbb{R}^6$。前三维 $q_k^{\text{dir}} \in \mathbb{R}^3$ 编码顶点法向的目标旋转朝向，后三维 $q_k^{\text{scale}} \in \mathbb{R}^3$ 则显式控制三个主轴方向的局域缩放。在局部形变步骤中，模型首先求解正交普鲁克分析（Procrustes problem），寻找将当前网格顶点法向与轮辐邻域边向量旋转对齐至目标朝向的最佳局部旋转矩阵 $R_k \in \mathrm{SO}(3)$： $$R_k = \arg\min_{\tilde{R} \in \mathrm{SO}(3)} \sum_{(i,j) \in N_k} w_{ij} \|\tilde{R}(p_i - p_j) - (p_i - p_j)\|_2^2 + \lambda a_k \|\tilde{R} u_k - q_k^{\text{dir}}\|_2^2$$ 其中 $w_{ij}$ 为余切权重，$a_k$ 为 Voronoi 面积，$u_k$ 为基础网格法向，$\lambda=8$ 调节法向对齐刚度。随后构造局部对角尺度矩阵 $S_k = \mathrm{diag}(q_k^{\text{scale}})$，得到合成变换 $T_k = R_k S_k$。在全局步骤中，通过最小化全局能量求解最佳新顶点坐标 $V'$： $$V' = \arg\min_{V} \sum_{(i,j) \in E} w_{ij} \| (p_i' - p_j') - \frac{1}{2}(T_i + T_j)(p_i - p_j) \|_2^2$$ 当存在选定区域时，未选中顶点的变换矩阵直接设为单位阵 $T_k = I$ 并代入作为固定狄利克雷边界条件。引入独立的尺度参数 $q_k^{\text{scale}}$ 具有决定性作用：它彻底打破了纯旋转 ARAP 形变在空间延伸范围上的物理阻力，使得局部区域能够突破原始边界迅速延展出长肢体，同时在全局形变时，通过对 $q_k^{\text{scale}}$ 设置下界为 0.98 的 LeakyReLU 软截断，从结构上直接遏制了 SDS 损失导致的网格整体萎缩现象。

2. 基于重心坐标的优化器状态插值：维持跨拓扑突变的优化动量 离散重网格化会导致网格拓扑连接与顶点集合完全被重构。如果在新基底网格生成后将优化器重置为零初始状态，梯度累加历史将彻底丢失，导致生成过程陷入剧烈震荡、左右不对称性以及假面片膨胀。RADmesh 敏锐地利用重网格化算法最后的表面重投影（Reprojection）阶段：新生成的每个顶点在投影到原表面时，均能计算出其在变形前旧三角面片上的重心坐标 $(\beta_1, \beta_2, \beta_3)$。基于顶点级参数化的天然优势，系统直接利用该重心坐标对 Adam 优化器内部维护的一阶动量缓存 $m$ 和二阶方差缓存 $v$ 进行空间线性插值： $$\text{State}(w) = \sum_{j=1}^3 \beta_j \cdot \text{State}(v_j)$$ 这种优化器状态的跨拓扑无损迁移，使得新引入的细分顶点能够无缝继承父面片上的优化速度与梯度方向。实验证明，该机制能够极大稳定对抗极具噪声的 CSD 梯度信号，有效避免重网格化后的瞬态梯度跳变，确保细分几何生长的光滑性与双侧对称性，并避免盲目无效细分造成的面片数量失控。

3. 由粗到细的周期性各向同性重网格化：动态匹配几何尺度的拓扑演化 在重网格化执行机制上，RADmesh 采用了改进的 Botsch & Kobbelt 各向同性算法，每 100 个 epoch 执行 2 轮迭代，严格依次包含边折叠（Edge Collapse）、边分裂（Edge Split）、以改善顶点价数（Valence）为目标的边翻转（Edge Flip）、切向光顺（Tangential Smoothing）以及表面重投影。针对局部区域编辑，系统为每个顶点赋予实数掩码属性 $\text{sel}_R(k)$，限制所有拓扑编辑操作仅能在两端顶点均满足 $\text{sel}_R \ge 0.5$ 的边上发生，其余区域的面片与顶点编号保持完全不变，从而严格保全了非编辑区的纹理贴图与 UV 坐标。更关键的是，RADmesh 摒弃了基于局部曲率的自适应重网格化，设计了全局由粗到细（Coarse-to-Fine）的目标边长退火调度策略： - 局部生长任务：初始目标边长设定为预处理后网格平均边长的 $1.7\times$，在接下来的 10 次重网格化中线性退火至 $1.3\times$，随后在 5 次重网格化内退火至 $1.0\times$，并在后续迭代中保持 $1.0\times$； - 全局形变任务：初始目标边长设定为 $1.4\times$ 平均边长，在接下来的 18 次重网格化中逐步退火并收敛至 $1.0\times$。这种调度避免了在生成初期几何形态未定型时就过早分配过多密集面片（过密的面片会陷入复杂的多峰非凸优化陷阱），实现了从大尺度骨架探索到末端精细结构刻画的稳定拓扑演进。

损失函数 / 训练策略¶

预处理与初始充气：输入网格首先归一化至 $[-1, 1]^3$ 立方体内。对于局部生长任务，为解决 SDS 监督在扁平局部区域初始梯度极其微弱的问题，系统预先计算闭合后选区小块的总体积 $V$，沿选区顶点法向施加初始膨胀位移 $\ell = a^{-b\sqrt[3]{V}}$（经验超参设为 $a=4.3, b=5.2$），对越小的局部区域施加越大的初始凸起，并在进入主循环前执行一次基底网格重网格化。
可微渲染与视觉监督：采用 nvdiffrast 作为高效可微渲染引擎，每个 epoch 在固定的方位角、仰角与视角范围内随机采样 8 个视点渲染得到多角度图像。监督信号采用多阶段级联分数蒸馏（Cascaded Score Distillation, CSD），依托 DeepFloyd IF 图像扩散模型的阶段特征反向传播梯度。
训练开销：单卡 NVIDIA L40S GPU 上，局部生长任务（上限 2600 epoch）耗时约 85-90 分钟，全局细节化任务（上限 2200 epoch）耗时约 70-75 分钟。

实验关键数据¶

主实验¶

定量评估在 64 组涵盖局部生成与全局雕刻的形状-文本提示词对（Shape-Prompt Pairs）上进行。对比基线包括两类：基于中间代理表示的生成方法（MagicClay 基于隐式 SDF、Instant3dit 基于多视角修复）和直接在显式网格上形变的方法（Geometry in Style 基于表面法向、MeshUp 基于雅可比场）。评估指标涵盖：衡量图像与文本匹配度的 CLIP 分数（$\times 100$）、文本-视觉感知评测 VQA 分数（$\times 100$）、三角面片质量度量 FQ（$\times 100$，定义为 $4\sqrt{3}\frac{A}{\ell_1^2+\ell_2^2+\ell_3^2}$，正三角形为 100），以及平均面片数量（#F）。

方法	CLIP Score ↑	VQA Score ↑	Face Quality (FQ) ↑	面片数量 (#F)	说明
MagicClay [SIGGRAPH Asia 24]	29.821	57.150	86.784	17,203.55	隐式SDF代理重建，噪声明显
Instant3dit [CVPR 25]	28.399	52.111	80.132	40,034.69	多视点修复后重建，面数过高且面片退化
Geometry in Style [CVPR 25]	29.279	52.120	94.146	11,308.06*	固定拓扑形变，无重网格化（保留原网格面数）
MeshUp [3DV 25]	30.725	66.093	84.831	11,308.06*	固定拓扑雅可比形变，拓扑受限导致拉伸
MeshUp + 本文重网格化调度	31.148	69.360	96.310	29,461.34	证明重网格化调度对其他显式形变方法的泛化增益
RADmesh（本文）	31.416	72.930	96.516	16,963.75	各项指标均达SOTA，面片质量最优且计算高效

*注：Geometry in Style 与 MeshUp 未使用重网格化，其面片数反映原始输入网格的分辨率。

消融实验¶

消融实验深入验证了尺度参数引入、优化器状态插值以及由粗到细重网格化调度三个核心设计的有效性。

实验配置 / 案例	核心指标表现	现象与机制说明
去掉尺度参数 $q_k^{\text{scale}}$	几何延伸范围严重受限，末端模糊	纯旋转无法提供足够的局域膨胀能力，局部生长无法突破初始选区边界，末端特征（如鹿角分叉、宝塔尖）钝化
去掉优化器状态插值（"old-timey video camera"）	面片数从 16,778 暴增至 34,288	丢失历史动量导致梯度在拓扑更新时出现震荡，产生严重非对称伪影并盲目细分导致面片数翻倍
保留优化器状态插值（完整模型）（"old-timey video camera"）	面片数为 16,778，几何结构规整	继承动量维持了收敛稳定性与对称性，面片质量更高且更紧凑
去掉优化器状态插值（"tokyo tower"）	面片数为 19,528	缺乏优化历史，视点依赖型伪影明显增加
保留优化器状态插值（完整模型）（"tokyo tower"）	面片数为 16,788	结构尖锐挺拔，面片分布符合塔身层次
单一高精细重网格化（开头直接细分至终极分辨率）	"with two pegasus wings": 23,676 面，形变失败	过早在初始几何上引入高密度三角形，使得形变在低维骨架阶段陷入复杂多峰局部极小值
由粗到细重网格化调度（完整模型）	"with two pegasus wings": 22,698 面，羽翼饱满	循序渐进的尺度退火允许模型先建立大尺度外形再刻画羽毛纹理
曲率自适应重网格化	局部生长中断，生长受限	在快速演变的动态形变区早期曲率未定型，过早密集划分破坏了粗到细探索规律

关键发现¶

拓扑重构是打破显式形变表达力天花板的根本钥匙：将本文提出的重网格化调度机制直接赋予传统方法 MeshUp 后，其 CLIP 分数从 30.725 跃升至 31.148，VQA 分数从 66.093 提升至 69.360，面片质量 FQ 更是从 84.831 大幅跃升至 96.310。这表明限制显式形变表现力的瓶颈并非微分形变数学框架本身，而是固定网格拓扑对极端几何形变的物理制约。
状态继承直接决定离散几何优化的稳定性：消融数据显示，若不执行优化器状态插值，不仅模型容易在跨视点渲染时产生假面与左右不对称畸变，而且面片数会在反复震荡中失控增长（如摄像机案例面片数飙升 104.4%）。通过重心坐标插值优化器动量，为跨离散拓扑的连续梯度优化提供了坚实保障。
纯网格原生生成优于代理表示转化：相比于 Instant3dit（多视点修复后重建导致面数高达 40,034 且 FQ 仅 80.132）和 MagicClay（隐式场重建带来表面噪点），RADmesh 在以更低的面片数（16,963.75）实现最高 VQA 分数（72.930）的同时，将面片各向同性质量保持在 96.516 的极高水准。

亮点与洞察¶

将连续优化动量与离散几何操作精妙结合：重网格化带来的拓扑断裂是图论与连续微积分之间的经典鸿沟。RADmesh 创造性地发现重投影阶段计算的旧三角形重心坐标可以作为优化器动量场（Adam 一阶与二阶矩）的连续插值载体，使得离散网格细分瞬间具备了"记忆能力"，这一巧思对所有涉及动态几何拓扑修改的深度学习优化任务具有极高的通用参考价值。
顶点级 6D 表征对固有收缩偏置的物理约束：在基于 SDS/CSD 损失的全网格形变中，扩散模型普遍存在诱导 3D 资产向内收缩扁平化的退化倾向。RADmesh 并没有通过盲目增加经验正则项损失去平衡，而是直接在 6D 形变表征的尺度通道 $q_k^{\text{scale}}$ 上设置 LeakyReLU 结构截断（下限 0.98），以纯几何构造机制规避了退化。
完全解耦编辑区与非编辑区的工业级友好性：通过将选区标志作为顶点连续属性跟踪，重网格化被严格锁定在选定区域边缘内部，未选定区域保留 100% 原始拓扑、顶点坐标以及 UV 贴图坐标，支持多轮递增式局部生成（如躯干→长手臂→壮硕上半身→头顶菠萝）与纹理保留重展，极契合实际 3D 资产制作管线。

局限与展望¶

计算时间严重受制于 2D 扩散模型反传：系统的优化主耗时集中在 CSD 梯度反传阶段，单卡 L40S 仍需 70-90 分钟，无法做到交互级实时响应；未来结合快速前馈 3D 重建大模型或少步蒸馏先验有望大幅压缩时间。
拓扑流形与亏格不可变约束：当前的泊松求解器依赖流形网格（Manifold Mesh），且所有的边操作（collapse/split/flip）都是严格保亏格（Genus-Preserving）的，无法在形变过程中凭空撕裂网格产生拓扑通孔（如将实心杯子变为带手柄的空心环面）。
非流形扩展潜力：结合非流形拉普拉斯算子（Non-manifold Mesh Laplacians）与支持撕裂/合并的非流形网格编辑算子，将是突破亏格不变限制、迈向任意拓扑自适应生成的重要方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次成功在生成式显式网格形变中打通由粗到细重网格化与优化器状态跨拓扑插值，设计优雅精巧]
实验充分度: ⭐⭐⭐⭐⭐ [64 组基准对比全面，定性展示涵盖局部生长、全局雕刻与纹理工作流，消融实验数字严谨扎实]
写作质量: ⭐⭐⭐⭐⭐ [概念阐述清晰透彻，图表精美直观，几何推导与工程实现细节交代完备]
价值: ⭐⭐⭐⭐⭐ [为显式 3D 生成模型提供了攻克固定拓扑表达瓶颈的标准范式，在工业资产编辑中具有高实用价值]

实验配置 / 案例	核心指标表现	现象与机制说明
去掉尺度参数 \(q_k^{\text{scale}}\)	几何延伸范围严重受限，末端模糊	纯旋转无法提供足够的局域膨胀能力，局部生长无法突破初始选区边界，末端特征（如鹿角分叉、宝塔尖）钝化
去掉优化器状态插值（"old-timey video camera"）	面片数从 16,778 暴增至 34,288	丢失历史动量导致梯度在拓扑更新时出现震荡，产生严重非对称伪影并盲目细分导致面片数翻倍
保留优化器状态插值（完整模型）（"old-timey video camera"）	面片数为 16,778，几何结构规整	继承动量维持了收敛稳定性与对称性，面片质量更高且更紧凑
去掉优化器状态插值（"tokyo tower"）	面片数为 19,528	缺乏优化历史，视点依赖型伪影明显增加
保留优化器状态插值（完整模型）（"tokyo tower"）	面片数为 16,788	结构尖锐挺拔，面片分布符合塔身层次
单一高精细重网格化（开头直接细分至终极分辨率）	"with two pegasus wings": 23,676 面，形变失败	过早在初始几何上引入高密度三角形，使得形变在低维骨架阶段陷入复杂多峰局部极小值
由粗到细重网格化调度（完整模型）	"with two pegasus wings": 22,698 面，羽翼饱满	循序渐进的尺度退火允许模型先建立大尺度外形再刻画羽毛纹理
曲率自适应重网格化	局部生长中断，生长受限	在快速演变的动态形变区早期曲率未定型，过早密集划分破坏了粗到细探索规律