Heat Kernel Textures -- the Geodesic Gaussians That Do Not Splat¶

会议: ECCV2026
作者: Simone Foti, Caner Korkmaz, Stefanos Zafeiriou, Tolga Birdal
论文: ECCV 原文
领域: 重建与渲染
关键词: 热核纹理、无 UV 表示、各向异性扩散、黎曼优化、可微渲染

一句话总结¶

HKTex 将可学习的各向异性热核直接放在三角网格曲面上，用曲面约束优化与可微光线追踪替代 UV 纹理存储，在较小的报告存储量下恢复细节，但并不具备 Gaussian Splatting 的高速光栅化优势。

研究背景与动机¶

传统纹理把三维表面展开到二维图集，再通过每个顶点的 UV 坐标读取颜色。这种表示的成本不只有图像像素，还包括 UV 坐标、接缝处复制的顶点，以及图集中没有对应表面的空白区域。复杂表面的展开又会带来接缝、形变和不均匀的纹素分辨率，因此把图像压小并不能消除整个纹理系统的开销。改用顶点颜色虽然省掉图集，却把外观细节绑定到几何采样密度；一个几何平坦但颜色复杂的区域仍可能需要大量额外顶点。

神经纹理场通过网络连续预测表面颜色，可以绕开显式图集，但逐点网络查询和保存网络参数也有代价。 3D Gaussian Splatting 提供了另一种启发：让显式基元随内容自适应分配，而不是固定铺满规则网格。问题在于，欧氏空间中的高斯不会自然沿弯曲表面弯折，直接更新其三维位置还会把中心移离网格。给这些基元加贴面正则，只是在外部限制它们；其空间支撑和优化路径仍不是真正的曲面内禀对象。

本文因此把目标限定为给定网格上的反照率纹理表示，而不是同时重建几何、材质和光照。热核描述点源的热量如何沿表面扩散，在欧氏空间中对应高斯，在一般曲面上则由曲面几何决定其形状。如果基元的定义、移动、分裂和查询都服从同一个曲面，就不需要再用 UV 参数化连接几何与外观。 核心 idea：用曲面上的各向异性热核承载颜色，把纹理自由度放在连续的表面位置和可调核形状上，并在光线交点处直接求值。

方法详解¶

整体框架¶

输入是已知三角网格，以及原有 UV 反照率纹理，或带相机位姿的多视图监督图像。输出是一组带颜色的热核参数和全局底色，渲染器用它们计算任意曲面点的反照率。网格几何在本文任务中是输入条件，不由这些热核替代，也不作为其主要优化对象。整体依次包含谱基预计算与对齐、连续局部热核求值、测地优化与密度控制、交点纹理渲染四个环节。训练时最后一环产生误差并更新核参数；推理时参数固定，只执行局部查询和渲染。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Mesh["已知三角网格"] --> Basis["谱基预计算与对齐"]
        Basis --> Eval["连续局部热核求值"]
        Eval --> Control["测地优化与密度控制"]
        Control --> Render["交点纹理渲染"]
        Supervision["UV 或多视图监督"] -.->|训练误差| Control
        Render -.->|训练反馈| Control
        Render --> Output["反照率与渲染图像"]

关键设计¶

1. 谱基预计算与对齐：把逐核特征分解移出优化循环

热核需要拉普拉斯-贝尔特拉米算子（LBO）的特征值和特征函数，而各向异性核还依赖扩散方向与各向异性强度。若每个核每次更新形状都重新建立各向异性 LBO（ALBO）并分解，连续优化的成本会过高。作者在角度与各向异性参数上预先建立离散网格，用 \(s=\ln(1+\eta)\) 表示各向异性坐标，使高各向异性区域不至于支配采样尺度。查询任意连续参数时，先定位相邻网格单元，再对其四个角点的特征值和特征向量做双线性插值。实现使用 \(7\times7\) 个参数组合，每组保留 256 维 ALBO 谱信息；另计算 64 维各向同性谱用于距离查询。

这里不能直接插值独立分解得到的矩阵，因为相邻参数下特征向量可能发生排列交换、符号翻转和子空间旋转。作者先通过质量加权相关矩阵和 Hungarian 算法匹配排列，再用正交 Procrustes 对齐旋转，最后校正符号。首组参考来自各向同性 LBO，后续沿网格构建顺序使用已对齐的谱基作为参考，特征值跟随排列重排。这些操作让插值所连接的谱坐标更一致，而不是把不同意义的列机械混合。需要注意，参数插值仍是计算近似，不等于为每个查询精确求解新的 ALBO 特征分解。

2. 连续局部热核求值：让纹理细节脱离顶点分辨率

每个核保存曲面中心、方向、各向异性强度、尺度阈值、边界锐度和 RGB 颜色。中心用三角面索引及重心坐标表示，因此可落在面内部，不必吸附到顶点。目标查询点也采用同样的曲面定位方式；预计算在顶点上的谱量通过重心插值分别读取到源点和目标点。热核再利用这两个位置的特征函数值和随特征值衰减的扩散权重得到响应。这不是把顶点颜色插值成纹理：被插值的是几何谱基，最终颜色还经过可学习的局部核组合。

扩散时间改变时，核宽度和源点温度会一起变化，给核尺度和颜色的优化带来耦合。作者将热响应除以扩散后中心处的响应，使中心归一化到 1，并固定扩散时间。原文式 (4) 的归一化关系可写为：

\[ \bar h_t(p\mid p^\star,\theta,\eta) =\frac{h_t(p,p^\star\mid\theta,\eta)}{h_t(p^\star,p^\star\mid\theta,\eta)}. \]

有限谱截断会在远离中心的位置产生类似 Gibbs 现象的振铃，因而不能把每个非零响应都当作有意义的颜色贡献。作者用双调和距离的高斯衰减压低远处响应，再用重标定的 sigmoid 软阶跃控制核范围和边界锐度。尺度阈值控制保留多大的区域，锐度决定它更像柔和色斑还是边缘清晰的测地椭圆。这些操作让固定扩散时间下的平滑谱响应仍能表示较尖锐、较局部的纹理边界。

为避免每个查询点遍历全部核，作者把各向同性特征函数按相应特征值缩放，形成双调和谱嵌入。在该嵌入中做欧氏 KNN，相当于按近似双调和距离寻找曲面上的邻近核，而不是按三维空间直线距离查找。先选 \(K_s\) 个候选源点，再只为这些源点计算各向异性响应，使局部核求值从 \(O(P\times S)\) 降为 \(O(P\times K_s)\)。这里的复杂度描述针对核求值部分，不意味着 KNN 建库和搜索没有成本。候选核中还要选响应最大的 \(K_c\) 个参与颜色混合；\(K_s\) 是邻域预算，\(K_c\) 是最终混合预算，两者不是同一概念。选中核的颜色按归一化响应混合，作为残差叠加到全局底色；没有有效贡献的区域回到底色，而非透明背景。源点质量方面，正文提出密度估计方案，但实际采用单位质量 \(m^\star=1\)，并称其更快且未降低性能；缓存没有给出该比较的定量表。

3. 测地优化与密度控制：移动与增殖都留在表面上

直接给核中心加三维梯度会使其离开网格，因此作者先把位置梯度投影到当前切平面。投影后的向量作为初速度，通过指数映射沿曲面测地路径更新位置，而不是先移出表面再找最近点投回。跨越三角形时使用 straightest geodesic 算法，并把优化器累积的动量平行移动到新位置的切空间。这样历史更新方向仍与当前位置的曲面方向兼容，不能把旧切平面中的动量原封不动继续使用。位置由 GPU 上的黎曼 SGD 更新，其余核属性使用 Adam，并通过投影梯度步骤维持参数范围。

为了删掉无效核，系统在一个累计窗口中记录命中次数和能量：前者统计核被最终混合集合选中的频率，后者累计其过滤后的响应。相对最大命中次数过低，或累计能量低于阈值的核会被剪枝。补充细节则依赖局部重建误差：逐点 \(L_1\) 颜色误差按归一化混合权重分给参与核，得到每个核的误差分数。高误差核若范围较小，就在原位置复制，让后续优化自行分开；范围较大，则拆成两个更小的核。分裂后的位移沿主轴通过指数映射完成，因此新增核也不会偏离曲面。单次增长比例还被上限约束，避免一轮误差峰值导致基元数量失控。误差分配用的 \(L_1\) 分数是密度控制信号，不应与拟合 UV 颜色的平方误差目标混淆。

4. 交点纹理渲染：查询表面颜色，而不是把核投到屏幕上

渲染时，光线先与原有三角网格相交，交点再触发局部热核查询，所得颜色作为该点的反照率。核不会被投影成屏幕空间椭圆，也不通过基元深度排序完成体透明度合成。因此标题中的 “Do Not Splat” 指的是求值与成像机制，而不是核完全不再具有高斯式局部支撑。实现通过 Dr.Jit 包装 PyTorch 求值，将 HKTex 接入 Mitsuba3 的可微纹理接口。像素损失由光线追踪反传到纹理参数，从而把同一表示用于直接颜色拟合和逆渲染。测试时核参数固定，KNN 数据库和中心自响应只需预先准备一次；训练中的位置变化则需要相应更新查询状态。省去逐次重复准备能减轻开销，但最终表格仍显示它比常规纹理读取慢得多。

一个完整示例¶

设给定一个已有三角网格的物体，其中弯曲表面上有一条细窄的颜色边界；这是用于解释流程的示意，不是额外实验。系统先为这张网格计算谱基，并把一组核中心初始化到表面，再从 UV 纹理读取采样点的监督颜色。某个采样点首先在双调和嵌入中找到候选核，利用插值谱基求响应，再混合最有贡献的核颜色。若边界被混得过宽，优化可以调整方向、阈值和锐度，而不必为了颜色细节细分整个几何网格。若这片区域误差仍高，密度控制会复制小核或分裂大核，把更多纹理自由度集中到这里。核跨三角形移动时仍沿表面前进，之后从不同相机观察到的交点共享同一套连续纹理。

损失函数 / 训练策略¶

已有 UV 纹理时，在曲面采样点上对比预测颜色和同位置的真实 UV 颜色，正文第 4.4 节使用平方误差：

\[ \mathcal L=\lVert C(p)-C_{\mathrm{GT}}(p)\rVert_2^2. \]

正文先以均匀面采样解释任务，具体实现又说明使用重要性采样；后者细节指向未包含在缓存中的补充材料。多视图设置给定网格和相机，从随机视角命中网格的光线中采样小批量，通过渲染误差更新反照率。训练采用路径重放反向传播（PRB）积分器，光线深度为 3，不能将其误写成仅比较直接表面颜色的监督。位置初始化先按面积超采样，再做最远点采样；颜色初值取自 \([-1,1]\)，其均值移入全局底色。方向初值范围为 \([0,\pi]\)，各向异性强度为 \([1,100]\)，边界锐度初始化到 10–50。阈值初始化范围在 UV 拟合中为 0.9–1.0，在多视图设置中为 0.7–1.0。作者用 5 个不参与评测的网格进行 Optuna 超参数搜索，但缓存未提供完整学习率、邻居数和控制阈值清单。

实验关键数据¶

主实验¶

数据来自过滤后的 Objaverse：保留有标签和有效纹理的模型，限制最多 60,000 个顶点，并排除非流形、多连通分量和特征分解失败等情况。过滤后约有 3,000 个模型，其中 UV 拟合评测使用 313 个，多视图拟合使用 162 个。每个物体渲染 5 个视角计算图像指标；下表保留原文的均值及标准差，不把缩放后的数值当成原始指标。

表 A 摘录原文表 1（第 14 页），任务是拟合已有 UV 反照率；LPIPS 一列单位为 \(10^{-2}\)，SSIM 一列单位为 \(10^{-2}\)，PSNR 越高越好。

方法	PSNR ↑	LPIPS ↓（×10^-2）	SSIM ↑（×10^-2）	渲染时间（ms）↓	存储（KB）↓
LR GT UVTextures	48.4 ± 15.2	2.3 ± 4.2	98.2 ± 3.4	33.7 ± 3.2	115.8 ± 103.2
GT VTex	37.9 ± 8.5	4.0 ± 5.0	96.8 ± 4.2	25.4 ± 3.1	17.3 ± 32.6
HR GT VTex	45.3 ± 5.7	1.1 ± 1.7	98.8 ± 2.1	50.3 ± 49.4	179.6 ± 89.5
MLP Pos. Enc.	42.9 ± 6.6	2.3 ± 2.5	98.2 ± 2.2	90.9 ± 35.2	551.3 ± 759.6
HKTex	44.8 ± 5.8	1.3 ± 1.6	98.9 ± 1.5	784.7 ± 474.3	96.6 ± 12.2

HKTex 在该设置中平均约有 4.8k 个核，SSIM 较好，但 PSNR 不及 LR GT UVTextures，LPIPS 也不及 HR GT VTex。表 1 的 MSE 在显示精度下与 HR GT VTex 同为 \(0.08\pm0.20\)（×10^-3），不能写成严格独占最优。表中神经基线实际存储明显更大；作者虽以预算匹配为设计目标，最终结果不能解释为所有方法严格等字节的对照。

表 B 摘录原文表 2（第 15 页），用于分析多视图反照率恢复；NVDiffRec* 固定真实网格和环境图，仅输出反照率，不是其完整联合重建设置。

方法	PSNR ↑	LPIPS ↓（×10^-2）	SSIM ↑（×10^-2）	渲染时间（s）↓	存储（KB）↓
MLP Pos. Enc.	35.75 ± 7.76	3.7 ± 3.8	97.2 ± 3.1	0.68 ± 0.12	602.71 ± 755.89
NVDiffRec*	36.40 ± 6.83	3.4 ± 3.6	97.4 ± 2.9	0.66 ± 0.11	516.12 ± 722.66
HR VTex	37.16 ± 5.69	3.1 ± 3.4	97.5 ± 2.8	0.58 ± 0.08	81.06 ± 131.16
HKTex	37.61 ± 4.71	2.1 ± 1.9	98.3 ± 1.6	1.2 ± 0.3	78.73 ± 23.12

该设置平均约有 3.8k 个核，HKTex 的图像质量和报告存储量优于表中基线，但渲染时间仍更长。由表 B 的均值相减，HKTex 相比 NVDiffRec* 的 PSNR 高 1.21，LPIPS 从 0.034 降到 0.021；这些是同表比较，不是额外实验。

消融实验¶

当前正文缓存没有定量组件消融表，不能给谱基对齐、测地更新或密度控制各自分配一个未经报告的增益。第 4.2 节仅定性报告单位质量近似没有降低性能；第 5.4 节的双三角形图像拟合使用过滤前幂次增强 \(a=30\)，大多数网格使用 \(a=1\)。后者是特定场景的配置观察，不是证明统一超参数适用于全部网格的消融结论。

关键发现¶

存储与速度呈现明确取舍：表 1 的 HKTex 为 96.6 KB、784.7 ms，LR GT UVTextures 为 115.8 KB、33.7 ms，不能只报告前一项。
多视图结果支持固定几何条件下的外观恢复，不直接证明真实照片上的几何、光照和材质联合估计能力。
作者统一使用 zip 压缩并计入基线 UV 等拓扑开销，但正文未明确拆分 HKTex 预计算谱基是否进入 Storage；报告存储量不能直接等同于运行显存。

亮点与洞察¶

将“贴在表面上”从正则项提升为表示与优化的共同约束。热核定义、位置更新和分裂都沿曲面进行，避免三个阶段使用互不一致的空间假设。
把几何采样与纹理细节分开。谱函数来自网格，但可学习核可以位于面内部并改变边界，因此颜色精细度不再直接等于顶点数量。
谱对齐是连续参数插值的前提，而非可忽略的预处理。离散特征分解中的符号与排列自由度会直接影响后续可微查询是否连贯。

局限与展望¶

作者目前只评测反照率，粗糙度和镜面分量等 BSDF 属性属于未来扩展，不能把接入 PBR 等同于已经恢复完整材质。
数据经过较强几何过滤，复杂内部结构、多个部件和非流形输入的适用性仍需单独验证；“无 UV”不等于“不依赖网格质量”。
渲染查询代价显著，且正文未充分拆分谱预计算时间、工作内存和持久化存储。面向实时系统时，这些都应与最终核参数量一起评估。
文本提取损坏了若干算子、过滤和颜色合成公式，本文只保留语义明确的关系，其余机制用原文文字解释；精确实现应核对排版原文与补充材料。
读者判断：若做部署研究，可优先分析共享谱缓存、近邻查询和核聚合的瓶颈，而不是直接把更少 KB 当成更低总资源成本。

评分¶

新颖性: 4/5。把各向异性热核、曲面优化与可微 PBR 统一为纹理表示，区别于仅约束欧氏高斯贴面。
实验充分度: 3/5。覆盖两类任务和多个基线，但当前正文缺少定量组件消融，且数据与存储口径仍有限制。
写作质量: 4/5。问题和模块衔接清晰，不过预算匹配叙述需结合实际表格读取，若干公式在文本提取中损坏。
价值: 4/5。适合研究紧凑曲面外观表示和逆渲染，尚不能作为实时 UV 纹理系统的直接替代。