X-SG2S: Safe and Generalizable Gaussian Splatting with X-dimensional Watermarks¶

会议: ECCV 2026
论文: ECCV 原文
领域: 其他
关键词: 高斯泼溅 / 多模态水印 / 球谐系数 / 前馈注入 / 版权保护

一句话总结¶

X-SG2S 将比特、图像和三维对象水印分块后，通过内容相关选点与模态专用 MLP 写入已有 3DGS 的高阶球谐系数，再学习定位与恢复这些片段，实现无需逐场景微调的多模态水印；论文报告约 3 秒注入，48-bit 对比设置下无扰动提取准确率为 100%。

研究背景与动机¶

3D Gaussian Splatting（3DGS）资产可以直接以高斯点文件传播，使用者得到的不只是渲染图片，还包括可继续编辑与重用的场景表示。作者、平台和内容供应方因此需要一种不明显改变外观、但能在后续资产核验中恢复身份信息的机制。只嵌入短比特串能够承载有限身份信息，却不方便同时保存标志图像或三维品牌对象；而逐场景重新优化水印既耗时，也可能要求取得原始多视图训练图像。

把图像水印直接移植到高斯点集并不自然。高斯点没有稳定的天然顺序，只在部分点上嵌入会产生定位问题；单点可修改的外观参数有限，大载荷需要分散存储；部分数据缺失时，还必须从剩余片段重新组织消息。若把复杂的隐藏特征替换成新的参数结构，又会破坏与标准 3DGS 渲染器的兼容性。本文希望让训练好的注入器直接处理已有资产，同时兼顾载荷、外观质量与可恢复性。

核心 idea：用模态相关的分块冗余解决“存什么”，用场景与消息交互的自适应门解决“存哪里”，只替换所选点的高阶球谐系数解决“怎样兼容原渲染器”，再用独立定位门与提取头解决“如何从未知位置恢复”。

方法详解¶

整体框架¶

输入是一份已有的 3DGS 场景和需要嵌入的水印，可选择一维比特、二维图像、三维高斯对象中的一种或多种。注入侧先形成带冗余的消息片段，再根据场景与消息共同选择高斯点，将所选点的高阶球谐（SH）系数和片段交给模态专用注入头；输出仍是标准高斯表示。提取侧直接读取带水印资产，用学习到的定位门寻找承载点，再用对应模态的提取头恢复片段并重建消息。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    W["比特、图像、三维对象"] --> A["模态分块与冗余"]
    S["已有 3DGS 资产"] --> B["内容相关选点"]
    A --> B
    B -->|选中点与消息片段| C["高阶 SH 注入"]
    C --> F["带水印的标准 3DGS"]
    F --> R["原有渲染器"]
    F --> D["定位与分块恢复"]
    D --> O["恢复比特、图像、对象"]
    B -.->|仅训练：选点掩码监督| D

实线是部署时的数据流，虚线是训练监督，不意味着提取时可以访问原注入掩码。训练还用消息一致性、SH 偏移和可选渲染损失约束整个系统，并为恢复模块引入论文所述的数据退化增强。这里的“无需微调”指部署时不必为每个资产重新优化，不是说注入器与提取器无需训练。

关键设计¶

1. 模态分块与冗余：把不同形态的消息变成可分散存储的片段

一个高斯点不适合直接容纳整幅图像或完整三维对象，作者因此先把消息拆成小块，再增加模态相关冗余。对一维与三维载荷，正文采用重复数据的方式，使丢失部分承载点后仍有其他副本可用；对图像，仅复制局部像素不利于恢复整体结构，因此先使用深度压缩自编码器 DCAE 编成特征，再进行分块。不同模态随后通过独立线性映射进入高维表示空间，供选点模块比较消息与场景的匹配关系。

图像路径中的 feature-sparse DCAE 不只保存各片段本身，还通过上采样卷积增加邻域上下文，并加入固定位置编码。训练时随机缺失片段，恢复侧先预测位置编码、与完整编码表做最近邻匹配，把幸存片段放回相应位置，再用下采样卷积与细化 MLP 恢复特征序列，最终送入 DCAE 解码器。它把“片段在哪里”和“缺失部分如何补全”分开处理，但不能据此宣称任意大小的剩余子集都足以精确恢复；恢复能力仍取决于冗余和实际缺失程度。

2. 内容相关选点：同时考虑场景内关系与载荷适配性

随机选择承载点容易把扰动写入对外观敏感的位置，单独观察每个点又看不到它与整个场景或当前消息的关系。自适应门因此结合 self-score 与 cross-score：前者基于点与场景集合的交互，作者将其解释为与整体外观贡献有关的评分；后者根据高斯表示与消息片段之间的交互评估匹配程度。二者都是学习到的分数，不是通过显式逐点渲染删除实验测得的重要性。

self-score 使用 Induced Set Attention，以可学习诱导 token 汇总点集，再向点返回上下文；正文使用一个诱导 token 和一个注意力头，将随点数增长的注意力开销由二次降为线性。cross-score 使用 Efficient Attention 避免直接构造庞大的点—片段两两注意力矩阵。两个分数逐元素相乘后取 Top-K，形成注入掩码；下面只记录正文明确描述的选择规则，不补造损坏的注意力公式。

\[ \mathrm{mask}=\mathrm{TopK}\!\left(s_{\mathrm{self}}\odot s_{\mathrm{cross}}\right). \]

这个设计解决的是集合中的内容相关选点，并不自动保证所有几何变换下严格不变。主文也没有完整交代 Top-K 的训练梯度处理、各模态选点冲突如何消除，以及全部片段到点的精确配对规则，复现时仍需补充实现材料。

3. 高阶 SH 注入：保留表示结构，而不是保持全部参数数值不变

每种模态有独立的注入 MLP，正文称其采用类似 PointNet 的逐点处理，通常为 3–5 层。模块取出所选高斯点三个颜色通道的高阶 SH 系数，与对应消息片段拼接，预测携带水印的新 SH 系数并替换原值。位置、尺度、旋转及不透明度不作为该注入操作的修改对象，标准渲染器仍能直接消费得到的高斯资产。

选择高阶 SH 而非全部颜色系数，是希望把修改主要限制在视角相关的外观表示中，减少对原场景外观的直接干扰；论文通过定性图比较了两种选择。这里必须区分表示格式与数值：摘要和结论中的“不修改参数”若按字面理解会与方法冲突，实际修改的是所选 SH 数值，不新增自定义高斯属性、不改渲染管线。它是低侵入式嵌入，不是严格无失真，也不是零计算与零存储开销。

4. 定位与分块恢复：让提取器独立识别承载点，再恢复载荷

注入时知道哪些点被选中，但资产传播后不能依赖原点索引仍有效。提取侧的四层 MLP 定位门把带水印高斯参数映射为位置预测，以注入侧产生的掩码作为训练标签；门之前截断梯度，避免该定位损失反向驱动注入侧去迎合定位器。每种模态另有独立提取 MLP，读取被识别点的 SH 参数并预测消息片段，随后执行相应重组或图像特征解码。

训练与推理的输入选择存在重要区别：论文 Fig. 2 说明，训练提取头时使用已知带水印点，定位门则另外学习在退化后找出这些点；推理时只有定位门选出的点才进入提取头。因此端到端恢复不仅受单片段解码质量影响，也受定位的漏检与误检影响。作者在无水印资产上评估恢复质量，但主文没有给出足以定义版权判定阈值的完整误报率曲线，消息重建成功也不能直接等同于司法意义上的权属证明。

损失函数 / 训练策略¶

训练目标包括一维消息的二元交叉熵、二维与三维片段的 MSE、定位掩码的二元交叉熵，以及约束修改前后 SH 偏移的 MSE。可选项为渲染视图 MSE 与 LPIPS，分别兼顾像素一致性和感知质量。原式 (7) 在文本中缺失多个连接符，本笔记不将其猜补成作者精确公式。

论文使用 PyTorch、CUDA 3DGS 渲染器与 Adam，在单张 RTX A6000ada 上训练。可选渲染 MSE 和 LPIPS 权重为 1、0.05；正文其他权重记为 γ=1、ϕ=0.005、θ=2、δ=1.5。这些属于通用注入/提取网络的训练，不是每次给新场景加水印都执行的优化。

默认载荷记为 48bit×1024 的一维消息、10,000 点的三维高斯对象，以及 16×2048 的二维消息片段，单个高斯点的高阶 SH 参数数目按正文记为 48。该 48 的计数口径和 DCAE 特征形状的文本排版均需实现核验，不应擅自修正。默认载荷、冗余副本数与净独立信息量不能混为一谈；下面基线比较另用统一 48-bit 载荷。

实验关键数据¶

主实验¶

场景由预训练 MVSplat 根据 ACID 构建，ACID 训练/测试为 11,075 / 1,972 个场景；图像水印来自整理后的 Logo-2K，训练/测试为 110,313 / 28,415；三维对象来自 Objaverse 子集并由 Gamba 转成高斯表示，训练/测试文件为 353 / 94。场景评测渲染到 256×256，对象评测为 512×512。

下表摘录原文 Table 2，在 Blender 与 LLFF 上统一比较 48-bit 水印。准确率单位为 %；扰动列仅复述防御评估结果，不提供第三方水印移除流程。噪声列采用表中的设置，不能与其他表的数据混用。

方法	注入耗时	无扰动	SH 噪声	平移	旋转	部分点缺失
3DGS + fine-tuning	3–5 分钟	69.79	69.70	68.78	65.88	64.84
GaussianMarker 2D decoder	3–5 分钟	97.85	57.05	59.07	53.88	48.23
GaussianMarker 3D decoder	3–5 分钟	100	99.90	98.95	95.83	92.70
GuardSplat	3–5 分钟	90.98	67.10	67.77	66.13	71.32
3D-GSW	3–5 分钟	93.72	84.54	81.67	82.33	91.87
X-SG2S	3 秒	100	94.12	99.07	96.56	95.01

X-SG2S 的优势是前馈注入、多模态支持，以及该设置下较强的几何退化恢复；它并非每列最佳，SH 噪声下 GaussianMarker 3D decoder 的 99.90% 高于本文 94.12%。所报注入耗时不能视为包含一次性网络训练、所有场景大小和全部载荷配置的统一端到端时延。

消融实验¶

下表来自 Table 6，Org 是不注入水印的参考场景；各恢复指标描述的是水印，而“场景”指标描述承载资产。比特 Acc 保留原表的 0–1 标度，PSNR 单位为 dB。

指标	内容交互选点	普通 MLP 选点	随机选点	Org
场景 PSNR ↑	27.804	24.276	21.534	27.826
场景 SSIM ↑	0.871	0.824	0.529	0.871
场景 LPIPS ↓	0.126	0.235	0.443	0.123
比特 Acc ↑	1.000	0.958	0.667	1.000
图像水印 PSNR ↑	22.791	22.595	21.797	29.755
三维对象水印 PSNR ↑	23.017	21.322	20.699	28.807

内容交互选点相对普通 MLP 不仅改善消息恢复，也明显提高承载场景的 PSNR；其与 Org 的场景 PSNR 差为 0.022 dB。这支持“位置选择很重要”，但不能直接分离 self-score 与 cross-score 各自贡献。Org 列水印相关分数是论文所列参考值，不应解读为在无水印场景上成功提取了这些消息。

第三张表摘录 Table 4 和 Table 5，展示同时嵌入与可选渲染监督的影响；“不适用”表示该配置不嵌入相应模态。

配置	场景 PSNR ↑	比特 Acc ↑	图像水印 PSNR ↑	三维对象水印 PSNR ↑
仅二维水印	27.811	不适用	22.804	不适用
仅三维水印	27.810	不适用	不适用	23.044
多模态，无可选损失	27.757	0.979	21.923	22.647
多模态，有可选损失	27.804	1.000	22.791	23.017

多模态相对单模态的图像与对象恢复 PSNR 分别降低 0.013、0.027 dB，支持所测配置中模态干扰较小，而非严格零干扰。可选损失提高了场景与消息质量，说明“不访问新资产原训练图像”不等于“通用网络训练从不使用渲染监督”。

关键发现¶

Table 1 的无扰动多模态恢复为比特准确率 100%、图像 PSNR 22.791 dB、对象 PSNR 23.017 dB；这些数值不能与 Table 2 的跨数据集基线比较混成同一实验。
Table 7 中缺失比例 25% 时比特准确率为 97.7%，图像与对象 PSNR 为 21.563、22.133 dB；这是有限退化范围的防御结果，不是任意修改下仍可恢复的保证。
正文 §4.4 的噪声标准差写为 0.1，而 Table 1/2 写为 0.05，存在设置不一致；不自行将其中一个改成另一个。
无水印对照 Table 3 给出 Acc 0.395、图像 PSNR 7.719 dB、对象 PSNR 11.934 dB，说明恢复质量不同，但缺少判定阈值、样本量和 ROC/FPR，不能据此宣称零误报。

亮点与洞察¶

把定位问题显式建模。 不是假设原始高斯索引永远可用，而是用注入掩码训练另一个定位网络。分块解码与位置识别可以分别诊断，便于理解恢复失败的来源。
兼容性来自修改范围受控。 水印仍存于标准 SH 字段，而非要求自定义渲染器解码隐藏属性。这使部署接口简单，但其代价是仍须接受小幅外观数值变化。
多模态冗余并非同一种复制。 图像恢复利用压缩特征、位置编码和上下文重建，区别于离散载荷的重复存储。这个区分比单纯提高总片段数更贴近不同载荷的结构。

局限与展望¶

版权验证缺少完整决策协议。 重建一个可辨认的标志与可靠判定权属不是同一问题，还需阈值校准、误报控制、密钥或身份绑定及多权利人冲突处理；这些未由当前实验完整建立。
泛化与成本仍有边界。 主要训练依赖 MVSplat 场景与 Gamba 对象，三维水印训练文件仅 353 个。不同生成器、SH 配置与场景规模下的泛化，以及峰值显存和提取时延仍需系统报告。
容量与冗余的计量不够清楚。 大片段数可能同时增加重复内容，不能直接把总写入元素当净载荷；容量曲线还应同时报告恢复质量与独立信息量。
原文存在表述和提取缺口。 部分公式损坏、DCAE 尺寸排版异常、“不修改参数”与 SH 替换描述冲突，附录不在当前缓存中。笔记保留这些边界而不猜补实现。

评分¶

新颖性: 4/5 — 将多模态载荷、内容相关选点与前馈高斯资产水印整合成统一方案，有明确系统贡献。
实验充分度: 3/5 — 有基线、模态和选点消融，但误报协议、成本统计及实验设置一致性仍不足。
写作质量: 3/5 — 整体结构清晰，参数不修改等表述过强，公式和尺寸文本影响复现理解。
价值: 4/5 — 为兼容标准渲染器的 3DGS 版权标记提供实用路线，但不能把水印恢复直接等同于可靠权属认证。