跳转至

TRACE: Structure-Aware Character Encoding for Robust and Generalizable Document Watermarking

会议: NeurIPS 2026
arXiv: 2603.12873
OpenReview: https://openreview.net/forum?id=IAFQ0N1pTY
领域: LLM 安全
关键词: 文档水印, 字符结构编码, 扩散模型编辑, 跨介质鲁棒性, 盲提取

一句话总结

针对文档在跨介质传输中水印脆弱且难以泛化到任意字体的难题,TRACE 提出基于字符骨架微结构的扩散引导局部编码范式,通过自动化关键点提取、受控扩散形变与掩码区域替换,实现了在多语言、艺术字体与跨介质攻击下的高鲁棒性、泛化性与超 30dB PSNR 的高隐蔽性。

研究背景与动机

随着大语言模型生成文本的普及以及数字化办公的全面铺开,正式文档、敏感合同与学术材料的版权保护与来源溯源变得愈发关键。现有的 NLP 级文本水印技术(如基于词表 logits 扰动或句法同义替换)只能作用于纯数字文本流,一旦文档进入实体打印、扫描复印、屏幕截图或拍照归档等物理跨介质场景,纯文本水印便荡然无存;更致命的是,法律合同与保密文件对语义一致性有极端严苛的要求,任何篡改词汇或句法的方案均被完全禁止。因此,面向承载着视觉化字符与干净背景的文档图像水印技术成为了保障文本物理载体安全的最后一道防线。

然而,现存的文档水印方法始终陷入鲁棒性、泛化性与隐蔽性的“不可能三角”困境。以基于图像统计特征的方法(如翻转边缘黑白像素比例)为例,它们极易受到打印、扫描与重拍摄过程中剧烈的高频退化和噪点干扰,导致像素比例失衡而解码崩溃;若增大修改幅度,则又严重破坏文字边缘观感。另一类基于字体的方法(如 AutoStegaFont)通过预定义字形码本(Codebook)替换字符变体,虽对噪声具有较好抗性,但其码本构建依赖于有限的训练集,面对未收录的手写体、艺术字、小语种文字乃至复杂的数学公式符号时,完全丧失了泛化能力。

面对这一矛盾,本文提出字符的骨架结构(由端点、交叉点与笔画拓扑构成的骨架)在经历打印、重拍摄等跨介质物理噪声时,其几何连通性与相对拓扑远比脆弱的边缘像素更为稳健,且各类语言与字体均共享通用的骨架表示。核心 idea:将水印信息转化为字符骨架关键点的微观几何位移,通过自适应扩散初始化算法自动定位操作点与目标位移,并借助局部一致性损失约束的扩散模型与掩码区域替换完成高保真局部编辑,在无需预定义码本的前提下实现兼具跨介质鲁棒性、任意字体泛化性与高视觉隐蔽性的文档水印。

方法详解

整体框架

TRACE 的工作管线由两大核心阶段构成:信息嵌入阶段(Data Embedding)与盲提取阶段(Data Extraction)。在信息嵌入阶段,系统包含三个递进的处理步骤:自适应扩散初始化(Adaptive Diffusion Initialization, ADI)、引导式扩散编码(Guided Diffusion Encoding, GDE)以及掩码区域替换(Masked Region Replacement, MRR)。

整体流程为:首先,输入的宿主文本图像 \(I_{\text{cover}}\) 经过轻量化骨架关键点网络提取端点与交叉点;接着由运动概率评估器(MPE)与目标点估计模块(TPE)自动化决策出最适宜移动的操作点(Handle Point \(P_h\))、参考点(Reference Point \(P_r\))以及承载水印比特的目标点(Target Point \(P_t\)),并通过掩码绘制模块(MDM)圈定最小编辑包围盒 \(\Omega\);随后,系统在 LoRA 微调扩散模型 UNet 的基础上,结合运动监督与局部一致性损失,将 \(P_h\) 平滑牵引至 \(P_t\);最后,MRR 模块将扩散生成图像中仅位于掩码内的编码局部替换回原图,彻底消除扩散模型带来的非编辑区背景漂移。在提取阶段,系统借助文本检测切分字符并提取骨架关键点,通过计算 \(P_h\) 与 \(P_r\) 之间的相对轴向距离与预设阈值的关系,无需原图参与即可直接解码出二进制水印。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入宿主文本图像 I_cover 与水印比特"] --> B["自适应扩散初始化<br/>关键点检测 + MPE选点 + TPE目标计算 + MDM掩码"]
    B --> C["引导式扩散编码<br/>LoRA微调UNet + 点位拖曳 + 局部一致性损失"]
    C --> D["掩码区域替换<br/>提取编辑区回贴原图 + 消除全局背景漂移"]
    D --> E["生成含水印文档图像"]
    E -->|打印/扫描/截图/拍摄等跨介质传输| F["盲提取同步解码<br/>CRAFT字符分割 + 骨架拓扑距离计算 + 阈值判决"]
    F --> G["恢复秘密信息比特流"]

关键设计

1. 自适应扩散初始化(ADI):多模块协同自动化定位可控编辑点 传统的交互式图像编辑依赖人工点选操作点与目标点,这在成百上千字符的文档批量水印场景中完全不可行;若随机挑选关键点移动,极易破坏文字结构(例如移动多笔画交汇的骨架交叉点会导致字符散架崩溃),或导致编解码器之间选点失序(desynchronization)。为此,ADI 设计了由三大模块构成的自动化决策链路: - 关键点检测:基于精简版 OpenPose 结构,剔除人体匹配与分组逻辑,仅输出端点热图(Endpoints \(E\))、交叉点热图(Junction points \(C\))与背景热图三通道,快速获取字符骨架节点。 - 运动概率评估器(MPE):严格限定仅从单笔画自由端点 \(E\) 中挑选操作点 \(P_h\),排除多笔画交汇的交叉点 \(C\)。对于每个候选端点 \(p_i^e\),在邻域阈值 \(\tau\) 内建立参考点集 \(R_i\)。MPE 制定了层层推进的三级打分准则:初分设定为 1(若无参考点则置 0);若候选点与其参考点不处于同一笔画连通域(\(p_i^e \nsim p_{i,j}^r\)),得分加 1,以保证拓扑变化的独立可分性;若出现多个满分候选,则优先选取垂直 y 坐标最小的点。最终得分最高的端点即被敲定为 \(P_h\),其对应参考点为 \(P_r\)。 - 目标点估计(TPE)与掩码生成(MDM):TPE 根据待嵌入的二进制位(0 或 1)调节 \(P_h\) 与 \(P_r\) 在主要投影轴 \(\lambda\)(由 \(|x_h - x_r|\) 与 \(|y_h - y_r|\) 较大者决定)上的相对距离。若嵌入比特 0,则驱使相对距离压缩至阈值 \(T_{\text{embed}}\) 以内;若嵌入比特 1,则向外拉伸使其大于 \(T_{\text{embed}}\)。TPE 利用辅助圆弧求得笔画切线方向向量 \(\vec{\mathcal{V}}\),严格保证沿笔画延伸或缩短,不破坏笔画自然走向。随后 MDM 自动推导包含 \(P_h\) 与 \(P_t\) 的局部矩形编辑区,并在四周留出微调边距 \(\sigma\),输出二值掩码 \(\mathcal{M}\)。

2. 引导式扩散编码(GDE):结合局部一致性损失实现微结构精准形变 确定了编辑要素后,直接应用通用的点引导扩散编辑(如 DragDiffusion)会遭遇严重的局部退化:扩散模型倾向于改变笔画粗细、边缘平滑度甚至凭空产生墨迹杂斑。为满足文档水印严苛的不可见性要求,GDE 首先利用 LoRA 对扩散模型的 UNet 进行单图快速微调,牢固锁死原图字形的字偶特征与灰度分布;接着对原图实施 DDIM 反演获得基准潜空间轨迹,并在去噪自注意力模块中用参考潜向量强制替换 Key 和 Value,维持全局风格与纹理一致性。更关键的是,针对掩码内部笔画的局部形变畸变,本文在传统运动监督损失之外,专门提出了局部一致性损失(Local Consistency Loss, \(L_{lc}\)),强力约束掩码内部非移动笔画特征在编辑前后的严格一致,实现仅有关键点顺滑平移而笔画边缘毫不发虚的效果。

3. 掩码区域替换(MRR):隔绝全图扩散漂移并确保零背景损伤 由于扩散模型的反演与去噪机制本质上是对整幅图像的全局潜在分布进行迭代采样,即使指定了注意力掩码,模型在重建非编辑区域时依然不可避免地会引入肉眼可察觉的细微噪点或背景色阶漂移,导致全图 PSNR 发生断崖式下跌。为从根本上彻底杜绝扩散带来的背景损伤,MRR 采取了极其高效的外科手术式替换机制:完全废弃扩散生成图像在掩码外的一切内容,仅将生成图像在掩码边界 \(\Omega\) 内的编码字符区域裁剪提取,无缝回贴并替换原图像 \(I_{\text{cover}}\) 对应的像素。由于掩码边界处在 GDE 中受到了严格的边缘平滑与一致性监督,回贴过程无缝衔接且全图背景保真度维持在完美数学无损状态。

4. 基于骨架拓扑距离的盲提取机制:无参快速判决与跨介质几何对齐 在接收端,文档可能遭遇各种物理信道攻击。提取算法无需原始图像介入(实现完全盲提取),首先调用字符检测算法(CRAFT)定位并切分各个单字,随后运行与嵌入端完全对齐的 MPE 评估逻辑,在退化图像上重新提取骨架并定位出唯一的 \(P_h\) 与 \(P_r\)。通过计算两者沿主轴的欧氏投影距离 \(\Delta(P_h, P_r)'\):若距离大于预设阈值 \(T_{\text{embed}}\),则直接解码出比特 1;反之判决为比特 0。由于骨架拓扑在经历打印噪点、低分辨率扫描与一定角度拍摄倾斜时展现出远超像素统计特性的几何鲁棒性,该判决规则展现出了极佳的抗畸变与抗失步性能。

损失函数 / 训练策略

在引导式扩散编码阶段,第 \(t\) 步去噪迭代中的潜变量为 \(\hat{z}_t^k\)。为了在移动关键点的同时严格限制局部形状畸变,总优化目标由运动监督损失 \(L_{ms}\) 与局部一致性损失 \(L_{lc}\) 组合而成:

\[L(\hat{z}_t^k) = L_{ms}(\hat{z}_t^k) + \eta L_{lc}(\hat{z}_t^k)\]

其中局部一致性损失 \(L_{lc}\) 定义为掩码区域 \(\Omega\) 内编辑特征与参考原始特征沿位移向量 \(d = h^k - h^0\) 的对齐误差:

\[L_{lc}(\hat{z}_t^k) = \sum_{q \in \Omega} \left\| G_{q+d}(\hat{z}_{t-1}^k) - \text{sg}(G_q(\hat{z}_{t-1}^0)) \right\|_1\]

式中 \(G_p(\cdot)\) 表示在位置 \(p\) 处的 UNet 中间特征映射向量,\(\text{sg}(\cdot)\) 为停止梯度算子(Stop-Gradient),\(\eta\) 为平衡权重(实验默认设为 \(0.003\))。在超参数设定上,嵌入判决阈值 \(T_{\text{embed}} = 10\),在短边为 512 像素的标准图下搜索半径 \(\tau = 80\),掩码外扩安全距离 \(\sigma = 10\)。

实验关键数据

主实验

实验系统评估了 TRACE 与最新 SOTA 字体水印方法 AutoStegaFont (ASF)、图像水印方法 StegaStamp 以及 IHA 在中英文字体(Arial、Times New Roman、Calibri、宋体 SimSun、黑体 SimHei)及多种字号(12pt 至 36pt)下的鲁棒性表现。下表汇报了在屏幕截图(Screenshot)、打印-扫描(Print-Scan)与打印-手机拍照(Print-Camera)三类典型跨介质物理信道下的提取准确率(ACC, %)。

字体 物理信道 字号 ASF (之前 SOTA) TRACE (本文) 提升幅度
Arial 屏幕截图 12pt / 36pt 85.83 / 82.50 96.67 / 100.00 +10.84% / +17.50%
Times New Roman 屏幕截图 12pt / 36pt 70.83 / 80.83 92.50 / 100.00 +21.67% / +19.17%
Calibri 屏幕截图 12pt / 36pt 95.00 / 100.00 97.50 / 100.00 +2.50% / +0.00%
宋体 (SimSun) 屏幕截图 12pt / 36pt 86.67 / 93.33 90.83 / 97.50 +4.16% / +4.17%
黑体 (SimHei) 屏幕截图 12pt / 36pt 91.67 / 98.33 92.50 / 99.17 +0.83% / +0.84%
Arial 打印-扫描 12pt / 36pt 80.83 / 76.67 95.83 / 100.00 +15.00% / +23.33%
Times New Roman 打印-扫描 12pt / 36pt 64.17 / 72.50 92.50 / 99.17 +28.33% / +26.67%
Calibri 打印-扫描 12pt / 36pt 73.33 / 74.17 98.33 / 100.00 +25.00% / +25.83%
宋体 (SimSun) 打印-扫描 12pt / 36pt 75.83 / 78.33 89.17 / 98.33 +13.34% / +20.00%
黑体 (SimHei) 打印-扫描 12pt / 36pt 77.50 / 87.50 91.67 / 98.33 +14.17% / +10.83%
Arial 打印-拍照 12pt / 36pt 66.67 / 80.00 95.83 / 100.00 +29.16% / +20.00%
Times New Roman 打印-拍照 12pt / 36pt 65.83 / 75.83 90.00 / 98.33 +24.17% / +22.50%
Calibri 打印-拍照 12pt / 36pt 71.67 / 72.50 96.67 / 100.00 +25.00% / +27.50%
宋体 (SimSun) 打印-拍照 12pt / 36pt 70.83 / 76.67 85.83 / 96.67 +15.00% / +20.00%
黑体 (SimHei) 打印-拍照 12pt / 36pt 77.50 / 85.83 90.00 / 96.67 +12.50% / +10.84%

同时,在视觉隐蔽性(PSNR 与 SSIM)横向对比中,TRACE 在全部字体上大幅抛离 ASF:

评估指标 方法 Arial Times New Roman Calibri 宋体 (SimSun) 黑体 (SimHei)
PSNR (dB) ↑ ASF 26.56 27.29 27.46 30.34 26.23
PSNR (dB) ↑ TRACE (本文) 36.76 36.51 32.38 40.98 40.05
SSIM ↑ ASF 0.984 0.986 0.985 0.989 0.986
SSIM ↑ TRACE (本文) 0.996 0.995 0.995 0.998 0.998

消融实验

1. 核心自动化模块 MPE 与 TPE 消融(测试提取准确率 ACC, %)

配置 MPE (操作点评估) TPE (目标点估计) 提取准确率 ACC (%) 说明
Setting 1 ✗ (随机选点) ✗ (随机位移) 49.95 完全失去同步,接近 50% 随机猜测
Setting 2 ✓ ✗ (随机位移) 68.75 仅有受控操作点,位移缺乏拓扑约束
Setting 3 ✗ (随机选点) ✓ 53.50 缺乏稳定关键点选择,解码端失序严重
Setting 4 (Full TRACE) ✓ ✓ 100.00 两者协同实现无误差的编解码拓扑同步

2. MPE 内部打分规则消融实验

配置方案 PSNR (dB) ↑ SSIM ↑ ACC (%) ↑ 核心观察
去除 Rule 1(打分扩展至交叉点) 25.24 0.911 63.33 牵动多笔画交点导致文字结构散架,画质与准确率双崩
去除 Rule 2(移除笔画连通性约束) 39.48 0.997 80.67 选点因处于同笔画导致无法产生足够形态位移,嵌入失败
去除 Rule 3(去除垂直坐标优先级) 32.82 0.965 68.51 解码端因多个同分候选无法对齐操作点,发生失步脱节
完整 MPE (Ours) 32.10 0.962 100.00 平衡文字结构稳定性与严苛的编解码同步

关键发现

  • 小字号与复杂物理信道优势极大:在 12pt 小字号以及严重的打印-拍照信道下,ASF 因边缘黑白噪点干扰准确率普遍跌至 65%~75%,而 TRACE 在各类字体下依然保持 85%~96% 以上的高精度;当字号增大至 36pt 时,TRACE 在绝大多数场景实现了 100% 零误差盲提取。
  • 卓越的多语言与异构字体零样本泛化:TRACE 无需重新训练码本,可直接泛化至手写体(截图 ACC 94.43%、打印扫描 93.17%、PSNR 38.20dB)与艺术字(截图 ACC 97.27%、PSNR 41.37dB),并在阿拉伯语、韩语、俄语、日语以及数学公式符号中成功实现不可见嵌入。
  • 高抗自适应结构形变攻击:模拟攻击者采用弹性形变对文字笔画施加轻微(Light)和强(Strong)几何扰动,TRACE 在 12pt 下仍保持 97.83%(轻)和 96.54%(强)的极高提取率,证明局部骨架主干的拓扑距离抗扰动裕度十分坚韧。

亮点与洞察

  • 从“像素统计”跃迁至“骨架拓扑”的范式创新:彻底颠覆了以往依赖黑白像素边缘比率或离散预训练码本的旧思路,将水印嵌入锚定在跨字符通用的骨架几何拓扑上,从物理机制上解决了跨介质高频退化脆弱与字体不可泛化的根本痛点。
  • 局部扩散编辑与“零背景损伤”的外科手术式工程闭环:巧妙地将前沿的 DragDiffusion 引入文字微结构形变,并通过设计专用局部一致性损失 \(L_{lc}\) 配合掩码区域替换(MRR),既享受了扩散模型对笔画真实感的精细控制,又避开了全图扩散导致的背景色阶漂移,使 PSNR 跃升至 36~40dB。
  • 可复用的模块替换灵活性:系统将点引导编辑模块与初始化/判决逻辑解耦,实验证实可用轻量级 InstantDrag 替换 DragDiffusion,将单字嵌入时间从数十秒骤降至 0.704 秒,为实用化工程落地提供了极佳的效率-画质调节杠杆。

局限与展望

  • 无端点环状字符的嵌入死角:作者坦承 TRACE 高度依赖骨架端点作为操作点,对于全封闭且无端点的特殊字符(如字母 'o'、数字 '0' 等)无法直接选定操作点嵌入。虽然正文中此类字符占比有限且可通过跳过或选择周围字符冗余嵌入规避,但未来仍需针对封闭几何结构设计基于曲率极值或对称轴的辅助嵌入规则。
  • 点引导扩散的推理时延开销:单张字符在依赖完整 LoRA 微调与 DDIM 潜在优化的标准配置下耗时较长(约 1.5 分钟),虽然可通过预先建立常用字离线码本或切换至 InstantDrag 缓解,但在超大规模全文实时动态渲染场景下仍有算力瓶颈。
  • 防文本转写(OCR)的天然边界:由于 TRACE 的定位是保卫物理文档载体本身(如带水印的纸质合同、带印章红头文件),一旦文档经历 OCR 纯文本转写,图像物理载体便彻底消失,此属于任务定义范畴之外的不可防攻击(抗 OCR 必须牺牲语义一致性采用语言学水印)。

相关工作与启发

  • vs AutoStegaFont (ASF) [AAAI 2023]: ASF 依赖预训练字体生成网络为每种字体构建离散码本,在遇到未训练的艺术字体、手写体或多语言文字时彻底瘫痪,且编辑造成的字符中空或边缘凹凸明显(PSNR 仅 26~30dB);TRACE 依托骨架拓扑连续形变,零样本支持任意字体,PSNR 提升超 5~13dB。
  • vs StegaStamp [CVPR 2020] / IHA [Signal Processing 2023]: StegaStamp 将深度神经网络水印全图平铺在图像上,在文档平滑背景上会产生极其刺眼的弥散伪影(PSNR 仅 27.19dB,SSIM 仅 0.8986);IHA 依赖连通域像素扰动,视觉残留过大;TRACE 仅修改笔画骨架关键点并配合掩码替换,全图背景绝对干净,隐蔽性压倒性胜出。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将交互式点引导扩散模型运用于文档物理水印,提出基于骨架拓扑的全新编码范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖中英双语、5种字号、手写/艺术字/多语种/公式,严格测试屏幕截图、扫描、多角度距离拍摄及自适应攻击。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密,问题陈述切中要害,数学推导详尽清晰,消融与分析环环相扣。
  • 价值: ⭐⭐⭐⭐⭐ 为保密文档防泄密溯源、纸质与电子文档版权确权提供了兼具高隐蔽性与强抗造性的实用落地方案。