Asymmetric Phase Coding Audio Watermarking¶

会议: NeurIPS 2026
arXiv: 2605.07241
OpenReview: https://openreview.net/forum?id=nAf6IJ9PSz
代码: https://github.com/ucla-mobility/asymmetric-phase-coding
领域: 安全
关键词: 音频水印, 非对称加密, Ed25519, 相位编码, 量化索引调制

一句话总结¶

提出非对称相位编码（APC）音频水印方案，通过公钥伪随机 STFT 相位调制与相邻频点对数幅度差分 QIM 双通道并行嵌入 Ed25519 签名及 Reed-Solomon 纠错码，实现了无需训练、支持盲提取、不可伪造且抗 lossy 编解码压缩的鲁棒音频溯源认证。

研究背景与动机¶

深度生成模型在语音合成与声音克隆领域的逼真度已逼近人类听觉极限，逼真的深度伪造（deepfake）语音频频引发金融欺诈与社会信任危机。传统的被动取证检测器严重依赖生成模型在时频域留下的微弱统计假影，然而这类假影在面对不断迭代的生成网络架构时泛化性不足，且极易在实际网络传输（如 VoIP、移动蜂窝网络及有损音频编解码压缩）中被彻底抹除。

主动式数字音频水印通过在音频采集或生成时嵌入验证凭据来确立真伪，但现有的主动水印面临两难困境：经典脆弱水印与传统时频隐藏技术缺乏密码学上的不可抵赖性，攻击者一旦知晓检测算法即可逆向伪造合法水印；而近年来基于深度神经网络的对抗训练水印方案（如 AudioSeal、WavMark）虽然具备高感知质量与强鲁棒性，但通常只能承载 16 到 32 位的极短对称载荷，无法内嵌公钥数字签名，且严重依赖大规模语音数据集训练、GPU 算力以及频繁迭代的模型权重，面对模型漂移与对抗性微调时依然存在安全隐患。此外，若仅将数字签名存放于外部元数据文件中，各类社交平台和转码管道会自动剥离元数据，导致溯源信息静默失效。

针对上述矛盾，本文提出直接在音频时域波形中构建轻量、可审计且无需训练的密码学签名层。核心 idea：将 Ed25519 非对称数字签名与 Reed-Solomon 纠错码打包成紧凑载荷，利用公钥伪随机派生频点在 STFT 域通过相位差分调制与相邻频点对数幅度差量化（QIM）构建互补双通道，在完全开放公钥验证端的前提下实现不可伪造、盲提取且抗有损压缩的鲁棒音频水印。

方法详解¶

整体框架¶

非对称相位编码（APC）系统接收明文消息 $M$、Ed25519 密钥对 $(K_{\text{priv}}, K_{\text{pub}})$ 以及宿主音频信号 $s(t)$。私钥持有者在本地签名生成不可伪造的公钥凭证，将其与纠错码结合后映射至 STFT 频域；验证端仅持有公钥 $K_{\text{pub}}$ 即可盲提取水印并完成数学验签。系统整体由载荷密码学编码、双通道时频嵌入、盲提取与软判决解码三个核心阶段构成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入音频 s(t) + 明文消息 M + 私钥 K_priv"] --> Enc["Ed25519 签名与 Reed-Solomon 纠错编码<br/>生成 1160 比特带前缀与纠错校验的紧凑载荷"]
    Enc --> Trans["短时傅里叶变换 STFT (N_FFT=2048)<br/>公钥哈希伪随机派生独立频点集合 K 与 M"]
    Trans --> PhaseMod["相位通道调制<br/>公钥频点相位映射 ±π/2 并组内补偿偏移"]
    Trans --> MagQIM["对数幅度差分 QIM 通道<br/>相邻频点对能量差量化调制与多重副本冗余"]
    PhaseMod --> Merge["逆短时傅里叶变换 ISTFT 合并重构<br/>输出含不可伪造签名水印的音频信号 s'(t)"]
    MagQIM --> Merge
    Merge --> Chan["信道传输与潜在攻击 (MP3/OGG/重采样/裁剪)"]
    Chan --> Ext["公钥盲提取与软判决解码<br/>正弦软分值与余弦累加判决 + RS 纠错 + Ed25519 验签"]
    Ext -->|任一通道验签通过| Valid["认证成功 (通过数字验签)"]
    Ext -->|双通道均失败| Invalid["认证失败 (未标记或被篡改)"]

关键设计¶

1. Ed25519 签名与 Reed-Solomon 纠错编码：构建高强度抗突发误码的密码学载荷 传统数字水印仅能传递对称密钥或短识别 ID，一旦检测端公开，攻击者便能逆向伪造任意合法标记。APC 采用 RFC 8032 标准的 Ed25519 椭圆曲线数字签名算法（EdDSA），私钥持有者计算 $S = \text{Ed25519.Sign}(K_{\text{priv}}, M)$ 得到 64 字节（512 位）签名，具备 128 位经典密码学安全强度。将 2 字节长度前缀、明文消息与签名拼接得到基础载荷 $P = \text{len}_{16}(M) \,\|\, M \,\|\, S$。为了抵御信道传输中的比特翻转与丢包，采用纠错能力为 $t=30$ 的 Reed-Solomon 纠错码进行外层编码： $$P_{\text{RS}} = \text{RS}_{\text{enc}}(P, \, t=30)$$ 该纠错码能够在接收端准确纠正至多 $\lfloor t/2 \rfloor = 15$ 字节的突发传输误码。对于标准的 49 字节明文消息，未编码载荷长度为 115 字节，经 Reed-Solomon 编码后得到 145 字节（1,160 比特）的鲁棒密文字节流。相比 RSA-1024 方案，Ed25519 将签名体积减半且计算耗时缩短至亚毫秒级，大幅压缩了音频承载载荷所需的物理时长。

2. 伪随机频点相位调制：无损幅度谱的盲水印嵌入机制 为了保证水印在非对抗场景下的人耳不可感知性，主通道在 STFT 频域对相位展开精细控制。对宿主音频使用无重叠矩形窗进行变换（$N_{\text{FFT}}=2048$），提取幅度谱 $A(i,k)$ 与相位谱 $\phi(i,k)$。系统以公钥哈希 $H(K_{\text{pub}})$ 作为随机种子，在抗编解码退化的稳定频带 $[f_{\text{min}}, f_{\text{max}}] = [60, 300]$ 频点区间（对应约 $1.3\sim6.5\text{ kHz}$）内置乱选取嵌入频点集合 $\mathcal{K}$。每个纠错后的二进制比特 $d_n$ 被映射到离散相位目标： $$\phi_{\text{data}}[n] = \begin{cases} +\pi/2, & d_n = 1 \\ -\pi/2, & d_n = 0 \end{cases}$$ 在每组连续 $G=8$ 个时间帧构成的时隙中，选取锚点帧 $i_0$ 计算相对偏移 $\Delta\phi[n] = \phi_{\text{data}}[n] - \phi(i_0,k)$，并施加于该组频点相位上。在解码端，公钥持有者无需原始音频，通过计算软判决分值 $\sigma_n = \sin\phi(i_0,k) \in [-1, 1]$ 即可恢复连续置信度。

3. 对数幅度差分 QIM 容灾通道：抵抗有损音频编解码相位重构 MP3 与 OGG-Vorbis 等主流有损音频编解码器在临界频带内会剧烈重构和抹平细粒度相位信息，导致纯相位通道在 $128\text{ kbps}$ 码率下性能骤降。为此，APC 引入了一条与相位解耦的对数幅度差分量化索引调制（QIM）容灾通道。该通道通过公钥派生异或种子 $H(K_{\text{pub}}) \oplus \texttt{0x4D41}$（常量为 ASCII 码 "MA"，即 Magnitude）置乱生成一组独立的频带集合 $\mathcal{M} \subset [100, 340]$，并将其两两配对为相邻频点对 $(k_1, k_2)$。对于每组 $G=8$ 个时间帧，计算频点对的平均对数幅度： $$\ell_j = \frac{1}{G} \sum_{i\in g} \ln\big(A(i,k_j) + \varepsilon\big), \quad j\in\{1,2\}$$ 并求取对数差值 $d = \ell_1 - \ell_2$。随后，以步长 $\Delta = 1.0\text{ nat}$ 的均匀量化网格对差值进行奇偶校验量化投影： $$c = \lfloor d/\Delta \rceil, \quad c' = \begin{cases} c, & c \bmod 2 = b \\ c + \text{sgn}(d - c\Delta), & \text{otherwise} \end{cases}$$ 将差值对准目标 $d^* = c'\Delta$ 后，通过对称乘法因子调整两个频点的幅度值：$A(i,k_1) \leftarrow A(i,k_1)e^{(d^*-d)/2}$，$A(i,k_2) \leftarrow A(i,k_2)e^{-(d^*-d)/2}$。这种对称微调严格保持了局部总对数能量 $\ell_1 + \ell_2$ 不变，最大程度减小了对听觉感官的影响。在提取端，利用 $R_m = 5$ 重载荷副本在时域上的时间冗余，累加连续余弦软判决统计量： $$\sigma_n = -\sum_{r=1}^{R_m} \cos\left(\frac{\pi(\ell_1 - \ell_2)}{\Delta}\right)$$ 在阈值判决前先进行时域平滑滤波，大幅避免了硬比特多数表决的平局偏差，成功在严重有损压缩下兜底保护密码学签名的完整性。

4. 结构性缺陷修复：冗余相位写入消除与无防护长度头部解耦 通过对实现机制的深度分析，研究发现了原版工程实现中的两个关键漏洞并给出了严格修复： - 消除编码器冗余相位写入：原编码器将相位偏移 $\Delta\phi[n]$ 重复写入组内全部 $F=8$ 帧，而解码器实际仅抽取锚点帧（$F=1$）进行检测。将写入帧数纠正为 $F=1$ 后，消除了 7 帧完全无用的时频畸变，直接将干净语音的 PESQ 从 3.13 显著提升至 3.55，信噪比（SNR）从 $13.6\text{ dB}$ 跃升至 $20.9\text{ dB}$，且鲁棒性与比特误码率未产生任何劣化。 - 解耦无防护长度头部的安全门禁：原解码器依赖位流前缀的 32 位未加密头部长度字段决定是否继续解析。由于该字段处于 Reed-Solomon 纠错与 Ed25519 签名防护范围之外，攻击者仅需定向微调 3 个频点即可在人耳不可辨的代价下（$\Delta\text{PESQ} \approx 0.00005$）触发早期退出异常，导致验签静默归零。改进方案在解码端将载荷长度视为协议常数，直接进入纠错与 Ed25519 验签流程，利用椭圆曲线抗原像碰撞特性（伪造成功率低于 $2^{-128}$）彻底封死该擦除攻击路径，同时使系统免受前部截断（Head-Cropping）导致的解析器崩溃。

完整示例 / 验签执行流程¶

以 10 秒 44.1 kHz 单声道音频片段（441,000 个采样点）为例，嵌入 49 字节版权与创作者元数据消息： 1. 载荷装配与签名：调用 Ed25519 对元数据签名获得 64 字节签名串，添加 2 字节头部后形成 115 字节明文块，通过 Reed-Solomon ($t=30$) 编码扩展为 145 字节（1,160 比特）编码串。 2. 时频划分与调制：执行 2048 点非重叠 STFT 获得 215 帧频谱。由公钥派生集合 $\mathcal{K}$（200 个频点）与集合 $\mathcal{M}$（120 对频点）。相位通道以 8 帧为一组，将 1,160 比特分批嵌入前 6 组时频单元（仅占整段音频前 23.1% 的物理时长）；幅度通道将相同载荷进行 $R_m=5$ 重复制填满剩余容量，随后逆变换 ISTFT 合成时域波形。 3. 盲验签决策链：验证端直接对接收音频进行 STFT。首先提取相位频点计算正弦软判决并送入 RS 解码器，若解码出的 115 字节经 Ed25519 验证与公钥吻合，则立即输出认证成功；若相位通道失败（如遭遇低码率 MP3 压缩），系统自动激活对数幅度差分 QIM 通道，累加 5 重副本的余弦软置信度并执行 RS 纠错解码，再次送入 Ed25519 引擎。只要任一通道通过数字验签，即认定音频完整不可抵赖。

实验关键数据¶

主实验¶

在 LibriSpeech test-clean 数据集（1,000 个 10 秒 44.1 kHz 干净语音片段，单线程 CPU）上评估 APC 混合编解码器在八类常见信道干扰下的综合表现。

攻击类型 / 传输条件	比特误码率 (BER) ↓	归一化互相关 (NC) ↑	感知音质 (PESQ) ↑	密码学验签率 (Verify%) ↑
Identity (原始无失真)	0.017	0.983	3.02 ± 0.36	98.3%
FLAC 无损压缩	0.019	0.980	3.02 ± 0.36	98.0%
Resampling (16 kHz 往返重采样)	0.020	0.978	3.02 ± 0.36	97.7%
Low-pass 滤波 (8 kHz Butterworth)	0.020	0.977	3.03 ± 0.36	97.7%
End-Crop 10% (末尾截断 10%)	0.017	0.983	2.28 ± 0.30	98.3%
End-Crop 20% (末尾截断 20%)	0.017	0.983	1.80 ± 0.32	98.1%
MP3 编码 (128 kbps)	0.025	0.969	3.02 ± 0.36	97.5%
OGG-Vorbis (128 kbps)	0.024	0.969	3.03 ± 0.36	97.5%

消融实验¶

消融实验聚焦于幅度 QIM 通道的抗压缩贡献、缺陷修复带来的性能释放以及与神经水印的对标。

模型配置 / 消融项	MP3 128k 验签率 ↑	OGG 128k 验签率 ↑	干净语音 PESQ ↑	核心机制与性能说明
纯相位通道 (Phase-only, F=8)	77.0%	73.0%	3.26 ± 0.43	缺乏幅度补偿，在有损压缩相位混叠下大幅失效
混合通道 (APC Shipped, F=8)	97.5%	97.5%	3.02 ± 0.36	幅度 QIM 成功兜底救回 14.1% MP3 与 9.2% OGG 失败样本
修复版 (单帧写入 F=1 + 常数头)	97.5%	97.5%	3.55 ± 0.35	消除 7 帧冗余畸变，信噪比提升 7.3 dB，且抗前部截断达 40%
容量对齐版 (16 bit 极低载荷)	100.0%	100.0%	4.20	载荷降至神经水印同等规模时，PESQ 逼近 AudioSeal (4.48)
WavMark (神经模型基线, 16 bit)	100.0%	100.0%	4.11	基于对称神经网络，无公钥签名，易被全网逆向伪造
AudioSeal (神经模型基线, 16 bit)	100.0%	100.0%	4.44	样本级定位能力，不可抵赖性缺失且无法内嵌大签名

关键发现¶

双通道互补分工明确：通道归因分析显示，纯相位通道主导了干净、滤波、重采样和截断场景；而对数幅度差分 QIM 通道在 lossy 编码中扮演了关键底线，在 MP3 128k 下挽救了 14.1% 的单独相位失效样本，在 OGG 128k 下挽救了 9.2% 的样本。
音质差距本质源于载荷容量而非算法缺陷：APC 传输包含 64 字节非对称签名在内的 1,160 位大载荷，信噪比为 $15.69\text{ dB}$。当压缩载荷至主流神经水印的 16 位时，APC 的 PESQ 立即回升至 4.20（SNR 为 $26.44\text{ dB}$），与 AudioSeal（PESQ 4.48，SNR $27.25\text{ dB}$）的差距缩小至 0.28 分以内。这证明其音质损耗主要来自承载公钥防伪所需的物理信息密度。
广阔的跨语种与跨模态泛化力：在涵盖 27 类音乐风格、多语言与多真实噪音信道的 18 个外部数据集（共 2,021 条音频）上，音乐数据集验证率达到 99.9%，在 11 个真实噪音及电话语料中有 8 个达到 100% 验证率。AMI 会议数据集的远场麦克风（$n=64$）与近场耳麦（$n=90$）均实现 100% 验签，表明物理声学混响本身对时频差分调制无负面影响。

亮点与洞察¶

无需训练的密码学内生防御：巧妙将工业级 Ed25519 数字签名算法与经典信号处理（STFT 相位与对数幅度 QIM）结合，使得系统完全摆脱了对 GPU 算力、神经网络训练集以及模型权重的依赖，单核 CPU 单样本嵌入耗时仅 $71.0\text{ ms}$、提取仅 $57.9\text{ ms}$。
白盒擦除与不可伪造性的本质解耦：论文通过公钥频点随机化实验明确证明，由于非对称签名的密码学保护，伪造签名在数学上等价于破解 Curve25519 离散对数（复杂度约 $2^{128}$）；而即便攻击者掌握全部公开公钥参数，要彻底擦除水印也必须付出高达 $\Delta\text{PESQ} \ge 1.30$、对数谱失真（LSD）暴增 $3.5\times$ 的严重音质劣化代价。
与神经水印方案的无损共存（Stacking）：实验验证 APC 与 AudioSeal 具备无损叠加能力，在 17 种信道变形中的 16 种下实现零双向干扰，仅增加约 $0.03\text{ PESQ}$ 开销，成功构建了“神经水印负责深度抵抗有损传输、APC 提供不可抵赖防伪签名”的工业级 C2PA 落地组合范式。

局限与展望¶

物理声学重放与神经编解码器边界：由于调制依赖 STFT 频点的相位与相对能量关系，面对音箱重放（Analog Hole）或 EnCodec / HiFi-GAN 等基于离散离散神经表征深度重构波形的神经编解码器时，验签率会坍塌至 0.0%。这类基于潜在变量重生成的信道超出了一切时域波形水印的适用范畴。
时序起始段静音导致漏嵌：前序包含数字静音（全零采样点）的音频片段会因对数运算无能量而无法写入乘法幅度偏移，导致极少量样本在无失真状态下验签失败。针对此问题，工程上应在输入端增加微弱抖动填充（dither）或跳过前置静音切片。
时间拉伸与重采样率失步敏感：整数时间平移可通过验证端移位盲搜索恢复，但时域拉伸（Time-stretch）或非整数倍重放速度变化会彻底打乱 STFT 频点索引对应关系，需进一步探究基于时频不变域或神经特征对齐的同步辅助标记机制。

评分¶

新颖性: ⭐⭐⭐⭐☆ 成功将现代公钥密码学 Ed25519 签名与 STFT 混合差分调制无缝结合，在无训练条件下建立了完整的非对称音频溯源理论模型。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1,000 段 LibriSpeech 八大攻击测试、2,021 段跨语种/跨音乐/真实噪声验证、白盒擦除极限攻击及与神经水印的堆叠实验，数据极度详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，直面模型缺陷并给出精准的工程修复方案，数学表述与密码学边界定义非常清晰。
价值: ⭐⭐⭐⭐⭐ 为 C2PA 硬件音频采集端与音视频版权保护提供了开箱即用、免 GPU 部署且不可伪造的工业级关键基础设施方案。