Jaguar: Fast Private CNN Inference with Power-of-Two Homomorphic Arithmetic¶

会议: NeurIPS 2026
arXiv: 2606.11827
代码: https://github.com/Alibaba-Gemini-Lab/OpenCheetah
领域: 其他
关键词: 隐私推理, 同态加密, 安全多方计算, 2的幂次环, 卷积加速

一句话总结¶

Jaguar 针对混合 HE/2PC 隐私 CNN 推理中的素数模数多项式运算与截断瓶颈，创新性地采用 \(q=2^Q, p=2^P\) 纯2的幂次密文环，提出无 NTT 的标量-多项式累加卷积核 SPA-Conv 与零通信密文侧精确截断，在保证精确度与安全性的同时实现端到端延迟降低 2.07–3.72 倍。

研究背景与动机¶

机器学习即服务（MLaaS）在计算机视觉、医疗影像以及边缘计算等场景中得到了广泛部署。然而，云端模型推理伴随着双向隐私挑战：客户端希望保护输入的敏感数据，服务端则希望保护专有的模型权重。为了在不泄露双方隐私的前提下完成推理，基于同态加密（HE）与安全两方计算（2PC）的混合隐私推理范式（如 Gazelle、CrypTFlow2 和 Cheetah）成为了工业界兼顾精度与可行性的主流选择。该范式通常使用 HE 评估计算密集的线性层（卷积与全连接），并使用基于不经意传输（OT）的 2PC 评估非线性激活层（如 ReLU），从而避免了全同态推理中多项式近似激活函数带来的模型精度损失。

然而，现有混合系统的性能瓶颈早已不再是 2PC 非线性计算，而是 HE 卷积本身的庞大开销，以及线性与非线性层之间的精度流动失配。在局域网（LAN）环境下对经典方案 Cheetah 的性能剖析表明，仅卷积一项就占据了 ResNet-50 超过 99% 的线性层延迟和 80% 的总推理时间；其中，数论变换（NTT/iNTT）多项式运算耗费了 68% 的卷积时间，模素数约简操作又耗费了 34.6%。与此同时，定点数量化卷积会使输出的小数位数翻倍（从 \(f\) 变至 \(2f\) 位），传统系统不得不将加宽的秘密分享值直接输入 ReLU 协议，随后再调用交互式 2PC 截断协议——这不仅使得 ReLU 必须在更宽的位宽下比较，更凭空增加了一整轮昂贵的交互式截断通信。

这两个看似独立的瓶颈本质上共享同一个根源：现有系统盲目继承了传统 FHE 库（如 SEAL）以素数模数残数系统（RNS）为中心的底层设计。素数模数虽然适合通用多项式乘法，但在单层即转为秘密分享的混合推理中，不仅让原本简单的系数算术背负了沉重的 NTT 与模约简负担，而且直接阻断了在密文侧通过简单位移实现精确除法截断的可能。核心 idea：摒弃素数模数范式，将密文环与明文环统一构建在 2 的幂次模数（\(q=2^Q, p=2^P\)）之上，使卷积化简为纯位掩码约简的标量-多项式累加核（SPA-Conv），并在密文侧通过局部右移直接完成零通信精确截断，从而彻底消除后置截断协议并收窄 ReLU 位宽。

方法详解¶

整体框架¶

Jaguar 的核心是建立在 2 的幂次模数环之上的 BFV 密文系统。其执行流程分为跨层的秘密分享交接、服务端同态线性计算、密文侧精确截断与轻量非线性求值：客户端持有输入张量的秘密分享 \(\langle\mathcal{T}\rangle_C\) 并将其加密为 BFV 密文发送给服务端；服务端在密文上执行无需多项式乘法和 NTT 的标量-多项式累加卷积核（SPA-Conv），并在密文侧直接执行局部算术右移，完成 \(f\) 位目标精度的无损截断与掩码约简；随后服务端在密文常数项注入随机秘密分享，完成分组压缩导出；客户端在本地解密（通过引入辅助素数局部调用 NTT 保证解密效率），恢复出目标精度下的秘密分享 \(\langle\mathcal{T}'\rangle_C\)；最后双方直接在截断后位宽下调用轻量 2PC ReLU 协议，无需任何后置截断交互。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>客户端持有秘密分享 ⟨T⟩_C"] --> B["客户端密文打包与加密<br/>基于 2 的幂次模数环生成密文 CT_i"]
    B --> C["SPA-Conv 卷积核<br/>无 NTT 标量-多项式移位累加"]
    C --> D["密文侧精确截断<br/>局部算术右移 + 模 2^Q 掩码约简"]
    D --> E["分组导出与随机掩码注入<br/>生成目标精度 LWE 密文切片"]
    E --> F["NTT 辅助客户端解密<br/>辅助素数 q_ntt 加速，恢复目标分享"]
    F --> G["收窄位宽 2PC ReLU<br/>零通信消除后置截断，输出结果"]

关键设计¶

1. 2的幂次同态算术底座与无模运算约简

传统同态密码库出于 NTT 快速多项式乘法的要求，强制要求模数 \(q\) 为特殊的素数或素数链，导致每次标量乘法和加法都必须进行耗时的 Montgomery 或 Barrett 模乘约简。Jaguar 基于 RLWE 困难度理论指出，环维数 \(N\)、模数位宽 \(Q\) 和误差分布才是决定 BFV 安全性的根本因素，模数本身并不强制要求为素数。因此 Jaguar 选取 \(q=2^Q, p=2^P\)（在标准参数下取 \(N=2048, Q=54, P=30\)），在此配置下，模 \(q\) 的约简直接退化为一条极速的位与指令 x & ((1ULL << Q) - 1)，彻底消除了硬件上极其昂贵的多周期整数模除或模乘开销，同时天然与下层 2PC 所需的 \(\mathbb{Z}_{2^\ell}\) 加法分享环无缝对齐。

2. SPA-Conv：基于标量-多项式累加的高效卷积核

在标准的 CNN 卷积中，输出特征图的每个通道均由输入特征图与对应卷积核在空间邻域滑动乘积累加得到。当输入特征图以系数编码直接映射到多项式系数中时，输出块 \(A_{o,j}\) 可以精确分解为明文权重标量与循环移位密文的线性组合：

\[A_{o,j} = \sum_{c \in \mathcal{C}(o)} \sum_{(u,v) \in \Omega_K} w_{o,c,u,v} \cdot \rho_{\sigma(c,j) + \delta(u,v)}(\mathrm{CT}_{\iota(c,j)})\]

其中 \(\rho_\alpha(\cdot)\) 代表反循环多项式系数移位算子，\(w_{o,c,u,v}\) 是单精度明文权重标量。该公式表明，整个卷积过程完全无需密文-明文之间的多项式卷积乘法，只需对密文两分量分别执行标量乘和加法移位。这彻底免除了服务端的正反向 NTT 操作，将计算开销从多项式乘法全面收敛为系数域的流水线积和运算。对于 \(1\times 1\) 点卷积，空间位移集退化为 \(\Omega_K=\{(0,0)\}\)，完全无需空间移位；对于深度可分离卷积，输入输出通道严格对应，累加项由 \(C_{\mathrm{in}}K^2\) 锐减至 \(K^2=9\)，计算效率得到极致释放。

3. 零通信密文侧精确截断

定点数相乘使小数位增加 \(f\) 位，以往方案必须通过 2PC 协议进行安全截断。Jaguar 证明了当密文尺度因子 \(\Delta = \lfloor q/p \rfloor = 2^{Q-P}\) 能被 \(2^f\) 整除时，服务端对密文分量直接执行算术右移即等价于对内部明文进行精确截断。服务端对密文 \((c_0, c_1)\) 的每个系数直接执行右移 \(f\) 位：\(c_0'[i] = c_0[i] \gg f, c_1'[i] = c_1[i] \gg f\)。客户端收到解密时执行两步除法与舍入：

\[\hat{m}_1 \leftarrow \left\lfloor \frac{1}{2^f} \left\lfloor \frac{2^f}{\Delta} [c_0' + c_1'\hat{s}]_{q \gg f} \right\rceil \right\rfloor \pmod{p \gg f}\]

定理 1 保证，只要密文噪声满足 \(\|\hat{\epsilon}\|_\infty < \Delta/2 - (N+1)2^f\)，该截断结果与直接对真实明文右移截断在数学上严格精确一致。在系统参数配置下，噪声上界为 \(7.34 \times 10^6\)，而深度为 1 的线性层在最极端网络层累加后的噪声裕度依然保持在 \(25.9\sigma\) 以上。该机制使服务端本地完成截断，通信量完全降为 0，并且传递给后续 ReLU 的数据位宽从 \(\ell\) 降至 \(\ell-f\)，使百万富翁比较位宽大幅压缩。

4. 客户端 NTT 辅助局部极速解密

在 2 的幂次环虽然在服务端完全消除了多项式乘法，但在客户端解密时，仍需要计算一次密文多项式与私钥多项式的乘积 \(\hat{c}_1' \cdot \mathsf{sk}\)。若在幂次环上直接使用朴素乘法，时间复杂度为 \(O(N^2)\)。Jaguar 的巧妙之处在于：仅在客户端解密这一局部步骤中，引入一个临时的 60 位辅助素数 \(q_{\mathrm{ntt}}\)。由于经过 \(f\) 位截断后 \(\hat{c}_1'\) 系数上界小于 \(2^{Q-f}\)，私钥为三元多项式，乘积系数不会溢出 \(q_{\mathrm{ntt}}\)，因此客户端可直接利用 NTT 在 \(O(N \log N)\) 复杂度内求出精确整数积，再无缝模 \(2^Q\) 投影回幂次环。该辅助素数无需写入协议，完全是客户端本地的计算加速工具，使解密耗时保持极低。

损失函数 / 训练策略¶

Jaguar 属于隐私保护推理框架，直接复用在标准 ImageNet 数据集上预训练的官方 torchvision 模型权重（ResNet-18, ResNet-50, MobileNetV2）。为了最大化保持定点数推理精度，通过两阶段参数筛选机制确定最佳位宽组合 \((f, P) = (9, 30)\)。Batch Normalization 层参数全部离线融合进前驱卷积核权重中：

\[w_{o,j}^{\mathrm{fused}} = \mathrm{Round}\left(\frac{w_{o,j}^{\mathrm{centered}} \cdot \mathrm{BNMul}_o}{2^{s_{\mathrm{BN}}}}\right)\]

保证在线阶段全同态计算只包含纯整数点阵卷积。

实验关键数据¶

主实验¶

在 Intel Xeon Gold 6250 CPU（4 线程，AVX 关闭，禁用 SIMD 专用优化以公平对比底层机制）上，分别在 LAN（384 MB/s, 0.3 ms RTT）和 WAN（62.5 MB/s, 20 ms RTT）环境下对 ImageNet 规模的经典网络进行端到端全密态推理对比。

模型	协议	LAN 延迟 (s)	LAN 加速比	WAN 延迟 (s)	WAN 加速比	通信量 (MiB)	通信缩减比
ResNet-18	Cheetah	30.30	1.00×	36.94	1.00×	366.94	1.00×
	Rhombus	29.04	1.04×	36.24	1.02×	344.01	1.07×
	Jaguar (本文)	8.64	3.51×	15.94	2.32×	315.02	1.16×
ResNet-50	Cheetah	120.82	1.00×	142.72	1.00×	1335.63	1.00×
	Rhombus	96.77	1.25×	111.44	1.28×	750.22	1.78×
	Jaguar (本文)	32.44	3.72×	51.50	2.77×	962.00	1.39×
MobileNetV2	Cheetah	46.99	1.00×	67.25	1.00×	1042.62	1.00×
	Rhombus	58.98	0.80×	77.19	0.87×	836.81	1.25×
	Jaguar (本文)	18.41	2.55×	32.42	2.07×	592.50	1.76×

消融实验¶

针对 ResNet-50 的非线性阶段（ReLU 与 Truncation）进行详细模块分解测试，评估密文侧预截断带来的性能增益：

模块/阶段	方案	LAN 延迟 (s)	WAN 延迟 (s)	通信量 (MiB)	机制说明
ReLU 激活层	Cheetah	17.70	24.20	271.69	输入为未截断的加宽位宽 \(\ell\)
	Jaguar	7.89 (2.24×)	15.02 (1.61×)	148.61 (1.83×)	输入直接为目标精度 \(\ell-f\)，比较器大幅收窄
截断层 (Truncation)	Cheetah	1.08	3.21	22.91	基于 2PC 的交互式截断协议
	Jaguar	0.19 (5.58×)	0.20 (16.22×)	0.00 (完全消除)	密文侧本地右移，零通信、零往返开销
整体非线性阶段	Cheetah	18.78	27.41	294.60	基线非线性总开销
	Jaguar	8.08 (2.32×)	15.22 (1.80×)	148.61 (1.98×)	延迟降低 2.32×，通信减少近一半

关键发现¶

卷积核心计算的大幅削减：单算子微基准测试显示，在分离通道密卷积（Split Dense）中，SPA-Conv 实现了高达 17.81 倍的几何平均加速；点卷积（Pointwise）实现了 11.82 倍加速；深度可分离卷积（Depthwise）加速比为 11.65 倍。主要原因在于消除 NTT 和模素数乘法后，卷积退化为密集的连续内存标量移位累加，计算密度显著提升。
广域网（WAN）下通信与往返消除：密文截断技术彻底移除了截断交互轮次，使得 ResNet-50 截断层在 WAN 环境下耗时从 3.21 秒骤降至 0.20 秒（16.22 倍加速），极大缓解了网络延迟敏感问题。
与向量化硬件（AVX-512）天然契合：在启用 AVX-512 后，由于模 \(2^Q\) 约简与截断直接对应 64 位整数向量与操作（_mm512_and_epi64）和向量算术右移（_mm512_srai_epi64），ResNet-50 端到端 LAN 推理时间可进一步从 32.44 秒缩短至 25.55 秒。

亮点与洞察¶

敢于打破底层的教条假设：学术界此前普遍认为 FHE 必须运行在 NTT-friendly 素数模数之上，Jaguar 指出在非交互的单层混合推理中，卷积天然只需要“标量乘密文”，无需多项式乘法，因此果断切换到 2 的幂次模数，将模约简直接降格为位操作，实现了降维打击。
以“纯算术视角”重构精度流动：以往系统将定点数截断视作一个棘手的安全多方协议交互问题，而本文从数学上发现只要 \(q\) 和 \(p\) 均为 2 的幂，密文分量的算术右移就严格对应明文的精确截断，从而一石二鸟：既消除了截断通信，又将后续 ReLU 的输入位宽压缩，形成连锁提速。
实用主义的技术混搭（NTT 局部回流）：虽然服务端放弃了 NTT，但解密端必须进行一次单项多项式乘积。论文没有死板地在幂次环上做 \(O(N^2)\) 计算，而是客户端单方面引入辅助素数临时构造 NTT 计算，既不影响协议交互的幂次环结构，又保持了渐进高效性。

局限与展望¶

全连接与通用矩阵乘法（GEMM）尚未原生覆盖：对于最后的分类全连接层（FC），由于缺乏二维空间邻域的滑动移位复用结构，无法直接发挥 SPA-Conv 的系数移位优势，目前依然依赖切换回 Cheetah 的传统后端处理。
抗量子安全参数需扩大环维数：当前采用的 \((N,Q) = (2048, 54)\) 针对的是 128 位经典安全标准（提供 129.7 位安全性）；如果要在后量子安全模型（BKZ.qsieve）下达到 128 位安全，则需要将环维度扩展至 \(N=4096\)，可能会在一定程度上稀释小通道层的算力收益。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了混合推理中必须使用 NTT 素数模数的固有范式，首创基于 2 的幂次密文环的端到端架构。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖微基准测试、单层剖析、消融分析及 ResNet-18/50、MobileNetV2 在 LAN/WAN 下的完整端到端测试。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻透彻，数学定理推导严格完备，软硬件权衡交代极为清晰。
价值: ⭐⭐⭐⭐⭐ 为隐私保护神经网络推理开辟了全新的算术路径，对推动隐私 AI 在生产环境低延迟落地具有重要价值。