Curvature Under Attack in hZACH-ViT: Gauge Symmetry, Boundary Saturation, and Adversarial Failure¶

会议: NeurIPS 2026
arXiv: 2610.00680
领域: 可解释性
关键词: 几何深度学习、双曲表征、庞加莱球、对抗攻击、曲率规范对称性

一句话总结¶

本文系统探究了紧凑型视觉 Transformer（hZACH-ViT）在不同表征曲率与几何原型头下的对抗行为，证明庞加莱球在 \(c=1\) 时的所谓对抗减缓并非源于负曲率的内在几何鲁棒性，而是由特征向数值边界饱和坍缩、硬投影截断扼杀径向敏感度导致的实现病态，曲率干预至 \(c=0.1\) 可消除该病态并恢复正常的识别与对抗表征动态。

研究背景与动机¶

非欧氏几何表征学习试图通过引入显式几何先验替代特征处于平坦欧氏空间的默认假设。在以图结构、层次关系或低资源视觉为主的场景中，负曲率双曲空间凭借指数膨胀的体积天然契合层次划分，正曲率球面空间则通过抹除模长约束将注意力聚焦于角度结构。许多研究在引入庞加莱球或双曲原型分类器后，常观察到模型在对抗扰动下表现出比欧氏模型更慢的攻击成功率上升，从而倾向于得出“双曲几何具备内在鲁棒性”的结论。然而，曲率不仅是一个代表正负几何形态的拓扑标签，它的数值大小直接决定了流形坐标的基准尺度；在实际神经网络实现中，为了在浮点精度下避免除零与数值发散，工程师必须对庞加莱球的边界添加极小松弛量与硬阈值投影截断。

这种内在几何性质与数值实现截断之间的纠缠在对抗攻击场景下尤为致命。对抗优化本质上是在探索表征空间中哪些移动方向依然可达、表征轨迹如何穿过分类决策面。已有研究表明，高维双曲原型网络在训练中极易发生特征聚集在极为接近边界的极窄壳层内的现象，这一特征分布使所谓非欧几何的自由度迅速退化。前人研究往往固定单一曲率（如 \(c=1\)），未能将曲率符号与曲率尺度解耦，也未审计规范对称性在浮点边界处的破缺。当模型在固定曲率下表现出较低的攻击成功率时，无法分清这是几何结构的优势，还是由于优化梯度在浮点截断处被人工抹平、造成了优化受阻的假象。

针对这一核心矛盾，本文在紧凑型无位置编码视觉架构 hZACH-ViT 上设计了受控的几何干预实验。研究既不局限于固定曲率的横向对比，也不轻信单纯的攻击指标，而是将对抗攻击作为解剖隐层表征移动的探针，推导曲率尺度规范对称性并引入球面原型作为严格的数值控制组。核心 idea：通过推导曲率-尺度规范变换并执行 \(c=1\) 至 \(c=0.1\) 的端到端曲率干预，揭示庞加莱原型头看似更强的对抗鲁棒性实为硬边界截断与径向雅可比坍缩造成的数值病态，而非负曲率的内在几何属性。

方法详解¶

整体框架¶

整个评测与诊断流程由紧凑型骨干网络、几何原型分类头、双重尺度规范变换、无量纲表征轨迹度量以及对抗攻击探针构成。输入图像 \(x\) 经由参数量仅约 0.25M、无类别标记（class token）且无位置编码的 ZACH-ViT 骨干网络，通过对 patch 特征执行全局平均池化得到 64 维特征向量 \(u = f_\theta(x) \in \mathbb{R}^{64}\)。随后，特征被送入严格匹配参数量的原型分类头，分别映射到欧氏空间、曲率为 \(c\) 的庞加莱球 \(\mathbb{D}_c^d\) 以及曲率为 \(c\) 的超球面 \(\mathbb{S}_c^d\)。通过对抗优化（PGD-10、PGD-20 多重启动 CE+DLR）在共享清洁正确预测集上生成扰动，同时跟踪特征在流形内部的无量纲路径长度与边界状态。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 x<br/>224×224 RGB 图像"] --> B["ZACH-ViT 骨干提取<br/>全局池化得 64 维特征 u"]
    B --> C["匹配原型头映射<br/>欧氏 / 庞加莱 / 球面分类器"]
    C --> D["曲率-尺度规范与无量纲坐标<br/>归一化半径与无量纲测度"]
    D --> E["数值边界敏感度与投影审计<br/>径向雅可比与硬截断检测"]
    E --> F["受控对抗攻击与表征轨迹分析<br/>无量纲路径长与效率评估"]

关键设计¶

1. 匹配几何原型头与径向正交性约束：统一参数规模与剔除范数扰动

为消除参数量与分类头结构带来的混杂因素，所有原型头均采用类别原型向量 \(p_k \in \mathbb{R}^{64}\) 并学习统一的正标度温度参数 \(s > 0\)，使得非归一化对数概率计算统一为负缩放流形测地距离 \(\ell_k(u) = -s\, d_{\mathcal{M},c}(\Phi_{\mathcal{M},c}(u), \Phi_{\mathcal{M},c}(p_k))\)。所有原型头变体的参数量严格控制为 248,705，与基线线性分类头的 248,712 参数完全对齐。对于半径为 \(1/\sqrt{c}\) 的球面头，映射为 \(\Phi_{S,c}(u) = u / (\sqrt{c}\|u\|_2)\)，由于正比例缩放 \(\alpha > 0\) 满足 \(\Phi_{S,c}(\alpha u) = \Phi_{S,c}(u)\)，本文给出了严格的径向正交性推导：对任意可微损失函数 \(L(u) = \mathcal{L}(h(\Phi_{S,c}(u)), y)\)，由于对任意 \(\alpha > 0\) 均有 \(L(\alpha u) = L(u)\)，在 \(\alpha = 1\) 处求导直接导出特征梯度垂直于特征向量本身：

\[u^\top \nabla_u L = 0\]

这一性质保证了球面原型头上的攻击扰动纯粹作用于角度旋转，天然隔绝了径向范数变化对分类决策的影响，构成了理想的控制基准。

2. 曲率尺度规范对称性与数值破缺审计：区分理论协变与浮点截断

在理想实数算术中，曲率幅值并不改变几何空间的内在拓扑，仅相当于引入了全局坐标尺度的重新参数化。当把曲率从 \(c\) 变换到 \(c'\) 时，若将特征向量、类原型与温度参数协同按缩放比例变换：

\[u' = \sqrt{\frac{c}{c'}}\,u, \quad p_k' = \sqrt{\frac{c}{c'}}\,p_k, \quad s' = s\sqrt{\frac{c'}{c}}\]

球面头与庞加莱头的理论 logits 是完全不变的。为了在不同曲率间实现公平比较，本文定义了归一化半径 \(\rho_c(z) = \sqrt{c}\|z\|\) 与无量纲度量 \(\bar{d}_c = \sqrt{c}\, d_c\)。然而，在实际工程实现中，浮点数下庞加莱指数映射必须施加边界截断阈值（设定硬投影截断面为 \(\rho_c \le 1 - 10^{-7}\)）并添加分母稳定常数。在模型向边界靠拢时，这些非平滑数值截断破坏了规范协变性。通过全局重测 logits 误差与分类改变率，可严格量化浮点精度和截断操作在庞加莱流形边缘引入的非几何伪影。

3. 无量纲表征轨迹与边界饱和诊断：探究表征空间中的真实运动效率

为了测量对抗攻击在不同几何结构下的真实推进过程，本文不仅记录输入空间的扰动范数，还将对抗迭代中的特征序列 \(z_0, z_1, \ldots, z_T\) 映射到无量纲流形坐标下，计算无量纲总路径长度 \(\bar{L}_c\)、首末位移 \(\bar{D}_c\) 以及无量纲轨迹行进效率 \(\eta_c\)：

\[\bar{L}_c = \sum_{t=0}^{T-1} \sqrt{c}\, d_c(z_t, z_{t+1}), \qquad \bar{D}_c = \sqrt{c}\, d_c(z_0, z_T), \qquad \eta_c = \frac{\bar{D}_c}{\bar{L}_c}\]

其中 \(\eta_c \in [0, 1]\) 反映了表征位移的直接程度。同时，本文监测特征在未扰动时的归一化半径 \(\rho_c\)、边界裕度 \(1 - \rho_c\)、映射的径向雅可比矩阵模长（表征对径向输入的响应灵敏度），以及在攻击轨迹中落入硬截断阈值的步数比例。这一套度量直接将攻击成功率的高低与流形内部的动力学瓶颈联系起来。

损失函数 / 训练策略¶

所有模型均在 MedMNIST v2 的三个轻量医学数据集（BloodMNIST、DermaMNIST、OrganAMNIST）上进行严格受控的极少样本训练。每个类别严格抽取 50 张样本，统一输入分辨率 \(224 \times 224\)、Patch 大小 16、批大小 16。优化器选用 Adam，初始学习率 \(10^{-4}\)，不加权重衰减，全流程训练 47 个 epoch，跨越 5 个固定随机种子（3, 5, 7, 11, 13）。模型检查点依据验证集 MacroF1（遇平局依据验证集损失）进行无偏选择。在攻击评测时，为防止类别先验不均扭曲结论，所有攻击成功率（ASR）均在 4 个原型头共同正确分类的清洁样本交集（Shared-Clean-Correct Pool）上计算类别宏平均 ASR（Class-Macro ASR），并利用 3000 次分层百分位 Bootstrap 抽样构建置信区间。

实验关键数据¶

主实验¶

在固定基准曲率 \(c=1\) 下，各原型头与线性头在扰动预算 \(\epsilon = 4/255\) 下的性能对比以及在更强攻击（PGD-20，3 次随机重启，CE+DLR 综合选最差边界）下的表现如下表所示（均为 5 种子均值）：

数据集	模型分类头	清洁 MacroF1	PGD-10 ASR (%)	PGD-20 (CE+DLR) ASR (%)	核心表现与特征
BloodMNIST	线性分类头	0.805	97.70	96.88	识别最优，但对抗下迅速瓦解
BloodMNIST	欧氏原型头	0.783	95.39	96.41	性能与鲁棒性介于二者之间
BloodMNIST	庞加莱原型头 (\(c=1\))	0.714	93.79	93.59	ASR 最低，但清洁 F1 严重垫底
BloodMNIST	球面原型头 (\(c=1\))	0.770	94.73	94.84	保持较高清洁表现与适度 ASR
DermaMNIST	线性分类头	0.354	97.31	98.33	强攻击下近乎完全失守
DermaMNIST	欧氏原型头	0.340	95.36	97.71	与线性头表现相近
DermaMNIST	庞加莱原型头 (\(c=1\))	0.317	94.50	96.25	ASR 最慢，但代价是极低识别率
DermaMNIST	球面原型头 (\(c=1\))	0.338	96.27	98.33	接近欧氏与线性基准
OrganAMNIST	线性分类头	0.506	98.88	99.32	攻击下全面失效
OrganAMNIST	欧氏原型头	0.518	98.03	98.13	攻击成功率极高
OrganAMNIST	庞加莱原型头 (\(c=1\))	0.405	89.51	89.35	ASR 显著落后约 8.5~9.5 个百分点
OrganAMNIST	球面原型头 (\(c=1\))	0.489	97.57	98.72	与平坦空间处于相同高 ASR 水平

消融实验¶

通过执行端到端曲率干预，将曲率由 \(c=1\) 调降至 \(c=0.1\) 重新训练，探究庞加莱原型的内部表征状态、硬截断比例及对抗成功率的变化：

数据集	曲率配置	清洁 MacroF1	强攻击 ASR (%)	中位数半径 \(\rho_c\)	硬截断样本比 (%)	径向雅可比均值
BloodMNIST	庞加莱 \(c=1 \rightarrow 0.1\)	0.714 \(\rightarrow\) 0.791	93.91 \(\rightarrow\) 94.84	1.000 \(\rightarrow\) 0.981	40.1 \(\rightarrow\) 0.0	\(1.0\times 10^{-5} \rightarrow 3.7\times 10^{-2}\)
DermaMNIST	庞加莱 \(c=1 \rightarrow 0.1\)	0.317 \(\rightarrow\) 0.350	97.71 \(\rightarrow\) 98.33	1.000 \(\rightarrow\) 0.972	47.2 \(\rightarrow\) 0.0	\(1.8\times 10^{-5} \rightarrow 5.6\times 10^{-2}\)
OrganAMNIST	庞加莱 \(c=1 \rightarrow 0.1\)	0.405 \(\rightarrow\) 0.504	89.70 \(\rightarrow\) 99.27	1.000 \(\rightarrow\) 0.943	44.2 \(\rightarrow\) 0.0	\(3.3\times 10^{-5} \rightarrow 1.11\times 10^{-1}\)
OrganAMNIST	球面头 \(c=1 \rightarrow 0.1\)	0.489 \(\rightarrow\) 0.493	98.72 \(\rightarrow\) 99.05	1.000 \(\rightarrow\) 1.000	-	保持正交

此外，在无量纲表征轨迹的消融分析中，庞加莱模型在 \(c=1\) 时表现出反常的长而曲折的轨迹（OrganAMNIST 上无量纲总路程长达 215.27，轨迹效率仅 0.118，高达 57.9% 的攻击迭代步落在硬截断阈值上）；而在 \(c=0.1\) 时，无量纲总路程缩短至 58.24，效率提升至 0.211，硬截断步数降为 0。

关键发现¶

低攻击成功率伴随惨痛的识别率代价：在 \(c=1\) 下，庞加莱虽然在所有 12 个数据集与攻击预算组合中均获得了最低的 ASR 点估计，但它在所有数据集上的清洁分类 MacroF1 同样全部垫底。所谓“鲁棒”不过是以破坏正常识别能力为代价的优化副产物。
曲率干预打破鲁棒神话：当将庞加莱曲率端到端调整为 \(c=0.1\) 时，所有 15 个种子-数据集组合的清洁 MacroF1 全部大幅提升（OrganAMNIST 提升达 9.95 个百分点），但此前在 OrganAMNIST 上引人注目的抗攻击优势瞬间蒸发——强攻击 ASR 直接从 89.70% 飙升至 99.27%（配对差异 +9.57 个百分点，分层 Bootstrap 置信区间严格不包含 0）。
硬截断与径向雅可比坍缩是根本诱因：在 \(c=1\) 时，40%~47% 的清洁样本直接撞在庞加莱球的数值硬截断边界上，表征到球映射的径向雅可比矩阵幅度暴跌至 \(10^{-5}\) 数量级，梯度在此处被严重扼杀，导致一阶攻击算法的轨迹在边界发生漫长而低效的无效折返；而在 \(c=0.1\) 下，截断率彻底清零，径向灵敏度恢复 3 个数量级，鲁棒性假象随即破灭。
球面控制组证实了实现特异性：球面原型头的曲率改变在浮点精度下是一个几乎完美的数值尺度规范（最大对数差异仅 \(1.43\times 10^{-6}\)），在曲率干预下其 ASR 仅发生微小变动（+0.16 ~ +1.48 点），明确排除了“流形外在坐标半径改变本身引发 ASR 漂移”的宏观假设。

亮点与洞察¶

规范对称性作为数值伪影审计器：本文巧妙利用双曲与球面流形的尺度协变变换作为探针，若模型行为是纯几何内生性质，则尺度变换不应破坏 logits 与相对排序；实验借此精准锁定了边界浮点截断对协变性的实质破坏。
由无量纲轨迹揭示优化受阻真相：通过定义无量纲测地线长度与行进效率 \(\eta_c\)，把攻击过程中特征在弯曲流形上的运动状态可视化、量化，清楚揭示了 \(c=1\) 庞加莱头并非“抗拒扰动”，而是让攻击算法“陷在边界不断发生硬截断”，呈现为轨迹长度爆炸与效率暴跌。
破除盲目崇拜非欧几何鲁棒性的思潮：为近期将双曲神经网络简单附会为“天然对抗防御机制”的研究敲响了警钟，强调几何深度学习的实证结论必须把流形曲率与数值裁剪实现剥离。

局限与展望¶

研究规模局限：受算力与低数据医学设定限制，实验仅基于 0.25M 参数的小型 ZACH-ViT 骨干和 50-shot MedMNIST 图像，未在 ImageNet 级全数据训练的大型双曲 ViT 上验证。
对抗评估范畴局限：测试采用的是一阶梯度白盒攻击（PGD、DLR），尽管梯度审计排除了单纯的零梯度混淆，但仍未包含无梯度黑盒搜索（如 AutoAttack 中的 Square Attack）或形式化鲁棒性认证。
改进方向：探索无截断边界设计或切换至无边界约束的双曲双曲面（Lorentz / Minkowski）模型，系统对比双曲面模型是否同样会在高维特征聚集下出现类似边界伪影。

评分¶

新颖性: ⭐⭐⭐⭐☆ 深入剖析了双曲几何表征学习中长期被忽视的曲率尺度规范与浮点边界截断对对抗鲁棒性评估的实质干扰。
实验充分度: ⭐⭐⭐⭐⭐ 跨 3 个数据集、5 个随机种子，配对严谨，包含无偏评估池、多重启动强攻击、规范变换审计、无量纲轨迹跟踪及冻结骨干控制组。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学推导与实验证据层层递进，批判性思维极强，术语表达高度精准。
价值: ⭐⭐⭐⭐⭐ 对非欧几何深度学习和对抗鲁棒性交叉领域具有重要的纠偏价值与方法论指导意义。