Network of Theseus (like the ship)¶
会议: NeurIPS 2026
arXiv: 2512.04198
代码: https://github.com/vsubramaniam/network-of-theseus
领域: 其他
关键词: 架构转换, 忒修斯之网, 表征对齐, 中心核对齐 (CKA), 归纳偏置迁移
一句话总结¶
提出“忒修斯之网”（Network of Theseus, NoT）框架，通过逐阶段将引导网络的层替换为目标架构模块并最小化表征对齐损失，打破训练与推理必须使用同一架构的传统假设，成功实现卷积转全连接、GPT-2 转 RNN 等大幅度跨家族转换，且支持从未训练网络中迁移结构归纳偏置。
研究背景与动机¶
深度学习长期以来默认训练架构与部署架构强耦合：训练时引入了何种归纳偏置与计算机制，测试时就必须部署同一模型。无论是在神经架构搜索（NAS）中先搜索推理友好架构再重新训练、在模型压缩中沿用剪枝量化以保留既有拓扑，还是在经典知识蒸馏中迫使学生网络匹配教师的预测输出，最终在边缘设备落地的模型都受制于其训练阶段的优化难度。许多具有极高推理能效或特定理论优点的精简架构（例如纯全连接 MLP 或单向循环神经网络 RNN），由于在端到端直接训练时极易遭遇梯度爆炸、优化停滞或局部极值，往往在实用中被过早舍弃。
从表征几何与函数逼近理论的视角来看，这种训练与推理的强绑定并非必然。多项大规模表征分析表明，卷积网络与视觉 Transformer 随着参数与数据规模增加，其内部特征表征会发生收敛；经典神经网络通用逼近定理亦指出，具有足够表达力的不同拓扑完全可以实现相同的输入输出映射。这意味着架构所蕴含的归纳偏置本质上是一种“优化脚手架（optimization scaffold）”，用于在训练初期引导损失曲面搜索，而并非推理时不可拆卸的物理约束。然而，如何跨越不同架构之间巨大的优化障碍，将易优化网络学到的映射平滑转移至难优化但高能效的结构中，始终缺乏可行的通用方法。
受古希腊哲学“忒修斯之船”隐喻的启发，本文提出切断训练与部署架构的强耦合。核心 idea：将网络架构的转换拆解为逐部件的渐进式替换过程（Network of Theseus, NoT），利用中心核对齐（CKA）或可微互近邻（D-MNN）等表征相似度度量约束新模块与原网络激活的一致性，从而将训练阶段的归纳偏置乃至未经训练的网络先验无损注入目标架构中。
方法详解¶
整体框架¶
忒修斯之网（NoT）的核心逻辑在于将“整网跨架构逼近”这一病态优化问题，化解为一系列低难度的“局部表征对齐”子阶段。给定一个已训练（或未训练）的固定引导网络 \(f^G(\cdot)\) 与一个待构建的目标网络 \(f^T(\cdot; \theta)\)，NoT 在每一步替换原网络中的一个或一组组件，并依据预设的替换调度表联合优化已替换的参数，迫使混合网络各阶段的中间特征分布与原引导网络保持高度对齐。
当所有部件全部替换完毕后，原始引导网络被完全剥离，仅保留目标架构；此时再在下游任务标签监督下进行端到端微调。整个流程由输入流水线、阶段式局部表征相似度优化、批归一化重校准以及下游微调四个核心阶段串联而成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入样本 x<br/>(无标签数据批次)"] --> Guide["引导网络 f^G(·)<br/>提取各层参考激活 A_i^G"]
In --> TargetInit["初始化目标网络 f^T<br/>设定形状兼容替换模块"]
Guide & TargetInit --> Sched["渐进式替换调度<br/>第 t 阶段替换模块并联合解冻前缀"]
Sched --> Align["核表征相似度对齐<br/>最小化 CKA / D-MNN 损失"]
Align --> Check{"是否所有组件<br/>替换完毕？"}
Check -->|否：推进阶段| Sched
Check -->|是：剥离引导网络| BNRecal["未训练引导偏置迁移与 BN 重校准<br/>重估统计量，消除分布偏移"]
BNRecal --> Finetune["下游任务端到端微调<br/>交叉熵损失联合优化全网参数"]
Finetune --> Out["最终部署目标模型<br/>(如纯 MLP / Deep RNN)"]关键设计¶
1. 渐进式替换调度：以动态前缀解冻兼顾分布校准与误差累积抑制 传统分步替换若采用“串行（Sequential）”策略，固定早期已替换的层而仅微调最新加入的层，早期层积累的表征微小失配会沿前向传播逐层放大，导致后层对齐彻底崩溃；若采用“独立（Independent）”策略在孤立分支上拟合每个模块，在最终拼装后又会遭遇毁灭性的协变量偏移（covariate shift）；若采用“联合（Joint）”策略直接端到端拟合所有目标层，后层则面临前层特征剧烈波动的非平稳环境。NoT 提出的渐进式调度（Progressive Schedule）在第 \(t\) 阶段引入新模块并设置可训练索引集 \(I_t = \{1, \dots, t\}\)，联合解冻所有已替换的前缀层，同时严格冻结尚未替换的引导网络其余部分。这种机制使得早期模块能够微调其参数以适应后层需求，在有效吸收局部逼近误差的同时保持前向特征流的全局平稳。
2. 核表征相似度对齐与无偏估计：摆脱形式计算限制并消除自相似伪对齐 现有线性化注意力或状态空间模型（SSM）蒸馏技术往往要求学生与教师拥有严格匹配的计算结构与维度，依赖于均方误差（MSE）对齐；而当网络拓扑彻底跨家族（如卷积核转全连接矩阵）时，特征通道与空间几何语义无法点对点对齐。NoT 采用基于希尔伯特-施密特独立性准则（HSIC）的中心核对齐（Linear CKA）作为相似度度量，将批次样本在两网络中的激活矩阵均值中心化后构造 Gram 矩阵 \(\tilde{\bm{K}} = \bm{H}\bm{A}\bm{A}^T\bm{H}\) 与 \(\tilde{\bm{L}} = \bm{H}\bm{B}\bm{B}^T\bm{H}\)，并最小化其相异度： $\(\Delta_{\text{CKA}}(\bm{A}, \bm{B}) = 1 - \frac{\text{tr}(\tilde{\bm{K}}\tilde{\bm{L}})}{\sqrt{\text{tr}(\tilde{\bm{K}}^2)\text{tr}(\tilde{\bm{L}}^2)}}\)$ 在跨尺度模型转换（如 GPT-2 Large 转换为 GPT-2 Small）时，研究发现普通有偏 CKA 中对角线元素的自相似性会被严重夸大，使得未经训练的随机模型与教师网络间的初始 CKA 虚高达 0.98，抹杀了梯度优化空间。NoT 针对性地引入无偏估计量 \(HSIC_U\)，剥离 Gram 矩阵对角项并加入二阶修正，成功消除了样本自相似性造成的虚假对齐伪影。
3. 可微互近邻对齐：利用局部几何流形拓扑引导特征迁移 CKA 关注的是表征空间的全局协方差结构，在复杂的非线性流形映射下可能掩盖局部样本邻域的精细形变。为了探究局部流形拓扑对跨架构迁移的作用，NoT 提出了基于样本 \(k\) 近邻重叠率的可微拓展版本 D-MNN。该度量对两组表征通过温度系数 \(\tau\) 构建基于样本间距离的软条件概率分布 \(P_{ij}\) 与 \(Q_{ij}\)，并限定在 Top-\(k\) 邻域掩码内归一化，最终将优化目标定义为条件邻域分布的平均 Kullback-Leibler 散度： $\(\Delta_{\text{D-MNN}} = \frac{1}{b}\sum_{i=1}^b D_{KL}\left(P_{i\setminus *} \,\parallel\, Q_{i\setminus *}\right)\)$ 当温度 \(\tau \to 0\) 时，该式在数学极限上严格收敛于离散的 \(k\) 近邻交集重叠分数。D-MNN 在优化过程中不依赖全局正交性，直接约束局部流形邻域几何在跨架构映射中的拓扑保持，为表征对齐提供了对度量类型不变的鲁棒性保证。
4. 未训练引导偏置迁移与 BatchNorm 解耦校准：利用结构先验并规避统计漂移 深度网络即使在未经权重学习的随机初始化状态下，其网络连接本身（如局部感受野、残差捷径、金字塔下采样）就蕴含着强大的归纳偏置。NoT 发现完全未经任务训练的随机引导网络同样可以作为结构模板，将其结构偏置渐进注入缺乏该偏置的目标网络（如从随机 ResNet-50 提取先验指导 ResNet-18 训练，准确率比从头训练高出近 3%），且在随机引导模型严重劣质时具有极高抗性、绝不损害目标网络能力，打破了知识蒸馏必须依赖高质量训练教师的铁律。在实现细节上，针对卷积网络中普遍存在的批归一化（BatchNorm），NoT 在对齐阶段完全冻结引导侧的 BN 统计量计算，并在全网替换完成后、下游微调开始前执行专门的 BN 统计量独立重校准，避免了对齐期间均值与方差剧烈震荡对收敛稳定性的破坏。
一个完整示例¶
以将具有空间归纳偏置的 ResNet-18 转换为纯全连接 MLP 为例，其具体转换流程如下： 1. 模块设计：ResNet-18 包含 17 个卷积层。目标网络将每个卷积层替换为一个两阶段低秩线性变换 \(W_1 \in \mathbb{R}^{d_{in} \times r}, W_2 \in \mathbb{R}^{r \times d_{out}}\)（秩 \(r \in [256, 1024]\)），将展平的特征图投影至低维再映射回目标通道数，彻底消除局部感受野约束。 2. 渐进替换推进：第一阶段仅替换第 1 个卷积层，输入 batch 大小为 256 的 ImageNet 图片，提取引导网络与混合网络在该层的激活，以学习率 \(2\times 10^{-5}\) 优化 CKA 损失 10 个 epoch；第二阶段替换第 2 个卷积层，解冻 \(\{1, 2\}\) 层联合训练 65 个 epoch；依此类推直至第 20 个替换节点（包含下采样残差分支）。在此过程中，涉及空间尺寸缩减的瓶颈层（第 6、8、13 层）对齐损失最高，学习率逐步衰减至 \(1\times 10^{-6}\)。 3. 重校准与微调：所有卷积层全部转化为线性层后，原始 ResNet-18 被彻底移除。冻结线性权重并在 ImageNet 训练集上重估所有批归一化层的均值与方差。随后采用余弦退火学习率调度器与 AdamW 优化器，在 ImageNet 标签监督下进行 100 个 epoch 的端到端微调。最终该 MLP 取得了 62.12% 的 Top-1 准确率，相较于无对齐直接训练的 33.36% 提升了 28.76 个百分点。
损失函数 / 训练策略¶
NoT 采用两阶段解耦训练范式： - 阶段一：局部表征对齐。优化目标为已替换层集合 \(I_t\) 上的平均相异度： $\(\mathcal{L}_{\text{align}}(\theta_{I_t}^T) = \mathbb{E}_{x \sim \mathcal{X}}\left[ \frac{1}{|I_t|} \sum_{i \in I_t} \Delta(A_i^T(x; \theta_{I_t}^T), A_i^G(x)) \right]\)$ 采用 AdamW 优化器配合梯度裁剪（阈值为 1.0），批次大小恒定设为 256（更大的 batch 能更精准估计 Gram 矩阵与近邻分布）。针对不同替换深度进行逐层微调学习率（如 ResNet-18 转 MLP 中学习率从 \(2\times 10^{-5}\) 阶梯下降至 \(1\times 10^{-6}\)，训练轮数在 10 到 100 epoch 间按难度配置）。 - 阶段二：下游端到端微调。解冻全网所有目标参数，采用交叉熵分类损失或自回归交叉熵语言建模损失 \(\mathcal{L}_{\text{task}}(f^T(x), y)\)，以余弦退火调度器微调 100 个 epoch，配备 5-10 个 epoch 的线性热身（Warmup）。针对多阶段调参成本高的问题，附录进一步提出了基于对齐损失指数移动平均（EMA）的自适应学习率与早停自动化策略（EMA 平衡监测 500 步窗口，损失平原触发退火，损失低于 0.01 或达到 100 轮自动收敛）。
实验关键数据¶
主实验¶
在 ImageNet-1k 图像分类与 Wikitext-103 语言建模基准上，评估跨架构转换与同架构剪裁的性能表现（所有设置均通过 5 个随机种子统计均值与标准误）。
| 引导网络 \(\rightarrow\) 目标网络 | 对齐度量 | 引导网络 (Guide) | NoT (本文) | 从头基线 (Baseline) | 相对基线提升 |
|---|---|---|---|---|---|
| ResNet-18 \(\rightarrow\) MLP (ImageNet Top-1 ↑) | CKA | 69.66% | 62.12% ± 0.42 | 33.36% ± 0.31 | +28.76% |
| ResNet-18 \(\rightarrow\) MLP (ImageNet Top-1 ↑) | D-MNN | 69.66% | 60.28% ± 0.39 | 33.36% ± 0.31 | +26.90% |
| DINOv2 \(\rightarrow\) Patch-MLP (ImageNet Top-1 ↑) | CKA | 81.03% | 72.56% ± 0.20 | 65.55% ± 0.45 | +7.01% |
| DINOv2 \(\rightarrow\) Patch-MLP (ImageNet Top-1 ↑) | D-MNN | 81.03% | 70.93% ± 0.62 | 65.55% ± 0.45 | +5.38% |
| ResNet-50 \(\rightarrow\) ResNet-18 (ImageNet Top-1 ↑) | CKA | 76.13% | 73.81% ± 0.26 | 68.90% ± 0.33 | +4.91% |
| ResNet-50 \(\rightarrow\) ResNet-18 (ImageNet Top-1 ↑) | D-MNN | 76.13% | 73.02% ± 0.84 | 68.90% ± 0.33 | +4.12% |
| GPT-2 \(\rightarrow\) RNN (Perplexity ↓) | CKA | 37.50 | 50.58 ± 0.89 | 121.19 ± 3.12 | -70.61 |
| GPT-2 \(\rightarrow\) RNN (Perplexity ↓) | D-MNN | 37.50 | 47.44 ± 1.91 | 121.19 ± 3.12 | -73.75 |
| GPT-2 Large \(\rightarrow\) GPT-2 Small (Perplexity ↓) | UCKA | 22.05 | 24.98 ± 1.52 | 28.01 ± 1.02 | -3.03 |
| GPT-2 Large \(\rightarrow\) GPT-2 Small (Perplexity ↓) | D-MNN | 22.05 | 26.02 ± 1.22 | 28.01 ± 1.02 | -1.99 |
消融实验¶
消融实验聚焦于四种不同替换调度策略在跨架构转换中的有效性对比。
| 转换任务与度量 | 渐进式 (Progressive) | 联合式 (Joint) | 独立式 (Independent) | 串行式 (Sequential) | 策略对比结论 |
|---|---|---|---|---|---|
| ResNet-18 \(\rightarrow\) MLP (CKA, Top-1 ↑) | 62.12% ± 0.42 | 57.98% ± 0.28 | 45.10% ± 0.23 | 30.73% ± 0.14 | 渐进式大幅领先；串行式因误差累积彻底崩溃 |
| ResNet-18 \(\rightarrow\) MLP (D-MNN, Top-1 ↑) | 60.28% ± 0.39 | 57.66% ± 0.22 | 45.81% ± 0.06 | 31.90% ± 0.33 | D-MNN 下趋势完全一致 |
| DINOv2 \(\rightarrow\) Patch-MLP (CKA, Top-1 ↑) | 72.56% ± 0.20 | 70.42% ± 0.33 | 66.02% ± 0.47 | 47.15% ± 0.32 | 独立式遇协变量偏移，联合式优化不够充分 |
| ResNet-50 \(\rightarrow\) ResNet-18 (CKA, Top-1 ↑) | 73.81% ± 0.26 | 70.38% ± 0.35 | 61.51% ± 0.46 | 61.08% ± 0.15 | 深度模型转浅层时，动态前缀解冻尤为关键 |
| GPT-2 \(\rightarrow\) RNN (CKA, PPL ↓) | 50.58 ± 0.89 | 57.69 ± 0.58 | 100.94 ± 1.15 | 121.36 ± 2.23 | 独立式和串行式在自回归时序任务中完全失控 |
| GPT-2 \(\rightarrow\) RNN (D-MNN, PPL ↓) | 47.44 ± 1.91 | 56.66 ± 1.55 | 115.96 ± 1.65 | 136.98 ± 0.54 | D-MNN 局部近邻约束在渐进调度下困惑度最优 |
此外，针对引导网络是否必须经过监督训练的对照实验（Table 3）显示： - 在 ResNet-18 \(\rightarrow\) MLP 任务中，从未训练随机权重引导网络出发的 NoT（CKA）取得了 60.85% ± 0.48 的准确率，仅略低于已训练引导网络的 62.12%，远高于从头训练的 33.36%； - 在 GPT-2 \(\rightarrow\) RNN 任务中，未训练引导网络的 NoT（CKA）困惑度达 58.26 ± 0.43（已训练为 50.58，基线为 121.19）； - 在知识蒸馏对比中（Table 7），传统知识蒸馏在引导网络未训练时模型性能崩溃至 31.11%（ResNet \(\rightarrow\) MLP）和 135.55 PPL（GPT-2 \(\rightarrow\) RNN），而 NoT 保持稳定，证明内层表征对齐有效提取了未训练架构的几何结构先验。
关键发现¶
- 渐进调度的核心地位：在所有任务中，渐进式替换均显著优于联合替换、独立替换和串行替换。串行替换因历史层冻结导致误差雪崩式放大（ResNet-18 转 MLP 准确率仅 30.73%），独立替换在组装后因分布偏移严重退化（45.10%），而渐进调度通过持续联合微调已替换前缀，完美兼顾了收敛平稳度与自适应能力。
- 未训练网络蕴含可迁移的结构偏置：NoT 在完全未经训练的随机引导网络上依然展现出强大的引导能力，这从实证上证明了卷积的空间局部性与注意力机制的连接拓扑本身（即使未经参数学习）就具备强大的先验几何形状，而 NoT 可以直接捕获并迁移这种拓扑偏置。
- 下采样与后层为表征对齐瓶颈：表征相似度损失分析（Figure 5）揭示，涉及特征图下采样的卷积层（ResNet-18 中的第 6、8、13 层）以及模型的最后几层对齐难度极高，对应着最高的 CKA 损失。提高线性层的低秩维度（Rank 从 256 增至 1024）能显著压低对齐损失并正向提升下游分类精度。
亮点与洞察¶
- 打破“训推同构”教条：将架构的归纳偏置视为训练阶段的临时优化脚手架而非推理约束，证明了极端难优化的纯 MLP 和经典 RNN 完全能达到高现代化架构的表现水平。
- 未训练网络的归纳偏置迁移：揭示了未训练架构拓扑结构本身即可作为先验引导难优化网络，彻底颠覆了知识蒸馏必须依赖庞大预训练教师模型的固有认知。
- 双度量互验与无偏 CKA 修正：不仅提出了结合局部流形几何的可微近邻度量 D-MNN，还诊断并修复了自回归跨尺度模型比较中有偏 CKA 的对角线虚高现象，为表征相似度研究提供了坚实的分析工具。
局限与展望¶
- 阶段式对齐计算开销较大：逐层渐进对齐需要针对不同深度配置独立的学习率和训练周期，8 张 H100 显卡全量实验耗时近 2 个月；尽管附录验证了 EMA 自动调度方案，大规模百亿参数模型的转换仍需更高吞吐的流水线设计。
- 尚未触及表征拟合能力上限：随着目标网络容量（如低秩维数）的增加，下游精度持续爬升而未出现过拟合，表明当前对齐方法仍未彻底挖掘目标架构的表征上限，未来可探索数据增强、标签平滑与注意力引导等复合策略。
- 跨任务泛化边界待验证：在 DINOv2 转 Patch-MLP 中消除 token 交互依然保持高精度的现象得益于图像分类任务的注意力稀疏性；在密集预测（如语义分割、目标检测）等强依赖全局长程交互的视觉任务中，该类极端转换的可行性仍有待进一步探索。
相关工作与启发¶
- vs 线性化注意力与状态空间蒸馏 (Lolcats / Mamba in Llama): 现有注意力线性化方法仅能在同构或极度相似的计算单元间通过 MSE 进行逼近；NoT 借助核对齐突破了形状与机制限制，能够执行跨计算范式（如 Conv \(\rightarrow\) MLP, Self-Attention \(\rightarrow\) RNN）的任意到任意架构转换。
- vs 忒修斯 BERT 与网络剪枝 (BERT-of-Theseus / VanillaNet): BERT-of-Theseus 依赖端到端任务损失下的随机模块丢弃来进行同架构模型压缩，且无法处理未训练初始化；NoT 基于纯粹的层级表征几何对齐，解耦了对齐与下游任务，支持跨家族架构重塑与未训练先验迁移。
- vs 经典知识蒸馏 (FitNets / CRD): 传统蒸馏依赖教师网络的预测 logits 或全局特征散度，在未训练随机教师下完全失效；NoT 的逐层流形几何逼近即使在随机权重下也能提取拓扑偏置，大幅提升了难训练结构的优化极限。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 构思极具哲学启发性，彻底解耦训练与部署架构，并首次证实未训练网络的拓扑偏置可被逐层提取并迁移。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖视觉、语言两大模态，横跨 Conv/MLP/ViT/RNN 等多种拓扑转换，消融对比深入细致，兼具 5 组随机种子统计。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层次清晰，形式化表述严密，图表与实验动机呼应紧密。
- 价值: ⭐⭐⭐⭐⭐ 为边缘端超轻量架构设计、极端能效模型探索以及神经网络表征几何理解开辟了全新研究范式。