ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling¶

会议: NeurIPS 2026
arXiv: 2602.09009
OpenReview: https://openreview.net/forum?id=PDLcIMayHD
代码: https://github.com/zhangyilang/ANCRe
领域: 模型压缩
关键词: 残差连接, 深度缩放, 神经网络优化, 自适应拓扑, 基础模型预训练

一句话总结¶

针对深层神经网络中后层常退化为恒等映射且未被充分利用的问题，提出自适应神经连接重分配（ANCRe），从理论上证明残差拓扑可导致指数级收敛差距，并通过极低开销的数据驱动入度归一化动态重构跨层残差连接，显著加速大模型预训练与深层表示利用。

研究背景与动机¶

扩展网络深度一直是现代基础模型取得卓越表征能力的核心推动力，例如 LLaMA 3.1 家族从 8B 的 32 层拓展到 405B 的 126 层，Diffusion Transformers 也从 12 层扩展至 28 层。理论研究亦表明多项式深度的网络具备浅层网络需指数级宽度才能逼近的表达容量。然而，深层网络的实际深度扩展效率远不如预期，近期实证分析表明，在 LLaMA 等前沿大模型中，跳过早期层会对后续层输出产生巨大影响，而深层往往退化为近似恒等映射（near-identity mappings），这表明深层网络的表征潜力严重未被充分利用。在多模态模型中，最丰富的视觉特征嵌入也往往出现在编码器中间层而非最末层。

这一表征瓶颈的核心矛盾在于：现代深度架构无一例外沿用固定的级联（cascaded）单层残差跳连机制，即每个残差仅跨越单一模块或层，但这种默认的拓扑结构并非深度扩展的最优选择。残差连接最初设计用于规避梯度消失与梯度爆炸并平滑损失曲面，但既有研究几乎全部假定残差的连接位置是固定的先验，忽略了残差拓扑结构本身对优化动态的深远影响。如果残差路径放置不当，梯度信息在深层网络中的流动效率会急剧劣化，反而在深度增加时阻碍收敛。

本文从优化理论与架构共设计的视角切入，首先在线性神经网络（LNN）中严密证明了残差连接的拓扑分布能引发收敛速率上出现指数级差距（次线性与线性收敛的本质分水岭）。核心 idea：将深层网络的残差连接拓扑参数化，提出自适应神经连接重分配（ANCRe），通过数据驱动与入度归一化（Ingoing Normalization）在训练中动态学习最优跨层残差连接，以低于 1% 的计算与显存开销实现高效深度扩展。

方法详解¶

整体框架¶

ANCRe 重新审视了深度网络中固定的逐层级联残差设计。对于包含 $K$ 层的网络，ANCRe 引入了所有潜在的跨层连接候选 $(i, j)$（其中 $0 \le i < j \le K$，$0$ 表示首层输入），并为每条候选捷径引入可学习标量参数 $c_{ij}$。在前向传播中，ANCRe 采用入度归一化（Ingoing Normalization）通过温度 Softmax 将候选捷径权重约束为凸组合，动态汇聚所有上游浅层与中间层的特征。在应用于标准 Transformer 架构时，ANCRe 将自适应拓扑集成在 Block 级别（即 Multi-Head Self-Attention 的输入处），无需修改自注意力与 FFN 内部结构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入特征 x0"] --> B["残差拓扑参数化<br/>构建候选跨层捷径池 ci,j"]
    B --> C["入度归一化与路由<br/>Softmax凸组合保持输入尺度稳定"]
    C --> D["模块化集成与动态汇聚<br/>聚合浅层表征至各深度 Block 输入"]
    D --> E["前向变换与损失反传<br/>模型参数与拓扑系数联合优化"]

关键设计¶

1. 残差拓扑优化的理论表征：收敛速率的指数鸿沟

传统观点仅将残差视为缓解梯度消失的捷径，默认采用 $i \to i+1$ 的逐级级联。本文深入分析了具有输入白化正交条件 $\mathbf{X}\mathbf{X}^\top = \mathbf{I}_d$ 的 $K$ 层线性深度网络在连续时间梯度流（Gradient Flow）下的动力学演化。理论推导表明，残差放置位置决定了优化收敛的阶数：若将单个残差放置在起始端 $0:1$（即 $\mathbf{W}_K \cdots \mathbf{W}_2 (\mathbf{W}_1 + \mathbf{I})$），小初始化下其损失下界仅能以次线性速率收敛，满足 $\mathcal{L}_1(t) \ge \Omega(1/t^{(K-1)/(K-2)})$（当 $K=3$ 时为 $\Omega(1/t^2)$，当 $K \to \infty$ 时恶化为 $\Omega(1/t)$）；相反，若将跳连跨越放置在 $0:K-1$（即 $\mathbf{W}_K (\prod_{k=1}^{K-1} \mathbf{W}_k + \mathbf{I})$），其损失则严格保证全局线性收敛： $$\mathcal{L}_2(t) \le \mathcal{L}_2(0) \exp\left(-2(1-\lambda)^2 t\right)$$ 其中 $\lambda \in (0,1)$ 由初始化范数严格限定。这一理论直接证明了残差拓扑本身是决定深层网络优化效率的核心杠杆，而非单纯的连通性辅助。

2. 入度归一化拓扑参数化：稳定幅值的自适应集成机制

面对庞大的离散拓扑组合搜索空间 $2^{(K+1)K/2}$，ANCRe 将跨层捷径连续松弛化。为确保极深网络在前向传播与反向传播中梯度的数值稳定性，ANCRe 提出了入度归一化（Ingoing Normalization）策略，强制汇聚到第 $j$ 层的所有上游连接系数构成凸组合： $$\sum_{i=0}^{j-1} p_{ij} = 1, \quad 0 \le p_{ij} \le 1, \quad p_{ij} = \frac{\exp(c_{ij}/\tau)}{\sum_{k=0}^{j-1} \exp(c_{kj}/\tau)}$$ 其中 $\tau > 0$ 为温度超参数（大模型中默认取 0.01 或 0.1）。这一设计的核心机理在于：从代数上，它严格维持了流入第 $j$ 层的输入特征向量的方差和尺度幅度恒定，避免了多分支跨层跳连导致的特征爆炸；从模型架构上，它等价于在网络深度上形成了一种动态自适应子网集成（Ensemble over depths），允许深层根据训练数据分布与当前优化阶段，以任意比例复用浅层提取的基础低阶语义。

3. Transformer 架构的轻量级无缝嵌入：Block 级稀疏适配

在将该机制推广到真实大语言模型与扩散模型时，直接在 MHSA 和 FFN 细粒度子层均插入全连接会引入不必要的冗余。消融实验证实，仅在 MHSA 输入处（即每个 Transformer Block 的入口）引入跨层残差聚合即可获得完整收益，而 FFN 输入处的长程跳连信息量极低。由于 ANCRe 仅为每个深度块引入标量权重矩阵 $\mathbf{C} = \{c_{ij}\}$，对于深度为 $K$ 的网络仅增加 $K(K+1)/2$ 个可学习参数（例如 24 层的 LLaMA 仅增加 300 个标量，占用内存可忽略不计）。在计算上，各分支仅涉及标量-矩阵乘法与逐元素矩阵加法，整个训练过程的吞吐量损耗小于 1%，峰值显存增幅低于 0.01 GB，且可无缝兼容 Gradient Checkpointing 与流水线并行。

实验关键数据¶

主实验¶

ANCRe 在 C4 数据集上对不同规模的 LLaMA 语言模型进行了全量预训练（FullPT）与低秩梯度投影预训练（GaLore），并与基线级联残差（Cascaded）、Hyper-Connections（HC）以及流形约束超连接（mHC）进行了全面对比。

模型规模	层数	训练 Tokens	Cascaded FullPT PPL (↓)	FullPT + HC	FullPT + mHC	FullPT + ANCRe (本文)	PPL 降低幅度
LLaMA-60M	8	1.1B	30.39	29.86	30.21	29.62	-0.77
LLaMA-130M	12	2.2B	25.07	24.51	24.62	24.48	-0.59
LLaMA-350M	24	6.4B	19.00	18.58	18.93	18.32	-0.68
LLaMA-1B	24	13.1B	16.64	16.38	16.14	15.41	-1.23

在内存高效的 GaLore 优化方案下，ANCRe 同样表现出一致的加速效果：在 60M 模型上将 PPL 从 34.61 降至 33.69，在 130M 上从 25.56 降至 24.68，在 350M 上从 19.62 降至 19.01，在 1B 上从 16.55 降至 16.45。在收敛加速方面，ANCRe 达到标准级联架构最终困惑度所需训练步数平均减少 34.3%，在深层模型（LLaMA-1B）上加速优势达到 1.85×（减少 46% 训练轮次）。

在多模态与控制任务扩展中，ANCRe 在 ImageNet-1K 条件图像生成任务（DiT-S/2, DiT-B/2）与连续控制强化学习（16层/64层 ResNet）上均表现优异： - DiT-S/2 (cfg=1.5)：FID 从 45.78 降至 42.99，IS 从 33.48 升至 35.04，Precision 从 46.08% 提升至 48.53%。 - DiT-B/2 (cfg=1.5)：FID 从 22.41 显著优化至 20.53，IS 从 65.27 升至 70.45，Precision 从 60.75% 升至 65.91%。 - 强化学习（ResNet-16/64 目标条件到达）：搭载 ANCRe 的 16 层 ResNet 在 Humanoid 与 Ant Big Maze 等四个高难稀疏奖励任务上，其收敛速度与到达率全面匹敌甚至超越 64 层标准级联 ResNet。

消融实验¶

针对拓扑归一化方式、连接学习机制以及计算显存开销，论文在 LLaMA-130M 与 350M 上进行了系统消融。

配置模式	归一化策略	捷径连接形式	130M 验证集 PPL	350M 验证集 PPL	训练稳定性说明
无归一化 (None)	无	全连接 $i:j$ (可学)	训练发散 (diverge)	训练发散 (diverge)	权重无界增长导致数值溢出
出度归一化 (Outgoing)	$\sum_{j} p_{ij}=1$	全连接 $i:j$ (可学)	25.03	18.63	浅层流出有界，但各层输入幅值波动
入度归一化 (Ingoing)	$\sum_{i} p_{ij}=1$	全连接 $i:j$ (可学)	24.48	18.32	输入尺度严格恒定，优化最稳健
固定全连接	入度归一化	全连接 $c_{ij}=1/j$	训练发散 (diverge)	训练发散 (diverge)	盲目稠密跳连无法自适应过滤负效应
仅可学级联连接	标量权重	仅传统 $i:i+1$	27.18	21.72	仅调权重无跨层拓扑重构，效果劣于基线
固定首层+前一层	入度归一化	仅固定连接 0:j 与 j-1:j	25.44	19.94	规则启发式无法替代数据驱动学习
拓扑冻结重训	入度归一化	冻结最终学得的 $p_{ij}$	24.48	18.49	几乎完全继承收益，证明拓扑结构为核心资产

在计算开销对比中，在 H100 GPU 测算下： - LLaMA-350M (24层)：Cascaded 基线参数增量 0，显存 26.60GB，吞吐 99.9k tok/s；HC 参数增加 172k，显存激增至 46.76GB，吞吐骤降至 43.6k tok/s；ANCRe 仅增加 300 个标量参数，显存保持 26.60GB，吞吐维持在 99.2k tok/s（损耗仅 0.7%）。 - LLaMA-1B (24层)：Cascaded 显存 30.38GB，吞吐 17.3k tok/s；mHC 显存达 58.50GB，吞吐降至 10.3k tok/s；ANCRe 显存保持 30.38GB，吞吐完全持平为 17.3k tok/s。

关键发现¶

入度归一化是极深大模型稳定训练的关键：若去除归一化，由于跨层多路径的梯级累加效应，模型在初始阶段便会发生梯度数值溢出而发散；出度归一化虽然能收敛，但由于流入深层的特征范数不稳定，效果显著弱于入度归一化。
学得的拓扑具备明确的物理可解释性与跨随机种子可复现性：通过对学得的残差系数热力图分析发现，深层节点自发形成了强烈的“首两层强跳连”（Anchor 效应）与“局部多层集成”模式。在 3 个独立随机种子下，学得系数的 Pearson 相关系数达 0.75-0.92，各层权重最大的入向捷径一致性高达 73%-81%。
收益随网络深度增加而放大：在 60M（8层）模型中 ANCRe 带来的收敛加速为 24%，而在 1B（24层）模型中跃升至 46%（达 1.85× 训练加速），充分验证了越深的网络越受限于传统单层级联拓扑的表达瓶颈。

亮点与洞察¶

将残差网络拓扑从工程经验升级为严密的数学分析对象：通过线性深度网络严密证明了残差连接的安放位置可引发收敛速率在多项式与指数收敛之间的质变，打破了学术界“只要有残差连接即可解决深层训练”的思维定势。
优雅的参数化与几乎零代价的计算架构设计：相比 HC 与 mHC 引入数条并行残差流导致吞吐暴跌 30%-60% 并大幅消耗显存，ANCRe 仅引入几百个标量参数和基本的加权求和，在保持现代 GPU 硬件算子吞吐几乎不变的前提下实现了更优的 PPL 增益。
拓扑结构可迁移并可固化：实验证明冻结 ANCRe 最终学到的静态拓扑重新从头训练模型，能够保留几乎全部收益。这意味着在超大规模集群中，可以通过小规模代理训练快速学得最优拓扑，随后作为静态稀疏架构进行大规模并行预训练。

局限与展望¶

理论分析依赖线性网络假设：目前的收敛阶数与收敛下界证明建立在深度线性神经网络（LNN）及数据正交白化假设之上，对于真实包含非线性激活函数（SwiGLU/GELU）与多头自注意力的动力学表征仍缺乏完整解析。
全连接拓扑在流水线并行下的通信挑战：在千亿甚至万亿大模型的流水线并行（Pipeline Parallelism）场景下，长程全连接残差可能跨越多个节点或 GPU 显卡，从而引入跨设备通信开销；尽管作者在附录中提出了基于 Tsallis 熵正则化诱导稀疏度以及仅连接 Checkpoint 层的方案，但尚未在 70B+ 模型上进行实测。
深层网络拓扑与推理期算子融合的权衡：训练期利用跨层加权聚合，在推理阶段若需要保留多层特征并在自回归生成中进行多重残差累加，可能会轻微影响 KV 缓存或残差流的原地算子融合（Kernel Fusion）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从理论上证明残差拓扑引发指数级收敛差距，并提出轻量级自适应重分配方案。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 LLM 预训练（多模型+多优化器+多随机种子）、DiT 扩散模型预训练以及 ResNet 强化学习控制。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线极为清晰，理论推导严密自洽，消融实验切中关键。
价值: ⭐⭐⭐⭐⭐ 为大模型深度扩展（Depth Scaling）与训练加速提供了极低成本且立即可落地的架构改进方案。

配置模式	归一化策略	捷径连接形式	130M 验证集 PPL	350M 验证集 PPL	训练稳定性说明
无归一化 (None)	无	全连接 \(i:j\) (可学)	训练发散 (diverge)	训练发散 (diverge)	权重无界增长导致数值溢出
出度归一化 (Outgoing)	\(\sum_{j} p_{ij}=1\)	全连接 \(i:j\) (可学)	25.03	18.63	浅层流出有界，但各层输入幅值波动
入度归一化 (Ingoing)	\(\sum_{i} p_{ij}=1\)	全连接 \(i:j\) (可学)	24.48	18.32	输入尺度严格恒定，优化最稳健
固定全连接	入度归一化	全连接 \(c_{ij}=1/j\)	训练发散 (diverge)	训练发散 (diverge)	盲目稠密跳连无法自适应过滤负效应
仅可学级联连接	标量权重	仅传统 \(i:i+1\)	27.18	21.72	仅调权重无跨层拓扑重构，效果劣于基线
固定首层+前一层	入度归一化	仅固定连接 0:j 与 j-1:j	25.44	19.94	规则启发式无法替代数据驱动学习
拓扑冻结重训	入度归一化	冻结最终学得的 \(p_{ij}\)	24.48	18.49	几乎完全继承收益，证明拓扑结构为核心资产