xHC: Expanded Hyper-Connections¶
会议: NeurIPS 2026
arXiv: 2607.14530
论文: https://arxiv.org/abs/2607.14530
代码: https://github.com/aHapBean/xHC
领域: 其他
关键词: 超连接, 残差流扩展, 稀疏残差更新, 时序特征增强, 大语言模型架构
一句话总结¶
针对超连接架构在扩展流数量超过4时遭遇的收益递减与计算量激增瓶颈，xHC通过因果卷积时序特征增强丰富写回信息，并结合固定加路由的稀疏残差更新与全流稠密读取，首次实现了高效可扩展至16条残差流的超连接模型，在18B与28B MoE模型上以微小开销显著提升了下游推理与知识性能。
研究背景与动机¶
标准Transformer架构自提出以来，层间信息流一直依赖单路径恒等残差连接传递表征。超连接（Hyper-Connections, HC）打破了这一单一路径限制，将单条残差流拓宽为多条并行流，并在流间引入可学习的动态混合矩阵，为大语言模型提供了一种正交于网络深度与宽度的状态记忆扩展维度。流形约束超连接（mHC）进一步利用Sinkhorn-Knopp双随机矩阵约束保障了深层残差传递的数值稳定性，并在4条残差流（\(N=4\)）设置下取得了显著的预训练收益，展现出残差流扩展作为全新扩展轴（scaling axis）的巨大潜力。
然而现有超连接家族工作普遍止步于 \(N=4\)。直接增加残差流数量会迅速遭遇严重的收益递减与算力爆炸困境：在2.5B MoE模型上将mHC的流数量从4扩展到16，训练FLOPs激增32%，而语言模型损失仅微降0.006。深入剖析表明，这一失效源于双重深层瓶颈：一是信息供给瓶颈，每一层子层向所有残差流写回的信息均由单一输出向量标量缩放生成，流数量扩增后缺乏足够的多样性来支撑非冗余的历史表征；二是计算复杂度瓶颈，残差混合矩阵的动态生成涉及从 \(NC\) 维展平状态预测 \(N^2\) 个系数，计算开销随流数量呈 \(\mathcal{O}(N^3 C)\) 三次方恶化，导致扩展代价远超收益。
本文的切入角度是打破全流密集写回与立方计算的捆绑，在维持全局可见性的同时对计算与信息供给进行解耦重构。核心 idea：通过多尺度因果深度卷积在序列时间维度扩充多维写回基底并经Gram-Schmidt正交化去冗余，同时构建“稠密读取-稀疏混合与写回”架构将每层活跃流限制为极小子集，从而在控制计算与内存开销的前提下释放高阶残差流扩展的表征容量。
方法详解¶
整体框架¶
xHC（Expanded Hyper-Connections）针对现有超连接无法有效扩展至大流数的缺陷，将残差流规模扩大至 \(N=16\)，但每层仅激活 \(k=4\) 条活跃流进行残差混合与写回。在每个Transformer子层中，首先由路由器观测全部 \(N\) 条流的归一化状态，确定固定的 \(m=2\) 条常驻流以及动态选择的 \(k-m=2\) 条路由流；同时前向映射网络通过稠密读取聚合全部 \(N\) 条流的信息生成子层输入；在子层（Attention或MLP）完成计算后，MLP侧利用多尺度因果深度卷积生成时间增强特征并执行正交化；最后，基于 \(k\) 条活跃流生成低维残差混合矩阵与写回矩阵，完成残差更新并写回多流状态，未激活的 \(N-k\) 条流则保持原样透传。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多流残差状态 X ∈ ℝ^{N×C}"] --> B["稠密读取机制<br/>聚合全流生成子层输入"]
A --> C["混合路由与稀疏残差更新<br/>固定2条 + Sigmoid路由选2条"]
B --> D["Transformer子层运算<br/>Attention / MoE FFN"]
D --> E["时序特征增强与正交化<br/>MLP后多尺度因果Conv + MGS"]
C --> F["活跃流提取与混合<br/>O(k³C) Sinkhorn双随机混合"]
E --> G["稀疏写回与散射更新<br/>仅更新k条活跃流并回写"]
F --> G
G --> H["下一层多流残差状态 X_new"]关键设计¶
1. 时序特征增强与Gram-Schmidt正交化：扩充写回信息维度 针对每层仅提供单一秩-1向量导致多条残差流难以沉淀差异化历史信息的痛点，xHC从自回归序列的时序邻域汲取低成本上下文信息。在MLP（MoE FFN）子层输出之后，引入 \(r=3\) 个多尺度因果深度卷积（Depthwise Causal Convolutions）分支，卷积核大小分别设为 \(\{4, 8, 12\}\)，提取不同局部范围的邻近token特征，与原始输出拼接构成维度为 \(\mathbb{R}^{S \times K_r \times C}\)（其中 \(K_r = r + 1 = 4\)）的增强候选特征池。由于深度卷积通道独立运算，生成的特征与主分支往往存在较强的共线性，直接加权写回容易无节制放大主方向方差引发训练不稳定。为此，xHC在通道维度应用修正Gram-Schmidt正交化（Modified Gram-Schmidt, MGS）： $\(v_1 = \mathrm{out}, \quad v_{j+1} = g_j - \sum_{i=1}^j \frac{\langle g_j, v_i \rangle}{\langle v_i, v_i \rangle} v_i \quad (j = 1, \dots, r)\)$ 正交化确保了注入不同残差流的写回分量彼此正交互补，各活跃流可通过输入依赖的后向映射矩阵 \(\mathcal{H}^{\mathrm{post}} \in \mathbb{R}^{k \times K_r}\) 灵活组合多粒度上下文，显著提高了扩展残差流的信息承载有效性。该操作仅布置在MLP之后，避免了Attention层混合空间位置后再做卷积导致的不稳定。
2. 稠密读取机制：避免稀疏写回导致跨层信息断连 如果简单对残差流的读取与写回同时进行稀疏化，会导致严重的跨层信息阻断：某一深层更新的残差流在后续连续多层若未被路由器选中读取，该分支累积的历史语义便无法向前传递。为彻底消除信息孤岛，xHC构建了不对称的“稠密读取-稀疏写回”通道。在子层输入侧，模型维持全流稠密读取（Dense Read）： $\(\mathrm{input}_l = \sum_{i=1}^N h_{l,i}^{\mathrm{pre}} \cdot x_{l,i}, \quad \text{其中 } \mathcal{H}_l^{\mathrm{pre}} = \sigma\left(\alpha^{\mathrm{pre}} \cdot \mathrm{RMSNorm}(\mathrm{flatten}(X_l)) W^{\mathrm{pre}} + b^{\mathrm{pre}}\right) \in \mathbb{R}^{1 \times N}\)$ 由于每一层都能通过前向映射 \(\mathcal{H}_l^{\mathrm{pre}}\) 全局感知全部 \(N\) 条流的状态，任何一条流无论在何时何地被更新，都能立即被后续层提取使用，保证了残差连接在网络深度维度的畅通无阻与长程梯度回传。
3. 混合路由与稀疏残差更新：解除三次方计算瓶颈 在超连接流数扩展至 \(N=16\) 时，密集生成 \(16 \times 16\) 混合矩阵的计算代价高达 \(\mathcal{O}(N^3 C)\)，带来无法承受的训练FLOPs激增。xHC引入流路由与稀疏更新机制，将参与残差混合与写回的流限制为 \(k=4\) 条。路由器通过全流状态投影生成重要性打分 \(s = \sigma(\mathrm{LN}(\mathrm{flatten}(X_l)) W_r) \in \mathbb{R}^N\)。为避免路由极化与死流，xHC设计了“固定+路由”混合策略：前 \(m=2\) 条流永远激活（权重固定为1），剩余 \(k-m=2\) 条流由Top-K动态选取，获得路由权重 \(p_j\)。残差映射生成器与后向写回映射仅在抽取的活跃状态 \(X_{\mathrm{active}} \in \mathbb{R}^{k \times C}\) 上生成： $\(\mathcal{H}_l^{\mathrm{res}} = \mathrm{SK}\left(\exp\left(\alpha^{\mathrm{res}} \cdot \mathrm{mat}_{k \times k}(\tilde{x}_{\mathrm{active}} W^{\mathrm{res}}) + b^{\mathrm{res}}\right)\right) \in \mathbb{R}^{k \times k}\)$ $\(\Delta X_{\mathrm{active}, j} = p_j \sum_{r=1}^{K_r} \mathcal{H}_{l,j,r}^{\mathrm{post}} \, \mathrm{out}_{\mathrm{aug}, r}, \quad X_{\mathrm{active}}^{\mathrm{new}} = \mathcal{H}_l^{\mathrm{res}} X_{\mathrm{active}} + \Delta X_{\mathrm{active}}\)$ 这一设计将核心混合矩阵的投影生成开销直接从 \(\mathcal{O}(N^3 C)\) 削减至 \(\mathcal{O}(k^3 C)\)。在 \(N=16, k=4\) 下，每层附加参数较稠密mHC降低了7.3倍，使得大流数扩展在计算上高度可行。
损失函数 / 训练策略¶
xHC遵循自回归因果语言建模目标。在模型输出层前，将全部 \(N\) 条残差流按token在通道维度直接求和，经过RMSNorm后输入LM Head计算交叉熵损失。优化器默认使用AdamW，并在18B和28B MoE模型上采用Warmup-Stable-Decay（WSD）学习率调度策略。为防止Sinkhorn迭代在极端激活下行和大于1导致信号发散，训练中引入了行和截断归一化（Row-sum Clamping）：\(\mathcal{H}_{l,i,:}^{\mathrm{res}} \leftarrow \mathcal{H}_{l,i,:}^{\mathrm{res}} / \max(\sum_j \mathcal{H}_{l,ij}^{\mathrm{res}}, 1)\)。在Muon优化器适配中，由于Muon本身通过Newton-Schulz迭代约束更新矩阵谱半径，xHC安全移除了Gram-Schmidt正交化，并将Muon用于Transformer主干矩阵，AdamW专用于xHC的非对称流控制投影参数，展示出优异的优化器兼容性。此外，工程部署中提出了xHC-Flash变体，在相邻子层间共享路由决策、联合生成前向映射并通过标量校正复用稠密读取，将每子层I/O从 \(73.5C\) 压减至 \(40C\)（与mHC \(N=4\) 的 \(34C\) 基本持平）。
实验关键数据¶
主实验¶
在18B（1.7B激活参数）和28B（2.7B激活参数）DeepSeekMoE架构模型上，以几乎相同的训练FLOPs预算（xHC在18B和28B上相较标准单流基线分别仅增加4.1%和3.0%的FLOPs）对比下游基准得分。
| 模型规模 | 评测基准 | Vanilla (单流) | mHC (\(N=4\)) | xHC (\(N=16, k=4\)) | 相比mHC提升 |
|---|---|---|---|---|---|
| 18B MoE | MMLU (5-shot) | 48.9 | 54.7 | 57.2 | +2.5 |
| 18B MoE | MMLU-Pro (5-shot) | 21.1 | 27.4 | 29.7 | +2.3 |
| 18B MoE | BBH (3-shot) | 32.4 | 33.7 | 39.5 | +5.8 |
| 18B MoE | CommonsenseQA (7-shot) | 54.6 | 56.6 | 60.9 | +4.3 |
| 18B MoE | ARC-Challenge (25-shot) | 55.7 | 66.3 | 72.2 | +5.9 |
| 18B MoE | GSM8K (4-shot) | 37.7 | 44.5 | 48.4 | +3.9 |
| 18B MoE | HumanEval (0-shot) | 25.6 | 23.2 | 29.3 | +6.1 |
| 18B MoE | C3 (3-shot) | 67.1 | 72.7 | 78.3 | +5.6 |
| 18B MoE | 平均得分 (Average) | 40.6 | 44.8 | 48.8 | +4.0 |
| 28B MoE | MMLU (5-shot) | 54.6 | 56.8 | 60.5 | +3.7 |
| 28B MoE | MMLU-Pro (5-shot) | 30.1 | 34.9 | 36.0 | +1.1 |
| 28B MoE | CommonsenseQA (7-shot) | 60.5 | 63.9 | 69.6 | +5.7 |
| 28B MoE | ARC-Challenge (25-shot) | 70.8 | 74.9 | 77.7 | +2.8 |
| 28B MoE | GSM8K (4-shot) | 50.3 | 56.3 | 59.2 | +2.9 |
| 28B MoE | HumanEval (0-shot) | 27.4 | 26.8 | 31.1 | +4.3 |
| 28B MoE | C3 (3-shot) | 75.2 | 78.7 | 82.5 | +3.8 |
| 28B MoE | 平均得分 (Average) | 47.8 | 50.5 | 53.6 | +3.1 |
消融实验¶
在10B MoE模型上以相同的训练Token预算在The Pile测试集上评测验证集困惑度/损失（Val. Loss），详细分析各设计组件的有效性。
| 配置编号 | 架构与配置 | 流配置 (\(N, k, m\)) | 额外FLOPs | 验证集损失 (Val. Loss) ↓ | 说明 |
|---|---|---|---|---|---|
| (1) | Vanilla 基线 | 单流 (\(N=1\)) | +0.0% | 2.029 | 标准单流恒等残差 |
| (2) | mHC (\(N=4\)) | \(N=4\) 全稠密 | +0.6% | 2.004 | 现有主流超连接基线 |
| (3) | mHC (\(N=16\)) | \(N=16\) 全稠密 | +18.8% | 1.998 | 稠密扩展收益严重饱和 |
| (4) | mHC + 时序特征增强 | \(N=16\) 全稠密 | +20.1% | 1.984 | 解除信息瓶颈，性能大幅提升 |
| (5) | xHC 完整模型 | \(N=16, k=4, m=2\) | +3.3% | 1.983 | 兼备极低计算代价与最优性能 |
| (6) | 去掉稠密读取 & 固定流 | \(N=16, k=4, m=0\) | +3.3% | 1.997 | 跨层信息断连，性能骤降 |
| (7) | 去掉稠密读取 (w/o Dense Read) | \(N=16, k=4, m=2\) | +3.3% | 1.985 | 全局信息不可见导致损失上升 |
| (8) | 去掉固定流 (w/o Fixed Streams) | \(N=16, k=4, m=0\) | +3.3% | 1.986 | 缺乏稳定锚点流引发波动 |
| (9) | 缩减活跃流至 \(k=2\) | \(N=16, k=2, m=1\) | +2.4% | 1.991 | 活跃容量受限导致欠拟合 |
| (10) | 扩大活跃流至 \(k=8\) | \(N=16, k=8, m=2\) | +6.2% | 1.982 | 收益微弱但计算量翻倍 |
| (11) | Softmax 路由器替换 Sigmoid | \(N=16, k=4, m=2\) | +3.3% | 1.988 | 胜者通吃导致流利用不均 |
关键发现¶
- 信息瓶颈解除带来根本性跨越：单纯增加流数量（mHC从 \(N=4\) 到 \(N=16\)）验证集损失仅从2.004微降至1.998；而在引入多尺度因果卷积时序增强后，损失断崖式下降至1.984，证实限制残差流容量扩展的核心瓶颈是写回信息的单一性，而非流数量本身。
- 稠密读取是稀疏流架构的命脉：在消融实验(6)中，若同时移除稠密读取和固定流，损失大幅恶化至1.997；即便保留固定流但去掉稠密读取(7)，损失依然反弹至1.985，证明让每个层都能看到全部残差流是避免稀疏更新信息阻断的关键。
- Scaling Law展现出系统性计算效率优势：扩展定律拟合表明，要达到与xHC相同的预训练语言建模损失，标准Vanilla基线和mHC分别需要投入 \(1.50\times\) 和 \(1.19\times\) 的训练算力，证明xHC带来的增益贯穿于模型规模与算力扩展的全过程。
亮点与洞察¶
- 多尺度因果卷积实现低成本时序扩充：在不增加子层主干计算的前提下，利用深度因果卷积以仅仅24C的每层微量参数，低成本捕获多粒度时序上下文，巧妙解决了向 \(N\) 条流写回时的特征基底匮乏难题。
- 读写不对称性设计（Dense Read & Sparse Write）：突破了传统稀疏计算中读写对称的思维惯性，以极低的读取聚合成本换取全流信息的持续可见，使写回侧的稀疏混合与更新能够放心地压减至 \(\mathcal{O}(k^3 C)\)。
- xHC-Flash的轻量化校正与内核融合：揭示了超连接网络中流控制决策在小局部窗口内的平滑性，利用前向映射与写回向量的代数结构实现了无额外全流读取的输入精确校正，将I/O压至与4流mHC相当的水平，扫清了大规模预训练的显存带宽瓶颈。
局限与展望¶
- 作者承认的局限：尽管xHC显著削减了算力FLOPs，但在未融合内核的情况下，维护16条流依然面临较频繁的全局显存访问与核函数启动开销；同时当前因果卷积仅限制在MLP后，Attention后是否能有更稳健的时序增强机制仍待探索。
- 独立发现的局限：在更长上下文（如32K或128K）推理阶段，多尺度深度卷积的KV状态管理与状态更新开销尚未被详细评估；此外 \(k=4\) 和 \(N=16\) 仍属于经验选定超参，缺乏随模型总参数规模动态扩展的最佳理论缩放准则。
- 改进思路：探索在推理阶段将固定流与动态流进行静态合并剪枝（Structural Pruning），或将超连接思想推广到扩散模型与视觉多模态大模型的跳层表征流中。
相关工作与启发¶
- vs HC (Zhu et al., 2024)：原始HC在流间进行无约束线性混合，易导致深层信号放大或衰减；xHC继承了流形约束，并首次攻克了HC流数扩展停留在4流的瓶颈。
- vs mHC (Xie et al., 2025)：mHC通过Sinkhorn双随机矩阵解决了数值稳定性，但全流密集更新面临 \(\mathcal{O}(N^3 C)\) 算力爆炸与单一写回信息限制；xHC通过“时序特征增强+非对称稀疏更新”使 \(N=16\) 成为高效现实，并在相同算力下显著跑赢mHC。
- vs MoE与稀疏注意力 (Dai et al., 2024; Yuan et al., 2025)：MoE针对参数计算维度稀疏化，稀疏注意力针对Token时序维度稀疏化，而xHC首次在残差流状态（Residual State）维度实现系统性稀疏路由与更新，拓宽了模型稀疏计算的设计空间。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次针对超连接家族大流数扩展的根本瓶颈提出成套解法，时序增强与非对称读写设计立意新颖。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖18B与28B工业级MoE主干、Scaling Law多点拟合、详实消融及Muon优化器兼容验证，论据极为扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 瓶颈归因清晰有力，数学推导与系统工程实现层层递进，结构极具说服力。
- 价值: ⭐⭐⭐⭐⭐ 成功将残差流扩展验证为继宽度、深度和数据之后的有效Scaling轴，对下一代LLM基础架构设计具有重大指导意义。