Learning Compositional Latent Structure with Vector Networks¶

会议: NeurIPS 2026
arXiv: 2605.28007
OpenReview: https://openreview.net/forum?id=C8agNRzT7b
领域: 自监督学习
关键词: 矢量网络, 组合泛化, 稀疏编码, 秩-1权重原子, 局部能量最小化

一句话总结¶

矢量网络（Vector Network, VN）将层间单一稠密权重矩阵解构为可复用的秩-1权重原子库，通过快速层局部能量极小化推断样本特异的稀疏权重组合，并结合局部残差驱动的 Atomic-Hebb 慢速学习，从架构层面实现了组合泛化。

研究背景与动机¶

现代深度神经网络依赖端到端反向传播和共享的全局稠密参数基质。由于梯度在标量损失下反向穿透全网络并累积，多种相异的功能特征与计算行为被迫压缩、纠缠在同一组权重矩阵的重叠方向中（即所谓权重纠缠，weight entanglement）。这种共享参数机制导致模型对某一行为的参数优化容易破坏或干扰其他行为，且由于优化目标仅约束最终输出拟合而非内部计算解耦，网络内部缺乏显式、可复用且持久的计算单元，导致其在分布外（OOD）面对已知因子的新颖组合时泛化性能严重崩溃。

现有的模块化与组合性探索虽然在一定程度上缓解了该问题，但仍未彻底建立参数空间的显式责任分配机制。例如，混合专家模型（MoE）与胶囊网络（Capsules）主要依赖前馈门控路由在预定义的大粒度稠密模块或实体槽位之间切换；自编码器与低秩分解方法则将约束施加在隐空间状态或全局低秩瓶颈上；解耦表示学习（Disentangled Representation）也仅聚焦于特征层面的正交分解，未能使层间的变换算子本身具备可拆卸与重组能力。

本文的切入角度是：若要让系统将学到的因子灵活重组以解释新输入，网络层间的变换算子本身必须分解为可寻址、可复用的基本原子。核心 idea：用可复用的秩-1权重原子库替代固定的稠密权重矩阵，通过层局部能量极小化为每个输入推断出稀疏的权重原子系数以动态合成定制变换，并利用 Atomic-Hebb 局部规则仅更新被激活的原子。

方法详解¶

整体框架¶

矢量网络（Vector Network, VN）由多层秩-1权重原子库堆叠而成。对于任意输入样本，前向计算不再是简单应用静态权重矩阵，而是转变为一个分层的循环推断过程：每一层根据当前输入与顶层反馈，极小化局部李雅普诺夫能量函数，推断出一组稀疏的有符号权重原子系数；收敛后，激活的原子线性加权组合成该样本专属的低秩变换矩阵，完成前向传播与反向重构目标传递；学习阶段则在推断收敛后，利用层局部残差与激活系数的外积（Atomic-Hebb）精确更新被选中的原子。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入样本 x_l"] --> Settle["快速循环推断：层局部能量极小化<br/>双向ISTA/FISTA交替更新稀疏系数 g_l"]
    Settle --> MatSynth["1. 秩-1权重原子库与变换算子合成<br/>W_l*(x_l) = sum_i g_l,i * u_l,i s_l,i^T"]
    MatSynth --> SparseLocal["2. 层局部能量与稀疏性约束<br/>E_l: 自底向上重构 + 稀疏惩罚 + 自顶向下一致性"]
    SparseLocal --> RecurrentSweep["3. 循环推断与双向反馈精炼<br/>上行消息与下行重构目标交替迭代"]
    RecurrentSweep --> HebbUpdate["4. 慢速局部学习：Atomic-Hebb更新<br/>局部残差与激活原子系数外积更新S_l与U_l"]
    HebbUpdate --> Out["下游输出 / 任务预测"]

关键设计¶

1. 秩-1权重原子库与变换算子合成：将稠密变换分解为细粒度可复用算子

针对传统网络中权重纠缠且难以隔离局部贡献的瓶颈，VN 在第 $l$ 层维护两个单位范数码本矩阵：输入重构字典 $S_l \in \mathbb{R}^{d_l \times K_l}$ 与接口字典 $U_l \in \mathbb{R}^{m_l \times K_l}$，其对应的列向量配对构成第 $i$ 个秩-1 权重原子 $A^{(l,i)} = u_{l,i} s_{l,i}^\top$。对于特定输入 $x_l$，网络推断出稀疏系数向量 $g_l^\star(x_l) \in \mathbb{R}^{K_l}$，使得有效变换算子被实例化为这些原子的稀疏线性叠加： $$W_l^\star(x_l) = \sum_{i=1}^{K_l} g_{l,i}^\star(x_l) A^{(l,i)} = \sum_{i=1}^{K_l} g_{l,i}^\star(x_l) u_{l,i} s_{l,i}^\top$$ 此时计算具有双重角色：系数既通过 $S_l g_l$ 重构本层输入，又通过 $h_l = \phi_l(U_l g_l)$ 生成向上传递的稠密特征消息。由于每个原子均为秩-1，当强制施加硬 Top-$k_l$ 稀疏约束时，该变换的秩严格不超过 $k_l$，从几何结构上切断了无关特征维度的串扰，保证叠加性质可在线性解码端严格保真。

2. 层局部能量与稀疏性约束：基于变分能量驱动的系数推断

为了在无需反向传播梯度的情况下自适应确定每个样本的激活算子，VN 为第 $l$ 层定义了一个显式的局部李雅普诺夫能量函数 $E_l$： $$E_l(g_l \mid x_l, h_{l,\mathrm{target}}) = \frac{1}{2} \|x_l - S_l g_l\|_2^2 + \lambda_l \|g_l\|_1 + \frac{1}{2} \|h_{l,\mathrm{target}} - U_l g_l\|_2^2$$ 其中第一项衡量底向输入的线性重构保真度，第二项施加 $\ell_1$ 范数稀疏惩罚促使大部分原子失活，第三项确保与顶层传递下来的先验目标 $h_{l,\mathrm{target}}$ 保持预测编码式的一致性。各层稀疏超参数 $\lambda_l$ 随网络深度递增，驱使浅层保留丰富的低阶几何构件，而深层提取高度特异的抽象语义组合。

3. 循环推断与双向反馈精炼：层级协同的近端梯度迭代

为了在多层网络中协同求解全局一致的稀疏系数，网络采用受预测编码启发的交替扫描机制。在单层内部，系数 $g_l$ 沿着能量平滑项的负梯度方向以步长 $\eta_l \le \|S_l^\top S_l + U_l^\top U_l\|_2^{-1}$ 进行近端软阈值更新： $$g_l \leftarrow \mathrm{soft}\left(g_l - \eta_l \left[ S_l^\top (S_l g_l - x_l) + U_l^\top (U_l g_l - h_{l,\mathrm{target}}) \right],\, \eta_l \lambda_l\right)$$ 在网络宏观尺度上，推断分为前向自底向上扫描（上层接收 $x_{l+1} \leftarrow \phi_l(U_l g_l)$ 并执行单步推断）与反向自顶向下扫描（下层接收重构目标 $h_{l,\mathrm{target}} \leftarrow S_{l+1} g_{l+1}$ 进行残差修正）。循环往复若干次直至能量相对变化低于容限 $\tau_E$，使各层稀疏表示在局部竞争与层次一致性之间达成不动点平衡。

4. 慢速局部学习与 Atomic-Hebb 规则：面向算子责任的信度分配

当快速循环推断收敛至稳定状态 $g_l^\star$ 后，模型冻结推断轨迹，进入慢速参数更新阶段。与标准反向传播中跨层链式梯度传输不同，VN 采用局部残差与激活系数外积的 Atomic-Hebb 塑性规则： $$S_l \leftarrow S_l + \rho_l^S \, r_l^x (g_l^\star)^\top, \qquad U_l \leftarrow U_l + \rho_l^U \, r_l^h (g_l^\star)^\top$$ 式中 $r_l^x = x_l - S_l g_l^\star$ 与 $r_l^h = h_{l,\mathrm{target}} - U_l g_l^\star$ 分别代表输入重构与顶层目标的未解释残差。根据丹斯金定理（Danskin's Theorem），在能量极小点处该局部乘积严格等价于平衡态自由能对字典原子的隐式梯度。未被激活的原子（$g_{l,i}^\star = 0$）完全不参与参数更新，从根本上杜绝了灾难性干扰与权重弥散覆写；每次更新后对字典列向量执行严格的单位范数重归一化，维持学习动态的尺度稳定性。

实验关键数据¶

主实验¶

论文在四项具有严格因果解耦与组合属性的基准上进行了全方位评测，涵盖一维函数混合、二维空间高斯斑重构、非线性多体动力学加速度预测以及 MNIST 图像与仿射变换。以下选取代表性的函数组合掩码预测基准（表 6，Hard-OOD，mask_forecast_25）与多体物理动力学基准（ID 单力场 vs OOD 混合力场 MSE）进行对比展示。

数据集 / 评测任务	评估指标	本文 (VN-3L / Full VN)	强基线 (Transformer / Mamba)	增益 / 优势表现
函数组合 (Hard-OOD, mask_forecast_25)	均方误差 (MSE)	0.391	1.480 (Transformer) / 0.624 (Mamba-bn)	相对 Transformer 误差下降 73.6%
函数组合 (Easy-OOD, mask_forecast_25)	均方误差 (MSE)	0.806	0.968 (Transformer) / 0.872 (Mamba-bn)	显著抑制隐式序列预测的发散漂移
多体物理动力学 (ID 单力场, n=5)	加速度 MSE	1.20×10⁻³	8.50×10⁻⁴ (Transformer)	基线在充分拟合分布内数据时稍占优
多体物理动力学 (2-Force 混合 OOD, n=5)	加速度 MSE	2.85×10⁻³	1.45×10⁻² (Transformer)	相对 Transformer 误差降低约 80.3%
多体物理动力学 (3/4-Force 复合 OOD, n=3)	加速度 MSE	4.10×10⁻³	4.80×10⁻² (GNN / MLP)	面对力场复合与粒子丢弃保持数量级优势

消融实验¶

针对网络深度、稀疏预算 $k$、顶层反馈强度以及空间分解架构，作者在二维空间高斯斑重构任务（Holdout 盲区插值与双斑/三斑叠加测试，表 1 与表 2）上进行了系统消融。

配置	核心指标 (N=2 OOD MSE)	核心指标 (N=3 OOD MSE)	说明
VN-3L (mix=0.7, 完整模型)	7.62×10⁻⁵	7.76×10⁻⁵	强自顶向下反馈引导，OOD/ID 误差比仅 1.06×
VN-3L (基准反馈, k=8)	9.93×10⁻⁵	1.01×10⁻⁴	缺少强化反馈时，深层重构修正能力轻微减弱
VN-2L (k=8)	9.53×10⁻⁵	9.88×10⁻⁵	深度由 1 增至 2 带来最显著的阶跃增益
VN-1L (k=16)	2.65×10⁻⁴	3.01×10⁻⁴	浅层较大稀疏预算导致原子选择不够敏锐
显式低秩分解基准 (Rank-1)	7.30×10⁻³	1.10×10⁻²	遇多斑叠加时产生 $N^2$ 交叉假影，误差骤升两个数量级
显式低秩分解基准 (Rank-3)	8.10×10⁻³	1.20×10⁻²	盲目增加硬编码分支不仅未提升泛化，反而坍缩为冗余副本

关键发现¶

稀疏约束与组合能力正相关：在空间与函数组合实验中，$k=8$ 的稀疏配置系统性优于 $k=16$。更紧凑的原子激活迫使字典学习到真正正交的生成机理，防止多个原子通过弥散叠加掩盖未建模误差。
自顶向下双向耦合的纠偏作用：当引入适度的自顶向下反馈系数（如 $\lambda_{\mathrm{td}} \approx 0.3$ 或 mix$=0.7$）时，深层全局语境能够有效纠正浅层局部重构的歧义性，使 VN-3L 的 OOD 预测误差进一步降低 23%。
长时程物理滚动的鲁棒性：在 $n$-body 动力学的 5 秒开放式 Runge-Kutta 轨迹外推中，尽管手工分解的 Factorized 基线具有极低的单步拟合残差，但在 200 步后迅速因复合状态漂移而发散；VN 则由于原子变换保持了机制层面的物理不变性，在 5/6 的测试配置下维持了最低的位置发散漂移。

亮点与洞察¶

将组合泛化从状态路由推向算子空间：不同于常规注意力机制或 MoE 在激活状态之间进行前馈加权，VN 首次将组合性形式化为针对参数算子（Rank-1 Weight Atoms）的变分能量推断，使得“网络权重本身随输入按需装配”。
Atomic-Hebb 规则消除了跨层梯度污染：通过将更新局限在被推断选中的原子与局部残差外积上，未激活的物理规律或视觉构件完全不受无关样本的梯度扰动，从机制上解决了深层网络中的参数覆盖冲突。
与神经科学计算理论的高度契合：模型将快速变量（神经突触系数推断）与慢速变量（原子结构巩固）相分离，不仅在数学上与双向预测编码（Predictive Coding）和平衡态网络（DEQ）形成镜像，也为生物脑在少样本下的机制重组提供了结构化解释。

局限与展望¶

推断时延相对较高：当前每个输入样本都需要执行数次至数十次全局双向循环迭代才能完成李雅普诺夫能量的稳定收敛，相比于单次前馈网络（如标准 CNN 或 Transformer），推理时延与计算开销显著增加。
字典超参数敏感与原子坍缩风险：若学习率或稀疏正则化 $\lambda$ 设置不当，字典原子在训练初期可能趋同或陷入死原子（Dead Atoms）状态，进而破坏原子间的互连贯性（Mutual Coherence），导致稀疏恢复条件失效。
未来方向：作者指出可借鉴深度展开（Algorithm Unrolling）或引入轻量前馈预测网络为循环迭代提供高质量的热启动初始值（Warm Start），在保留权重可解释性与组合性的同时大幅摊销推断计算成本。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 架构概念极具颠覆性，跳出固定稠密矩阵与前馈门控路由的传统范式，开创性构建权重原子空间能量推断。
实验充分度: ⭐⭐⭐⭐⭐ 跨越一维函数、空间解码、非线性多体物理动力学及视觉变换四大领域，包含严格的理论条件证明与详尽的开环消融。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密规范，概念剖析深刻透彻，图表表达逻辑高度自洽。
价值: ⭐⭐⭐⭐⭐ 为解决深度学习权重纠缠与灾难性遗忘提供了崭新视角，是神经拟态计算与组合智能的里程碑式工作。