Overcoming Kernel Redundancy for Scaling Logic Gate Networks¶

会议: NeurIPS 2026
arXiv: 2610.01069
OpenReview: https://openreview.net/forum?id=pBQwXLxijA
领域: 模型压缩
关键词: 逻辑门网络, 宽度扩展, 动态逻辑核, 核冗余, 布尔路由

一句话总结¶

针对可微逻辑门网络在宽度扩展中因逻辑核冗余导致性能饱和的问题，本文提出基于布尔路由的动态逻辑核（DLK）及专注底层异构性的早期动态逻辑核（EDLK），在保持纯布尔推理的同时显著提升了模型的容量利用效率与表征多样性。

研究背景与动机¶

近年来，深度学习在计算与能耗方面的急剧增长促使轻量化高效网络成为研究热点。量化与二值神经网络（BNN）大幅降低了数值位宽，而可微逻辑门网络（Differentiable Logic Gate Networks）更进一步，将传统浮点算术计算彻底替换为离散的布尔逻辑门操作（如 AND、OR、XOR）。由于完全在比特级布尔域执行推理，逻辑门网络展现出极其优异的硬件加速潜力与超低能耗特性。然而，尽管前期研究通过连续松弛、重参数化或树状卷积拓扑改善了单层优化稳定性，逻辑门网络的规模化扩展机制（Scaling Behavior）依然严重缺乏系统探索。

在经典深度神经网络中，增大模型容量（如增加网络宽度与通道数）通常能稳定带来表征能力与下游精度的提升。但将这一原则套用到逻辑门网络时却遭遇了阻碍：简单地堆叠更多平行的逻辑核进行宽度扩展，模型精度往往迅速饱和，未能将参数容量转化为有效的判别能力。深入分析表明，这一瓶颈并非源于模型总容量不足，而是多个逻辑核在优化过程中逐渐收敛到高度相似或等价的布尔运算，造成严重的核冗余（Kernel Redundancy），无法提取互补的特征模式。

针对这一问题，本文从布尔函数的结构特性切入。如果能够根据不同输入动态激活特定的逻辑核组，就能迫使不同子电路针对不同输入模式产生功能特化，从而突破统一静态推理的表达上限；更重要的是，这种路由判定本身也必须严格限制在布尔运算域内，以保全逻辑门网络无乘法、零浮点开销的硬件优势。核心 idea：提出基于全布尔路由的动态逻辑核机制，并通过核层级多样性分析揭示首层门是冗余的主因，进而构建出仅动态路由第一层布尔门、共享高层结构的早期动态逻辑核（EDLK），以极小硬件开销解锁宽度扩展红利。

方法详解¶

整体框架¶

本文针对逻辑门网络在宽度扩展下的核冗余现象，提出了输入自适应的动态逻辑核范式。整个架构由主干逻辑卷积层与轻量布尔路由器（Logic Router）协同构成。在处理二值化输入特征时，路由器首先通过卷积逻辑层与全局空间 OR 池化提取布尔路由证据，计算各候选核组的匹配得分；随后在训练时采用温度退火的 Softmax 进行软路由聚合以保持梯度可微，而在推理阶段则直接通过硬件友好的位计数（Bit-Count）与最大值硬判决选出单一核组进行纯布尔前向计算。

进一步地，为了避免对整棵逻辑树进行动态选择引入的参数与硬件面积浪费，本文通过树编辑距离（TED）进行层级分解，发现逻辑核之间的冗余绝大部分集中在直接接触输入的第一层逻辑门节点。据此提出的早期动态逻辑核（EDLK）仅将第一层布尔门划分为多个可路由的候选组件，而后续的高层逻辑树结构在所有候选组之间完全共享，实现了更为精炼且紧凑的层次化动态电路。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["二值化输入特征 X"] --> Router["布尔逻辑路由器<br/>逻辑卷积 + 全局 OR 池化"]
    In --> EDLK["早期动态逻辑核 (EDLK)"]
    Router -->|位计数与硬判决 g*| EDLK
    subgraph EDLK_Block["EDLK 内部层次化计算"]
        direction TB
        G1["首层门候选组 1: T_1^(1)"]
        G2["首层门候选组 g*: T_g*^(1)"]
        G3["首层门候选组 G: T_G^(1)"]
        Selected["动态选中首层输出 Y^(1)"]
        SharedTree["共享高层逻辑树门电路<br/>Level 2 至 Level L"]
        G2 --> Selected
        Selected --> SharedTree
    end
    EDLK --> Out["层输出特征 Y"]

关键设计¶

1. 基于功能感知树编辑距离的核冗余量化：揭示同质化瓶颈 针对如何科学度量离散布尔逻辑核多样性的难题，本文提出了功能感知树编辑距离（Function-Aware Tree Edit Distance, TED）。传统树编辑距离在拓扑结构对齐时仅机械判断门类型是否相同，忽视了不同布尔算子之间的真值表重合度。例如异或（$\oplus$）与或（$\vee$）在四组输入组合中仅有一个输出不同，而与与（$\wedge$）则有三处输出不同。本文通过枚举两输入算子在输入全集 $\mathcal{A} = \{(0,0), (0,1), (1,0), (1,1)\}$ 上的输出差异，定义了单门距离： $$\delta_f(g, g') = \sum_{(a_1, a_2) \in \mathcal{A}} \mathbf{1}(g(a_1, a_2) \neq g'(a_1, a_2))$$ 在此基础上，卷积逻辑层内所有对齐逻辑核对的平均距离 $\mathcal{D}_{\mathcal{T}} = \frac{1}{\binom{N}{2}} \sum_{i<j} \sum_{n=1}^L \delta_f(g^{T_i(n)}, g^{T_j(n)})$ 能够精准表征层内逻辑多样性。分析表明，随着静态基线模型宽度增加，$\mathcal{D}_{\mathcal{T}}$ 不升反降，直接证实了额外逻辑核同质化所造成的容量浪费。

2. 纯布尔动态逻辑核（DLK）：全离散自适应核组路由 为解决静态核的表达饱和，DLK 将每层的逻辑核划分为 $G$ 个候选组，每组包含 $K$ 个核。为了在推理时不破坏全布尔网络的零浮点运算特性，路由器 $\mathcal{R}(\cdot)$ 本身完全由可微逻辑卷积层与全局空间 OR 池化构建，对输入 $\bm{X}$ 输出布尔张量 $\bm{R} \in [0,1]^{G \times C}$。每个候选组的激活得分定义为对应通道的布尔置信度累加 $s_g = \sum_c \bm{R}_{g,c}$。在训练阶段，利用带温度系数 $\tau$ 的 Softmax 形成可微软权重 $\alpha_g = \frac{\exp(s_g/\tau)}{\sum_{g'=1}^G \exp(s_{g'}/\tau)}$ 聚合各组输出；而在部署推理阶段，则退化为无需浮点乘加的硬分支选择： $$g^* = \arg\max_g s_g, \quad \bm{Y} = \mathcal{T}_{g^*}(\bm{X})$$ 由此在保持纯门级离散计算的前提下，实现了输入自适应的子核组激活与功能特化。

3. 首层特化机制（EDLK）：定位底层瓶颈的层级复用设计 通过对逻辑树深度各层次 TED 的逐层分解，实验发现 DLK 与静态基线之间的多样性差异压倒性地集中在直接连接输入的第一层逻辑门节点，而更高层深度的算子差异极小。基于“冗余源于底层布尔基元构建阶段”的洞察，EDLK 放弃了整体逻辑核的多副本设计，转而仅在第一层门电路维护 $G$ 组候选组件 $\mathcal{T}_g^{(1)}(\cdot)$，更高层逻辑树则在所有组间完全共享。在推理时，路由器仅动态选择首层候选组件输出： $$\bm{Y}^{(1)} = \mathcal{T}_{g^*}^{(1)}(\bm{X})$$ 随后将其直接送入统一的高层逻辑树进行多层逐级合成。该设计以极低的参数增量精准消除了输入端表征的同质化，在保留 DLK 表达多样性的同时大幅压缩了候选逻辑电路的硬件面积与延迟。

损失函数 / 训练策略¶

网络整体采用端到端有监督训练。为保证模型在离散化后的判别能力，分类输出层采用标准交叉熵损失 $\mathcal{L}_{\mathrm{CE}}$。同时，为防止动态路由器在反向传播过程中发生模式坍塌（即所有样本退化为始终由某一个固定核组处理），本文引入了层级负载均衡辅助损失 $\mathcal{L}_{\mathrm{bal}}$： $$\mathcal{L} = \mathcal{L}_{\mathrm{CE}} + \lambda_{\mathrm{bal}} \mathcal{L}_{\mathrm{bal}}$$ 其中 $\lambda_{\mathrm{bal}}$ 为平衡系数。训练优化器采用 AdamW，迭代训练 200,000 步，初始学习率设为 0.02，批大小设为 64，并在推理前通过最大概率阈值硬离散化为离散布尔查找算子。

实验关键数据¶

主实验¶

在统一参数和匹配宽度设置下（第一层匹配总宽度为 576，动态分组为 $(K, G) = (192, 3)$），EDLK 与经典逻辑核（Logic Kernel）及带真值表重参数化的 IWP 基线在 5 个公开分类基准上的 Top-1 准确率对比如下：

数据集	指标	本文 (EDLK)	之前SOTA (Logic Kernel + IWP)	提升
MNIST	Top-1 准确率 (%)	99.10	98.67	+0.43
SVHN	Top-1 准确率 (%)	77.00	76.05	+0.95
CIFAR-100	Top-1 准确率 (%)	62.46	60.33	+2.13
Flowers-102	Top-1 准确率 (%)	34.26	33.05	+1.21
Tiny-ImageNet	Top-1 准确率 (%)	13.35	10.86	+2.49

消融实验¶

在 CIFAR-10 数据集、固定宽度 256 下，对不同路由机制与层次选择策略进行消融评估，同时分析 EDLK 相较于整核动态选择（DLK）在参数量与精度上的收益关系：

配置	准确率 (%)	核多样性 (TED)	说明
Static Logic Kernel (无路由)	68.56	2.50	静态基线，核冗余高且精度饱和
Frozen Random Router	69.35	-	随机固定权重路由，仅带来微弱增益
Ours (DLK, 整核动态路由)	70.38	4.61	整体核组路由，多样性高但参数较多
Ours (EDLK, 仅首层动态路由)	70.28	4.33	首层动态+高层共享，精度与 DLK 相当

此外，在 conv4 层的参数量消融中，当 $(K, G) = (128, 2)$ 时 EDLK 比 DLK 参数量降低 21.43%（精度仅差 0.10%）；当 $(K, G) = (128, 4)$ 时参数量降低达 32.14%（精度仅微降 0.15%），证实了首层动态化的极高参数效益。在 TSMC N5 硬件综合中，EDLK ($G=2$) 在 MNIST 上的芯片面积仅为 $13.21\,\mathrm{nm}^2$、功耗 $4.37\,\mathrm{pJ}$，全面优于加宽静态基线（$16.15\,\mathrm{nm}^2, 5.34\,\mathrm{pJ}$）。

关键发现¶

逻辑核冗余对宽度扩展的制约主要源于输入相邻的第一层门节点；高层逻辑门无论在静态还是动态模式下均具有极高的拓扑复用度。
随机路由器几乎无法提升宽度利用率，验证了精度增益来源于自适应学习到的数据依赖型布尔功能特化，而非单纯的模型容量扩充。
深度扩展（Depth Scaling）在逻辑门网络中仍会遭遇梯度消失与离散化断层导致的精度饱和，而 EDLK 成功解决了宽度扩展（Width Scaling）轴向上的容量吸收瓶颈。

亮点与洞察¶

硬件与算法原生对齐：突破传统动态卷积依赖连续注意力/Softmax 浮点乘加的局限，路由器全程采用布尔运算与位计数实现硬分支，确保部署端无浮点、无乘法。
层级冗余溯源设计：巧妙利用功能感知树编辑距离定位到首层门的冗余主因，避免了全核多副本的冗余开销，以“首层动态分支+高层共享复用”实现了极佳的硬件与能耗折中。
启发性极强的架构迁移：该“底层特化布尔基元、顶层复用组合逻辑”的思潮对查找表（LUT）架构、二值神经网络（BNN）及存内计算芯片设计具有重要借鉴价值。

局限与展望¶

扩展范围局限于图像分类基准，对于密集像素级预测（如图像去噪、超分辨率、语义分割等低层视觉任务）中的自适应表现尚未验证。
逻辑门网络在复杂超大规模数据集（如 ImageNet-1K 或 LLM 尺度）上的绝对精度相较于传统浮点 CNN/Transformer 仍有明显差距。
未来可探索将可变输入二值化阈值与 EDLK 联合优化，从根源上提升连续视觉特征向离散布尔空间投影的信息密度。

评分¶

新颖性: ⭐⭐⭐⭐ [首次系统揭示逻辑门网络的宽度扩展冗余瓶颈，并构建了全布尔硬件兼容的自适应首层路由机制]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 6 个基准数据集、全面的树编辑距离多样性分析、严谨的消融实验以及 FPGA 延迟与 ASIC 能耗面积综合]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条极为清晰，从发现问题、设计度量指标、定位层级根因到精简架构一气呵成]
价值: ⭐⭐⭐⭐ [为极低功耗边缘端设备和非冯·诺依曼逻辑计算架构的规模化扩展提供了实用范式]