ToPA: Block-wise Toeplitz Adaptation for Expressive and Efficient Fine-Tuning¶
会议: NeurIPS 2026
arXiv: 2610.22883
OpenReview: https://openreview.net/forum?id=VYQLuuY0tY
领域: 模型压缩
关键词: 参数高效微调 (PEFT), 重参数化, 块状托普利茨矩阵, 高秩更新, 密集自适应
一句话总结¶
针对现有重参数化 PEFT 方法因低秩或预设稀疏导致表达力受限且逊于全量微调的瓶颈，ToPA 创新性提出基于块状托普利茨矩阵（Block-wise Toeplitz）与恒等残差的重参数化适配框架，在保持紧凑参数预算和 FFT 快速运算的同时实现了高秩且密集的参数变换。
研究背景与动机¶
参数高效微调（PEFT）已成为适配大规模预训练基础模型的核心范式。其中基于重参数化（Reparameterization）的技术因在推理时可将适配模块直接融合回原模型权重、不引入任何额外推理延迟而广受青睐。现存重参数化方案主要分为两大流派：一是以 LoRA 为代表的低秩分解方法，假设模型更新存在低内在维度；二是以 OFT、BOFT 为代表的稀疏结构方法，采用预设的稀疏正交矩阵进行乘性调制。
然而，这两种主流路线均面临显著的表达能力瓶颈，难以达到全量微调（Full Fine-Tuning）的性能。最新研究证实“低内在维度并不等价于低秩”，全量微调在实际更新时展现出天然的高秩特性（例如在 LLaMA-2-7B 数学微调中更新矩阵的实际秩高达 3758，而常规 LoRA 仅为 16 至 64），低秩投影人为截断了参数变换空间；而稀疏结构方法则依赖静态预设的非零掩码（非零元比例往往仅有 0.5% 至 6.5%），不仅将每个权重列向量硬性约束在预设的低维子空间内，而且粗暴切断了跨维度的参数连通性与信息流动。这使得探索一种既免于低秩与稀疏约束、又能维持轻量参数量与优化稳定性的全新重参数化结构成为急迫需求。
本文的切入视角是引入经典数学中的托普利茨（Toeplitz）矩阵结构。由于托普利茨矩阵沿每条降对角线元素恒定，具有天然的平移不变性，仅需 \(2n-1\) 个独立参数即可决定一个 \(n \times n\) 矩阵，且几乎处处满秩、处处密集。然而朴素级联标准托普利茨矩阵会导致类似 RNN 的长乘法链梯度爆炸。核心 idea：提出分块托普利茨自适应（ToPA），将标准托普利茨扩展为具有 \(p^2\) 个独立子块的分块结构，大幅提升单层因子参数容量并成倍压缩乘法链长，结合恒等残差连接与非对称零初始化，在紧凑预算下稳定实现高秩且密集的参数自适应。
方法详解¶
整体框架¶
ToPA 的总体思想是将待微调的模型权重矩阵 \(\bm{W} \in \mathbb{R}^{m \times n}\) 形式化为预训练基座权重 \(\bm{W}_0\) 与一个由若干分块托普利茨矩阵乘积构成的自适应变换矩阵 \(\bm{R}\) 的乘法调制。为消除深层连乘的优化不稳定性并符合微调中“改动围绕初始权重展开”的归纳偏置，ToPA 为变换矩阵注入了恒等矩阵 \(\bm{I}\) 的残差结构。
具体地，微调后权重表示为： $\(\bm{W} = \bm{W}_0 \cdot \bm{R} = \bm{W}_0 \cdot \left( \prod_{k=1}^t \bm{T}_{\mathrm{blk}}^{(k)} + \bm{I} \right)\)$ 其中 \(t\) 为链长（通常取 2 或 3），\(\bm{T}_{\mathrm{blk}}^{(k)}\) 为第 \(k\) 个可学习的分块托普利茨矩阵。输入向量 \(\bm{x}\) 经过适配层的计算流程、分块拆解及快速傅里叶变换（FFT）加速机制如下图所示：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入特征向量 x"] --> B["输入特征分块拆分<br/>划分为 p 个长为 q 的子向量"]
B --> C["1. 分块托普利茨重参数化<br/>p×p 个独立 Toeplitz 块并行调制"]
C --> D["2. 级联链长压缩与 FFT 快速乘法<br/>短链级联 (t=2~3) 结合循环矩阵傅里叶加速"]
D --> E["3. 恒等残差与非对称初始化<br/>加入恒等残差 I 并以首项零初始化稳定启动"]
E --> F["输出自适应权重变换 W0·R·x"]关键设计¶
1. 分块托普利茨重参数化：打破低秩与稀疏的表达力枷锁
传统重参数化方法要么受制于秩上界（LoRA），要么受制于固定零掩码（OFT/BOFT）。标准托普利茨矩阵 \(\bm{T} \in \mathbb{R}^{n \times n}\) 由降对角线向量 \(\bm{w} \in \mathbb{R}^{2n-1}\) 决定，参数量小且行间独立避免了线性相关。但若仅靠单层标准托普利茨，参数容量固定（\(2n-1\)），必须级联很长的乘法链才能匹配现代模型微调所需的容量。ToPA 将 \(n \times n\) 矩阵划分为 \(p \times p\) 个独立子块： $\(\bm{T}_{\mathrm{blk}} = \begin{bmatrix} \bm{T}_{11} & \cdots & \bm{T}_{1p} \\ \vdots & \ddots & \vdots \\ \bm{T}_{p1} & \cdots & \bm{T}_{pp} \end{bmatrix} \in \mathbb{R}^{n \times n}\)$ 其中每个子块 \(\bm{T}_{ij} \in \mathbb{R}^{\frac{n}{p} \times \frac{n}{p}}\) 均为独立的托普利茨矩阵。每个分块托普利茨因子具有 \(p(2n-p)\) 个可学习参数，容量约扩大为标准托普利茨矩阵的 \(p\) 倍。理论证明，若预训练权重秩为 \(s\)，则更新矩阵 \(\Delta \bm{W} = \bm{W}_0 \prod_{k=1}^t \bm{T}_{\mathrm{blk}}^{(k)}\) 几乎必然（以概率 1）保持满秩 \(s\)，彻底绕开了低秩瓶颈；同时其非零元分布致密，恢复了被稀疏正交掩码斩断的跨维度特征交互。
2. 级联链长压缩与 FFT 快速乘法：消除梯度爆炸并兼顾吞吐效率
在朴素托普利茨级联中，损失函数关于第 \(i\) 个因子的梯度为： $\(\nabla_{\bm{T}_i} \mathcal{L} = \left(\prod_{k=1}^{i-1} \bm{T}_k\right)^\top \bm{W}_0^\top \bm{G} \left(\prod_{k=i+1}^t \bm{T}_k\right)^\top\)$ 当连乘链长 \(t\) 较大时，中间累乘矩阵的谱范数若略大于 1，反向传播梯度将指数级剧烈膨胀，引起严重的梯度爆炸现象。ToPA 借助分块设计将相同参数预算下的链长需求削减至原本的 \(1/p\)（实验中 \(t\) 仅需设为 2 或 3），从根本上抑制了梯度范数的剧增。在前向计算中，通过将每个大小为 \(q \times q\)（\(q=n/p\)）的托普利茨块嵌入到 \(2q \times 2q\) 的循环矩阵中，利用快速离散傅里叶变换（FFT）将矩阵-向量乘法复杂度从 \(\mathcal{O}(q^2)\) 降低到 \(\mathcal{O}(q \log q)\)。整层前向乘法的计算代价仅为 \(\mathcal{O}(tpn \log(n/p))\)，在 RTX 4090 上相比稀疏正交方法显著降低了显存开销与训练步时。
3. 恒等残差与非对称初始化：锚定基座知识与稳定收敛动力学
为了在微调启动之初严格保留基座模型的初始表征，更新项必须在第 0 步贡献为零。ToPA 结合残差项 \(\bm{I}\)，引入了类似于 LoRA 的非对称初始化策略：将第一个分块托普利茨矩阵的生成向量设为全零（\(\bm{w}_{ij}^{(1)} = \bm{0}\)），而其余各因子由零均值高斯分布采样（\(\bm{w}_{ij}^{(k)} \sim \mathcal{N}(0, \sigma^2), k \ge 2\)）。这一机制保证了 \(\prod_{k=1}^t \bm{T}_{\mathrm{blk}}^{(k)} = \bm{0}\)，从而使模型在初始化时完全等价于未修改的 \(\bm{W}_0\)。显式加入的恒等残差项为参数优化构建了捷径，使微调学习平滑地围绕恒等映射展开，避免了无残差纯连乘结构在微调中期的性能衰减。
损失函数 / 训练策略¶
ToPA 属于即插即用型的参数重参数化模块，微调过程中基座权重全部冻结，仅更新各分块托普利茨因子的生成参数 \(\bm{w}_{ij}^{(k)}\)。训练直接沿用下游任务的标准交叉熵或文本扩散损失函数： - 常识推理 / 数学与代码生成：优化器采用 AdamW，学习率设为 \(3 \times 10^{-5}\) 至 \(1 \times 10^{-4}\)，配合线性预热与余弦衰减调度。 - 图像个性化生成 (DreamBooth)：基于 Stable Diffusion v1.5 的 U-Net 注意力投影层注入 ToPA，使用 AdamW 优化器（学习率 \(6 \times 10^{-5}\)，batch size 1）微调约 1000 步。 - 推理期融合：训练完成后，可通过显式矩阵乘法直接将 \(\bm{W}_0 (\prod \bm{T}_{\mathrm{blk}}^{(k)} + \bm{I})\) 融合写入原始权重参数文件，在推理部署阶段零附加延迟、零结构改动。
实验关键数据¶
主实验¶
在常识推理基准测试（LLaMA-2-7B 与 LLaMA-3-8B 骨干）以及数学/代码生成任务上，ToPA 全面优于代表性的低秩与稀疏基线：
| 任务 / 骨干模型 | 方法 | 参数量 | 核心指标表现 (8项平均 / 关键项) | 相比最强基线提升 |
|---|---|---|---|---|
| 常识推理 (LLaMA-2-7B) | LoRA (\(r=32\)) | 16.8M | 78.8% | - |
| 常识推理 (LLaMA-2-7B) | RidgeLoRA (\(r=32\)) | 17.0M | 80.5% | - |
| 常识推理 (LLaMA-2-7B) | OFT (\(b=64\)) | 16.8M | 79.9% | - |
| 常识推理 (LLaMA-2-7B) | ToPA (\(p=16, t=2\)) | 16.7M | 81.4% | +0.9% (vs RidgeLoRA) |
| 常识推理 (LLaMA-3-8B) | LoRA (\(r=32\)) | 13.6M | 84.9% | - |
| 常识推理 (LLaMA-3-8B) | HiRA (\(r=32\)) | 13.6M | 86.0% | - |
| 常识推理 (LLaMA-3-8B) | OFT (\(b=64\)) | 16.9M | 85.9% | - |
| 常识推理 (LLaMA-3-8B) | ToPA (\(p=8, t=3\)) | 12.6M | 86.3% | +0.3% (参数少 1.0M) |
| 数学推理 (LLaMA-3-8B) | LoRA (\(r=32\)) | 13.6M | GSM8K: 70.7% / MATH: 22.5% | - |
| 数学推理 (LLaMA-3-8B) | PiSSA (\(r=32\)) | 13.6M | GSM8K: 72.1% / MATH: 23.0% | - |
| 数学推理 (LLaMA-3-8B) | OFT (\(b=64\)) | 17.0M | GSM8K: 73.8% / MATH: 22.9% | - |
| 数学推理 (LLaMA-3-8B) | ToPA (\(p=8, t=3\)) | 12.6M | GSM8K: 74.7% / MATH: 23.5% | GSM8K +0.9% / MATH +0.5% |
| 代码生成 (LLaMA-3-8B) | ToPA (\(p=8, t=3\)) | 12.6M | HumanEval: 51.8% / MBPP: 67.2% | HumanEval +0.6% (vs DoRA) |
| 数学与代码 (Qwen3-4B) | ToPA (\(p=5, t=3\)) | 5.5M | GSM8K: 84.3% / HumanEval: 73.2% | HumanEval +3.1% (vs PiSSA) |
在自然语言理解（GLUE，DeBERTaV3-base）上，ToPA 在 0.44M 参数下取得 88.75 的平均分，高于 LoRA (88.09) 与 HiRA (88.46)。在 DreamBooth 主体驱动图像生成中，ToPA (\(p=32, t=2\)) 在 11.5M 参数下取得 DINO 0.676、CLIP-I 0.796、CLIP-T 0.234，全面超越 23.3M 参数的 OFT。
消融实验¶
1. 恒等残差连接消融（LLaMA-3-8B 在数学与代码生成任务上）：
| 配置 | 参数量 | GSM8K | MATH | HumanEval | MBPP | 说明 |
|---|---|---|---|---|---|---|
| ToPA 完整模型 (w/ Identity) | 12.6M | 74.7 | 23.5 | 51.8 | 67.2 | 完整架构，保持恒等残差 |
| 移除残差项 (w/o Identity) | 12.6M | 74.3 | 23.2 | 51.0 | 66.6 | 缺少恒等连接，四项均掉点 0.3~0.8% |
2. 块数 \(p\) 与链长 \(t\) 的消融表现： - 块数 \(p\) 的影响：固定链长 \(t=3\)，将 \(p\) 从 1 递增至 2、4、8 时，参数量相应递增，模型表达容量增强，OBQA、PIQA 和 WinoG 的准确率单调稳定上升。 - 链长 \(t\) 的影响：固定 \(p=8\)，当 \(t\) 从 1 增加到 3 时性能持续提高；但当 \(t\) 增至 4 时，OBQA 和 PIQA 略有回落（因链长增加引起轻微优化抖动），表明短链（\(t=2 \sim 3\)）是兼顾容量与稳定性的最优区间。
关键发现¶
- 打破低秩瓶颈的实质收益：在复杂推理任务（如 HumanEval 代码生成与 GSM8K 多步数学推理）中，ToPA 的优势相比分类任务更为显著，证实了全量微调天然依赖的高秩特征在高阶逻辑推理中的不可或缺性。
- 计算与显存开销适中：在 LLaMA-2-7B 微调中，BOFT 因稀疏块计算复杂直接 OOM 崩溃，OFT 显存消耗高达 21.8GB、单步耗时 3.3s；而 ToPA 显存仅 18.0GB、单步耗时 1.6s，以极低开销实现了远超稀疏方法的稳定性与高精度。
亮点与洞察¶
- 将托普利茨代数特性优雅引入微调重参数化：将传统用于序列建模或信号处理的 Toeplitz 结构化矩阵引入权重矩阵微调，巧妙利用其“平移不变性”带来“几乎处处满秩”与“天然密集无预设零掩码”的数学优越性。
- 分块与残差双重设计破解数值爆炸壁垒：精准识别出纯托普利茨长链连乘的梯度指数爆炸机制，以分块提升单因子参数容量成倍缩短乘法链，并借助恒等残差赋予微调平滑的初始锚定，兼顾了理论完备性与工程可用性。
- 可复用的高秩与高密度适配范式：证明了在参数预算极其受限的场景下，不需要被迫选择低秩分解（LoRA）或截断维度的稀疏正交（OFT），结构化代数因子化可作为通用的高效微调新基础构件。
局限与展望¶
- 实验场景主要局限于单模态大模型：当前验证集中在纯文本语言模型与文本到图像单向扩散模型，尚未在多模态大型视觉语言模型（VLM）中进行跨模态交互投影层的微调评测。
- 模型参数规模受限：受制于算力资源，主要评测骨干集中在 4B 至 8B 规模（LLaMA-2/3、Qwen3），在 70B 及以上超大规模模型中的扩展性与分布式并行开销仍待进一步验证。
- 未来方向：探索分块托普利茨参数与量化感知微调（如 QLoRA 场景）的兼容性，以及针对长上下文微调中显存敏感层的硬件级算子优化。
相关工作与启发¶
- vs LoRA / DoRA / PiSSA：低秩流派假设参数更新存在低维瓶颈，更新矩阵被严格卡在 \(\mathrm{rank} \le r\)；ToPA 通过托普利茨代数性质生成几乎处处满秩（与原权重同秩）的密集更新，显著释放了复杂推理的参数容量。
- vs HiRA / RidgeLoRA：HiRA 靠阿达马积、RidgeLoRA 靠对角线岭项尝试补足低秩缺陷；ToPA 从变换算子本身出发，通过乘性分块托普利茨实现端到端的高秩与致密性，理论证明在相同参数下表达力强于 LoRA/OFT 系列。
- vs OFT / BOFT：稀疏正交流派使用严格预设的对角/蝶形稀疏掩码，破坏了跨维度的权重交互；ToPA 矩阵无任何预设零值分布，保留了全连接的全局信息流动，且通过 FFT 降低了乘法运算延迟。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次系统将分块托普利茨矩阵引入 PEFT 重参数化，并提出链长压缩与恒等残差方案]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 21 个 NLP/CV 数据集、5 种主流架构，涵盖推理、代码、生成与理解，消融详实]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导严密清晰，动机分析一针见血，问题定义与理论支撑环环相扣]
- 价值: ⭐⭐⭐⭐⭐ [为摆脱 LoRA 低秩与 OFT 稀疏瓶颈提供了全新且高效的代数工具，对后续参数高效微调研究启发巨大]