FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning¶
会议: NeurIPS 2026
arXiv: 2605.22869
代码: https://github.com/olokevin/FuRA-NIPS
领域: 模型压缩
关键词: 参数高效微调, 全秩微调, 奇异值分解, 张量分解, 谱预条件优化
一句话总结¶
针对传统微调与LoRA忽略预训练几何结构、噪声梯度破坏核心特征的问题，FuRA通过块张量列分解将更新投影至预训练列空间并注入谱预条件，以LoRA级别的参数量（约1.46%）和显存开销实现了全秩权重自适应，在常识推理、强化学习与多模态微调中全面超越全参数微调。
研究背景与动机¶
在大语言模型（LLM）与多模态模型（VLM）的适应阶段，全参数微调（Full FT）因更新所有参数而长期占据精度上限，但其极度高昂的显存与计算开销限制了规模化应用。以 LoRA 及其变体（如 DoRA、AdaLoRA）为代表的参数高效微调（PEFT）方法通过低秩矩阵分解大幅降低了训练资源，但在诸多严苛基准上始终与 Full FT 存在难以弥合的精度代沟。为此，近期涌现了 MoRA、RandLoRA、LIFT 等尝试放宽秩上限的高秩或稀疏微调方案，然而仅靠提高参数秩并未能在下游任务中持续战胜全量微调。
这一瓶颈的深层根源在于：不论是 Full FT 还是 LoRA 类方法，在计算权重增量时都忽略了预训练阶段所确立的固有谱结构（Spectral Structure）。下游微调数据集在规模与分布广度上远小于预训练语料，其梯度极具噪声且方向弥散。在未受约束的优化过程中，弥散梯度会向与预训练流形正交的任意方向扰动特征，极易导致灾难性遗忘并损害模型的泛化能力。对 Full FT 训练动态的谱分析进一步证实：尽管反向传播的梯度在谱方向上呈现弥散状态，但模型最终保留的权重几何空间却高度集中在预训练的奇异基底列空间内。
基于这一发现，本文主张微调不应肆意破坏预训练坐标系，而应将权重更新显式约束并引导在已学得的特征子空间之内。作者在受控的 SVD 微调实验中证明，冻结左奇异基底不仅能达到全秩更新，还能带来显著超越 Full FT 的目标域及源域性能。核心 idea：通过无损的 2 核块张量列分解（Block Tensor-Train）将权重解耦为预训练冻结的基底大核与轻量可训练核及奇异值，以单架构设计同时兼顾全秩更新容量、列空间投影与自适应谱预条件，在 LoRA 级别的参数与显存预算下实现对全参数微调的反超。
方法详解¶
整体框架¶
FuRA 针对模型中的每个稠密线性层权重 \(W \in \mathbb{R}^{d_{\text{out}} \times d_{\text{in}}}\)，采用基于奇异值分解（SVD）初始化的无损 2 核块张量列分解（Block Tensor-Train, BTT）。将权重矩阵按输入维度划分为 \(n\) 个块切片，每个块通过 SVD 展开并无损对齐为三部分因子的连乘形式：左奇异基底张量 \(L\)、对角奇异值向量 \(S\) 和右奇异变换矩阵 \(R\)。
在微调过程中，FuRA 冻结尺寸庞大的基底矩阵 \(L\)，仅将轻量的 \(S\) 与 \(R\) 设为可训练参数。在模型前向推理时，输入特征被切分为对应的局部块输入，依次经过小核投影、奇异值缩放与基底矩阵变换，最终聚合输出；而在训练完成后，三者可直接重构成单个稠密权重矩阵，完全不引入部署服务侧的推理延迟。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入特征 x<br/>按输入维度切片为 n 个分块"] --> B["块张量列分解与前向传播<br/>W = L · diag(S) · R"]
B --> C["列空间投影约束<br/>大核 L 冻结为预训练左奇异基底 U"]
C --> D["双重谱预条件梯度缩放<br/>奇异值张量 S 与右核 R 联合优化"]
D --> E["反向传播更新与权重合并<br/>部署时折叠为标准稠密矩阵 W'"]关键设计¶
1. 块张量列分解与前向传播：以块级无损分解化解全局分解的计算瓶颈
针对全局 SVD 微调中参数量不降反增且计算量倍增的缺陷，FuRA 将线性层 \(W \in \mathbb{R}^{d_{\text{out}} \times d_{\text{in}}}\) 在列方向上均分为 \(n\) 个子块 \(W_k \in \mathbb{R}^{d_{\text{out}} \times b}\)（满足 \(d_{\text{in}} = n \cdot b\)）。对每个子块执行完全秩奇异值分解 \(W_k = U_k \Sigma_k V_k^\top\)，其中 \(U_k \in \mathbb{R}^{d_{\text{out}} \times b}\)，\(\Sigma_k \in \mathbb{R}^{b \times b}\)，以及 \(V_k \in \mathbb{R}^{b \times b}\)。FuRA 据此初始化 BTT 核心张量：
$$
L_k = U_k \in \mathbb{R}^{d_{\text{out}} \times b}, \quad S_k = \mathrm{diag}(\Sigma_k) \in \mathbb{R}^b, \quad R_k = V_k^\top \in \mathbb{R}^{b \times b}
$$
在前向计算时，输入向量 \(x\) 被视作分块切片 \(\mathcal{X}_k \in \mathbb{R}^b\)。由于 \(b \approx \sqrt{d_{\text{in}}}\)，第 \(k\) 块的前向计算表示为 \(\mathcal{Z}_k = R_k \mathcal{X}_k\)，再经奇异值向量逐元素相乘 \(\widetilde{\mathcal{Z}}_k = S_k \odot \mathcal{Z}_k\)，最终由基底变换聚合为 \(y = \sum_{k=1}^n L_k \widetilde{\mathcal{Z}}_k\)。这种分块结构允许 \(R\) 阶段采用高效的批量矩阵乘法（torch.bmm），不仅计算特征更贴合现代 Tensor Core，还将总可训练参数量直接压缩至 \(\mathcal{O}(d^{3/2})\)，在标准 8B 模型上仅占约 1.46%。
2. 列空间投影约束：打破全局低秩瓶颈并锁定预训练表征子空间
传统 LoRA 类适配器硬性施加全局低秩约束 \(\mathrm{rank}(\Delta W) \le r\)，严重制约了复杂推理任务所需的参数表达容量；而无约束微调又因梯度漂移而摧毁预训练几何。FuRA 巧妙地将大核 \(L_k\) 冻结为预训练的正交左奇异基底 \(U_k\)。从代数几何上看，由于每个分块增量 \(\Delta W_k = L_k \mathrm{diag}(S_k) R_k - W_k\) 的列向量严格落在 \(\mathrm{col}(U_k)\) 这一子空间内，更新方向被完好限定在预训练输出流形中，抵御了下游任务噪声梯度的肆意偏转。
更关键的是，虽然单个块更新受限于局部的列空间约束，但这 \(n\) 个预训练子空间在横向拼接后可张成整个输出维度空间 \(\mathbb{R}^{d_{\text{out}}}\)。数学证明表明，只要预训练权重 \(W\) 满秩，全网综合增量 \(\Delta W = [\Delta W_1 \mid \dots \mid \Delta W_n]\) 的最大秩上限严格等于 \(\min(d_{\text{in}}, d_{\text{out}})\)。FuRA 摆脱了人工指定 rank 的低秩枷锁，实现了真正的无硬性秩上限全秩更新（Full-Rank Update Capacity）。
3. 双重谱预条件梯度缩放：自适应分离尺度与方向的谱优化器
在优化动力学层面，FuRA 将奇异值向量 \(S\) 独立为可训练变量，使模型能够精确解耦特征方向调整与能量尺度缩放。设未经约束的反向梯度为 \(G_k = g x_k^\top\)，对可训练右核 \(R_k\) 实施单步梯度下降时，链式法则将在反向计算与前向重构中两次引入奇异值权重矩阵，推导出实际作用在权重上的有效更新量： $$ \Delta W_k = -\eta \, U_k \, \mathrm{diag}(S_k)^2 \, U_k^\top G_k + U_k \, \mathrm{diag}(\Delta S_k) \, V_k^\top $$ 该公式构成了 FuRA 核心的优化器机制：第一项不仅通过非方阵投影子 \(U_k U_k^\top\) 实现向预训练特征空间的投影，更利用 \(\mathrm{diag}(S_k)^2\) 将各奇异方向的梯度更新步长按本征特征值平方 \(\sigma_i^2\) 动态放大或衰减；第二项则直接捕捉模态与强度的宏观漂移。这种内生性谱预条件优化器使得高信噪比的主成分方向获得更充分的调整，大幅抑制无关扰动，使得模型在微调新知识的同时极大缓解灾难性遗忘。
损失函数 / 训练策略¶
FuRA 完全兼容监督微调（SFT）的交叉熵损失以及强化学习（RLVR，如 GRPO）策略梯度目标，在反向传播中无需调整损失公式。初始化时仅需单次预计算各目标线性层（\(Q, K, V, O, Up, Down, Gate\)）的 Block-SVD，8B 规模模型耗时仅约 53 秒。优化使用 AdamW，无需进行针对特定任务的秩调优超参搜索。量化变体 QFuRA 将冻结的基底 \(L\) 压缩为 4-bit NormalFloat (NF4)，可训练因子保持 bf16，显著降低显存占用。
实验关键数据¶
主实验¶
论文在常识推理 SFT（Commonsense-170K 数据集上微调，测试 8 个标准常识基准）、数学可验证强化学习（GRPO，评测 MATH-500、AMC23、AIME 等）及视觉语言模型微调上全面对比了基线方案。
表1：LLaMA-3-8B 常识推理微调性能与系统开销对比（Commonsense-170K）
| 方法 | 可训练参数比例 (%) | 显存占用 (GB) | 步耗时 (s) | 全秩更新 capacity | 8任务平均准确率 (%) |
|---|---|---|---|---|---|
| Full FT | 100.00% | 76.9 | 0.201 | 是 | 86.64 |
| LoRA (\(r=64\)) | 1.39% | 26.8 | 0.043 | 否 | 83.46 |
| DoRA (\(r=64\)) | 1.42% | 26.8 | 0.045 | 否 | 85.04 |
| PiSSA (\(r=128\)) | 1.39% | - | - | 否 | 85.90 |
| MiLoRA (\(r=64\)) | 1.39% | - | - | 否 | 84.96 |
| RandLoRA (\(r=64\)) | 0.33% | 25.7 | 0.059 | 否 (随机基) | 83.28 |
| LIFT (\(r=32\)) | 6.23% | 56.0 | 0.144 | 是 (稀疏) | 87.88 |
| FuRA (本文) | 1.46% | 22.7 | 0.046 | 是 (稠密) | 88.01 |
表2：Qwen3-1.7B 与 Qwen2.5-7B 数学强化学习实验（GRPO 优化）
| 模型 | 方法 | MATH-500 | AMC23 | AIME-24 | AIME-25 |
|---|---|---|---|---|---|
| Qwen3-1.7B | Base | 52.2 | 30.0 | 5.8 | 7.5 |
| Full FT | 61.5 | 46.7 | 13.2 | 14.6 | |
| LoRA | 59.6 | 48.3 | 9.2 | 11.1 | |
| DoRA | 62.3 | 45.0 | 13.6 | 14.7 | |
| PiSSA | 49.1 | 30.8 | 2.2 | 4.7 | |
| MiLoRA | 58.5 | 41.7 | 7.6 | 11.7 | |
| RandLoRA | 62.2 | 55.0 | 13.8 | 18.3 | |
| FuRA (本文) | 62.5 | 55.8 | 13.8 | 13.8 | |
| Qwen2.5-7B | Base | 48.4 | 40.0 | 5.0 | 2.9 |
| Full FT | 58.5 | 49.2 | 11.0 | 4.9 | |
| LoRA | 58.5 | 49.2 | 11.5 | 4.3 | |
| DoRA | 59.3 | 47.5 | 12.3 | 7.5 | |
| FuRA (本文) | 59.7 | 49.0 | 11.8 | 7.5 |
消融实验¶
论文系统探索了 BTT 分解配置的设计空间：包括子空间选择（保留输出子空间 \(m=1\) vs 保留输入子空间 \(n=1\)）以及奇异值因子 \(S\) 的放置方案（独立训练、并入冻结核、并入可训练核）。
表3：FuRA 架构设计空间与各因子训练/冻结配置消融（LLaMA-3-8B SFT & Qwen3-1.7B RL）
| 分组与配置 | 因子设置与状态 | 可训练参数 (%) | SFT 平均分 | MATH-500 | AMC23 |
|---|---|---|---|---|---|
| 全量训练基线 | Full FT (\(\underline{W}\)) | 100% | 86.64 | 63.6 | 47.5 |
| 全因子训练 | FuRA Full (\(\underline{L}\,\underline{S}\,\underline{R}\)) | 100% | 88.04 | 64.2 | 57.5 |
| PEFT (\(m=1\)) [默认] | \(L\,\underline{S}\,\underline{R}\) (输出空间冻结, S独立训练) | 1.46% | 87.91 | 63.6 | 57.5 |
| PEFT (\(m=1\)) | \((LS)\,\underline{R}\) (S并入冻结基底) | 1.46% | 87.12 | 61.4 | 55.0 |
| PEFT (\(m=1\)) | \(L\,(\underline{SR})\) (S并入训练核) | 1.46% | 84.09 | 62.8 | 47.5 |
| PEFT (\(n=1\)) | \(\underline{L}\,\underline{S}\,R\) (输入空间冻结, S独立训练) | 1.46% | 86.79 | 61.2 | 52.5 |
| PEFT (\(n=1\)) | \(\underline{(LS)}\,R\) (S并入训练核) | 1.46% | 83.30 | 61.4 | 42.5 |
| PEFT (\(n=1\)) | \(\underline{L}\,(SR)\) (S并入冻结基底) | 1.46% | 83.75 | 62.2 | 42.5 |
关键发现¶
- 输出基底冻结优于输入基底：保持 \(m=1\) 并冻结 \(L\) 显著领先于 \(n=1\) 方案。保留预训练输出特征空间能确保模型基础表征不被污染，同时可训练的 \(R\) 能够自适应重组微调数据中出现的新输入模式。
- 独立奇异值向量至关重要：若将 \(S\) 合并进 \(R\) 或 \(L\)，有效预条件会退化为均匀投影子，在 SFT 上导致 3% 以上的显著掉点，证明了幅度与方向解耦带来的谱缩放价值。
- 显存与速度优势显著：FuRA 单步耗时 0.046s，不仅与 LoRA (0.043s) 平齐并提速全参数微调 4.3 倍，且得益于单条顺序因式分解中间激活占用少，峰值显存仅为 22.7GB，低于 LoRA 的 26.8GB。
- 强化学习鲁棒性：PiSSA 等显式指定主成分奇异向量的低秩方法在 RLVR 场景中发生性能崩塌（AIME-24 掉至 2.2），因为数学推理强化学习更依赖非主成分特征的微调，而 FuRA 的全秩谱结构天然适配多样化探索。
亮点与洞察¶
- 从“粗暴降秩”到“谱结构流形对齐”：FuRA 指明了微调精度的瓶颈不在于绝对参数量，而在于是否尊重预训练几何；通过将反向传播限制在预训练列空间内，用结构化正交基抵御了小样本噪声。
- 巧妙的 Block-SVD 构造：通过将分块规模设为 \(b \approx \sqrt{d}\)，完美利用了块矩阵乘法在 Tensor Core 上的并行加速，既避免了全局密集 SVD 的巨大开销，又完整保留了全秩矩阵表示潜力。
- 即插即用的 4-bit 量化扩展：冻结的大矩阵 \(L\) 具备正交列特性，分布极度规则，天然契合 NF4 量化；QFuRA 在 LLaMA-3-70B 上达到 83.78% 的 GSM8K 成绩，大幅超越 QLoRA (81.27%)。
局限与展望¶
- 跨块信息交互缺失：当前的块切片独立前向机制阻断了块间的直接线性信息交换，虽然参数效率高，但局部表达受限于子空间直和；未来引入轻量跨块混合矩阵有望进一步释放容量。
- SVD 初始化延迟：尽管 8B 模型仅需约 53 秒，但在数千亿超大模型或 MoE 稀疏层场景下，全网 SVD 初始化可能带来一定的前置等待，需要引入随机化或近似快速 SVD 算法。
- 硬件定制核需求：目前虽然依赖 PyTorch 原生算子，但定制化融合张量缩并算子将进一步压缩中间内存碎片并提升 throughput。
相关工作与启发¶
- vs LoRA / DoRA: LoRA 与 DoRA 将更新硬性截断在秩 \(r\) 内，且无谱对齐约束；FuRA 保持等量微调参数，不仅实现数学上的无秩上限更新，而且内置了基于特征值幅度的谱预条件缩放。
- vs PiSSA / MiLoRA: PiSSA/MiLoRA 仅用 SVD 初始化低秩分枝，但训练中方向会漂移且在主/次方向选择上存在任务偏倚；FuRA 刚性冻结全谱正交基，让优化器自主平衡主成分与长尾成分。
- vs LIFT / S2FT: 稀疏类全秩微调需要复杂的动态掩码与分散聚合操作（显存高达 56GB）；FuRA 纯依靠稠密张量算子，显存更低且无分布式张量并行冲突。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将全秩块张量分解与谱预条件机制引入微调，从几何流形视角深刻解构了传统微调与 LoRA 的缺陷。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖常识 SFT、GRPO 数学强化学习、多模态 VLM 及 70B 大规模 4-bit 量化，基线对比丰富严谨。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严密，从现象观察、受控实验到架构设计与收敛性分析层层推进。
- 价值: ⭐⭐⭐⭐⭐ 为大模型自适应提供了兼具全参数性能上限与 LoRA 效率的新范式，工业界部署与学术研究落地潜力巨大。