LoRAtorio: An intrinsic approach to LoRA Skill Composition¶

论文信息¶

论文标题：LoRAtorio: An intrinsic approach to LoRA Skill Composition
作者：Niki Foteinopoulou, Ignas Budvytis, Stephan Liwicki
机构：Cambridge Research Laboratory, Toshiba Europe; Independent Researcher
论文链接：https://arxiv.org/abs/2508.11624
项目主页：https://nickyfot.github.io/loratorio-skill-composer/
发表会议：NeurIPS 2026

核心亮点¶

内在引导机制（Intrinsic Guidance）：提出首个完全免训练且无需外部先验（如频域滤波、手工调度或RGB空间解码）的多LoRA组合框架。利用扩散去噪器内部各LoRA预测噪声与基座模型预测噪声在Latent Patch维度的余弦差异作为动态门控信号。
两大经验与理论观察驱动：
专有域训练的LoRA在无条件去噪时会偏离基座模型分布，导致Classifier-Free Guidance（CFG）的无条件项漂移；
当输入条件落在LoRA目标分布之外（OOD）时，由于LoRA权重更新 $\Delta W = AB$ 的低秩特性，模型输出与基座模型高度趋近；而在分布内（In-Distribution）时则发生显著局部偏移。
重中心化分类器无关引导（Re-centering CFG）：将基座模型的无条件预测融合进组合后的无条件预测中，校准多LoRA无条件分布漂移，消除多概念组合中由于无条件项冲突造成的过度饱和与概念混乱。
动态模块选择（Dynamic Module Selection）：支持在候选池全量加载的大规模模块库场景下，无需预先硬编码指定LoRA列表，直接依据步进级内在距离自适应筛选Top-$k$相关LoRA进行融合。
跨架构泛化能力：不仅在标准UNet扩散模型（Stable Diffusion v1.5）上刷新ComposLoRA基准SOTA，还在Rectified-Flow架构（FLUX.1-dev）上验证了内在相似度门控原理的可迁移性。

研究背景与动机¶

低秩自适应（LoRA）广泛用于文生图扩散模型的个性化定制，如特定角色、艺术风格或物体的生成。然而，当用户试图同时加载并组合多个LoRA技能时，模型生成质量和多概念忠实度往往急剧恶化。

现有技术主要分为两类方案： 1. 可训练方法：如LoRAHub、ZipLoRA或基于MoE/超网络（Hypernetworks）的框架，依赖少样本数据微调或网络重新训练，在开放词表、零样本及实时组合场景下计算与数据成本高昂； 2. 免训练方法：如简单的权重平均（LoRA Merge）、生成时间步轮换（LoRA Switch）或频域加权（MultLFG）。这些方法存在严重局限：权重合并会导致严重的语义冲突与模糊平均；固定调度无法依据局部空间内容灵活适配；频域引导需要昂贵的逐时间步RGB图像解码。此外，以往研究均假设所需的LoRA集合在生成前已知，无法处理实时动态技能选择。

作者分析了LoRA在Latent空间的内在行为： - 观察1（无条件分布漂移）：单个LoRA模型在无条件噪声预测 $e_{\theta_i}(z, t)$ 下显著偏离基座模型 $e_\theta(z, t)$（KL散度在角色/风格LoRA上高达34~36）。标准CFG将条件项与无条件项外推，导致偏差放大； - 观察2（分布外输出趋同）：由于 $\Delta W = AB$ 的有效秩极低，对于正交于 $A$ 行空间的分布外特征 $x'$，有 $Ax' \approx 0 \implies \Delta W x' \approx 0$。因此，当文本条件不在LoRA训练域内时，LoRA输出与基座模型输出的余弦相似度极高；而在目标概念出现的空间区域，余弦相似度显著下降。

基于这两个观察，LoRAtorio将去噪器内部预测噪声相对于基座模型的发散程度作为置信度代理，构建空间自适应门控机制。

方法详解¶

整体框架¶

LoRAtorio在去噪采样的每个时间步 $t$ 执行内在空间门控与重中心化引导。整体处理流程如下：

graph TD
    A[输入潜变量 z_t 与条件 c] --> B1[基座模型预测 e_θ z_t,t,c]
    A --> B2[各 LoRA 预测 e_θi z_t,t,c]
    B1 --> C[通道平均与空间分块 ϕ · ]
    B2 --> C
    C --> D[计算 Patch 级余弦相似度 Ω_t]
    D --> E[SoftMin 变换生成注意力权重 Ω^_t]
    E --> F[Kronecker 积上采样至原潜变量尺寸]
    F --> G[加权聚合条件噪声 e~ z_t,t,c]
    B2 --> H[无条件预测 e_θi z_t,t]
    B1 --> I[无条件预测 e_θ z_t,t]
    F --> J[加权聚合无条件噪声]
    H --> J
    I --> K[重中心化无条件噪声 e~ z_t,t]
    J --> K
    G --> L[校准后的 CFG 外推计算 e^ z_t,t,c]
    K --> L
    L --> M[更新至时间步 t-1 潜变量]

关键设计¶

空间 Patch 化内在相似度门控：在时间步 $t$，基座模型与第 $i$ 个 LoRA 分别生成条件预测噪声 $e_\theta(z_t, t, c)$ 和 $e_{\theta_i}(z_t, t, c) \in \mathbb{R}^{H \times W \times C}$。为提取空间局部特征，首先对通道维度进行平均，得到 $H \times W$ 的二维图；随后将其划分为 $P = (H \cdot W) / d^2$ 个互不重叠、大小为 $d \times d$ 的空间 Patch（默认 $d=2$），展平成向量： $$\Phi_\theta^t = \phi(e_\theta(z_t, t, c)), \quad \Phi_{\theta_i}^t = \phi(e_{\theta_i}(z_t, t, c)) \in \mathbb{R}^{P \times d^2}$$ 计算每个 Patch 上第 $i$ 个 LoRA 与基座模型预测之间的余弦相似度矩阵 $\Omega^t \in \mathbb{R}^{N \times P}$： $$\Omega_{i, p}^t = \langle \Phi_{\theta, p}^t, \Phi_{\theta_i, p}^t \rangle_{\cos}$$ 由于低余弦相似度对应着显著偏离基座模型的高置信度在域激活区，设计沿 LoRA 维度 $N$ 应用 SoftMin 变换： $$\hat{\Omega}^t = \mathrm{softmin}_\tau(\Omega^t), \quad \mathrm{softmin}_\tau(x)_i = \frac{\exp(-x_i / \tau)}{\sum_{j=1}^N \exp(-x_j / \tau)}$$ 其中温度参数采用动态退火调度 $\tau = 1 / ((T - t) \times 10)$，在早期高噪声阶段保持较平滑的软门控，随着去噪进行和结构清晰化，自适应收紧为锐利的局部区域归属。
空间上采样与条件噪声聚合：通过与全1矩阵的克罗内克积（Kronecker product）将 Patch 级权重图还原至特征图原始空间分辨率： $$\hat{\Omega}^{t,\mathrm{up}} = \hat{\Omega}^t \otimes \mathbf{1}_{d \times d}$$ 各 LoRA 条件预测噪声依据空间门控图进行加权融合： $$\tilde{e}(z_t, t, c) = \sum_{i=1}^N \hat{\Omega}_i^{t,\mathrm{up}} e_{\theta_i}(z_t, t, c)$$ 该设计避免了全局一刀切合并导致的互相稀释，使每个 LoRA 仅在其专长区域（如面部、特定服饰或道具位置）占据主导地位。
重中心化无条件引导（Re-centering Guidance）：针对观察1揭示的无条件域漂移问题，若直接使用加权的 LoRA 无条件项，多 LoRA 叠加的外推误差会导致图像过饱和与失真。LoRAtorio 引入基座模型无条件预测对背景与全局语义进行校准： $$\tilde{e}(z_t, t) = \lambda \sum_{i=1}^N \hat{\Omega}_i^{t,\mathrm{up}} e_{\theta_i}(z_t, t) + (1 - \lambda) e_\theta(z_t, t)$$ 其中固定权重 $\lambda = 0.5$。最终采用修正后的 CFG 外推公式计算更新量： $$\hat{e}(z_t, t, c) = \tilde{e}(z_t, t) + s \left[ \tilde{e}(z_t, t, c) - \tilde{e}(z_t, t) \right]$$ 该机制兼顾了各专有概念的特征显著性与整体场景分布的稳定性。
动态模块硬掩码选择（Dynamic Module Selection）：在开放候选池中加载全部可用 LoRA 时，为防止无关 LoRA 的噪声累积，在每个时间步引入 Top-$k$ 硬过滤机制： $$\mathcal{I}_k = \mathrm{TopK}(1 - \Omega^t, k)$$ $$\tilde{\Omega}_i^t = \begin{cases} \Omega_i^t, & \text{if } i \in \mathcal{I}_k \\ \infty, & \text{otherwise} \end{cases}$$ $$\hat{\Omega}_i^t = \mathrm{softmin}_\tau(\tilde{\Omega}^t)$$ 将未入选候选者的相似度置为无穷大，使其在 SoftMin 后权重严格归零，从而以极低额外开销实现推理期自适应模块路由。

实验评估与结果分析¶

实验设置¶

基准测试：ComposLoRA 测试集（涵盖角色、服饰、风格、背景、物体等组合，包含 Anime 和 Reality 两个子集）。
底座模型：Realistic_Vision_V5.1（真实风格，100步，CFG $s=7$，分辨率 $1024 \times 768$）；Counterfeit-V2.5（动漫风格，200步，CFG $s=10$，分辨率 $512 \times 512$）；跨架构测试采用 FLUX.1-dev。
采样器与超参：DPM-Solver++，LoRA 缩放权重 0.8，Patch 大小 $2 \times 2$，硬件为单张 RTX A6000 GPU。

核心实验结果与对比¶

在 ComposLoRA 基准上，评估了不同组合数量（$N=2, 3, 4, 5$）下的 CLIPScore。如表1所示，现有方法随着组合数量 $N$ 增加均呈现单调性能衰退，而 LoRAtorio 是唯一随 $N$ 增加仍保持高水准甚至进一步提升的方法：

表1：ComposLoRA 基准上各方法不同组合数量 $N$ 的 CLIPScore 对比

模型	$N=2$	$N=3$	$N=4$	$N=5$	平均得分 (Avg.)
Naïve	35.014	34.927	34.384	33.809	34.534
Merge	33.726	34.139	33.399	32.364	33.407
Switch	35.394	35.107	34.478	33.475	34.614
Composite	35.073	34.082	34.802	32.582	34.135
LoraHub	35.681	35.127	34.970	33.485	34.816
Switch-A	35.451	35.383	34.877	33.366	34.769
CMLoRA	35.422	35.215	35.208	34.341	35.047
MultLFG	36.570	36.125	36.180	35.920	36.199
LoRAtorio	35.236	36.426	37.136	36.626	36.356

在人类专家评测中，针对元素整合度、空间一致性、语义精确度与美学质量四个维度进行打分（10分制，三位专家 Cohen's Kappa 为 0.67），结果见表2：

表2：人类专家主观质量评估（四项定性维度）

方法	元素整合 (Element Integration)	空间一致性 (Spatial Consistency)	语义精确度 (Semantic Accuracy)	美学质量 (Aesthetic Quality)
LoRAtorio	7.64	7.58	7.33	6.83
Switch	7.57	7.50	6.88	6.71
Merge	6.83	6.71	6.58	6.08
Composite	6.46	6.71	6.71	6.46
CMLoRA	5.63	5.58	6.08	5.25

在 GPT-4V 盲评中，LoRAtorio 对比最强基线 Switch 取得了高达 76.92% 的胜率。

在动态模块选择设定下（表3），当所有候选 LoRA 预加载到模型中时，基线 LoRA Merge 因无差别叠加发生严重崩溃（平均分降至 27.153），而 LoRAtorio 依靠内在门控精准激活目标模块，取得了 35.916 的平均 CLIPScore。

表3：ComposLoRA 动态模块选择设置下的 CLIPScore 对比

模型	$N=2$	$N=3$	$N=4$	$N=5$	平均得分 (Avg.)
LoRAtorio	34.593	35.563	36.480	37.028	35.916
Naïve	35.014	34.927	34.384	33.809	34.534
Merge	27.167	27.151	27.023	27.272	27.153

在 Rectified-Flow 模型 FLUX.1-dev 上的跨架构实验表明，静态设定下 LoRAtorio 平均 CLIPScore 达到 36.794（高于 Naïve 的 35.935 与 Merge 的 35.322），动态设定下达到 36.452（远优于 Merge 的 28.608）。

消融实验与分析¶

如表7所示，在 Anime 子集上剥离核心组件： - 移除空间划分 $\phi(\cdot)$：全局单一标量相似度导致 CLIPScore 暴跌至 34.137，证实空间 Patch 划分对于精细概念定位至关重要； - 移除温度退火（固定 $\tau=1$）：平均得分略降至 36.319，但在概念交界处的主观保真度有明显下降； - Patch 尺寸影响：$2 \times 2$ 粒度最佳（36.543），随尺寸扩大到 $4 \times 4$（36.250）、$8 \times 8$（36.138）至 $16 \times 16$（35.874），得分单调下降，表明较小的 Patch 能够提供更精细的边界控制。

局限性与讨论¶

计算复杂度随 LoRA 数量线性增长：由于需要在 Latent 空间中对所有参与组合或候选的 LoRA 进行完整前向去噪以获得预测噪声，单步计算与显存开销正比于 $N$。尽管推理延迟与 MACs 优于像素域解码的 MultLFG，但在更大规模的模块库（如百级以上）中仍需前置检索过滤；
对低质量与过拟合 LoRA 的敏感性：门控机制基于“偏离基座模型即代表高置信度”。若引入训练不良、严重过拟合或域错配的“劣质”LoRA，其本身杂乱的 Latent 偏移可能被误判为高置信度而赋予过高权重，导致概念混淆。需通过前期前向扫描 KL 散度与保真度指标进行准入筛查；
架构差异带来的限制：在 FLUX 等 Transformer 架构上，由于缺乏标准 CFG 结构，无条件重中心化无法直接应用；此外基座模型本身的先验能力直接制约了肢体生成和多实体布局的合理性。