Platonic Task Arithmetic¶

会议: NeurIPS 2026
arXiv: 2610.00929
OpenReview: https://openreview.net/forum?id=8mxuyjOsQd
代码: https://github.com/jhpark-ai/Platonic-Task-Arithmetic
领域: 其他
关键词: 任务算术, 模型合并, 柏拉图表征假说, 通用任务描述符, 跨模型迁移

一句话总结¶

基于柏拉图表征假说提出模型无关的通用任务描述符（UTD），打破任务算术必须共享权重坐标系的结构限制，通过闭式解线性算子折叠或低秩适配器在跨架构多模态模型间实现任务相加与精确消除。

研究背景与动机¶

任务算术（Task Arithmetic）通过微调权重与预训练权重的差值构建任务向量，以无需重训的线性加减法实现了多任务组合、能力擦除与类比迁移。然而，既有任务算术范式自诞生起就带有一项致命约束：所有参与运算的任务向量必须严格共享基础模型架构、参数规模以及初始参数空间。随着视觉-语言模型（如 CLIP、OpenCLIP、SigLIP 等）在网络架构、预训练目标和数据分布上的高度分化，在某个模型上习得的专业技能根本无法直接迁移并融合同步到异构模型中；即便少数近期的参数迁移方法尝试打破壁垒，也只能在具有严格对应层级结构的同族模型间运作。

这一限制的本质在于模型参数坐标系的异构性，而非任务知识本身的异构性。作者深入考察异构模型在同一任务上微调后的行为发现，尽管各自的参数更新向量处于互不相通的坐标空间，但它们在图像-文本跨模态亲和力（即图像嵌入与文本 prompt 的余弦相似度）上的改变量却呈现出高度一致的共性模式，且不同任务之间的行为偏移差异显著。这与柏拉图表征假说（Platonic Representation Hypothesis, PRH）形成共鸣——如果不同模型都在逼近同一个底层的共享表征空间，那么微调所诱导的功能性变化也应当是某种底层客观实体的投影。

受到柏拉图“地穴寓言”的启发，本文提出模型在各自参数空间内计算出的任务向量，仅仅是同一个高维模型无关实体——“柏拉图任务向量”（Platonic Task Vector）在具体模型坐标系中投射下的“影子”。为了让这种抽象的跨模型任务代数变为现实操作，本文绕开参数空间，以各模型均可观测的跨模态亲和力差值构建维度无关的通用任务描述符。核心 idea：将微调引发的功能性亲和力偏移抽象为模型无关的通用任务描述符（UTD），并在目标模型上将其转化为求解嵌入空间的闭式解线性算子或端到端适配器，从而在无标签数据下实现异构模型间的任务相加与任务取反。

方法详解¶

整体框架¶

本文方法的输入为源模型在特定任务上诱导的功能变化（由无标签探针样本和类别提示词度量），输出为作用于目标视觉编码器的参数修改。整体流水线分为三步：首先，利用固定探针集和文本编码器测量源模型微调前后的亲和力差值，生成与模型维度无关的矩阵 UTD；其次，在柏拉图空间中直接进行代数运算（如跨模型任务相加或强度取反）；最后，将合成的 UTD 映射回目标模型，通过闭式核岭回归求解线性嵌入算子并直接折叠到目标模型的最终投影层中，或者通过轻量低秩适配器（LoRA）联合优化目标编码器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["任务探针与提示词<br/>N张无标签图像 + M个类别Prompt"] --> B["通用任务描述符构建<br/>跨模态亲和力差值矩阵 UTD ∈ R^(N×M)"]
    B --> C["柏拉图算术组合<br/>多源任务相加 Uadd 或符号取反 Uneg"]
    C --> D{"目标模型迁移路径选择"}
    D -->|闭式解折叠<br/>单步矩阵乘法| E["双因子核岭回归算子求解<br/>SVD分解求解 A* 算子"]
    E --> F["算子银行与最终层折叠<br/>Wp ⟵ (I + αA) Wp"]
    D -->|端到端适配器<br/>多层联合拟合| G["低秩适配器联合优化<br/>在全部探针集上SGD最小化匹配损失"]
    F --> H["编辑后的目标多模态模型"]
    G --> H

关键设计¶

1. 通用任务描述符构建：脱离参数坐标系的跨模态功能差分

为了在不同网络骨架和嵌入维度之间建立统一的度量桥梁，方法利用冻结的文本编码器作为天然标尺。给定任务 $\tau$ 的 $N$ 张无标签探针图像 $\{x_i\}_{i=1}^N$ 和 $M$ 个类别语义提示词 $\{p_j\}_{j=1}^M$，源模型 $\mathcal{M}_k$ 在微调前后的视觉编码器分别为 $f_{\text{pre}}^{(k)}$ 和 $f_{\text{ft}}^{(k)}$，通用任务描述符（Universal Task Descriptor, UTD）定义为跨模态余弦相似度的差值矩阵： $$[\operatorname{UTD}_\tau^{(k)}]_{ij} = \langle f_{\text{ft}}^{(k)}(x_i), g^{(k)}(p_j)\rangle - \langle f_{\text{pre}}^{(k)}(x_i), g^{(k)}(p_j)\rangle$$ 该矩阵维度严格为 $N \times M$，完全独立于模型的隐藏层维度或特征通道数。由于做差消去了预训练模型本身的静态偏置，矩阵仅记录微调带来的纯粹功能增量。在假设下，$\operatorname{UTD}_\tau^{(k)} = \mathcal{A}(\Pi_\tau) + E_\tau^{(k)}$，即它是理想柏拉图任务向量 $\Pi_\tau$ 的观测投影叠加模型私有残差 $E_\tau^{(k)}$。多源任务相加直接通过矩阵相加实现，任务消除则通过乘以负系数 $-\lambda$ 实现。

2. 双因子核岭回归算子求解：将 UTD 因子化映射为闭式嵌入算子

将代数运算后的描述符 $U$ 赋予目标模型时，由于描述符本质上满足 $U = \Delta F G^\top$（其中 $\Delta F \in \mathbb{R}^{N \times d}$ 为目标图像嵌入的位移，$G \in \mathbb{R}^{M \times d}$ 为目标提示词矩阵），该关系仅约束了嵌入位移在提示词张成空间 $\operatorname{span}(G)$ 上的投影。本文将目标特征的变换建模为全局线性算子 $f_{\text{new}}(x) = (I + \alpha A) f_{\text{pre}}(x)$，从而将匹配问题形式化为含双边非对称正则化的核岭回归： $$A^*(U) = \left( \arg\min_X \|F_{\text{pre}} X G^\top - U\|_F^2 + \mu_b \|F_{\text{pre}} X\|_F^2 + \mu_a \|X G^\top\|_F^2 + \mu_a \mu_b \|X\|_F^2 \right)^\top$$ 利用目标模型探针嵌入 $F_{\text{pre}} = L_a \Sigma_a R_a^\top$ 与提示词转置 $G^\top = L_b \Sigma_b R_b^\top$ 的薄 SVD 分解，目标矩阵 $X^*$ 可直接通过双谱滤波因式分解求出： $$X^* = R_a \Sigma_a^+ (L_a^\top U R_b) \Sigma_b^+ L_b^\top, \quad [\Sigma_a^+]_{ii} = \frac{s_{a,i}}{s_{a,i}^2 + \mu_a}, \quad [\Sigma_b^+]_{jj} = \frac{s_{b,j}}{s_{b,j}^2 + \mu_b}$$ 通过将正则项分解到两个因子，算法在提示词的高能方向提供强约束，而在分辨类别的细粒度方向保留灵敏度。最关键的是，该求解映射 $U \mapsto A^*(U)$ 是严格线性的，这保证了单任务算子可以直接相加而不会引入求解器本身的代数误差。

3. 算子银行与最终层折叠：免二次拟合的即插即用部署

求得的算子 $A$ 可直接通过左乘吸收进双编码器架构的视觉投影层 $W_p \longleftarrow (I + \alpha A) W_p$（或在残差注意力池化头中更新相应仿射层），完全不改变推理阶段的网络结构、参数量与计算开销。基于解映射的严格线性性质，目标模型可以预先为每个来源和任务单独预存一个 $d \times d$ 的矩阵算子，构成“算子银行”（Operator Bank）。当用户需要组合任意任务集合、指定不同源模型或任意强度时，仅需将银行中的预存矩阵按标量加权求和，一次性乘入目标层即可完成部署，单次求解时间不足 1 秒。

4. 低秩适配器联合优化：深层协同拟合的精度上限探索

作为闭式解路线的对比与扩展，对于希望消除单层线性假设或多任务干扰的场景，本文提出了基于 LoRA 的联合拟合实现。在目标编码器的所有注意力层中插入低秩旁路参数 $\Delta\theta$，直接通过随机梯度下降联合最小化多个任务的描述符匹配加权损失： $$\mathcal{L}(\mathcal{E}) = \sum_{\ell=1}^J \frac{1}{M_{\tau_\ell}} \left\| \operatorname{UTD}_{\tau_\ell}[\mathcal{E}] - c_\ell \operatorname{UTD}_{\tau_\ell}^{(\sigma(\ell))} \right\|_F^2$$ 该方案虽然每次组合都需要经历约 10 分钟的端到端优化，但能让多层共同吸收任务知识并在更广阔的参数空间平衡跨任务干扰，代表了功能描述符迁移的性能上限。

损失函数 / 训练策略¶

对于闭式解，正则系数自适应设为特征均方奇异值的倍数：$\mu_a = 10^{-2} \overline{s_a^2}$，$\mu_b = 10^{-6} \overline{s_b^2}$，无需针对每个具体任务或目标模型网格微调；相加算子部署系数全局固定为 $\alpha = 0.5$。对于 LoRA 适配器路线，设置秩 $r = 16$，采用 AdamW 优化器在无标签探针数据上训练 20 个 epoch（最多 540 步），学习率通过标准衰减调度。

实验关键数据¶

主实验¶

在涵盖 6 个主流大模型家族（CLIP, OpenCLIP, SigLIP, SigLIP2, MetaCLIP, EVA-CLIP）和 8 个跨领域图像分类任务的系统评测中，针对跨模型任务双任务相加（3,360 个评测单元）与单任务消除（240 个评测单元）进行了全面检验。CIFAR-100 与 ImageNet 作为通用控制集，完全不参与任何探针抽取。

任务设定 / 方法	任务 A 准确率 ↑	任务 B 准确率 ↑	CIFAR-100 (通用控制)	ImageNet (分布外控制)	说明
双任务相加 (跨任意模型 3,360 单元)
Zero-shot 基准	60.98	60.98	75.82	72.33	未编辑基础模型平均性能
Random-UTD (形状匹配高斯噪声)	32.37	32.58	32.97	23.37	证明收益源于结构而非盲目扰动
Single-A (仅迁移任务 A)	80.56	59.86	75.04	71.01	验证单任务隔离性
Single-B (仅迁移任务 B)	59.45	73.85	74.88	70.51	验证单任务隔离性
本文闭式解 (Ours, closed form, $\alpha=0.5$)	79.08	72.60	74.01	69.09	无需优化，跨模型提升 +18.10 / +11.62
本文适配器 (Ours, adapter, 168 单元子集)	79.50	76.70	74.00	72.15	端到端优化，ImageNet 无损保持
Oracle (目标模型自身 UTD 算子相加)	83.64	76.74	75.05	71.35	跨模型迁移保留了其 80% 与 74% 增益
同架构跨模型对比 (168 单元)
Weight-space transport (直接参数覆盖)	56.71	55.99	73.37	70.22	无法应对微调后坐标漂移
GradFix (SOTA 参数传输，需标签)	70.48	72.86	72.77	70.39	强依赖梯度与结构对应
Theseus (闭式模块拼接)	57.20	56.18	73.52	70.26	难以泛化至异构预训练目标
本文闭式解 (同架构跨模型)	77.64	71.75	71.46	66.72	显著超越既有参数传输方法

消融实验¶

1. 任务消除（Task Negation）在 $\lambda=1.0$ 下的对比（240 个跨模型单元） 任务消除旨在精准消除目标模型在特定领域的专精能力（如隐私遗忘、去毒化），同时严密保持通用能力。

配置 / 方法	被消除任务准确率 ↓	CIFAR-100 保持度	ImageNet 保持度	说明
Zero-shot 基准	60.98	75.82	72.33	原始模型基线
本文闭式解 (Ours, closed form, $\lambda=1.0$)	25.76	71.27	65.67	目标任务骤降 35.22 点，通用控制稳定
本文适配器 (Ours, adapter, 48 单元子集)	34.93	74.06	71.59	消除选择性更优，ImageNet 仅损 0.74 点
目标自身为源 (闭式解参考上限)	26.04	73.53	69.10	跨模型消除深度与自身源几乎完全一致
传统梯度上升 (Gradient Ascent)	12.40	18.50	14.20	灾难性破坏模型全部通用表征能力

2. 零样本跨域泛化能力消融（未参与任何拟合的遥感数据集评测） 利用 RESISC45 与 UCMerced 的算子组合，直接测试在从未见过的第三个遥感数据集 AID 上的泛化性能（均值对比）。

算子来源与配置	目标测试集平均准确率 ↑	相比 Zero-shot 提升	解释
Zero-shot 基准	70.41	+0.00	无任何先验增强
来自单一异构模型的单项算子 ($k_1$ alone)	75.51	+5.10	算子改变了真实表征几何而非记住提示词
两个算子来自同一异构模型 ($k_1 = k_2$)	76.08	+5.67	闭式组合有效聚合了遥感领域的通用先验
两个算子来自两个互不相同的异构模型 ($k_1 \neq k_2$)	76.47	+6.06	证明来自多个异构源模型的先验可叠加增强

关键发现¶

跨模型一致性与残差容忍度：尽管不同模型在同一任务上的 UTD 余弦相似度均值仅为 0.473，但闭式解迁移依然稳定恢复了目标模型使用自身 UTD 时 74%～80% 的任务增益，表明迁移对模型特异性残差具有极强的鲁棒性。
强度系数 $\alpha$ 的权衡拐点：随着相加强度 $\alpha$ 从 0.5 提升至 1.0，任务增益已基本饱和（仅变动 +0.3 / -1.2 点），但控制集 CIFAR-100 损失剧增至 6.4 点，确认了 $\alpha=0.5$ 是最优通用部署工作点。
音频多模态通用性：在 CLAP 音频-文本模型跨不同骨干网络（宽度 768 vs 1024，深度 12 vs 18 层）实验中，闭式消除能以牺牲 2.0 点控制集为代价抹除 14.4 点特定音频任务，验证了方法在非视觉模态中的普适性。

亮点与洞察¶

将表征假说落实为可操作代数：巧妙将哲学层面的“柏拉图表征假说”落地为具体的函数空间亲和力矩阵，从而彻底摆脱了困扰任务算术数年之久的“共享参数空间”枷锁。
闭式解的双因子因式分解技巧：利用 Kronecker 结构与双边非对称核岭回归，不仅实现了亚秒级的快速算子求解，还赋予了算子银行完美的线性可叠加性。
跨模态与跨领域的即插即用迁移：算子不仅能跨越异构视觉编码器，还能将学到的任务先验迁移至未参与拟合的未知数据集，甚至直接拓展至音频-语言模型。

局限与展望¶

假设残差的理论下界不可消除：作者坦承跨模型一致性假设主要基于经验支持而非严谨数学推导，其模型特有残差与共享主成分的范数相当，制约了性能完全逼近单模型 Oracle。
对细粒度高难度任务效果受限：在 Cars 和 SUN397 两个长尾细粒度任务上，跨模型算子几乎无法获得正向增益，表明过于复杂的判别几何较难通过全局线性算子无损传输。
依赖跨模态文本标尺：方法依赖高质量的语义文本 prompt 作为测量网格，无法直接应用于纯单模态（如纯视觉、纯自监督特征）的网络合并场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出并验证了跨架构、跨维度的柏拉图任务代数框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大模型家族、8 个视觉任务、3,360 个相加单元以及音频跨模态验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰优美，地穴寓言与数学形式化结合高度自然。
价值: ⭐⭐⭐⭐⭐ 为开源社区异构基础模型之间的模块化协作与技能共享开辟了全新范式。