AdaM-Rec: Adaptive Modality Routing for Multimodal Recommendation¶

会议: NeurIPS 2026
arXiv: 2609.38455
OpenReview: https://openreview.net/forum?id=zXa9cVWJdT
论文: https://arxiv.org/abs/2609.38455
代码: https://github.com/RomGai/AdaM-Rec
领域: 推荐系统
关键词: 多模态推荐, 自适应模态路由, Agent 自优化, 伪查询代理任务, 偏好感知精排

一句话总结¶

AdaM-Rec 针对多模态推荐中视觉与文本需求随查询动态变化的难题，提出通过历史交互构建粒度对齐的伪查询代理召回任务，以 Agent 迭代自优化动态校准各模态召回权重与预算，显著提升了个性化推荐精度。

研究背景与动机¶

在现代电商与多模态推荐系统中，用户决策同时依赖于商品的文本属性（如功能规格、品牌描述）与视觉属性（如款式美学、外观细节）。近期的多模态推荐方法普遍引入了表征对比学习、多模态分词或多模态大语言模型（MLLM）来进行物品画像与用户偏好建模。然而，视觉信息对推荐决策的增益并不是无条件的，而是高度取决于商品视觉特征与用户当前查询意图之间的契合度。例如，对于“厚底波浪纹运动鞋”这种偏重外观的查询，图像细节能补充文本无法穷尽的细粒度视觉线索；但对于“70W MacBook Type-C 充电头”这类功能导向的查询，商品图片往往千篇一律甚至引入视觉噪声，盲目检索视觉相似的物品极易导致功能错配与推荐劣化。

然而，现有方法在多模态融合上普遍采用静态策略：要么通过固定的网络层与全局共享嵌入进行模态融合，要么依赖写死的双路召回管线按固定比例切分。这种静态设计隐含假设了文本与视觉信号在不同推荐场景下的相对重要性恒定不变，完全忽视了查询级别对模态依赖的巨大异质性。要在兼顾个性化与具体查询意图的前提下实现高质量推荐，关键不仅在于怎样表征与融合多模态特征，更在于如何在推理阶段针对用户具体查询动态裁决对各模态的依赖程度。

由于在线推理阶段真实目标物品完全未知，直接评判当前查询下哪种模态更可靠存在根本性观测障碍。本文的核心切入角度是：虽然未知真实目标不可观测，但用户历史产生过正向交互的物品却是已知的、可验证的个性化偏好锚点。核心 idea：将多模态召回重构为 Agent 驱动的自优化过程，利用用户历史正向交互物品生成与当前查询粒度匹配的伪查询构建代理召回任务，在离线/测试时根据双路召回排序反馈自适应校准模态路由权重与预算。

方法详解¶

整体框架¶

AdaM-Rec 由三个核心模块构成：多模态物品画像与用户建模、自适应模态路由以及模态路由推荐。首先，系统利用 MLLM 和专用嵌入编码器将商品与用户历史交互转化为结构化的自然语言画像与向量库，并基于偏好向量相似度构建协同知识库。随后，在自适应路由阶段，系统以协同先验初始化路由参数，并由 LLM Policy 依据当前查询和用户正向历史生成粒度对齐的伪查询，在代理召回任务中根据文本路和多模态路的实际命中排位进行多轮记忆自优化，输出最优路由权重与预算配比。最后，在模态路由推荐阶段，系统依优化参数分别执行文本与多模态稠密召回，辅以协同物品候选增强与属性过滤，并经由偏好感知的大模型离散相关性打分输出最终推荐列表。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户输入查询 q + 历史交互序列"] --> B["多模态画像与协同建模<br/>MLLM 结构化属性提取与协同先验检索"]
    B --> C["协同先验路由初始化<br/>基于高相似用户历史参数提供初始分配"]
    C --> D["历史交互自优化与伪查询代理任务<br/>生成粒度对齐伪查询并比对两路召回排位"]
    D --> E["记忆库驱动的 Agent 状态迭代<br/>多轮推理微调模态权重与预算"]
    E --> F["模态路由召回与协同候选增强<br/>按优化权重分配预算并补充相似用户物品"]
    F --> G["偏好感知打分与重排<br/>LLM 离散等级期望打分生成最终推荐列表"]

关键设计¶

1. 结构化多模态画像与偏好协同建模：解耦显隐式多模态知识 传统推荐系统中的离散 ID 嵌入与 LLM 内部的自然语言空间存在语义鸿沟。针对这一表征割裂问题，AdaM-Rec 统一采用结构化自然语言画像来建模物品与用户。对于每个商品 $i = (v_i, l_i)$，调用多模态大模型 $\phi_{\text{M}}$（Qwen3-VL-8B-Instruct）生成结构化属性文本 $s_i$，同时分别使用文本编码器 $E_{\text{txt}}$ 和多模态编码器 $E_{\text{mm}}$ 提取稠密表征 $e_i^{\text{txt}}$ 与 $e_i^{\text{mm}}$，构成商品库 $\mathcal{D}^{\text{item}}$。对于用户历史交互序列 $u = \{(i_u^t, b_u^t)\}_{t=1}^{T_u}$，LLM Policy $\phi_{\text{L}}$ 结合行为标签将其归纳为多维度的显式结构化偏好画像 $p_u$，细分为强需求（strong_pref）、软性偏好（nice_to_have）与负向约束（dislike）。为了引入协同过滤知识，计算用户偏好嵌入 $e_u^{\text{pref}} = E_{\text{txt}}(p_u)$ 之间的余弦相似度，检索 Top-$K_c$ 个偏好最相近的用户集合 $\mathcal{N}_u$ 作为协同上下文 $\mathcal{C}_u$。这种建模使得系统既具备多模态语义的丰富表达，又保留了跨用户的协同泛化能力。

2. 协同先验初始化与基于伪查询的代理自优化：动态校准模态置信度 由于真实目标物品在推理时不可见，直接判断当前查询下哪种模态更有效是不可行的。AdaM-Rec 创造性地构建了可验证的代理召回任务。首先，LLM Policy 分析相似用户集合 $\mathcal{C}_u$ 中以往收敛的路由参数，确定初始路由状态 $\theta_u^{(0)} = (\alpha_u^{(0)}, \beta_u^{(0)}, K_u^{(0)})$，满足 $\alpha_u^{(0)} + \beta_u^{(0)} = 1$ 且总召回预算 $K_u^{(0)} \le \tau$。接着，LLM Policy 结合当前真实查询 $q$ 和用户历史行为 $h_u$，生成一组与 $q$ 具有相同信息粒度、但明确指向用户历史已正向交互物品 $i_u^t$ 的伪查询集合 $\widetilde{\mathcal{Q}}_u = \{\tilde{q}_1, \dots, \tilde{q}_{T_f}\}$。在每个自优化迭代步 $t$，系统分别调用纯文本与多模态检索模块执行伪查询召回，获取历史真实目标在两路中的排位 $r_{\text{txt}}^{(t)}$ 与 $r_{\text{mm}}^{(t)}$： $$\left(\theta_u^{(t)}, z_u^{(t)}\right) = \phi_{\text{L}}\big(r_{\text{txt}}^{(t)}, r_{\text{mm}}^{(t)}, \mathcal{M}_u^{(t-1)}, \mathcal{P}_{\text{mr}}\big)$$ 排位的高低直接反映了该类意图下文本与视觉特征的相对可靠性。LLM 依据排位差异、历史轨迹记忆 $\mathcal{M}_u^{(t-1)}$ 以及路由引导提示词 $\mathcal{P}_{\text{mr}}$ 进行自省推理，生成状态更新理由 $z_u^{(t)}$ 并动态微调路由参数 $\theta_u^{(t)}$，从而在实际执行真实查询前完成了特定用户、特定意图下的模态可靠性校准。

3. 模态路由召回、协同增强与偏好感知重排：端到端质量把控 在完成路由策略优化后，系统进入最终推荐阶段。首先根据最终参数 $\theta_u = (\alpha_u, \beta_u, K_u)$，分别从商品库中检索文本相似度最高的 Top-$\alpha_u K_u$ 个候选物品以及多模态特征最相似的 Top-$\beta_u K_u$ 个候选物品，构成初始召回集 $\mathcal{R}_u^{\text{init}}$。对于纯文本分支召回的物品，系统对其画像中的视觉属性执行过滤净化，防止引入无关的视觉修饰词。随后，将偏好相似协同用户 $\mathcal{N}_u$ 的正向交互历史 $\mathcal{R}_u^{\text{co}}$ 并入候选池形成增强集 $\mathcal{R}_u^{\text{aug}} = \mathcal{R}_u^{\text{init}} \cup \mathcal{R}_u^{\text{co}}$，以扩充候选覆盖率。最后，LLM Policy 对候选集中的每个商品进行端到端打分。以查询 $q$、用户偏好画像 $p_u$ 及商品画像 $s_i$ 为条件，输出商品在 1 到 5 档离散相关性等级上的归一化概率分布 $P_{\text{R}}(\ell \mid q, p_u, s_i, \mathcal{P}_{\text{sc}})$： $$\text{Score}_i = \sum_{\ell=1}^{5} \ell \cdot P_{\text{R}}\!\left(\ell \mid q, p_u, s_i, \mathcal{P}_{\text{sc}}\right)$$ 最终根据期望得分 $\text{Score}_i$ 从大到小降序排列，截取 Top-$N$ 项作为最终推荐结果。

实验关键数据¶

主实验¶

在基于查询的个性化推荐任务（TAIRA 基准）中，AdaM-Rec 与传统检索排序模型（BM25、BGE-M3、BGE-Reranker）以及前沿 Agent 推荐方法（ReAct、Reflexion、InteRecAgent、MACRS、MACRec、MACF、TAIRA）进行了全库检索对比。在 Amazon Beauty、Amazon Clothing 和 Amazon Music 三个主流领域子集上，指标为 Hit Rate（HR@K）与 NDCG@K：

数据集	指标	AdaM-Rec (本文)	次优基线 (TAIRA/MACF)	相对提升
Amazon Beauty	HR@20	0.1711	0.1551 (MACF)	+10.3%
Amazon Beauty	HR@40	0.2193	0.1925 (TAIRA)	+13.9%
Amazon Beauty	NDCG@20	0.0979	0.0798 (TAIRA)	+22.7%
Amazon Beauty	NDCG@40	0.1077	0.0886 (TAIRA)	+21.6%
Amazon Clothing	HR@20	0.1108	0.0914 (TAIRA)	+21.2%
Amazon Clothing	HR@40	0.1468	0.1274 (TAIRA)	+15.2%
Amazon Clothing	NDCG@20	0.0574	0.0510 (MACF)	+12.5%
Amazon Clothing	NDCG@40	0.0648	0.0574 (MACF)	+12.9%
Amazon Music	HR@20	0.1501	0.1349 (TAIRA)	+11.3%
Amazon Music	HR@40	0.1629	0.1450 (TAIRA)	+12.3%
Amazon Music	NDCG@20	0.1063	0.0939 (TAIRA)	+13.2%
Amazon Music	NDCG@40	0.1089	0.0960 (TAIRA)	+13.4%

在扩展的无查询顺序推荐基准（MLLM-MSR 协议，Amazon Video Games 与 Baby Products）中，AdaM-Rec 在 1:1000 候选排序设置下同样取得了超越 MLLMRec-R1 和 MLLM-MSR 等强基线的 SOTA 表现（例如 Video Games 上的 HR@20 达到 0.0967，Baby Products 上达到 0.0702）。

消融实验¶

在 Amazon Beauty 数据集上针对 Agent 策略骨干、路由模块各组件、召回组件以及排序模块进行了严谨的消融实验：

配置 / 变体	召回率 (Recall)	HR@20	HR@40	NDCG@20	NDCG@40	说明
Full Model (Qwen3-8B)	0.4278	0.1711	0.2193	0.0979	0.1077	默认完整模型
Qwen3-32B Policy	0.4358	0.1765	0.2246	0.1017	0.1116	增大 LLM 参数量带来微小收益
w/o 自适应模态路由	0.3743	0.1524	0.1898	0.0787	0.0866	退化为静态等权重(0.5/0.5, 预算800)，性能大幅暴跌
w/o 协同先验初始化	0.4171	0.1684	0.2139	0.0969	0.1065	移除相似用户先验，冷启动收敛减弱
w/o 伪查询与自优化	0.3850	0.1578	0.1979	0.0904	0.0988	仅保留协同先验，缺乏针对真实查询的校准
w/o 轨迹记忆库	0.3930	0.1631	0.2032	0.0938	0.1022	无法利用历史步骤优化轨迹，稳定性下降
w/o 协同候选增强	0.4091	0.1658	0.2086	0.0964	0.1054	召回覆盖面收紧导致端到端掉点
w/o 文本路召回	0.3155	0.1390	0.1631	0.0726	0.0774	仅依靠多模态，严重丢失语义约束
w/o 多模态路召回	0.3422	0.1471	0.1765	0.0768	0.0829	仅依靠纯文本，缺失外观美学线索
w/o 视觉属性过滤	0.4278	0.1551	0.2059	0.0743	0.0848	文本召回未过滤噪声属性，干扰重排判断
w/o 偏好感知打分	0.4278	0.1337	0.1684	0.0576	0.0647	退化为向量相似度排序，排位精度急剧崩塌

关键发现¶

自适应路由机制是性能跨越的关键根源：完全剥离自适应路由（退化为静态等权切分）后，NDCG@20 从 0.0979 暴跌至 0.0787（下降近 20%），这直接证明了不同推荐查询对模态存在强异质性，静态融合策略在多变用户意图下必然受阻。
文本语义是语义基石，多模态特征提供不可替代的增量细节：移除文本召回的掉点幅度（Recall 跌至 0.3155）明显大于移除多模态召回（Recall 跌至 0.3422），说明在推荐场景中文本规格与功能描述构成了最核心的硬性语义锚点，而多模态视觉特征在外观主导场景下提供关键增量。
编码器选型的影响：在编码器消融中，采用纯视觉模型 SigLIP2 作为视觉特征源相比采用图文统一对齐的 Qwen3-VL-Embedding 出现明显性能下降，表明推荐检索高度依赖视觉与语义（品牌、功能、材质）深度交织的多模态表征，而非脱离语言语境的纯视觉像素特征。

亮点与洞察¶

将“未知目标检索”转化为“已知偏好代理任务”的巧妙破局：在推理时，用户真实想买的目标是未知的，因此模态可信度无法直接计算。AdaM-Rec 通过生成同粒度、指代已知正样本的伪查询，构建出可客观评判排位的代理评估沙盒，以轻量且可验证的方式解决了无监督动态决策难题。
Agent 记忆轨迹与协同知识闭环复用：Agent 不仅在多轮迭代中依赖自身记忆库逐步逼近最优权重，还将优化完成的路由参数 $\theta_u$ 回写至全局用户偏好库，使其作为下一批相似用户的冷启动先验，实现了单用户推理优化向全系统群体智能的自然沉淀。
属性过滤消除非对齐模态的负面溢出：对文本召回的物品显式净化掉视觉属性再送入精排，这种“召回模态决定特征呈现”的细粒度工程考量，有效避免了 LLM 产生幻觉与噪声累积，设计非常细腻实用。

局限与展望¶

Agent 多步推理带来的在线延迟瓶颈：AdaM-Rec 在在线请求中引入了伪查询生成、双路测试检索与 LLM 多轮自优化循环，尽管带来了显著的指标提升，但推理计算开销和响应时间显著高于传统端到端向量召回，在超高并发的高吞吐生产环境中面临部署挑战。
伪查询与实际意图的分布对齐假设：代理任务的有效性建立在“历史正向物品能够反映当前查询下模态偏好”的假设上。如果用户当前发起了与其历史交互行为分布迥异的冷门或跨类目探索型查询（Out-of-Distribution Query），伪查询的引导质量可能会受到限制。未来可通过蒸馏路由策略或轻量级路由分类头进一步实现降本提速。