Controllable and Content-Based Recommendations¶

会议: NeurIPS 2026
arXiv: 2607.20938
领域: 推荐系统
关键词: 推荐系统, 可控推荐, 概念瓶颈, 多模态大模型, 协同过滤

一句话总结¶

针对传统协同过滤隐空间不可解释且无法直接干预的问题，CCBR 利用多模态大模型从物品原始内容中抽取自然语言画像并构建文本瓶颈，通过两阶段标签监督与对比对齐实现即插即用且支持多模态冷启动与文本负向意图干预的可控推荐。

研究背景与动机¶

现代推荐系统在电商、音乐流媒体与视频分发等大规模内容检索场景中扮演着核心角色。为了在大规模固定候选集中实现高吞吐和准确召回，主流方案普遍依赖协同过滤（如 EASE、EDLAE 等线性重构模型，以及 Multi-VAE、MacridVAE 等变分自编码器）。然而，这些基于矩阵分解或隐向量架构的系统将用户偏好压缩为不可拆解的稠密 ID 隐向量，形成了黑盒表征。当用户的当下意图发生上下文动态偏移（例如在服装选购时临时想要特定的色彩质感，或在观影时希望临时排除特定恐怖元素）时，既有隐向量无法向用户暴露可审查、可编辑的语义接口，用户只能被动接受根据历史行为推断出的长尾相关推荐。

现有探索可控推荐的工作逐渐引入了可解释瓶颈或大语言模型（LLM）生成的自然语言画像（如 TEARS），试图允许用户审查并微调其兴趣描述。但现有方法的核心矛盾在于：其画像构建严重受制于文本元数据（如物品标题、品类文字标签或用户书写评论），无法捕捉音频声学特征、商品视觉风格或视频时序美学等非文本多模态维度的丰富偏好信号；同时，直接将 LLM 作为生成式推荐器不仅极易引发幻觉，且在大规模目录中面临计算瓶颈与目录对齐失效问题。

本文的切入角度是：解耦多模态内容理解与目录级排序，将多模态大模型作为离线内容转译器，用文本画像作为透明概念瓶颈，同时复用成熟协同过滤的解码能力。核心 idea：提出 CCBR 框架，利用多模态大模型将物品原始内容直接转译为文本描述并聚合为无 ID 泄露的用户画像，通过两阶段标签分布监督与 InfoNCE 跨模态对齐将文本瓶颈注入任意冻结的协同过滤模型，实现兼顾高推荐精度、自然语言属性干预与未见多模态物品引导的端到端可控推荐。

方法详解¶

整体框架¶

CCBR 的设计理念是在不破坏经典协同过滤强大目录检索与排序能力的前提下，引入一个对用户完全透明且可直接编辑的文本概念瓶颈。整个流程划分为三大核心步骤：首先，离线利用模态专用的多模态大模型（MLLM）消化无任何 ID 元数据的多模态物品（图像/音频/视频），生成细粒度文本摘要，再由纯文本指令微调 LLM 聚合出结构化用户自然语言画像；其次，采用多语言通用文本编码器（BGE-M3）结合两阶段标签分布监督（利用平方 Hellinger 距离及随机嵌入替换机制），将文本编码空间向推荐领域语义几何投影；最后，通过 InfoNCE 对比损失（以及针对 VAE 的范数平滑损失）将文本隐表征与冻结的协同过滤骨干隐表征对齐，直接复用其解码器完成大规模候选集打分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态物品交互历史<br/>(图像 / 视频 / 音频)"] --> B["多模态内容转译与聚合<br/>模态专用 MLLM 转译 + 纯文本 LLM 聚合"]
    B --> C["标签分布预训练与嵌入混叠<br/>平方 Hellinger 距离对齐 + 随机 MF 替换"]
    C --> D["协同过滤对比对齐与评分<br/>InfoNCE 跨空间对齐 + 复用 CF 解码器"]
    D --> E["Top-K 候选集推荐列表<br/>兼顾推荐准确性与语义可控性"]

关键设计¶

1. 多模态内容转译与聚合：彻底剔除 ID 泄露的透明画像构建

传统内容推荐往往依赖物品标题或品类标签，极易引入预训练语料中的先验泄露，且无法反映物理多模态内容特质。针对此痛点，CCBR 在画像构建阶段严格屏蔽所有元数据（物品 ID、标题、品牌、艺术家等），仅输入原始多模态媒体。对于图像服装采用 Qwen3-VL-32B-Instruct，对于视频预告片采用 VideoLLaMA 3，对于音频采用 MusicFlamingo，离线单次抽取每件物品的内容感知描述并建立缓存。随后，由纯文本指令微调模型 Qwen3-30B-A3B-Instruct 汇总用户近期的物品描述（最大截断 100 件），融合成一段连贯自然的文本画像。这不仅消除了预训练记忆干扰，还天然赋予用户在自然语言级别审查与增删改其偏好的接口。

2. 标签分布预训练与嵌入混叠：注入推荐归纳偏置与双模推理支持

通用文本编码器（如 BGE-M3）虽然擅长捕获常识语义相似度，但在推荐场景下，两段字面相似的摘要可能代表截然不同的垂直品味，且字面差异较大的表达可能对应相同的品类偏好。为了使文本瓶颈的几何结构与推荐目录的离散标签空间对齐，本文设计了标签分布监督机制。对每个用户，将其历史物品的离散标签聚合归一化为目标概率分布 \(\mathbf{p}_{\text{tag}} \in \Delta^{n_{\text{tags}}}\)。线性投影头将文本编码 \(\mathbf{z}_{\text{text}}\) 映射为预测概率分布 \(\hat{\mathbf{p}}_{\text{tag}} = \text{softmax}(\mathbf{W} \mathbf{z}_{\text{text}} + \mathbf{b})\)，并最小化二者之间的平方 Hellinger 距离：

\[\mathcal{L}_{\text{tag}} = \frac{1}{2} \left\| \sqrt{\hat{\mathbf{p}}_{\text{tag}}} - \sqrt{\mathbf{p}_{\text{tag}}} \right\|_{2}^{2}\]

在此阶段，CCBR 进一步引入随机嵌入替换（Stochastic Embedding-Substitution）策略：以 \(0.5\) 的概率将文本画像的 [CLS] 向量替换为预训练矩阵分解（MF）模型导出的用户历史物品平均嵌入。该混叠设计使单一预测头同时兼容稠密协作信号与文本语义信号，形成了灵活的双模推理体系：对于交互历史完备的活跃用户，可接入协作信号以最大化推荐指标；对于冷启动用户、纯自然语言查询或大幅改写后的画像，系统直接经由文本通道完成零样本属性解码。

3. 协同过滤对比对齐与评分：骨干解耦的跨模态投影

为了在获得可控性的同时无缝兼容工业界既有的协同过滤模型，CCBR 将预训练的协同过滤骨干（覆盖线性自编码器 EASE/EDLAE 以及非线性变分模型 Multi-VAE/MacridVAE 等 7 类主流架构）作为冻结的锚点。在第二阶段，通过 InfoNCE 对比损失拉近文本投影向量 \(\mathbf{z'}_{\text{text}}\) 与协同过滤用户隐向量 \(\mathbf{z}_{\text{collab}}\)：

\[\mathcal{L}_{\text{InfoNCE}} = -\frac{1}{B} \sum_{i=1}^{B} \log \frac{\exp(\langle \tilde{\mathbf{z}}'^{(i)}_{\text{text}}, \tilde{\mathbf{z}}^{(i)}_{\text{collab}} \rangle / \tau)}{\sum_{j=1}^{B} \exp(\langle \tilde{\mathbf{z}}'^{(i)}_{\text{text}}, \tilde{\mathbf{z}}^{(j)}_{\text{collab}} \rangle / \tau)}\]

其中 \(\tilde{\mathbf{z}} = \mathbf{z} / \|\mathbf{z}\|_{2}\)。特别地，对于变分自编码器（VAE）类骨干，因其潜在空间的几何尺度对重构至关重要，简单的 \(\ell_2\) 归一化会破坏高斯先验结构。因此，模型在 VAE 上取消单位模长约束，并在 InfoNCE 基础上引入平滑 L1 损失项：\(\mathcal{L}_{\text{align}}^{\text{VAE}} = \mathcal{L}_{\text{InfoNCE}} + \text{SmoothL1}(\|\mathbf{z'}_{\text{text}}\|_{2}, \|\mathbf{z}_{\text{collab}}\|_{2})\)。微调后的协同过滤解码器直接承接文本表征完成全候选集打分，实现了骨干无关的即插即用特性。

一个完整示例¶

以电影推荐（ML-20M）中的“负向偏好干预”为例：用户初始交互历史中同时包含大量犯罪剧情片与轻度恐怖片，经 MLLM 转译与纯文本聚合后，生成的文本画像包含：“用户喜欢充满悬疑推理的犯罪剧情，同时也偏好带有惊悚氛围的悬疑恐怖题材”。 1. 干预发起：用户在系统界面主动将画像修改为显式排斥：“用户极度反感恐怖惊悚题材，倾向于严谨现实主义犯罪悬疑”。 2. 文本编码与标签衰减：BGE-M3 提取改写后的文本表征，经由经负向训练微调的线性头投影后，在“Horror”属性维度上的激活概率显著受到抑制，而“Crime/Drama”维度的权重大幅增强。 3. 隐空间解码：对齐后的文本向量传入协同过滤解码器，重构 logits 重新排序。 4. 结果输出：原本位于 Top-20 中的《闪灵》、《招魂》等恐怖电影全部掉出候选集，而纯推理题材的《七宗罪》、《非常嫌疑犯》排名大幅上升，实现 Top-20 内目标标签召回率单调下降（负向召回差 \(\Delta r^{(20)} < 0\)）。

损失函数 / 训练策略¶

训练分为两个阶段进行端到端优化： - Stage 1（标签预训练）：仅优化文本编码器与线性投影头，学习率分别为 \(5 \times 10^{-6}\) 与 \(3 \times 10^{-4}\)，在用户交互上施加 \(0.2\) 的 Dropout，纯粹以 Hellinger 损失进行优化：\(\mathcal{L}_{\text{stage 1}} = \mathcal{L}_{\text{tag}}(\mathbf{p}_{\text{text}}, \mathbf{q})\)。 - Stage 2（协同对齐与解码微调）：将文本编码器学习率下调至 \(3 \times 10^{-6}\)，标签损失权重衰减至 \(0.1\)，同时增加对齐损失与重构损失，整体目标为：

\[\mathcal{L}_{\text{stage 2}} = 0.1 \cdot \mathcal{L}_{\text{tag}}(\mathbf{p}_{\text{text}}, \mathbf{q}) + \alpha_{2} \cdot \mathcal{L}_{\text{align}} + \alpha_{3} \cdot \mathcal{L}_{\text{rec}}\]

其中，重构损失 \(\mathcal{L}_{\text{rec}}\) 对线性自编码器（EASE、EDLAE）采用归一化均方误差 \(\mathcal{L}_{\text{nMSE}}\)，对非线性模型（DAE、VAE）采用多项式对数似然 \(\mathcal{L}_{\text{mult}}\)；用户交互 Dropout 率提升至 \(0.6\) 以强化文本瓶颈的泛化表征能力。

实验关键数据¶

主实验¶

实验采用严格的强泛化协议（Strong Generalization），训练集、验证集与测试集的用户完全不重叠，在涵盖服装图像（H&M）、电影预告片（ML-20M）与音乐音频（MSD）的三大代表性数据集上全面评估 CCBR 与基础骨干及前序可控基线 TEARS 的推荐准确率。

数据集	骨干模型 / 方法	NDCG@100	Recall@50	Recall@20
H&M	EASE (Dense Backbone)	0.2621	0.2440	0.1638
H&M	CCBR (Ours on EASE)	0.2212	0.2116	0.1359
H&M	EDLAE-FR (Dense Backbone)	0.2693	0.2460	0.1662
H&M	CCBR (Ours on EDLAE-FR)	0.2215	0.2148	0.1360
H&M	Multi-VAE (Dense Backbone)	0.2244	0.2135	0.1360
H&M	TEARS (Merged \(\alpha=0.5\))	0.2006	0.1964	0.1161
H&M	CCBR (Ours on Multi-VAE)	0.2106	0.2064	0.1252
MSD	Multi-VAE (Dense Backbone)	0.3843	0.3144	0.3523
MSD	TEARS (Merged \(\alpha=0.5\))	0.2946	0.2357	0.2602
MSD	CCBR (Ours on Multi-VAE)	0.3376	0.2746	0.3065
MSD	MacridVAE (Dense Backbone)	0.3873	0.3151	0.3542
MSD	TEARS (Merged \(\alpha=0.5\))	0.2731	0.2158	0.2358
MSD	CCBR (Ours on MacridVAE)	0.3247	0.2641	0.2942
ML-20M	Multi-VAE (Dense Backbone)	0.5148	0.5468	0.4383
ML-20M	TEARS (Merged \(\alpha=0.5\))	0.4836	0.5116	0.4105
ML-20M	CCBR (Ours on Multi-VAE)	0.4964	0.5370	0.4263
ML-20M	MacridVAE (Dense Backbone)	0.4957	0.5218	0.4111
ML-20M	TEARS (Merged \(\alpha=0.5\))	0.4582	0.4814	0.3872
ML-20M	CCBR (Ours on MacridVAE)	0.4829	0.5204	0.4111

消融实验¶

为了验证 CCBR 文本瓶颈的真实因果调节有效性，论文针对预定义离散属性设计了反事实干预实验：包括留一法删除（Leave-One-Out, LOO）与加一法添加（Add-One-In, AOI），并对比了文本干预与未见多模态物品注入干预的效果差异。

干预机制配置	测试数据集 / 属性空间	评价指标 (@K=20)	变化方向与表现	分析结论说明
文本干预: LOO 删除	ML-20M (18 个电影流派)	\(\Delta r_c^{(20)}\) (删除前后差)	显著负向位移 (\(\Delta r < 0\))	成功抑制目标概念；显著强于 TEARS 基线的抑制幅度
文本干预: AOI 添加	ML-20M (18 个电影流派)	\(\Delta r_c^{(20)}\) (添加前后差)	显著正向位移 (\(\Delta r > 0\))	低频流派提升显著，高频流派（如 Drama）受长尾多标签共存制约
多模态未见物品注入	ML-20M (未见预告片冷启动)	\(\Delta r_c^{(20)}\) (新物品注入)	正向增益接近纯文本插入	验证了未见媒体经由视觉编码器转译后同样具有因果操纵性
带符号画像负向干预	ML-20M (显示偏好评分划分)	目标流派 Top-20 召回率	负向模型出现持续单调下降	仅在带符号画像训练的模型上生效，标准正向模型对排斥表达不敏感
跨品类长尾干预	H&M (51 个服装品类)	\(\Delta r_c^{(20)}\) 绝对幅度	高频类别大幅响应，长尾趋零	受限于商品目录稀疏度，稀有品类在 Top-20 中受基础检索边界制约

关键发现¶

可控性与精度的良好权衡：尽管将高容量的隐式协作信号压缩到紧凑的自然语言瓶颈必然带来轻微的细粒度精度损失，但 CCBR 在所有 VAE 类骨干上均全面超越了同类文本可控基线 TEARS（例如在 MSD 数据集 Multi-VAE 骨干下，NDCG@100 达到 0.3376，显著优于 TEARS 的 0.2946，相对提升超 14.5%）。
因果编辑与流派先验约束：反事实文本编辑能显著驱动推荐列表沿预定概念方向平移。然而实验发现概念的编辑阻力与该属性在全局目录中的分布频率高度相关：高频兼强共现概念（如 Drama 流派出现 5,723 次，且与 Romance 严重交织）的移除难度远高于纯粹的小众概念（如仅有 775 部的 Documentary）。
多模态与负向意图闭环：通过离线注入未见的多模态样本（冷启动场景），系统能通过纯文本瓶颈将新模态特征传递至协同排序层，实现与文本编辑等价的引导能力；同时，引入 \(\leq 2\) 星明确排斥语料训练的带符号模型，首次让隐式协同骨干展现出对“我不喜欢某类型”这一显式负向指令的精准规避能力。

亮点与洞察¶

模态解耦的无 ID 瓶颈设计：完全剥离元数据 ID、仅依赖多模态 MLLM 转译生成用户画像，不仅根除了预训练大模型的数据先验污染，更使推荐系统具备了接纳外部任意未入库富媒体内容引导的扩展性。
平方 Hellinger 标签对齐与嵌入混叠：创新性地利用连续概率分布匹配（Hellinger 距离）和 50% 随机替换训练机制，在保留纯文本端到端推理能力的同时，使单一线性头能平滑兼容稠密协作隐向量。
可复用的架构外挂范式：不改动协同过滤底座的内部权重或检索机制，仅通过轻量级对比学习实现跨模态对齐，能够无侵入地泛化至学术与工业界的几乎所有经典 CF 架构（从线性 EASE 到深层 MacridVAE）。

局限与展望¶

作者承认的局限：目前用户画像依赖于离线批处理生成（对历史物品做单次总结），缺乏实时多轮人机交互式对话微调机制，且难以动态纳入交互历史之外的环境情境约束与即时瞬态目标。
实验与机制局限：概念干预主要受限于预先离散标注的固定标签字典（Genres/Colors/Categories），对于非结构化、细腻抽象的长尾主观偏好（如“复古未来主义美学”或“适合雨天聆听的松弛感”）难以量化验证。
改进方向：构建交互式会话代理（Conversational Agent），允许用户在多轮对话中增量修正当前推荐列表，并将图像生成或音频生成模型反向引入反馈回环，实现双向生成式可控推荐。

评分¶

新颖性: ⭐⭐⭐⭐☆ 创新性地将多模态大模型转译、文本概念瓶颈与经典协同过滤骨干解耦融合。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖图像、音频、视频三大模态，横跨 7 种协同过滤模型，设计了完备的反事实干预实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链路极其缜密，问题定义明确，图表与附录补充详实。
价值: ⭐⭐⭐⭐☆ 为工业界推荐系统赋予用户自主可控性与可解释性提供了极具工程落地价值的范式。