Not All Is Lost: Repairing Lossy User Preference States of Personalization Encoders¶

会议: NeurIPS 2026
arXiv: 2610.01270
领域: 推荐系统
关键词: 个性化推荐, 偏好状态压缩, 表征修复, 可恢复性差距, 序列推荐

一句话总结¶

本文提出了一种后压缩状态修正框架 REPAIR，在完全冻结预训练个性化编码器与下游任务头的条件下，利用单次前向计算中缓存的逐时刻交互表征与暴露状态构建低秩相对残差，并通过多时间尺度分解与自适应稀疏写回，有效弥合了偏好压缩中的可恢复性差距。

研究背景与动机¶

现代个性化系统（如序列推荐模型与个性化文本生成器）通常依赖循环神经网络、自注意力机制、状态空间模型（SSM）或多兴趣网络，将用户动态演化的交互历史轨迹压缩为一个面向下游任务头的紧凑偏好状态向量。下游的任务头（例如打分排序头或文本解码器）仅能接收并依赖这一高度压缩的状态完成预测。然而，将包含复杂长短期偏好漂移、局部兴趣爆发与多模态线索的冗长历史压缩至单一向量时，必然存在严重的信息有损压缩问题，导致许多对目标任务极其有用的细粒度证据无法在任务状态中充分表达。

现有改善个性化状态质量的方法通常依赖修改编码器内部结构、引入参数高效微调（如 LoRA、Prefix-Tuning、ReFT）或序列去噪过滤不相关交互。但这些方法要么需要昂贵地端到端重训练或重新遍历整条交互序列，要么只改变了编码器的构建机制，未能解答一个根本性问题：当部署的编码器已被固化（Frozen）且算力预算不允许对原始序列反复重新编码时，编码器在同一次前向计算中已经生成并缓存的逐时刻中间表征，是否仍保留着足以修复当前压缩状态的有益证据？这种信息虽然存在于计算图中但未被最终状态充分表达的现象，被本文形式化定义为“可恢复性差距（Recoverability Gap）”。

本文切入的角度在于避免重新运行编码器，而是将缓存的时序表征与当前暴露的偏好状态进行显式对齐与差异比较。核心 idea：通过构建低秩紧凑的状态相对残差算子，将缓存的逐交互表征与压缩偏好状态在公共空间解耦为长程衰减、近期强化与局部爆发三路时间基函数，并经由自适应 Top-$\nu$ 稀疏门控写回原状态，在编码器和任务头双冻结的前提下实现高精度偏好状态修复。

方法详解¶

整体框架¶

REPAIR 模块无缝插入在冻结的预训练编码器 $f_{\text{enc}}$ 与下游任务头 $h_{\text{task}}$ 之间。对于用户的交互历史前缀 $\tau_b^{t_{1:i}}$，编码器在单次前向计算中已经产生了各时间步的缓存表征 $\{e_b^{(t_j)}\}_{j=1}^i$ 与暴露给下游的压缩状态 $z_b^{(t_i)}$。REPAIR 直接复用这些已有特征，无需重新编码。整体流程首先通过低秩投影读取状态相对修正证据并中心化；接着通过三种正交的时间基函数解析时序支撑；随后利用自适应选择器保留显著特征并经由状态门控写回；最后通过残差门控融合层将聚合修正量叠加回基础状态，输出修复后的偏好状态 $\tilde{z}_b^{(t_i)}$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 冻结状态 z_b 与缓存时序序列 {e_b}"] --> B["状态相对修正证据抽取<br/>公共空间投影与低秩矩阵读取"]
    B --> C["多尺度时序基分解<br/>长程衰减+近期强化+局部爆发"]
    C --> D["自适应 Top-ν 稀疏选择<br/>坐标级显著性排序与直通估计"]
    D --> E["状态门控写回与注意力聚合<br/>动态特征缩放与全前缀加权池化"]
    E --> F["残差门控状态融合<br/>z̃_b = z_b + g_F ⊙ MLP([z_b; Δ_b])"]
    F --> G["输出: 修复后状态 z̃_b 交付下游任务头"]

关键设计¶

1. 状态相对修正证据抽取：对齐投影与低秩读取算子

由于缓存的逐时间步特征 $e_b^{(t_j)} \in \mathbb{R}^{d_e}$ 与任务级偏好状态 $z_b^{(t_i)} \in \mathbb{R}^{d_z}$ 往往处于不同维度或特征子空间，直接做差缺乏物理意义。为此，REPAIR 首先引入线性变换矩阵 $P_e \in \mathbb{R}^{m \times d_e}$ 和 $P_z \in \mathbb{R}^{m \times d_z}$ 将二者映射至统一的 $m$ 维修正空间，构建状态相对残差 $r^{(t_j; t_i)} = P_e e_b^{(t_j)} - P_z z_b^{(t_i)}$。该残差反映了特定历史时刻相对于全局压缩状态的表征差异。为了防止直接携带高维全量残差引入过拟合与高昂计算量，设计了类似 SVD 分解的秩为 $K$ 的低秩读取算子： $$d^{(t_j)} = \hat{V}_{\text{rep}}^\top r^{(t_j; t_i)} \in \mathbb{R}^K$$ 其中 $\hat{V}_{\text{rep}} \in \mathbb{R}^{m \times K}$ 采用列归一化约束，以提取各时刻下 $K$ 个修正模式的激活强度。为了消除全局静态偏移并凸显各时刻间的相对动态变化，随后对各坐标进行前缀内均值中心化 $\tilde{d}^{(t_j)} = d^{(t_j)} - \frac{1}{i}\sum_{q=1}^i d^{(t_q)}$。由于静态状态偏移被完全消除，后续处理能够专注于历史内部的时序方差信息。

2. 多尺度时序基分解：长程、近期与局部突发的正交解析

时序激活强度 $\tilde{d}^{(t_j)}$ 仅刻画了哪些特征存在偏差，未反映历史发生时刻与当前决策时点 $t_i$ 的滞后关联 $\ell_j = i - j$。REPAIR 建立了三路平行的参数化时间基函数，分别对应长期持续影响、近期交互驱动以及瞬时兴趣爆发： $$\kappa^L_k(\ell_j) = \exp(-\beta_k \ell_j), \quad \kappa^S_k(\ell_j) = \max\left(1 - \frac{\ell_j}{i}, 0\right), \quad \kappa^E_k(\ell_j) = \exp\left(\ell_j \log \xi_k - \xi_k - \log \Gamma(\ell_j + 1)\right)$$ 其中 $\beta_k > 0$ 控制指数长程衰减率，近期基 $\kappa^S$ 提供随历史跨度线性衰减的包络，泊松形态的局部基 $\kappa^E$ 借助可学习中心参数 $\xi_k > 0$ 捕捉特定历史滞后位置的兴趣脉冲。三路基调制后的特征经过可学习变换矩阵 $W_L, W_S, W_E$ 线性混合为联合时序表征 $\eta^{(t_j)} = \sum_{\rho \in \{L,S,E\}} W_\rho (\kappa^\rho(\ell_j) \odot \tilde{d}^{(t_j)})$。理论证明，该时序分解在有限前缀下具有参数可辨识性，使模型能够适应不同编码器所遗留的不同时间尺度偏差。

3. 自适应 Top-$\nu$ 稀疏选择：细粒度坐标级动态保留

在长历史轨迹中，大量时序特征处于低信噪比状态或属于冗余干扰。REPAIR 没有采取粗暴地丢弃整个交互事件的策略，而是在时序特征坐标维度进行细粒度筛选。针对第 $k$ 个修正坐标，利用轻量级选择网络 $\text{MLP}_{\text{sel}}$ 基于该坐标在当前序列的均值、标准差与最大激活幅度自适应预测保留比例 $f_k^{(t_i)} \in (0, 1)$。随后将各时刻的绝对幅值 $|\eta_k^{(t_j)}|$ 进行降序排序，构造硬截断前向掩码 $h_{j,k}^{(t_i)} = \mathbf{1}[\rho_{j,k}^{(t_i)} \le f_k^{(t_i)}]$，并在反向传播中采用温度系数 $\tau_{\text{sel}} = 0.05$ 的 Sigmoid 软松弛直通估计器（Straight-Through Estimator）实现端到端梯度更新： $$\pi_{j,k}^{(t_i)} = h_{j,k}^{(t_i)} + \sigma\left(\frac{f_k^{(t_i)} - \rho_{j,k}^{(t_i)}}{\tau_{\text{sel}}}\right) - \text{stopgrad}\left(\sigma\left(\frac{f_k^{(t_i)} - \rho_{j,k}^{(t_i)}}{\tau_{\text{sel}}}\right)\right)$$ 该机制允许同一个交互事件在某些修正模式上贡献信息，而在另外的模式上被抑制，最大化了修正信号的纯净度。

4. 状态门控写回与残差融合：平滑聚合与保底叠加

经过稀疏保留后的特征需重构回任务状态维度。首先由当前任务状态生成坐标级门控 $\gamma^{(t_i)} = \sigma(\text{MLP}_\gamma(z_b^{(t_i)}))$，并结合写回基底 $\hat{U}_{\text{rep}} \in \mathbb{R}^{m \times K}$ 与缩放矩阵 $\Lambda_{\text{rep}}$ 映射回 $m$ 维候选修正空间 $w^{(t_j)} = \hat{U}_{\text{rep}} \Lambda_{\text{rep}} (\gamma^{(t_i)} \odot \Pi_\nu^{(t_i)}(\eta^{(t_j)}))$。随后通过状态感知的 Softmax 注意力网络预测各时间步的归一化池化权重 $\alpha_j^{(t_i)}$，经由投影矩阵 $P_\Delta \in \mathbb{R}^{d_z \times m}$ 聚合获得全局修正量 $\Delta_b^{(t_i)}$。最终的状态融合严格保留原始状态 $z_b^{(t_i)}$ 作为残差基底： $$\tilde{z}_b^{(t_i)} = z_b^{(t_i)} + g_F^{(t_i)} \odot \text{MLP}_{\text{probe}}\left([z_b^{(t_i)}; \Delta_b^{(t_i)}]\right)$$ 其中门控向量 $g_F^{(t_i)} = \sigma(\text{MLP}_F([z_b^{(t_i)}; \Delta_b^{(t_i)}])) \in (0, 1)^{d_z}$ 动态调节各维度的修正注入强度。这一设计保证了在极端噪声下模型退化时可自然回退至原状态，避免破坏基础模型的既有表征能力。

损失函数 / 训练策略¶

REPAIR 在阶段二（Stage 2）进行冻结状态修正训练，主机编码器与任务头完全冻结，优化目标由三组功能性损失联合构成： $$\mathcal{L}_{\text{repair}} = \omega_{\text{task}} \mathcal{L}_{\text{task}} + \omega_{\text{pos}} \mathcal{L}_{\text{pos}} + \omega_{\text{coh}} \mathcal{L}_{\text{coh}}$$ 在所有模型中固定超参数为 $(\omega_{\text{task}}, \omega_{\text{pos}}, \omega_{\text{coh}}) = (0.5, 0.2, 0.3)$： 1. 任务效用损失 $\mathcal{L}_{\text{task}}$：包含修复后状态交叉熵/生成损失 $\mathcal{L}_{\text{state}}$、纯修正量目标预测损失 $\mathcal{L}_\Delta$ 以及单边参考惩罚 $\mathcal{L}_{\text{better}} = \max(0, \mathcal{L}_\Delta - \mathcal{L}_{\text{base}})$，促使修正信号自身具备判别力； 2. 时间步溯源损失 $\mathcal{L}_{\text{pos}}$：通过 8 分位相对位置分类头 $h_{\text{pos}}$ 监督保留的时序表征，强迫其记忆特征在历史序列中的相对发生位置； 3. 源头一致性损失 $\mathcal{L}_{\text{coh}}$：包括动作类型分类交叉熵 $\mathcal{L}_{\text{action}}$ 以及时间步级和聚合级的 InfoNCE 对比学习损失 $\mathcal{L}_{\text{interaction}}$ 与 $\mathcal{L}_{\Delta\text{con}}$（64个负样本），保持修正向量与原始输入实体表征的内容关联。阶段三（Stage 3）可选择性地开启两轮联合微调，在保持编码器冻结的前提下，联合对齐 REPAIR 与下游任务头，并施加 $L_2$ 范数与相邻时间步平滑正则化。

实验关键数据¶

主实验¶

论文在 MovieLens（电影推荐，15K实例）、PENS（新闻推荐与标题生成，各20K实例）、MIND（新闻推荐，20K实例）以及 Amazon Reviews 2023 All_Beauty（多模态商品推荐，2K实例）四个数据集上展开评估，覆盖循环神经网络、自注意力、状态空间模型（Mamba）及多模态基准共 12 种推荐主机。下表展示了完全冻结编码器与下游任务头条件下（Stage 2 严格冻结协议），REPAIR 与原始模型及任务头独立微调（Head-only FT）的对比。

数据集	主机编码器 (Host)	原始模型 (Base) MRR / nDCG@10	仅任务头微调 (Head-only FT) MRR / nDCG@10	REPAIR (编码器+头双冻结) MRR / nDCG@10	提升幅度 (vs Base) $\Delta$ MRR / $\Delta$ nDCG@10
MovieLens	TiSASRec (强)	35.51 / 41.14	35.57 / 41.19	36.38 / 42.07	+0.87 / +0.93
MovieLens	Mamba4Rec (中)	29.29 / 38.50	29.48 / 38.89	33.25 / 39.20	+3.96 / +0.70
MovieLens	SASRec (弱)	26.43 / 33.82	27.05 / 34.37	29.57 / 40.08	+3.14 / +6.26
PENS	LSTUR (强)	10.44 / 12.15	10.98 / 12.32	11.98 / 12.71	+1.54 / +0.56
PENS	EBNR (中)	2.65 / 2.45	2.93 / 2.86	4.07 / 3.97	+1.42 / +1.52
PENS	NAML (弱)	1.29 / 0.81	2.75 / 1.46	5.20 / 5.21	+3.91 / +4.40
MIND	LSTUR (强)	51.43 / 59.63	52.37 / 59.96	54.17 / 62.27	+2.74 / +2.64
MIND	EBNR (中)	47.08 / 51.63	47.63 / 52.31	49.43 / 55.17	+2.35 / +3.54
MIND	SCAPE-GRU (弱)	42.53 / 41.19	43.21 / 41.82	43.31 / 44.25	+0.78 / +3.06
Amazon	SigLIP2 (强)	2.40 / 2.18	2.67 / 2.72	4.16 / 4.05	+1.76 / +1.87
Amazon	OpenCLIP (中)	1.59 / 1.05	2.21 / 2.17	4.43 / 4.66	+2.84 / +3.61
Amazon	DINOv2-E5 (弱)	1.19 / 0.72	2.35 / 2.42	3.16 / 2.90	+1.97 / +2.18

在进一步放开任务头对齐微调两轮后（Stage 3），增益进一步扩大，如 OpenCLIP 在 Amazon 上 MRR 跃升至 19.49，SigLIP2 达 17.72，Mamba4Rec 在 MovieLens 上达 34.26。

消融实验¶

1. 修正空间秩 $K$ 的敏感性分析 (Stage 3 对齐后 MRR / nDCG@10)

主机模型 / 数据集	原始 Base	$K=32$	$K=64$	$K=128$ (本文默认)	$K=192$
OpenCLIP / Amazon	1.59 / 1.05	9.31 / 9.78	11.17 / 12.22	19.49 / 22.08	11.63 / 12.16
SigLIP2 / Amazon	2.40 / 2.18	10.44 / 11.36	8.42 / 8.77	17.72 / 20.35	13.46 / 13.15
EBNR / PENS	2.65 / 2.45	6.13 / 6.19	8.65 / 8.58	11.97 / 14.28	11.23 / 13.17
Mamba4Rec / MovieLens	29.29 / 38.50	31.47 / 38.85	32.38 / 39.26	34.26 / 40.17	34.02 / 39.96
LSTUR / MIND	51.43 / 59.63	52.67 / 62.14	53.49 / 64.13	55.84 / 66.92	54.73 / 66.12

2. 时序基函数路径消融 (MovieLens & MIND，评估 MRR)

数据集 / 主机	原始 Base	无时序解析 (NoTS)	仅单路 L	仅单路 S	仅单路 E	组合 L+S	组合 S+E	组合 L+E	全量 L+S+E
MovieLens / Mamba4Rec	29.29	28.43	29.92	29.63	29.45	32.17	31.35	31.04	34.26
MovieLens / TiSASRec	35.51	35.52	35.54	35.78	35.83	35.91	35.66	35.41	36.78
MIND / NAML	45.65	45.95	47.65	48.32	47.13	49.31	49.18	48.79	53.22
MIND / EBNR	47.08	47.74	48.88	48.03	47.62	50.13	49.38	48.76	53.22
MIND / NRMS	44.91	45.06	46.43	45.13	47.73	47.58	46.44	46.15	52.74

关键发现¶

紧凑低秩表征足以恢复关键偏好：低秩扫描证实 $K=128$ 在所有五个受试模型上均取得峰值指标，能量分析表明该维度已保留了平均 96.46% 的可读能量比；当容量过大扩张至 $K=192$ 时，参数量暴增导致优化困难和过拟合，性能出现普遍反转回落。
编码器遗留偏差与输入时序解耦：时序注入控制实验表明，外部强制构造的长程、近期或突发序列，只有 6/12 的概率能被对应单路时序基完全捕捉，例如 Mamba4Rec 在三种外部时序输入下均强烈倾向于近期基（S-Tr）；三路时序基联合使用（L+S+E）在 11/12 的设置中碾压任意单分支。这证实了修正信号的时间特性源自“编码器压缩丢失了什么”，而非简单的“原始输入包含了什么”。
头前修复（Pre-head）显著优于头后干预（Post-head）：对比基于记忆外挂的 SERAC-Corr 与输出侧去噪 Rec-Denoiser-Corr，REPAIR 在所有 8 个对比场景中均斩获最高 MRR 与 nDCG@10，验证了直接修复潜空间状态向量比在输出预测概率层面打补丁更为根本和有效。
文本生成中通用质量与个性化程度的解耦：在 PENS 标题生成实验中，IMPerSumm 使用 REPAIR 后 ROUGE-L 虽微降 2.69%，但在衡量个性化动态响应的 PerSEval（PSE-W-RG-L 和 PSE-P-RG-L）指标上狂揽 +25.23% 与 +39.29% 的相对增益。这表明传统的字面重合度指标不能真实反映模型对个性化偏好的捕获能力。

亮点与洞察¶

后压缩状态干预范式：指出了传统序列编码器不可避免的“可恢复性差距”，提出通过复用单次前向缓存表征来修复状态，无需重新运行编码器或解冻模型主体，为大规模推荐与个性化服务的低成本即插即用升级提供了全新思路。
时序异构特性的后天补偿机制：揭示了不同编码架构（如 SSM、RNN、Transformer）对历史信息的遗忘方式高度特异化，低秩正交基分解不仅实现了特征降维，还揭示了模型内部的有损压缩病态。
多任务与大模型泛化性：除了经典序列推荐外，成功扩展至多模态商品召回、个性化标题生成及 DeepSeek-32B / Qwen2.5-32B 等大语言模型（通过 Soft-Prefix 投影接入），展示了出色的模块普适性。

局限与展望¶

计算与内存开销：由于需要保留全长历史（$L=50$）的逐时刻表征并进行跨时间步池化，评估显示对编码器宿主带来了 31%~36% 的参数内存增长和 38%~44% 的推理延迟开销，吞吐量有所下降。
对话衍生交互的脆弱性：在 TG-ReDial 等弱结构化对话推荐基准上，因动作与实体依赖启发式解析，噪声较大，TextCNN 等部分主机甚至出现了微幅退化，表明方法高度依赖高质量的事件化前缀。
未来方向：探索在紧凑缓存预算下的自适应特征丢弃策略（例如在编码器前向期间即做初步修剪），以及研究如何在更长上下文的超大 LLM 中设计高效的状态注入通道。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次明确形式化个性化编码器的“可恢复性差距”，并创新性地提出低秩时序残差修复机制]
实验充分度: ⭐⭐⭐⭐⭐ [横跨4个公开基准、12种推荐模型与2个主流开源32B大模型，涵盖推荐与生成双重场景，包含细致消融与时序诊断]
写作质量: ⭐⭐⭐⭐⭐ [数学表达严谨完备，理论证明与实证分析相互印证，叙述逻辑层层递进]
价值: ⭐⭐⭐⭐⭐ [对工业界重度依赖冻结偏好表征的推荐与生成系统具有极高的即插即用落地参考价值]