LIME: 基于解耦XOR注意力与全局链接嵌入的测试期高效扩展推荐模型¶

会议: NeurIPS 2026
arXiv: 2510.18239
代码: https://github.com/facebookresearch/repo
领域: 推荐系统
关键词: 推荐系统, 测试期扩展, 线性注意力, 链接嵌入, 解耦注意力

一句话总结¶

LIME 提出全局可学习的链接嵌入（Link Embeddings）作为用户历史与候选物品的中介桥梁，在用户侧通过解耦 XOR 注意力将超长历史自注意力复杂度从二次方降为线性，在物品侧利用用户无关的键空间实现候选注意力权重的离线预计算与缓存，从而在保持多层 Transformer 深度交叉交互表现力的同时，实现类似双塔模型的低延迟候选扩展。

研究背景与动机¶

现代工业级推荐系统通常需要在数十毫秒的严苛延迟预算内，对包含数万至数十万候选物品的庞大集合进行精准排序。为了在预测精度与计算开销之间取得平衡，工业界长期受制于两种相互冲突的架构范式：一端是以双塔模型（Two-Tower / TTSN）为代表的检索与粗排架构，通过将用户表征与物品表征解耦编码，在线阶段仅需执行向量内积或近似最近邻（ANN）搜索，具有极高的推理并发吞吐，但其将用户-物品交互局限在最末端的浅层内积，彻底丧失了捕获细粒度、目标感知（Target-aware）深度交叉特征的能力；另一端则是以 BST、HSTU 等为代表的序列 Transformer 架构，通过对用户长行为序列（UIH）执行多层自注意力并在候选物品与历史序列之间构建全量交叉注意力（Cross-Attention），显著提升了排序精度，但在测试期其实时推理复杂度与用户历史序列长度呈二次方增长（$O(N^2)$）、与候选物品数量呈线性增长（$O(M \cdot N)$），使得在生产线上同时扩大候选集和拉长历史序列变得代价高昂。

这一架构困境导致推荐系统在推进测试期扩展（Test Time Scaling）的三大关键维度——扩大候选集规模、拉长用户行为历史、提升模型容量——时陷入严重瓶颈。虽然业界探索过在双塔之上叠加浅层交互层的混合架构（如 IntTower），或采用两阶段检索压缩历史的方案（如 SIM、TWIN），但前者表达能力提升有限，后者不仅彻底丢弃了历史物品之间的自注意力关联，且第一阶段通用检索单元（GSU）的复杂度仍达 $O(M \cdot N)$。Transformer 内部的自注意力二次方瓶颈与候选-历史交叉注意力的全量在线计算，构成了制约大模型推荐系统向测试期推理性扩展演进的核心物理障碍。

本文从注意力矩阵低秩分解与信息瓶颈的理论视角切入，揭示了全量注意力矩阵中前 32 个奇异值即可捕获超 90% 信息的低秩特性，进而提出了全局链接嵌入机制。核心 idea：引入一组紧凑的全局可学习链接嵌入作为中介，在用户侧采用双向无历史自交叉的解耦 XOR 注意力实现 $O(\ell \cdot N)$ 的线性长序列建模，在候选侧将注意力键空间固定为全局链接从而支持注意力权重离线预计算与缓存，将在线单候选交互复杂度降为近乎常数级的 $O(\ell)$。

方法详解¶

整体框架¶

LIME 围绕“全局中介嵌入解耦”的核心思想构建，将传统的用户历史到候选物品端到端全量交互，重构为“用户侧链接个性化（User-Side Link Personalization）”与“候选侧解耦交互（Candidate-Side Decoupled Interaction）”两个解耦阶段。在用户侧，模型维护一组少量的全局可学习参数——链接嵌入（Link Embeddings）$L \in \mathbb{R}^{\ell \times d}$（其中 $\ell \ll N(U)$，例如 $\ell=32$）；该链接嵌入首先融合用户上下文特征生成上下文链接 $L^C$，随后通过深度序列网络聚合用户长交互历史序列 $E \in \mathbb{R}^{N(U) \times d}$，提炼出紧凑且富含个性化语义的个性化链接 $L^P$。在候选侧，候选物品 $T \in \mathbb{R}^{M(U) \times d}$ 不直接对用户历史 $E$ 寻址，而是以原始全局链接 $L$ 为键（Key）、以个性化链接 $L^P$ 为值（Value）进行注意力交互；由于 Query-Key 点积仅依赖候选物品嵌入与全局共享的静态链接 $L$，该注意力权重矩阵可完全在离线阶段预计算并存入键值缓存（QK Cache），在线评分时每个候选物品只需执行近乎常数开销的加权求和。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    subgraph Offline["离线预计算：候选物品侧"]
        direction TB
        C["全量物品库 / 候选集 T"]
        L_raw["全局共享链接嵌入 L"]
        W_pre["计算注意力权重矩阵<br/>ϕ(TL^T)"]
        Cache[("QK 权重缓存<br/>(按模型版本刷新)")]
        C --> W_pre
        L_raw --> W_pre
        W_pre --> Cache
    end

    subgraph OnlineUser["在线并行阶段：用户侧编码 (与候选召回并发)"]
        direction TB
        U_feat["用户上下文特征 E^C"]
        UIH["用户长交互历史 E<br/>(N 个历史物品)"]
        L_ctx["上下文链接嵌入<br/>L^C = MLP(L ⊕ E^C)"]
        XOR_Block["解耦 XOR 线性注意力<br/>(E 与 L^C 双向跨注意力，消除 E↔E)"]
        LP["个性化链接嵌入 L^P<br/>(ℓ 个紧凑兴趣向量)"]
        U_feat --> L_ctx
        UIH --> XOR_Block
        L_ctx --> XOR_Block
        XOR_Block --> LP
    end

    subgraph OnlineScoring["在线轻量阶段：目标交互与预测"]
        direction TB
        Lookup["从 QK 缓存检索目标权重<br/>ϕ(T_m L^T)"]
        WeightedSum["加权聚合个性化链接<br/>O_m = ϕ(T_m L^T) L^P"]
        FinalMLP["浅层交互 MLP 与预估打分<br/>p(click / engagement)"]
        Cache -->|毫秒级读取| Lookup
        LP --> WeightedSum
        Lookup --> WeightedSum
        WeightedSum --> FinalMLP
    end

关键设计¶

1. 全局链接嵌入与解耦注意力：将在线交叉注意力开销转化为离线静态查找 传统目标注意力机制（Target Attention / MHA）要求每个候选物品 $T$ 对用户所有的历史行为 $E$ 进行实时 Query-Key 点积与 Softmax 归一化，导致计算开销与候选数 $M(U)$ 和历史长度 $N(U)$ 的乘积强绑定。LIME 的关键洞见在于打破 Query、Key、Value 对同一动态实体的依赖：模型引入少量（如 $\ell=32$）全局可学习的虚拟向量 $L \in \mathbb{R}^{\ell \times d}$ 作为语义锚点。在候选侧交互中，候选物品嵌入 $T$ 作为 Query，而 Key 并非用户特定的动态向量，而是全局共享、与特定用户无关的静态链接嵌入 $L$，仅将 Value 设置为用户动态生成的个性化链接 $L^P$。此时候选侧注意力输出形式化为： $$O = \text{MHA}(T, L, L^P; J; \theta) = \phi(T L^\top) L^P$$ 其中 $\phi$ 为激活函数（如 scaled Softmax 或 SiLU），$J$ 为全 1 掩码矩阵。这一不对称设计的核心收益在于，注意力权重矩阵 $\phi(T L^\top) \in \mathbb{R}^{M(U) \times \ell}$ 的计算完全剥离了用户动态特征，仅依赖候选物品自身表征与静态全局参数 $L$。因此，对于库中的亿级物品，系统可以在模型发布时于离线批量计算其与 $\ell$ 个全局链接的关联权重，并序列化到内存 KV 缓存中。在线服务阶段，当候选集到达时，候选侧计算被退化为极速的缓存读取与维度仅为 $\ell$ 的向量加权累加，不仅单物品打分耗时完全与用户历史长度 $N(U)$ 解耦，达到常数级 $O(\ell)$ 复杂度，而且使得服务上万个候选的实时推理延迟几乎保持平坦。

2. 解耦 XOR 注意力机制：以块间双向交互消除二次方历史自注意力 为了在用户侧多层深度 Transformer（如 3 层 HSTU 结构）中聚合长期兴趣，传统架构采用因果自注意力掩码 $M_{\text{causal}}$，使历史序列内部所有 Token 彼此交互，带来 $O(N(U)^2)$ 的二次方计算灾难。LIME 提出异或注意力机制（XOR Attention, XORA），通过构造特殊的二值掩码 $M_{\text{xor}}$，彻底切断历史 Token 之间的冗余内部交互（$E \leftrightarrow E$），仅保留历史 Token 与上下文链接 Token 之间的跨块交互： $$M_{\text{xor}}[i, j] := \mathbf{1}_{i \in [0, |E|)} \wedge \mathbf{1}_{j \in [0, |E|)}$$ 该掩码在矩阵结构上呈现反角对块的激活形态，使得拼接后的序列 $X = E \oplus L^C$ 在 XORA 运算下自然分解为两个紧凑的双向交叉注意力分支： $$\text{XORA}(X, X, X; \theta) = \text{MHA}(E, L^C, L^C; J; \theta) \oplus \text{MHA}(L^C, E, E; J; \theta)$$ 具体而言，前一部分表示历史 Token $E$ 关注上下文链接 $L^C$（$E \to L^C$），利用全局链接的全局先验对单个交互进行语义调制；后一部分表示上下文链接关注全量历史行为（$L^C \to E$），将离散漫长的行为序列高效压缩到 $\ell$ 个链接表征中。通过消除 $N \times N$ 的稠密计算，XOR 注意力将单层复杂度从 $O(N(U)^2)$ 严格压缩到 $O(\ell \cdot N(U))$，实现了对万级别长历史序列的线性扩展。多层叠加的 LIME-XOR 网络通过残差与门控前馈网络（GatedMLP）逐层提炼，使得个性化链接 $L^P$ 拥有媲美全量 HSTU Transformer 的多层非线性表征深度。

3. 滑动窗口混合增强与硬件感知 Triton 核优化：兼顾局部邻域与全局感知 在极长序列建模中，用户短期的局部行为转移模式（例如连续点击同类视频）具有高度的局部连续性，仅靠全局链接可能平滑掉局部的细粒度顺序动态。LIME 进一步提出了 LIME-XOR+Window 变体，将 XOR 全局注意力掩码与局部滑动窗口注意力无缝结合。在保证线性复杂度的前提下，每个历史 Token 除了与 $\ell$ 个全局链接交互外，还允许与其前后 $\ell$ 个局部邻近 Token 发生局部自注意力，使单 Token 的上下文视野扩展为 $2\ell$ 个关键依赖。为了最大化 GPU 硬件吞吐，作者为 XOR 注意力开发了专用的 Triton 算子，采用分块查询范围选择（Block Range Selection）技术：在加载 Query 块时，判断其若纯粹属于源序列（历史）则跳过内部块加载、直接定向加载目标键值（链接），反之亦然；这使得计算与访存完全绕过了掩码为 0 的历史自注意力大块，消除了无谓的张量核心（Tensor Core）空转与全局内存带宽消耗，前向与反向传播的算子级加速显著超越标准 FlashAttention 实现。

一个完整示例¶

以某大型短视频推荐平台在实际生产环境中的完整处理流程为例： 1. 离线预处理阶段：线上维护 $\ell=32$ 个 256 维的全局共享链接向量 $L$。对于库中某短视频候选物品 $c$（例如一段“长跑训练技巧”视频），离线通过物品塔计算得到嵌入 $T_c \in \mathbb{R}^{256}$，并计算其与全局链接 $L$ 的相似度权重 $\phi(T_c L^\top) \in \mathbb{R}^{32}$。测试发现该视频在 Link 30（体育运动类主题）和 Link 2（长视频类形式）上权重显著偏高（分别为 0.42 和 0.35），其余主题接近 0。系统将该 32 维权重以 Int8 格式写入 QK Cache，每 5 分钟随模型迭代在内存中轻量重建。 2. 在线用户侧编码：用户 $U$ 触发请求，其具有长达 $N=1024$ 的交互历史 $E$ 及环境上下文 $E^C$（设备型号、地理位置、时段）。系统将 32 个全局链接融合 $E^C$ 生成上下文链接 $L^C$，随后在 3 层 LIME-XOR 结构下与 1024 个历史行为执行双向线性注意力。由于此计算仅需在用户级别执行一次，且能与召回检索候选集的网络 RPC 完全并发执行，其推理延迟被完全掩盖，最终产出 32 个 256 维的个性化链接 $L^P$。 3. 在线轻量级候选聚合：检索模块返回 $M=10,000$ 个候选物品。对候选视频 $c$，系统无需再逐一回溯 1024 步历史，直接以 $O(1)$ 复杂度从本地 QK Cache 读取对应的 32 维权重向量 $[w_1, \dots, w_{32}]$，并与用户当前的 $L^P \in \mathbb{R}^{32 \times 256}$ 进行加权累加，得到聚合后的目标交互表征 $O_c = \sum_{k=1}^{32} w_k L^P_k \in \mathbb{R}^{256}$。 4. 快速预估打分：生成的交互向量 $O_c$ 喂入浅层 MLP 打分器，耗时仅 0.16 毫秒即可完成预测，既完整吸收了 1024 步历史中与体育训练相关的长期偏好，又规避了传统 Transformer 在万级候选下的计算爆炸。

损失函数 / 训练策略¶

LIME 针对工业界多任务推荐需求，采用标准多目标二值交叉熵（Multi-Task Cross-Entropy）端到端联合优化，例如同时建模完播率（Video Completion, VC）与观看时长（Watch Time, WT）： $$\mathcal{L} = \sum_{k \in \{\text{VC}, \text{WT}\}} \lambda_k \left( - \sum_{i=1}^B \left( y_i^{(k)} \log p_i^{(k)} + (1 - y_i^{(k)}) \log (1 - p_i^{(k)}) \right) \right)$$ 在网络架构与训练稳定性方面，针对 Query-Key 投影层，在进行线性映射前严格施加 Layer Normalization，防止深层反向传播中向量模长无序漂移导致 Softmax/SiLU 注意力权重崩溃；全局链接嵌入 $L$ 初始化自均值为 0、方差为 1 的标准正态分布，以鼓励初始语义的多样性探索；单层 MHA 实验采用 scaled Softmax，而在深层多层 Transformer 中采用 SiLU 作为注意力激活函数 $\phi$；在千亿级工业流式数据上采用单轮流式训练（Streaming Single-Pass），学习率设置为 $4 \times 10^{-4}$，批大小为 1024。

实验关键数据¶

主实验¶

论文在大型工业流式推荐数据集（超 1000 亿条真实交互样本）以及公开基准数据集（KuaiRand-1K，序列长度 256；Taobao-Ad，序列长度 50）上进行了系统评测。工业数据集以归一化熵（Normalized Entropy, NE，越低越好）衡量完播率，以 AUC 衡量观看时长；公开数据集以点击 AUC 衡量。

下表详细汇总了工业推荐平台离线、线上 A/B 测试以及公开数据集的主实验结果：

模型架构	工业离线 VC NE 变化	工业离线 WT AUC 变化	线上 A/B VC 贡献率提升	线上 A/B WT 贡献率提升	KuaiRand-1K Click AUC	Taobao-Ad Click AUC	单候选交互复杂度
TTSN (双塔基线)	基准 (0.00%)	基准 (0.00%)	基准 (0.00%)	基准 (0.00%)	0.7389 (+0.00%)	0.6452 (+0.00%)	$O(1)$ (点积)
DIN (目标注意力)	-	-	-	-	0.7404 (+0.20%)	0.6468 (+0.25%)	$O(N)$
SASRec (序列 Transformer)	-	-	-	-	0.7419 (+0.41%)	0.6462 (+0.15%)	$O(N)$
Truncated MHA	-	-	-	-	0.7351 (-0.51%)	0.6456 (+0.06%)	$O(\ell)$
LREA (Linformer 风格)	-	-	-	-	0.7408 (+0.26%)	0.6447 (-0.08%)	$O(N)$
LIME-MHA (单层解耦)	-0.72%	+0.46%	+28.6%	+22.1%	0.7433 (+0.60%)	0.6465 (+0.20%)	$O(\ell)$ (离线缓存)
MHA Skyline (天花板)	-0.73%	+0.53%	无法上线 (延迟超标)	无法上线 (延迟超标)	0.7428 (+0.53%)	0.6464 (+0.19%)	$O(N)$ (不可缓存)
LIME-XOR (3层XOR解耦)	-1.04%	+0.76%	+37.9%	+28.6%	0.7448 (+0.80%)	0.6467 (+0.23%)	$O(\ell)$ (离线缓存)
LIME-XOR+Window (窗口混合)	-1.11%	+0.80%	-	-	0.7453 (+0.87%)	0.6468 (+0.25%)	$O(\ell)$ (离线缓存)
HSTU Skyline (3层HSTU天花板)	-1.06%	+0.77%	无法上线 (延迟超标)	无法上线 (延迟超标)	0.7444 (+0.74%)	0.6475 (+0.36%)	$O(N)$ (不可缓存)

注：MHA Skyline 与 HSTU Skyline 由于候选集膨胀带来的高昂计算延迟，在工业生产环境中无法直接部署上线。在工业平台的千万级真实用户线上 A/B 测试中，LIME-XOR 驱动的候选排序在全平台大盘实现了用户总停留时长（Watch Time）+0.375%（90% 置信区间 [0.205%, 0.545%]）、正向互动指标 +0.233% 的显著正向收益。

消融实验与候选侧扩展基准¶

下表汇总了 LIME-XOR 模块级消融（KuaiRand-1K 数据集）以及关键候选侧推理延迟与存储开销基准（NVIDIA PG509-210 Ampere GPU 测量）：

消融配置 / 架构变体	KuaiRand AUC	复杂度机制	候选侧 10k 候选 BF16 延迟 (ms)	100M 物品 Int8 缓存大小	核心结论与机制表现
LIME-XOR (完整模型)	0.7448	$O(N\ell + M\ell)$	0.162 ms	12.8 GB (32 links)	完整保留解耦 QK 结构与多层 XOR 交互
w/ Link Pooling (求和池化)	0.7400	$O(N\ell + M)$	-	-	丢弃解耦候选注意力，退化为粗粒度池化导致严重掉点 (-0.0048)
w/ Dot Product (纯内积)	0.7404	$O(N\ell + M\ell)$	-	-	仅对候选与链接做点积拼接送入 MLP，表达力不足
LIME-MLP (全连接替代)	0.7407	固定长度 MLP	-	-	无法自适应变长历史序列，掉点显著
LIME-XOR-MLP Hybrid	0.7442	混合解耦网络	-	-	用户侧保留 XOR，候选侧用 MLP 学习权重，略微逊色于 QK 注意力
Linear Transformer 基线	0.7423	$O(NM)$	-	-	缺乏目标解耦，在线不可缓存，候选侧计算昂贵
Longformer 基线	0.7443	$O(NM)$	-	-	仅优化自注意力，交叉注意力依然随 $M$ 线性放大
LREA (Linformer 基线)	0.7408	$O(NM)$	-	-	低秩投影损失过多长程细粒度信息

此外，在候选集扩展延迟测试中，随着候选数从 16 激增至 65,536，HSTU Skyline 的推理延迟从 3.60 秒急剧恶化到 23.83 秒，而 LIME-MHA 仅从 0.84 秒微增至 1.35 秒，LIME-XOR 仅从 2.62 秒平缓上升至 5.95 秒，展现出高并发召回与粗排场景下的常数级可扩展优势。

关键发现¶

低秩瓶颈的充分性验证：SVD 奇异值分解实验证明，HSTU 注意力矩阵前 32 个奇异值承载了超过 90% 的方差能量；而 LIME 学习得到的 32 个全局链接在特征空间呈现完全满秩的良好正交性，并且与全量 MHA 的注意力分布 Jensen-Shannon 散度仅为 0.055，余弦相似度达到 0.915，验证了 32 个链接足以无损表达复杂交互。
解耦结构对变长历史的鲁棒性：消融表明将解耦注意力降级为 MLP、均值池化或简单内积均会导致 AUC 显著暴跌（降幅超 0.4%），证明基于 Query-Key 相似度的目标感知机制是捕获变长行为相关性的核心。
测试期扩展律（Scaling Law）的涌现：当历史序列从 1k 扩展到 4k 时，必须配合将链接数从 32 扩充至 256 才能完全释放性能红利（VC NE 获得 -0.55% 巨大增益）；单纯堆叠模型深度（从 3 层加深至 12 层）亦能带来稳定的 NE 改善（-0.38%），表明解耦架构兼具类似通用大语言模型的算力扩展潜能。

亮点与洞察¶

解耦不对称 Key 空间的构思极为精妙：将交叉注意力中的 Key 替换为全局静态链接向量，把通常与动态用户强绑定的 Query-Key 交互剥离为静态物品侧属性，这一设计以几乎为零的理论损失换取了全局注意力的离线可缓存性，在工业级大系统架构中具备极高的工业落地价值。
XOR 注意力重新定义了序列-中介交互：常规分块注意力或压缩方法往往需要昂贵的局部与全局折衷，而 XOR 掩码直接从拓扑上剥除二次方的 $E \leftrightarrow E$ 稠密计算，仅通过双向瓶颈式交互完成全局语境广播与用户兴趣提取，在 Triton 算子层实现了真正的访存跳过与极致加速。
通用的测试期交互降维范例：该方法本质上提供了一种将“动态上下文与海量候选交叉检索”降维为“动态低秩状态提取 + 静态候选基底映射”的通用模式，不仅适用于短视频推荐与广告排序，还可直接借鉴于检索增强生成（RAG）、多模态图文初筛以及对话式记忆检索等泛推荐/搜索场景。

局限与展望¶

强依赖低秩假设与均匀兴趣分布：模型性能立足于用户兴趣能够被少量（$\ell=32$）离散链接向量充分覆盖的假设；对于长尾场景中兴趣极度碎片化、频繁漂移的超级重度用户，固定规模的链接向量可能成为表征瓶颈。
离线缓存的更新开销与冷启动约束：QK 缓存需要随着物品特征的演进与新物料的流入进行周期性全量/增量刷新（文中每 5 分钟在内存重建一次）；对于海量实时冷启动物品，由于缺乏预计算权重，必须回退至在线即时内积计算，增加了边缘情况下的系统复杂度。
未来演进方向：作者指出可探索构建更大规模的链接嵌入池（如数千个链接），并在用户侧根据实时上下文特征动态路由激活特定的稀疏链接子集（Mixture-of-Links）；此外，将该框架推广至跨模态图文内容特征对齐与跨域冷启动迁移亦是重要探索方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (巧妙提出解耦 Key 空间实现离线 QK 缓存，并提出硬件友好的 XOR 线性自注意力掩码)
实验充分度: ⭐⭐⭐⭐⭐ (涵盖千亿级工业流式数据、多项公开数据集、真实全平台千万用户在线 A/B 测试、详尽的 GPU 微基准与 SVD 谱分析)
写作质量: ⭐⭐⭐⭐⭐ (架构脉络极度清晰，数学推导、Triton 算子伪代码与硬件访存瓶颈分析完备深刻)
价值: ⭐⭐⭐⭐⭐ (为大规模工业推荐系统冲破测试期算力墙、扩展超长历史与海量候选提供了突破性落地范式)

消融配置 / 架构变体	KuaiRand AUC	复杂度机制	候选侧 10k 候选 BF16 延迟 (ms)	100M 物品 Int8 缓存大小	核心结论与机制表现
LIME-XOR (完整模型)	0.7448	\(O(N\ell + M\ell)\)	0.162 ms	12.8 GB (32 links)	完整保留解耦 QK 结构与多层 XOR 交互
w/ Link Pooling (求和池化)	0.7400	\(O(N\ell + M)\)	-	-	丢弃解耦候选注意力，退化为粗粒度池化导致严重掉点 (-0.0048)
w/ Dot Product (纯内积)	0.7404	\(O(N\ell + M\ell)\)	-	-	仅对候选与链接做点积拼接送入 MLP，表达力不足
LIME-MLP (全连接替代)	0.7407	固定长度 MLP	-	-	无法自适应变长历史序列，掉点显著
LIME-XOR-MLP Hybrid	0.7442	混合解耦网络	-	-	用户侧保留 XOR，候选侧用 MLP 学习权重，略微逊色于 QK 注意力
Linear Transformer 基线	0.7423	\(O(NM)\)	-	-	缺乏目标解耦，在线不可缓存，候选侧计算昂贵
Longformer 基线	0.7443	\(O(NM)\)	-	-	仅优化自注意力，交叉注意力依然随 \(M\) 线性放大
LREA (Linformer 基线)	0.7408	\(O(NM)\)	-	-	低秩投影损失过多长程细粒度信息