跳转至

CoreMem: Riemannian Retrieval and Fisher-Guided Distillation for Long-Term Memory in Dialogue Agents

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/CJQ6661999/CoreMem-Code
领域: LLM推理
关键词: 长程对话记忆, 黎曼流形检索, Fisher信息蒸馏, 边缘计算, 信息几何

一句话总结

针对端侧设备有限显存算力与云端 API 线性成本的双重瓶颈,CoreMem 基于统一的信息几何理论,提出带 Woodbury 加速的 Fisher-Rao 黎曼度量检索与带语法保护的 Fisher 引导离散 Token 蒸馏,在严格 8 GB VRAM 预算下大幅提升开放域与时序推理准确率。

研究背景与动机

构建具备个性化、跨多会话长期一致记忆能力的对话智能体,已成为大语言模型从云端向端侧边缘设备(如配备 8–16 GB RAM 与 6–12 GB 显存的消费级笔记本电脑)渗透的核心诉求。然而,工业界普遍采用的“上下文平铺”(Context Stuffing)做法在数学与经济层面均不可持续:不仅多轮交互中云端 API 的计费成本随 token 长度线性飙升,无节制拉长的提示词还会引发严重的注意力位置偏差与“迷失在中间”(Lost-in-the-Middle)幻觉。当用户在配备 8 GB 显存的 RTX 4060 笔记本上部署本地嵌入与压缩模型,并将推理委托给云端 API 时,仅一个基准编码器就占用约 3 GB 显存,留给记忆索引与压缩管道的物理显存极度狭窄。现有的 MemGPT、MemoryBank 及 Mem0 等框架大多基于服务级服务器架构假设,缺乏在端侧资源极限下维持长程记忆的算法节俭性。

现有端侧记忆与压缩体系主要受困于三大理论与工程断层。首先,传统检索广泛依赖的各向同性余弦相似度在千维以上高维向量空间中存在固有的“中心点枢纽”(Hubness)缺陷:语言模型表示空间天然坍缩为狭窄锥体,导致极少数高方差方向的中心向量在最近邻列表中过度泛滥,彻底淹没了处于几何外围但包含核心事实的尾部记忆。其次,主流提示词压缩算法(如 LLMLingua2、SelectiveContext)主要依赖浅层自信息或启发式分类规则,缺乏可证明的语义损失理论上界,在端侧极低 token 预算下极易出现试错式不可控衰退。最后,记忆检索与上下文压缩往往被割裂为两个独立目标,导致前置检索出的多跳关键事实在后置压缩中丢失语法连接词,造成破坏性的级联断链。

为打破上述瓶颈,必须建立一套兼具显存友好(≤8 GB VRAM)、时间友好(检索近乎零感知延迟)与 Token 友好(本地压缩降低 API 传输)的严谨理论框架。核心 idea:将记忆检索与离散压缩统一在信息几何视角下,通过基于数据协方差逆矩阵的局部自适应 Fisher-Rao 黎曼度量重塑流形并压制枢纽效应,并借助局部小模型的对角 Fisher 信息阵迹建立带 KL 散度上界约束与句法结构保护的分层 Token 蒸馏。

方法详解

整体框架

CoreMem 采用端云协同解耦范式:在端侧设备上,首先利用轻量编码器生成稠密向量并维护本地向量库,通过带有 Woodbury 恒等式加速的黎曼度量计算与残差余弦融合快速召回 top-\(k\) 历史记忆;接着利用参数冻结的本地小语言模型(SLM)执行 Fisher 引导的离散 Token 蒸馏,将上下文在本地裁剪至严苛预算 \(B\);最后通过安全通道仅将高密度的精炼上下文传输至云端黑盒 LLM 生成最终回答。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户多轮查询与历史记忆库"] --> B["1. 黎曼流形检索与Woodbury加速<br/>Fisher-Rao度量·低秩SVD逆协方差·O(Ndr)复杂度"]
    B --> C["2. 残差度量融合机制<br/>z-score归一化·局部几何与全局语义插值"]
    C --> D["3. 费歇尔引导离散Token蒸馏<br/>对角FIM迹敏感度·KL散度误差界"]
    D --> E["4. 结构语法先验与分层句子蒸馏<br/>句首尾骨架保护·关键词/标点增益·局部补洞"]
    E --> F["端云协同通信<br/>高信息密度Payload传输·降低API开销"]
    F --> G["云端LLM确定性生成结果"]

关键设计

1. 黎曼流形检索与Woodbury加速:解决各向同性余弦度量在高维空间的中心点聚集(Hubness)痛点

针对高维嵌入空间各向异性导致少数高频枢纽向量支配最近邻列表、排挤几何外围关键事实的问题,该设计将记忆向量建模为统计流形上的高斯分布均值,以流形曲率驱动的局部自适应 Fisher-Rao 距离取代标准欧氏/余弦度量。根据信息几何性质,高斯分布下的 Fisher-Rao 距离可显式简化为马氏距离(Mahalanobis Distance),其度量张量对应于记忆表征的经验协方差逆矩阵 \(\Sigma^{-1}\)。为在端侧避免传统协方差求逆高昂的 \(\mathcal{O}(d^3)\) 计算代价,系统先对向量进行 \(L_2\) 归一化并估计经验维度方差 \(\sigma^2 = \text{Var}(\{h_i\}_{i=1}^N)\),引入对角平滑项 \(D = \text{diag}(\sigma^2 + \lambda)\)(其中自适应岭参数 \(\lambda = 10 \cdot \text{mean}(\sigma^2)\)),并通过奇异值分解(SVD)提取能够解释 \(\tau = 0.95\) 累积方差的最小低秩投影基 \(V_r \in \mathbb{R}^{d \times r}\)(\(r \le 100\))。借助 Woodbury 矩阵恒等式,协方差逆矩阵被精准展开为: $$ \Sigma^{-1} = D^{-1} - D^{-1} V_r \left( M_r^{-1} + V_r^\top D^{-1} V_r \right)^{-1} V_r^\top D^{-1} $$ 在检索时刻,查询向量与记忆的距离映射仅需 \(\mathcal{O}(Ndr)\) 浮点运算量。拉长的椭球几何空间拉平了高方差维度、拉伸了坍缩维度,将过度聚集的虚假中心向量排挤至邻域之外,从而使原本深埋在流形低方差边缘的细粒度尾部事实重新显露。

2. 残差度量融合机制:解决纯黎曼检索对全局语义枢纽事实捕获不足的失衡问题

虽然各向异性黎曼度量在挖掘长尾事实方面具备理论与精度优势,但在多跳逻辑推理与背景交待中,某些天然具备桥接属性的语义中心信息(Bridge Facts)依旧需要全局语义对齐支撑。为兼顾局部几何敏感性与全局语义拓扑,该模块引入残差融合插值机制。对于当前查询 \(q\) 与记忆表征 \(h\),首先分别计算余弦相似度与黎曼相似度,并对其执行样本级 z-score 归一化以抹平数值量纲差异: $$ \text{score}(q, h) = \alpha \cdot \text{norm}(\text{sim}{\text{cos}}) + (1 - \alpha) \cdot \text{norm}(\text{sim}) $$ 实验在验证集与主干对比中固定权重 }\(\alpha = 0.5\)。该凸组合机制有效构建了双轨检索漏斗,既保留了余弦度量在多跳桥接场景下的概括能力,又借助黎曼残差补正精准召回细粒度时序与实体线索,消除了单一指标带来的极端拓扑偏置。

3. 费歇尔引导离散Token蒸馏:解决无理论界启发式上下文裁剪导致的语义失真问题

为在有限 Token 预算 \(B\) 下向云端传输最高信息密度的内容,该模块通过冻结权重的端侧轻量小语言模型 \(p_\phi\) 构造离散掩码 \(m \in \{0, 1\}^N\)。系统避开难以穷举的组合优化与高显存全协方差 Fisher 矩阵,采用一阶泰勒展开与对角 Fisher 信息矩阵(FIM)近似,单次反向传播即可获取语言建模损失对输入嵌入的梯度 \(\nabla_{h_i} \mathcal{L}\),并将各 token \(x_i\) 的敏感度定义为其迹的范数: $$ S(x_i) = |\nabla_{h_i} \mathcal{L} \odot h_i|2^2 \approx \text{Tr}\left( \mathcal{I} H_i H_i^\top \right) $$ 在此基础上严格推导了蒸馏误差界定理:若本地蒸馏器 }\(\phi\) 满足局部 \(L\)-Lipschitz 连续性条件,按敏感度 \(S(x_i)\) 升序贪心丢弃 token 时,模型输出概率分布诱导的 KL 散度严格受丢弃 token 敏感度之和约束:\(D_{\text{KL}}(p_\phi(Y|X) \| p_\phi(Y|\tilde{X})) \le \mathcal{O}(L^2 \sum_{m_i=0} S(x_i))\)。这一性质从数学上为端侧 Token 剪枝确立了明确的损失下界,使语义保真度摆脱了传统启发式规则的无序试错。

4. 结构语法先验与分层句子蒸馏:解决稀疏梯度对自然语言句法连词的盲目裁剪问题

尽管对角 Fisher 信息准确表征了损失流形曲率,但因注意力权重的极度稀疏性,模型反向梯度往往过度聚焦于孤立实体,而将“because”、“although”等关键逻辑连词赋予接近于零的敏感度,直接导致上下文逻辑断裂。该设计将结构化语法先验叠加至原始敏感度上进行乘法校准:\(S_{\text{final}}(x_i) = S_{\text{smooth}}(x_i) \times \text{decay}(x_i) \times \max(M_{\text{syntax}}, M_{\text{content}})\)。具体而言,为逻辑连词赋予 1.2 倍增益,为换行与句末标点赋予 1.3–1.5 倍保护,为数字和专有名词赋予 1.3–1.4 倍权重,并随对话轮次深度按 1.0 至 0.6 施加时序线性衰减。同时推行分层句子级蒸馏:先按会话轮次切分句子,对长度大于 8 的长句强行锁定前三与后三词以维护主谓宾语法骨架,仅在句中冗余区间进行低分丢弃;后处理阶段若两个保留 token 距离 \(\le 3\),则自动触发局部间隙回填(Local Gap Filling),彻底根除了碎片化乱码输入对云端大模型推理的负面干扰。

损失函数 / 训练策略

CoreMem 的端侧检索与压缩模块完全采用免微调(Zero-shot / Frozen-weight)的在线推断设计。蒸馏器采用冻结权重的轻量因果语言模型(默认 Qwen3-0.6B,亦可无缝切换 SmolLM2-360M 或 Llama-3.2-1B),仅需一次前向计算交叉熵损失 \(\mathcal{L} = \text{CrossEntropy}(\text{logits}, X)\) 并向输入嵌入反传计算 \(\nabla_H \mathcal{L}\),所有参数无需参数更新。低秩 SVD 矩阵与 Woodbury 核参数随本地记忆库动态增量维护(秩 \(r \le 100\)),端侧单次处理耗时约 1 秒,相较于云端 API 的数十秒延迟近乎可以忽略。

实验关键数据

主实验

评估在 LOCOMO(1,542 QA,涵盖单跳、多跳、时序、开放域及对抗对抗测试)与 LongMemEval-S(266 QA,跨远距离长多会话聚合)两个基准上展开。评测核心指标包括严格二值化 LLM-as-a-Judge 准确率(GPT-4o-mini,temperature=0.0,判定输出是否以 yes 开头)、ROUGE-L 及 Hit@10。

LOCOMO 跨编码模型端到端对比结果如下(PTok = 提示词 Token 消耗总量,Time = 评测总耗时秒数):

检索与记忆系统 编码器配置 ROUGE-L Hit@10 开放域 Judge↑ 时序推理 Judge↑ 综合 Judge↑ 提示词Tokens
NaiveRAG all-MiniLM-L6 (384-d) 0.215 0.515 0.678 0.427 0.503 2.05M
Mem0 all-MiniLM-L6 (384-d) 0.216 0.515 0.679 0.406 0.503 2.05M
MemoryOS all-MiniLM-L6 (384-d) 0.215 0.517 0.678 0.417 0.501 2.05M
MemoryBank all-MiniLM-L6 (384-d) 0.079 0.164 0.113 0.229 0.097 2.47M
CoreMem-Fusion all-MiniLM-L6 (384-d) 0.227 0.532 0.723 0.469 0.540 2.09M
NaiveRAG gte-Qwen2 (1536-d) 0.227 0.536 0.715 0.448 0.531 2.36M
Mem0 gte-Qwen2 (1536-d) 0.226 0.536 0.718 0.438 0.533 2.36M
MemoryOS gte-Qwen2 (1536-d) 0.223 0.529 0.710 0.458 0.529 2.36M
MemoryBank gte-Qwen2 (1536-d) 0.076 0.146 0.112 0.250 0.099 2.34M
CoreMem-Fusion gte-Qwen2 (1536-d) 0.222 0.510 0.722 0.458 0.536 2.30M

在 LongMemEval-S(266 QA,MiniLM-L6 编码器)跨基准评测中,CoreMem-Fusion 同样斩获最高分数:

记忆系统 综合 Judge↑ 多会话 (MS-Jdg)↑ 时序推理 (TR-Jdg)↑ 提示词Tokens 输出Tokens 端到端耗时(s)↓
NaiveRAG 0.436 0.541 0.331 2.68M 13.0K 711.9
Mem0 0.444 0.556 0.331 2.68M 13.4K 703.2
MemoryOS 0.406 0.489 0.323 2.54M 13.0K 633.9
MemoryBank 0.327 0.308 0.346 0.56M 7.9K 5952.3
CoreMem-V3-Pure (\(\alpha=0\)) 0.440 0.556 0.323 2.51M 13.0K 631.7
CoreMem-V3 (\(\alpha=0.9\)) 0.432 0.526 0.338 2.66M 12.9K 632.2
CoreMem-Fusion (\(\alpha=0.5\)) 0.462 0.571 0.353 2.58M 13.1K 659.2

消融实验

针对 FDTD 的句法结构保护模块在 LOCOMO Temporal QA(96 QA,MiniLM-L6)上的详细消融数据如下:

配置与预算 ROUGE-L Hit@1 Hit@10 配置说明
Full Model (B=1000) 0.1245 0.0938 0.3750 完整 FDTD 模型
- SentLvl (B=1000) 0.1263 0.0938 0.3750 移除分层句子级框架(纯全局贪心丢弃)
- Keyword (B=1000) 0.1283 0.0938 0.3750 移除逻辑连词 1.2× 增益
- Punct (B=1000) 0.1307 0.0938 0.3750 移除标点符号 1.3–1.5× 保护
- GapFill (B=1000) 0.1308 0.0000 0.0521 移除局部间隙回填(Hit@1 出现毁灭性雪崩)
Full Model (B=500) 0.1219 0.0208 0.0833 预算减半标准测试
- Content (B=500) 0.1112 0.0938 0.3750 移除实体大写词与数字增益(ROUGE-L 明显受损)
- TurnDecay (B=500) 0.1121 0.0938 0.3750 移除会话轮次深度线性衰减
Full Model (B=250) 0.0938 0.0938 0.3750 极端饥饿预算测试
- Content (B=250) 0.0898 0.0938 0.3750 极端条件下实体移除使词汇重合度降至极低

在统一检索输入下的压缩压力测试对比中(NaiveRAG 统一检索,预算 1000,CA 为条件准确率,AR 为模型一致性比率): - 简单截断(Truncation):CA 0.9268,AR 0.9167,压缩后 Token 比率 75.3% - SelectiveContext:CA 0.9268,AR 0.9479,压缩后 Token 比率 74.1% - LLMLingua2:CA 0.9512,AR 0.9375,压缩后 Token 比率 68.7% - CoreMem (Qwen3-0.6B):CA 0.9512,AR 0.9479,压缩后 Token 比率 68.6% - CoreMem (SmolLM2-360M):CA 0.9756,AR 0.9688,压缩后 Token 比率降至最极致的 67.4%

关键发现

  • 间隙回填与语法保护是离散语言的生命线:消融表明,禁用局部间隙回填(GapFill)会直接导致 Hit@1 从 0.0938 跌至 0.0000。这是因为纯数学导向的梯度敏感度会挑选出孤立不连贯的单字,若无间隙词粘合,这些碎词完全无法支撑云端 LLM 进行自回归推理。
  • 度量互补拓扑规律:纯黎曼检索(\(\alpha = 0\))在需要挖掘隐蔽尾部记忆的开放域问答(Open-domain)上超越纯余弦 3.0 个百分点,而在具有显著全局桥接特征的时序问答(Temporal)上,带强余弦倾向的配置(\(\alpha = 0.9\))则具备相对优势。采用中庸权重的 CoreMem-Fusion(\(\alpha = 0.5\))通过两极互补在所有子类目上均取得最佳平衡。
  • 小模型边缘赋能价值:黎曼度量对低维小编码器的提升幅度(MiniLM-L6 上 Judge +3.70 pp)显著大于高端大编码器(gte-Qwen2 上仅 +0.5 pp)。由于 gte-Qwen2 仅编码器本身就占去 5.9 GB 显存,无法满足 8 GB 端侧严苛预算;而 MiniLM-L6 全套管道显存峰值仅 3.2 GB,这证明黎曼修正有效延长了轻量级端侧编码器的能力上限。

亮点与洞察

  • 信息几何对检索与压缩的优雅统一:将检索视为高斯流形在逆协方差张量下的测地线马氏距离计算,将压缩视为基于对角 Fisher 阵迹的曲率扰动极小化,用一套理论打通了端侧上下文生命周期。
  • Woodbury 矩阵代数加速工程落地:通过低秩 SVD 截断与 Woodbury 恒等式,将原本不可接受的 \(\mathcal{O}(d^3)\) 协方差逆运算转化为 \(\mathcal{O}(Ndr)\) 实时检索算子,让高深的信息几何理论首次具备了在端侧实时交互的实用价值。
  • 词汇重叠与语义逻辑的解耦认知:揭示了 ROUGE-L 与 LLM Judge 之间仅有约 0.56 的弱相关性。极端压缩下即便保住了实体(ROUGE 虚高),若丢失了句法因果连词,LLM 依然完全无法推理,警示了评测指标陷阱。

局限与展望

  • 极端预算瓶颈:在极度匮乏的压缩预算(\(B \le 250\))下,包含 FDTD 在内的所有神经压缩器表现均会退化甚至劣于朴素截断,表明参数量在 0.6B–1B 的端侧蒸馏器对极小上下文的语义重构能力存在天然上限。
  • 语种与流形假设边界:现有实验完全局限于英语环境,依赖空格与标点词缀规则的句法保护先验在形态复杂的黏着语或无空格语言(如汉语、日语)中的通用性有待进一步适配。
  • 超大规模索引扩展:虽然 Woodbury 将检索复杂度降为 \(\mathcal{O}(Ndr)\),但当历史记忆规模突破 \(N > 100,000\) 条目时,端侧纯内存线性扫描仍会面临延迟挑战,未来需探索黎曼度量在分级层次化聚类或量化向量索引中的拓展。

相关工作与启发

  • vs MemGPT / MemoryBank / Mem0: 后者均依赖各向同性余弦检索配合服务端大内存分页或遗忘衰减机制,缺乏严谨几何理论且对端侧 8 GB 显存不友好;CoreMem 通过黎曼流形变形矫正中心点聚集问题,并在纯端侧实现毫秒级低功耗推断。
  • vs LLMLingua2 / SelectiveContext: 后者依赖小型模型的分类预训练或纯自信息指标,缺乏严密的泛化损失界;CoreMem 推导了受 Fisher 阵迹显式约束的 KL 散度上界,并通过句法先验弥补了纯梯度估计对结构连词的盲区。
  • vs CSLS / Inverted Softmax: 后两者属于在余弦检索后的启发式列表重排序后处理方案;CoreMem 则从流形基础度量层直接重塑几何空间,在消除枢纽偏置的彻底性上明显占优。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从信息几何与 Fisher-Rao 流形视角统一对话长记忆检索与离散上下文压缩,理论完备且推导扎实。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖双基准多维度评测、消融实验、极端压缩压力测试、全硬件配置显存耗时分析及失败案例剖析。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念论证层层递进,数学证明与工程实现细节交相辉映,反思与局限坦诚深刻。
  • 价值: ⭐⭐⭐⭐⭐ 为轻量级端侧设备部署终身学习智能体扫清了关键算法与显存障碍,具备极其广阔的边缘应用前景。