Improve Language Model and Brain Alignment via Associative Memory¶

会议: ACL 2025
arXiv: 2505.13844
代码: GitHub
领域: 认知神经科学 / 语言模型
关键词: brain alignment, associative memory, fMRI, 指令微调, GPT-2, LLaMA-2

一句话总结¶

通过模拟联想记忆对文本进行数据增强，以及对 LLM 进行联想记忆指令微调，本文证明两种方式均能显著提升语言模型与人脑在语音理解任务中的对齐程度，尤其在内侧颞叶等联想记忆相关脑区。

核心问题: 语言模型的激活可以线性映射到人脑 fMRI 活动（即 brain score），但现有研究很少探索联想记忆在这种对齐中的作用。联想记忆是人类语言理解的关键认知过程，能够将相关概念和信息联系起来。
研究动机: 人类在听故事时会自动进行联想（如听到"医院"联想到"医生""护士"），而语言模型缺乏这种机制。如果在模型输入中模拟联想记忆内容，或训练模型生成联想内容，是否能提升模型与大脑的对齐？
两个研究问题: ① 模拟联想记忆（数据增强）是否能提升 brain score？② 指导 LLM 生成联想内容（指令微调）是否能提升 brain score？

三阶段实验设计：Brain Score 计算（基线对齐度）→ 联想记忆数据增强（模拟联想内容）→ 指令微调（训练 LLM 生成联想内容）。使用 Narratives fMRI 数据集，包含 345 名被试听 27 个英文故事的 fMRI 记录。

Brain Score 计算: 选用自回归模型（GPT-2 / LLaMA-2），提取各层激活，通过 FIR 模型对齐时间维度，使用 Ridge 回归将模型激活映射到 fMRI 信号，Pearson 相关系数作为 brain score。创新性地设计了 brain score ceiling test，用一半被试预测另一半以评估可解释上限。
联想记忆数据增强: 将原始文本扩展为包含联想内容的增强文本。两种粒度——句子级（完整语义句）和词级（名词/形容词/动词短语）；两种标注方式——人工标注（人决定在哪里添加联想）和 GPT-4 标注（每 4 句自动生成联想）。设计随机增强作为对照组证明提升源于联想记忆而非数据量。
指令微调 (Association 数据集): 构建 1000 样本的 Association 数据集，输入为故事段落+鼓励联想记忆的指令，输出为联想内容。使用 LoRA 和冻结层微调两种方式对 LLaMA-2 进行 SFT，微调后重新计算 brain score。

Associative Memory Score: \(\mathcal{F}(X^{(l)}) = \mathcal{R}(X_{mem}^{(l)}) - \mathcal{R}(X^{(l)})\)
Instruction Tuning Score: \(\mathcal{M}(X^{(l)}) = (\mathcal{R}(X_{sft}^{(l)}) - \mathcal{R}(X^{(l)})) / \mathcal{R}(X^{(l)})\)

模型	最佳层	最高 Brain Score
GPT-2	第 9 层 (of 12)	0.126
LLaMA-2	第 14 层 (of 32)	0.146

LLaMA-2 因参数量更大、训练数据更多，对齐度更高。左脑半球 brain score 高于右脑。

方法	MTL 脑区提升	顶叶区提升
LoRA	2%—7%	50%—60%
冻结层微调	2%—7%	50%—60%