Illusory Pattern Perception Drives Spurious Inference in Large Language Models¶
会议: NeurIPS 2026
arXiv: 2610.07791
代码: https://github.com/
领域: Reasoning
关键词: 虚假模式感知, 虚假相关, 阴谋论信念, 稀疏自编码器, 特征转向
一句话总结¶
本文首次系统探究了大语言模型中的“虚假模式感知”（在随机或无关数据中强行寻找规律）现象，通过心理学实验范式证实大模型比人类表现出更强的虚假关联与因果强加倾向，并基于稀疏自编码器揭示了整体频次感知与分析性认知取向的表征机制。
研究背景与动机¶
在人类认知心理学中，“虚假模式感知”（Illusory Pattern Perception, IPP）是一种在客观随机或不充分的数据中感知到有意义关联与因果结构的普遍认知倾向。人们常将这种行为俗称为“强行脑补关联”（connecting the dots where none exist）。经典心理学研究表明，人们倾向于过度高估共现事件的关联强度，从而催生显著的社会与经济误判：例如在群体偏见中表现为“虚假相关”（过高估计少数群体的罕见负面行为，或基于伪偶然性将频发正向行为过度归因于多数群体）；在金融决策中将纯粹的市场噪声臆想为趋势；在社会归因中将孤立巧合解释为隐藏操纵的阴谋论。当前大语言模型（LLM）正被广泛部署至自动化招聘、法律情报、临床诊断及量化投资等高风险决策场景中，一旦模型同样在缺乏统计支持的数据中“脑补”出逻辑自洽却无事实根基的虚假模式，将产生极具隐蔽性与系统性的决策灾难。
然而，现有的 AI 可靠性研究范式在面对该问题时存在明显的盲区与概念脱节。传统大模型可靠性评估主要聚焦三大支柱：其一是事实性幻觉（Hallucination），关注模型是否凭空编造不存在的实体或事实陈述；其二是偏见与公平性（Bias），关注模型对已提供显式信息的非对称加权或受制于既有社会先验；其三是对抗鲁棒性（Robustness），关注模型在语义扰动或对抗噪声下的推理稳定性。然而虚假模式感知属于完全不同维度的“关系有效性”（Relational Validity）缺陷：输入中的每一条孤立事实陈述在客观上完全真实、无对抗扰动且不依赖社会刻板印象，但模型却主动在良性、无关联的输入数据之间凭空构建出不成立的逻辑连接与因果假说。
面对这一尚未被探索的机器认知表象，现有文献尚不清楚大语言模型内部是否已经涌现出类似人类的虚假模式感知，其严重程度是否超越人类，以及底层表征层面是否存在可解释的神经元激活规律。本文的核心 idea 是：将人类认知心理学的三大经典范式（社区关联、投资决策、阴谋论归因）迁移至大语言模型中建立双盲评测，揭示大模型比人类更易陷入虚假关联与因果过度推理，并利用稀疏自编码器（SAE）提取潜在可解释特征，通过内部表征偏移分析与特征向量干预实现对虚假推理倾向的定向衰减。
方法详解¶
整体框架¶
本文构建了“心理学实验范式评测 → 潜在虚假模式感知建模 → 稀疏自编码器（SAE）表征偏移分析 → 特征级潜空间信号调控”的端到端评测与干预流水线。首先，框架设计了三类严格对齐的测试任务：社区偏好关联（检验正向高频行为与多数群体的虚假绑定）、投资主体决策（检验正向业务高频报道与大企业的虚假绑定）以及阴谋论因果归因（检验时间共现与隐藏因果的过度关联）。
在行为学量化之后，方法通过插入引导比例推理与反思不确定性的对比 Prompt（Correlation-Neutral Prompt），获取模型在校准前后的成对生成表征；随后将模型残差流隐藏状态输入预训练稀疏自编码器，解耦出具有人类可读语义的稀疏特征激活；最后，通过特征偏移分析（Feature Shift Analysis）锁定驱动虚假推理的关键特征簇，并利用基于 SAE 解码向量的内部信号调整（Internal Signal Adjustment）在模型前向推理过程中实施激活转向。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据输入<br/>39/36条中性平衡陈述或时间共现场景"] --> B["任务化虚假模式感知评测<br/>社区关联 / 投资决策 / 阴谋信念"]
B --> C["成对提示对比与行为量化<br/>原始提示 vs 中性校准提示"]
C --> D["SAE 特征表征与归类分析<br/>残差流范数池化 + 语义特征簇聚合"]
D --> E["内部信号调控与前向转向<br/>Top-K 差异特征解码向量注入干预"]
E --> F["输出无偏校准决策<br/>抑制虚假关联与无端因果臆断"]关键设计¶
1. 虚假模式感知评分建模与三类认知心理学测试范式
为了严谨刻画模型在零统计支持下的关系构建倾向，研究将虚假模式感知形式化为无统计支持的关系推断。定义被试面对的证据集为 \(S\)，候选关系为 \(r\)，证据所支持的关系强度为 \(E_{\mathrm{evid}}(S,r)\)，而被试（人类或 LLM）主观感知到的关系强度为 \(E_M(S,r)\)。底层的虚假模式感知得分定义为二者的残差： $\(\mathrm{IPP}(M;S,r) = E_M(S,r) - E_{\mathrm{evid}}(S,r)\)$ 由于潜空间感知强度不可直接观测，设计了行为学代理统计量 \(D_T(M) = \phi(Y_{M,T}) - b_T\)，其中 \(b_T\) 为证据完全支持的中性基线。具体构建了三项经典任务： - 社区关联任务（Community Correlation）：提供关于 A、B 两组虚构动物群体的 39 条行为陈述，两组正负行为比例完全一致（均为 9:4 即约 69.2% 正向率），但多数群 A 包含 26 条陈述（18 善 8 恶），少数群 B 包含 13 条陈述（9 善 4 恶）。中性基准选择概率为 \(b_T = 0.5\)。若模型选择少数群概率 \(\pi^{\mathrm{comm}} < 0.5\)，则证明模型因整体正向频次更高而对多数群体产生了虚假偏好，检验统计量为 \(D_{\mathrm{comm}}(M) = 0.5 - \pi^{\mathrm{comm}}\)。 - 投资关联任务（Investment Correlation）：提供大公司 A 与小公司 B 的 36 条市场新闻，两企业正负信息比例严格控制为 2:1（大公司 16 优 8 劣共 24 条，小公司 8 优 4 劣共 12 条）。中性基线同样为 0.5，检验模型是否仅因正面陈述总数更多而系统性规避小公司，\(D_{\mathrm{inv}}(M) = 0.5 - \pi^{\mathrm{inv}}\)。 - 阴谋论因果归因任务（Conspiracy Belief）：给出两则包含时间先后但缺乏因果证据的模糊情境（如同事与上级通信激增后自己被拒晋升、三家竞争旅社老板聚会后当地房价暴涨股票获益），让模型在 1 到 7 的李克特量表上打分。因 4 分代表客观证据所对应的“不确定”（Uncertain），中性基线设为 \(b_T = 4\)，检验统计量为 \(D_{\mathrm{consp}}(M) = \mu_M - 4\)。
2. 稀疏自编码器（SAE）驱动的特征偏移分析与语义归类
为定位黑盒模型内部究竟激活了何种概念导致虚假推断，方法利用在残差流上预训练的稀疏自编码器（SAE）解耦密集向量。设第 \(\ell\) 层第 \(t\) 个 token 的隐藏状态为 \(h_{\ell,t}(x)\)，SAE 编码器将其映射为高维稀疏特征激活 \(z_{\ell,t}(x) = f_{\mathrm{enc}}(h_{\ell,t}(x))\)，并通过解码矩阵 \(W_{\mathrm{dec}}\) 进行低失真重构 \(\hat{h}_{\ell,t}(x) = W_{\mathrm{dec}} z_{\ell,t}(x) + b_{\mathrm{dec}}\)。为了在序列级别评估每个特征 \(k\) 的激活贡献，采用范数池化（Norm Pooling）： $\(s_k = \sum_{t=1}^T |f_{\mathrm{enc}}(h_{\ell,t}(x))_k|\)$ 研究通过构造显式要求依据比例计算与承认不确定性的“中性校准提示词”（Correlation-Neutral Prompt），成对生成原始样本与校准样本。由专家与 GPT-4o 协作将数千个活跃特征聚类为可解释的语义类别 \(C\)（如“正向行为”、“负向行为”、“财务指标”、“因果推理”、“分析型框架”等），并计算类别级表征激活变化 \(\Delta S_C = \sum_{k \in C} (\bar{s}_k^{\mathrm{neut}} - \bar{s}_k^{\mathrm{orig}})\)。这一设计成功分离出底层表征的驱动因：在关联任务中模型过载了正向频次，而在因果任务中则过度聚焦于局部情节表面细节。
3. 基于 SAE 解码方向的潜空间内部信号调整干预
明确特征级表征偏移后，为了在不微调权重、不引入冗长思考提示词的前提下直接压制模型的虚假推断倾向，本文提出了一种基于前向传递的内部表征信号调控技术（Internal Signal Adjustment）。算法首先计算校准前后各特征的平均激活差异 \(\Delta \bar{s}_k = \bar{s}_k^{\mathrm{neut}} - \bar{s}_k^{\mathrm{orig}}\)，并筛选出绝对差异最大的前 \(K_{\mathrm{top}}\)（实验取 10）个关键特征 \(k \in K_{\mathrm{top}}\)。 在模型自回归生成新 token 的每个前向计算步，算法拦截指定中间层（如 Llama-3-8B-IT 的第 25 层、Gemma-2-9B-IT 的第 31 层）的新隐藏状态 \(h_{\mathrm{new}}\)，将各特征对应的 SAE 解码向量 \(w_{\mathrm{dec},k}\) 按激活差异与全局缩放因子 \(\alpha\) 加权后直接注入： $\(h_{\mathrm{new}}' = h_{\mathrm{new}} + \alpha \sum_{k \in K_{\mathrm{top}}} \Delta \bar{s}_k \cdot w_{\mathrm{dec},k}\)$ 该干预实质上在隐空间中逆向抑制了过度关注高频正面特征与情节琐事的语义流向，将激活向量定向推向分析性反思、多因探索与负向指标关注，从而在内部表征层面消解虚假推断的生成冲动。
实验关键数据¶
主实验¶
主实验在 9 个主流闭源与开源 LLM（包括 GPT-3.5、GPT-4o、GPT-5、GPT-5.2 以及 Llama-3-8B-IT、DeepSeek-R1-Distill-Llama-8B、Gemma-2-9B-IT、Qwen2.5-14B-IT、Llama-4-Scout-17B）上展开评测，每项任务每个模型采样 100 次（温度设为 1.0），并与通过 Prolific 招募的 100 名人类被试进行严格的双盲统计假设检验。
| 模型 / 被试 | 社区关联 (少数群选择率 \(\pi^{\mathrm{comm}}\)) | 投资决策 (小公司选择率 \(\pi^{\mathrm{inv}}\)) | 阴谋论评分 (平均分 \(\mu \in [1, 7]\)) |
|---|---|---|---|
| 中性基线 | \(H_0: \pi \ge 0.50\) | \(H_0: \pi \ge 0.50\) | \(H_0: \mu \le 4.00\) |
| Human (人类被试) | 0.46 (0.05) | 0.40 (0.05)* | 4.34 (0.10)*** |
| GPT-3.5 | 0.04 (0.02)*** | 0.06 (0.02)*** | 4.44 (0.06)*** |
| GPT-4o | 0.05 (0.02)*** | 0.21 (0.04)*** | 5.89 (0.03)*** |
| GPT-5 | 0.13 (0.03)*** | 0.09 (0.03)*** | 5.54 (0.04)*** |
| GPT-5.2 | 0.12 (0.03)*** | 0.43 (0.05) | 6.24 (0.03)*** |
| Llama-3-8B-IT | 0.17 (0.04)*** | 0.48 (0.05) | 5.94 (0.07)*** |
| DeepSeek-R1-Distill-Llama-8B | 0.28 (0.04)*** | 0.37 (0.05)** | 4.14 (0.09) |
| Gemma-2-9B-IT | 0.11 (0.03)*** | 0.66 (0.05) | 5.12 (0.07)*** |
| Qwen2.5-14B-IT | 0.32 (0.05)*** | 0.30 (0.05)*** | 4.58 (0.08)*** |
| Llama-4-Scout-17B-16E-IT | 0.17 (0.04)*** | 0.23 (0.04)*** | 6.46 (0.06)*** |
| LLM 平均 | 0.15 (0.01)* | 0.31 (0.01)* | 5.37 (0.02)* |
注：括号内为标准误差；显著性标号对应单侧检验：* \(p < .05\), ** \(p < .01\), *** \(p < .001\)。
消融与干预实验¶
为了验证 SAE 内部信号调整（Internal Signal Adjustment, \(\alpha = 0.001\), Top-10 特征）对虚假模式感知的抑制效果，作者在三款开源基础模型上对比了干预前后的行为表现：
| 模型 | 配置 | 社区关联 (少数群选择率 \(\pi\)) | 投资决策 (小公司选择率 \(\pi\)) | 阴谋论评分 (平均分 \(\mu\)) | 说明 |
|---|---|---|---|---|---|
| Llama-3-8B-IT | 原始模型 (Original) | 0.17 (0.04)*** | 0.48 (0.05) | 5.94 (0.07)*** | 存在极强虚假关联与极高阴谋倾向 |
| Llama-3-8B-IT | 信号调控 (Adjusted) | 0.35 (0.05)** | 0.52 (0.05) | 4.48 (0.15)*** | 少数群选择率提高 18%，阴谋分下降 24.6% |
| DeepSeek-R1-Distill | 原始模型 (Original) | 0.28 (0.04)*** | 0.37 (0.05)** | 4.14 (0.09) | 具备一定推理自抑，但仍偏好多数群体 |
| DeepSeek-R1-Distill | 信号调控 (Adjusted) | 0.57 (0.05) | 0.48 (0.05) | 3.80 (0.10) | 少数群选择率达 57%，阴谋分降至中性线 4 以下 |
| Gemma-2-9B-IT | 原始模型 (Original) | 0.11 (0.03)*** | 0.66 (0.05) | 5.12 (0.07)*** | 社区任务极度偏好多数群，投资任务反向倒向 |
| Gemma-2-9B-IT | 信号调控 (Adjusted) | 0.32 (0.05)*** | 0.54 (0.05) | 4.04 (0.09) | 社区偏好回升 21%，阴谋评分回归中性 4.04 |
关键发现¶
- 大模型的虚假模式感知显著强于人类：在两项关联任务中，人类在 1% 统计显著性水平下并未展现显著的虚假相关性（少数群选择率在 0.40 至 0.46），而大模型在社区任务中选择少数群的均值暴跌至 0.15（比人类低 31 个百分点），展现出压倒性偏好多数实体的“伪列联（Pseudocontingency）”效应；在阴谋论任务中，绝大多数模型评分在 5.1 到 6.5 之间，平均比人类（4.34）高出约 23.7%，极易将巧合强加为因果。
- 思维链（CoT）仅能有限缓解，无法消除认知偏差：引入逐步思考（CoT）提示后，大模型在社区关联任务上的少数群选择率仍比人类低 20 个百分点，阴谋论平均打分仍高出人类基线 11%，表明虚假归因机制深度内嵌于预训练表征联想中，单纯的表面推理步数难以从根本上纠偏。
- 正负特征激活比直接主导偏好，分析性特征决定因果归因：SAE 表征分析显示，当模型产生虚假关联时，其正向特征激活量通常是负向特征的 2 倍以上，形成整体高频正向印象；校准后模型对负向特征的关注度提升 9%~16.7%，拉平了决策天平；而在阴谋论任务中，校准促使模型从关注情境故事的具体琐碎实体大幅转向激活“替代解释”与“权衡不确定性”等高阶分析特征。
亮点与洞察¶
- 开辟大模型可靠性评测的全新认知维度：论文清晰划定了“虚假模式感知”与传统幻觉、偏见、鲁棒性的概念界限，揭示了模型在完全真实且无害的输入下自发发明无依据关系的认知失效模式，对大模型在高风险专业领域的落地提供了极具前瞻性的安全警示。
- SAE 可解释性与机制干预的闭环验证：巧妙地将稀疏自编码器从被动的概念可视化工具升维为主动的模型行为转向器，仅通过前向传递中叠加 Top-10 特征解码向量，就以极低的通用生成质量代价（降幅约 5%）显著压制了因果过度归因。
- 对大模型决策校准的迁移启发：研究揭示了大模型面对非结构化文本时容易受到“信息绝对数量”而非“比例”驱动的本质缺陷；这提示在设计企业级 Agent 工作流与 RAG 归因系统时，必须显式对齐证据体积与相对发生率，防止模型产生“大公司必然稳健、高频通信必然有鬼”的认知陷阱。
局限与展望¶
- 作者承认的局限：实验基于简化的心理学假想场景展开，虽然保证了变量控制的严密性，但与实际法律判决或复杂金融报表之间仍存在一定生态效度（Ecological Validity）差距；此外 SAE 解释目前仅覆盖了层级有限的开源模型。
- 审读发现的局限：在干预实验中，对某些模型（如 DeepSeek-R1-Distill 在社区关联任务上）的表征转向将少数群选择率推高至 0.57，表现出一定程度的干预过正（从偏好多数群反向变为轻微偏好少数群），说明特征加权因子 \(\alpha\) 的全局统一缩放策略仍有待自适应精细化调节。
- 具体的改进思路：可探索在模型对齐（RLHF/DPO）阶段引入对抗性无关联文本对，构建显式的“虚假因果抑制损失”，从预训练与微调端根除模型的模式脑补惯性。
相关工作与启发¶
- vs 传统大模型偏见研究 (Gallegos et al., 2024)：传统偏见研究核心关注性别、种族等固有社会先验对显式信息的偏颇加权；而本文探讨的是在抽象、无社会背景实体（如动物群或代号公司）间自发构建虚假关联的纯认知机制。
- vs 大模型幻觉治理 (Huang et al., 2025)：幻觉研究主要关注个别实体或断言的真伪性（是否捏造事实）；本文展示的模型在输入事实全部真实且模型未捏造虚假实体的前提下，依然会在宏观结构与因果关系上发生系统性推断错误。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将心理学虚假模式感知范式系统化迁移至大语言模型可靠性评估，视角极具开拓性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 大前沿模型、人类被试双盲对照、严格受控消融、SAE 表征深入分析与潜空间向量转向干预。
- 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰准确，论证逻辑环环相扣，实验数据详实且与机制解释紧密咬合。
- 价值: ⭐⭐⭐⭐⭐ 为高风险场景下大模型自动化决策的认知盲区提供了重要的理论警示与切实可行的干预路径。