Log-Likelihood, Simpson’s Paradox, and the Detection of Machine-Generated Text¶

会议: NeurIPS 2026
arXiv: 2605.06294
OpenReview: https://openreview.net/forum?id=wUQEkUblF7
论文: https://arxiv.org/abs/2605.06294
领域: AIGC检测
关键词: AIGC检测、似然假设、辛普森悖论、局部校准、贝叶斯决策理论

一句话总结¶

揭示了主流基于对数似然的机器生成文本检测器因在异质隐藏空间粗暴平均 token 分数而遭遇「辛普森悖论」导致失效的机理，提出基于贝叶斯决策理论的局部条件分布校准框架，在几乎不增加开销的情况下使 GPT-5.4 文本检测 AUROC 从 0.63 飙升至 0.85 以上。

研究背景与动机¶

大语言模型的飞速演进使可靠区分人类书写文本与机器生成文本成为 AI 安全与学术诚信领域的迫切需求。长期以来，该领域的核心基石是「似然假设」（Likelihood Hypothesis）——即假定由语言模型生成的文本在检测器模型视角下应具有显著高于人类文本的条件概率或更低的惊讶度。围绕这一假设，从早期的 GLTR、Per-token Log-Likelihood 到近年的 DetectGPT、Fast-DetectGPT 与 Binoculars，学者们设计了各类全局平均 token 级似然或排名的检测统计量。然而，随着前沿指令微调模型（如 GPT-5.4、Gemini 3.1 Pro、Claude Sonnet 4.6）对过度自信（Overconfidence）偏差的系统性抑制，生成文本在全局概率分布上越来越贴近人类真实分布，传统似然检测器的性能急剧退化，在最新模型上的区分度甚至退化至接近随机猜测。

这一性能坍塌的根本矛盾并非源于 token 级信号的彻底消失，而是现有检测器在聚合统计量时忽略了模型内部隐藏表征空间的统计异质性。作者通过实证分析发现：指令微调带来的过度自信在检测模型的不同隐藏空间区域呈现高度非均匀分布；人类与机器文本在隐藏激活空间中倾向于占据不同聚类；更关键的是，不同局部区域内 token 似然的基线差异甚至远超人类与 AI 之间的整体差异，部分区域甚至出现了似然高低关系的局部反转。当检测器直接将全句 token 分数进行简单算术平均时，不同统计背景的局部信号相互抵消并被异质噪声掩盖，形成了统计学中经典的「辛普森悖论」（Simpson's Paradox）。

针对这一聚集失真问题，本文转变了全局汇总的思路，从贝叶斯决策理论出发寻找严格解。既然不同隐空间区域具有完全不同的条件分布基线，那么最优判决就不应直接阈值化原始分数均值，而应根据 token 所处的局部表征位置校准其条件分布。核心 idea：将传统检测流程中的「Token 评分 → 全局平均 → 阈值判定」解耦为「Token 评分 → 局部隐空间条件分布校准 → 聚合校准对数似然比」，通过轻量级局部预测器消除辛普森悖论，以即插即用方式彻底激活被粗暴聚合掩盖的局部判别信号。

方法详解¶

整体框架¶

本文方法的输入为待测文本序列 $w_1 \cdots w_n$ 以及一个轻量级开源检测器模型（如 OPT-125M），输出为判决文本属于人类撰写还是机器生成的标量对数似然比得分。流程整体分为三个阶段：上下文特征提取、局部条件分布预测与校准对数似然比聚合。首先，检测模型逐 token 处理文本，提取末层隐藏状态并降维，与局部候选词概率拼接构成位置特征向量；随后，预先训练的局部预测器根据该特征预测当前位置人类与机器 token 得分的条件概率密度；最后，计算真实 token 得分在两类条件分布下的对数损失差值并在全序列累加，得到校准后的综合判决得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["待测文本序列 w_1...w_n"] --> B["检测器前向计算<br/>提取隐状态与下一词分布"]
    B --> C["局部上下文特征构建<br/>PCA 隐向量 + Top-k 概率"]
    C --> D["局部条件分布建模<br/>轻量 MLP 预测 (μ, σ) 或 DMAP 直方图"]
    D --> E["校准对数似然比聚合<br/>逐 Token 计算条件概率对数比并求和"]
    E --> F["贝叶斯最优阈值判定<br/>人类文本 vs 机器生成"]

关键设计¶

1. 局部上下文特征构建：紧凑表征隐藏空间位置与不确定性

针对传统方法完全丢失 token 生成上下文背景的痛点，该设计旨在构建一个低维且统计充分的局部特征向量 $Z(x_i)$，用来刻画当前 token 所处的统计子空间。对于上下文 $w_1 \cdots w_{i-1}$，首先取检测模型最后一层隐层激活向量，利用在训练集上预先拟合的 PCA 将其投影至 $d=25$ 维的主成分子空间；随后，提取检测模型给出的前 $k=5$ 个最可能候选 token 的模型概率，拼接得到 30 维的特征向量 $Z(x_i)$。这一设计兼顾了模型内部语义状态与输出分布的尖锐程度，使后续校准器能够精准识别当前上下文属于高置信、低熵区域还是高不确定性分支。

2. 贝叶斯决策分解与对数似然比导出：从全局平均到局部比值

针对全局均值池化因异质性破坏充分统计量的缺陷，本文基于 Neyman-Pearson 引理构建了贝叶斯最优检验规则。在联合观测 $\{g(x_i), Z(x_i)\}_{i=1}^n$ 下，最优判定依据为联合对数似然比： $$\Lambda_3 = \sum_{i=1}^n \left( \log \frac{\mathbb{P}(g(x_i) \mid Z(x_i), H)}{\mathbb{P}(g(x_i) \mid Z(x_i), M)} + \log \frac{\mathbb{P}(Z(x_i) \mid H)}{\mathbb{P}(Z(x_i) \mid M)} \right)$$ 其中第一项是条件分布校准项，衡量在给定隐空间上下文下观测分数的异常程度；第二项是隐空间几何分布项。为了专注于校准似然假设本身，本文提取第一项构成校准检测统计量： $$\Lambda_4 = \sum_{i=1}^n \log \frac{\mathbb{P}(g(x_i) \mid Z(x_i), H)}{\mathbb{P}(g(x_i) \mid Z(x_i), M)}$$ 该式将打分尺度重新标定为条件对数优势比，使得每一个 token 的贡献都自动扣除了该区域的背景期望与方差，彻底阻断了不同子群样本比例偏移引起的辛普森悖论。

3. 局部条件分布建模：即插即用的轻量预测器

针对如何高效估计连续空间条件概率密度 $\mathbb{P}(g(x_i) \mid Z(x_i), \cdot)$ 的问题，作者设计了极简的即插即用预测架构。对于标量检测分数（如 Log-Surprisal、Log-Rank、Token-FastDetectGPT 等），采用双层 MLP（输入 30 维，隐层 64 维，GELU 激活，输出均值 $\mu$ 与经过 Softplus 的方差 $\sigma$）拟合高斯条件分布，以负对数似然作为训练损失；对于能够更精细刻画长尾分布的 DMAP（Distribution Map），将概率质量区间划分为 6 个非均匀 Bin，用同结构的 MLP 配合 Softmax 预测离散分布，通过软交叉熵损失进行训练。在推理时，只需计算预测分布在真实 token 分数处的对数密度差值即可完成校准，推理延迟开销几乎可以忽略不计。

一个完整示例¶

假设待测文本包含两个 token：$token_1$ 位于通用语法连词位置（隐空间聚类 A，背景预测极准），检测模型给予高对数似然 $-1.2$；$token_2$ 位于专业术语生僻实体位置（隐空间聚类 B，背景不确定度极高），检测模型给予较低对数似然 $-3.8$。在未校准基线中，全句平均似然为 $(-1.2 - 3.8)/2 = -2.5$。若机器文本普遍在聚类 A 占比稍高，该平均值容易偏向机器，但若文本在聚类 B 的实体选择上偏向人类习惯，全局平均便彻底抹平了这一局部反差。在局部校准流程中： - 对于 $token_1$，输入 $Z(x_1)$ 后，MLP 预测该上下文下人类分布为 $\mathcal{N}(-1.8, 0.4^2)$，机器分布为 $\mathcal{N}(-1.2, 0.3^2)$。此时真实得分 $-1.2$ 在机器分布下概率极大，但在人类分布下属小概率过度自信事件，产生偏向机器的正向对数比 $+1.5$； - 对于 $token_2$，输入 $Z(x_2)$ 后，MLP 预测人类分布为 $\mathcal{N}(-4.1, 1.2^2)$，机器分布为 $\mathcal{N}(-3.3, 0.8^2)$。真实得分 $-3.8$ 偏离机器期望，反而贴近人类常态，产生偏向人类的负向对数比 $-1.1$；最终校准聚合总分为两者的似然比净和 $+0.4$，真实反映了各 token 相对于局部期望的相对偏差，避免了聚类 A 的绝对数值压垮聚类 B 的微弱信号。

损失函数 / 训练策略¶

校准头使用每种生成器与人类对照样本各约 500 篇独立文本提取特征进行轻量训练。对于高斯校准头，优化目标为真实标量打分在预测参数 $(\mu, \sigma)$ 下的高斯负对数似然（NLL Loss）；对于 DMAP 分布头，优化目标为预测 6 维概率向量与真实分箱占比之间的软交叉熵（Soft Cross-Entropy Loss）。优化器选用 AdamW，初始学习率 $1\times 10^{-3}$，权重衰减 $1\times 10^{-4}$，批大小 4096，训练 50 个 epoch，整个训练在单张 A100 上耗时仅数十秒到数分钟，无需对底层检测大模型做任何参数微调。

实验关键数据¶

主实验¶

在 Modern RAID（包含前沿闭源模型 GPT-5.4、Gemini 3.1 Pro、Claude Sonnet 4.6）以及 Peer-Review（包含 GPT-4o、Gemini Pro 1.5、Claude Sonnet 3.5）数据集上，以 OPT-125M 为检测基座，评估前 200 个 token 的检测 AUROC。下表展示了各类检测指标在引入局部校准前后的对比（数据选自 Modern RAID 测试集）：

检测方法	目标生成模型	原始未校准 AUROC	局部校准后 AUROC	绝对提升 (Gain)
Log-Surprisal	GPT-5.4	0.562	0.918	+0.356
Log-Surprisal	Gemini 3.1 Pro	0.506	0.893	+0.387
Log-Surprisal	Claude Sonnet 4.6	0.631	0.937	+0.306
Log-Rank	GPT-5.4	0.544	0.856	+0.312
Token-FastDetectGPT	GPT-5.4	0.628	0.854	+0.226
DMAP	GPT-5.4	0.689	0.939	+0.250
DMAP	Gemini 3.1 Pro	0.779	0.937	+0.158
DMAP	Claude Sonnet 4.6	0.805	0.961	+0.156

在与当前主流 SOTA 检测器（如需微调检测器的 DALD、双模型比值的 Binoculars）对比中，Calibrated DMAP 展现出统治级性能：在 GPT-5.4 上，Calibrated DMAP 达到 0.939 AUROC，远超 Fast-DetectGPT 原版（0.629）、Binoculars（0.692）以及强微调基线 DALD（0.894）。

消融实验¶

作者在附录 H 中进一步评估了校准网络容量、分箱粒度与训练轮数对 Calibrated DMAP 的进阶增益（在 Modern RAID 上以 200 tokens 与 Full-context 分别测试）：

配置与超参调整	GPT-5.4 (200 tok) AUROC	GPT-5.4 (Full) AUROC	Claude (200 tok) AUROC	说明
基线默认 (MLP dim=64, bins=6, ep=50)	0.9388	0.9649	0.9612	默认极简无调优配置
扩充校准头容量 (MLP dim=256)	0.9513	0.9747	0.9679	隐层拓宽 4 倍 (+0.013)
细化分箱数量 (bins 6 → 12)	0.9665	0.9828	0.9745	概率尾部刻画更细腻 (+0.028)
增加训练充分度 (epochs 50 → 150)	0.9675	0.9840	0.9768	进一步收敛，逼近极限 (+0.029)

此外，在未知具体生成模型的混合多模型检测（Multi-generator detection）场景下，Calibrated DMAP 在 Peer-Review 上仍达到 0.9967 AUROC（基线 Fast-DetectGPT 为 0.8040），在 Modern RAID 上达 0.9043 AUROC（基线仅 0.7418），证明校准机制在生成器未完全对齐时依然具备出色的泛化判别能力。

关键发现¶

校准提升的普适性：在所有 5 种检测算子、所有测试模型与全部数据集的全部 30 组对比中，局部校准无一例外取得大幅提升，证明未校准聚合中的辛普森悖论是似然检测器长期被低估的普适结构性根因。
前沿模型反噬最重，校准挽救最深：基线方法在 GPT-5.4 与 Gemini 上的检测能力退化最为剧烈（Log-Surprisal 跌落至 0.50 左右等同于随机掷硬币），而局部校准将其直接提升至 0.90 以上，证明局部微弱特征依然蕴藏着海量未被释放的信息量。
跨领域鲁棒性：在 Modern RAID 的 8 领域留一交叉验证（OOD）中，尽管存在 8-12% 的域迁移性能回落，但校准检测器仍显著优于无校准基准，说明隐空间概率基准存在一定的跨主题共性。

亮点与洞察¶

统计直觉敏锐且解释自洽：敏锐地指出机器文本检测性能崩塌并非特征失效，而是统计聚合维度的错误叠加（辛普森悖论），从医疗分群统计的经典类比切入，理论与直觉兼备。
贝叶斯决策视角的模块化重构：将检测判决严格分解为局部校准似然比与隐空间几何先验两部分，不仅推导出了即插即用的轻量解法，还为未来融合隐空间几何检测（如 RepreGuard）提供了统一的数学理论底座。
极简工程代价实现巨大收益：不微调大模型参数，仅需在冻结的 OPT-125M 上外挂数十秒可训的轻量 MLP，便打破了参数微调（如 DALD）或多模型复杂对齐（如 Binoculars）的高昂计算壁垒。

局限与展望¶

生成器特定假设：当前实现需为每个目标生成模型（如 GPT-5.4、Claude）单独训练对应的校准预测器，无法像纯零样本检测器那样宣称具备无先验泛化能力（尽管作者实验证明所谓纯零样本在很多无微调基线上本就是失效的）。
高斯分布假设的不完美：对于 Log-Rank 等离散非负有偏统计量，强行采用高斯建模存在明显的长尾不对称与偏度误差（Z-score 偏离标准正态），未来引入归一化流（Normalizing Flows）或高斯混合模型有望进一步提升校准质量。
未纳入序列自相关性与几何项：推导中假定了 token 级条件独立性并暂时略去了隐空间先验项 $\log(\mathbb{P}(Z \mid H)/\mathbb{P}(Z \mid M))$，未来联合建模时序自相关并与几何特征联合决策将是极有希望的研究路径。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从辛普森悖论与隐空间非均匀性视角深刻诊断了似然检测器失效机理，理论推导优雅且切中要害。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 GPT-5.4、Claude 4.6 等前沿大模型，横跨多个公开 benchmark 与 5 类检测器，消融、OOD 及置信区间一应俱全。
写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣，从问题揭示到数学推导、工程实现与直观诠释层层递进，行文极具说服力。
价值: ⭐⭐⭐⭐⭐ 为 AIGC 文本检测领域指出了全新的范式革新路径，模块化特性极强，具有很高的实用与复用价值。