Towards Detecting AI-Assisted Responses in Online Surveys¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/mike-qz-wang/ASURRE
领域: 社会计算与社媒
关键词: 在线问卷调查, AI生成文本检测, 智能体仿真, 行为线索分析, 零样本聚合
一句话总结¶
针对传统机器生成文本(MGT)检测器在问卷级智能体伪造回答时性能退化至随机猜测(AUROC ~0.61)的严峻挑战,本文构建了涵盖三种真实问卷与三类AI使用策略的基准数据集 ASURRE,并提出无需训练、仅需5个真实样本的被试级行为线索检测方法 SPABD,将智能体作答的平均检测 AUROC 显著提升至 0.75。
研究背景与动机¶
在线问卷调查是社会科学衡量公众态度、行为及社会现象的基础工具。然而随着生成式大语言模型(LLM)的普及,受试者在降低认知负担、最大化报酬或操纵调查结果等动机驱动下,愈发频繁地利用 AI 代填或润色开放式问题,严重动摇了问卷测量工具的有效性与数据纯净度。现有针对机器生成文本(MGT)的检测方法多针对维基百科或新闻等长篇连续文本设计,依赖单题答案局部的词元概率曲率或预训练分类器;一旦面对问卷中多道离散、简短且碎片化的开放式回答,这些传统单题检测器往往捉襟见肘。
更为棘手的是,AI在问卷中的使用模式已从简单的单题直接生成演进为拟人化智能体作答。通过提取被试的画像特征并维持多轮上下文记忆,智能体可以生成风格逼真、观点自洽的回答,并在单题文本层面几乎消除所有典型的 AI 措辞痕迹,使现有 SOTA 检测器的判断退化至接近抛硬币的随机水平。然而,现有人类被试在填答问卷时具有高度的认知异质性与行为随机性(如字数起伏极大、部分题项选择性跳过),而 LLM 哪怕经过复杂提示调控,其全局答卷行为仍会暴露固有的规律性与同质化偏差。
本文的切入角度是:不再孤立审视单个文本字段,而是将整份问卷作为同一被试的连续行为轨迹,挖掘跨题目间涌现的全局行为统计量。核心 idea:将问卷作答中的 AI 检测从“单题文本判别”升级为“被试级行为审计”,基于大模型内在规律提炼出四项无监督行为线索,并通过极少量的真实样本锚定分布实现单尾鲁棒聚合检测。
方法详解¶
整体框架¶
本文首先形式化了问卷中 AI 作答的检测任务,定义被试 \(r\) 提交的答卷集合为 \(R_r = \{(q_k, a_{r,k})\}_{k=1}^{K_r}\),其中 \(q_k\) 为问题文本,\(a_{r,k}\) 为开放式回答文本。与以往单题检测器 \(f(q_k, a_{r,k}) \in [0, 1]\) 不同,本文构建的是被试级检测器 \(f(R_r) \in [0, 1]\)。针对 AI 辅助调查问卷的多样化生态,系统划分了三种使用策略(润色 Revision、全生成 Full Generation、智能体画像代填 Agentic Completion),并基于四个关键行为线索构建了无监督聚合检测器 SPABD(Survey-Pool Anchored Behavioural Detection)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入被试答卷集合 R_r = {(q_k, a_k)}"] --> B["ASURRE 三层作答策略建模<br/>区分润色、全生成与智能体代填"]
B --> C["被试级行为线索度量<br/>提取短板字数、变异系数、问答相关性、作答字段数"]
C --> D["单尾鲁棒统计量聚合 SPABD<br/>基于 K 个真实被试中位数与绝对离差标准化并取最大值"]
D --> E["输出被试级 AI 作答异常评分 Score(r)"]
关键设计¶
1. ASURRE 三层作答策略建模:系统刻画从局部辅助到端到端智能体代填的演进威胁
针对现有研究缺乏真实且细粒度问卷检测基准的痛点,本文构建了首个 AI 辅助问卷调查基准 ASURRE。基准选取了 2020 年前采集的真实问卷(phd2019、springer2017、osmi_mh),确保人类原始回答 100% 可信且无 AI 污染。在此基础上系统模拟三类使用策略:
- 文本润色(Revision):被试自主作答,仅由 LLM 进行语言与语法润色,严格保留事实、观点及具体细节;
- 全生成(Full Generation):被试完全将作答权委托给 LLM,模型仅接收单题题目生成合理解答,缺乏全局连贯性与上下文;
- 智能体代填(Agentic Completion):通过 Claude 构建两阶段智能体。首先从真实被试的全套答案中提取 8 个维度的结构化用户画像(情感倾向、参与度、英语水平、语法错误率、认真程度、行文风格、核心主题、字数习惯);随后由独立的智能体实例根据画像逐题作答并累积记忆,自主决定作答或跳过(输出 [SKIP]),最后经过拟人化处理消除 AI 措辞。该策略设计了自然(Natural)、控制跳题(Controlled)、字数限制(Length-restrictive)及组合(Combined)四种对抗性模式。
2. 被试级行为线索度量:捕捉大模型无法掩饰的跨题目行为规整性
现有多题检测器将文本拼贴输入单题 MGT 工具,完全丢失了受试者跨字段的行为动态。本文通过浅层句子编码器(all-MiniLM-L6-v2,80M 参数)与字数统计,提出四项无监督的被试级行为线索 \(c(r)\): - 最短回答长度 \(min\_len(r) = \min_i \ell_i\):人类被试经常因为敷衍或直接给出一两个词的短语(如 PhD 调查中人类最短仅 2 个词),而 LLM 具有生成完整句子的内在倾向(AI 达 6 词以上,偏向为 \(\uparrow\)); - 长度变异系数 \(length\_cv(r) = \text{std}_i(\ell_i) / \text{mean}_i(\ell_i)\):人类不同题目的详略程度差异极大(CV 达 0.67),而模型受系统画像或对齐分布驱动,不同题目的篇幅高度均衡(CV 降至 0.33,偏向为 \(\downarrow\)); - 平均问答语义相似度 \(mean\_qa_sim(r) = \frac{1}{K_r} \sum_{i=1}^{K_r} \phi(q_i) \cdot \phi(a_i)\):人类回答经常偏题或简述个人故事,而 LLM 严格围绕问题生成(偏向为 \(\uparrow\)); - 完成题数 \(n\_answered(r) = K_r\):人类常自主跳过选答题,而 LLM 在默认模式下极具“协助性”,答题率显著高于人类(如 OSMI 中人类答 2 题,AI 答 10 题,偏向为 \(\uparrow\))。
3. 单尾鲁棒统计量聚合 SPABD:基于极少样本先验抵抗定向提示规避
单项行为线索极易通过定向提示进行针对性对抗规避(例如增加跳题提示会削弱 \(n\_answered\) 的判别力,长度限制提示会削弱 \(min\_len\))。为了实现多线索协同且不引入昂贵训练,本文提出了 SPABD 聚合机制。 从问卷所属池中选取 \(K\) 个已验证的人类真实样本(默认 \(K=5\)),对每个线索 \(c\) 计算其鲁棒中心 \(\mu_c = \text{median}_{r \in \mathcal{R}} c(r)\) 与尺度参数 \(\sigma_c = \text{median}_{r \in \mathcal{R}} |c(r) - \mu_c|\)。对于待测被试 \(r\),利用已知的人类-AI 分布偏移方向先验 \(\text{sgn}(c) \in \{+1, -1\}\) 进行有向标准化,并取各线索的最大偏差: $$ \text{Score}(r) = \max_c \left( \text{sgn}(c) \cdot \frac{c(r) - \mu_c}{\sigma_c} \right) $$ 采用单尾最大值聚合(Max-z)使得被试只要在任何一个未被对抗规避的维度上表现出显著的 AI 规律性,即可被有效捕获;即便攻击者成功伪造了字数方差,只要未能精准对齐跳题率,最大值算子依然能稳定检出。
实验关键数据¶
主实验¶
在 ASURRE 基准的三大问卷及全部基线上进行了严格评估。对比方法涵盖零样本提示法(Zero-shot)、概率曲率法(DetectGPT、Fast-DetectGPT)、词元对数似然法(Log-Likelihood)、跨困惑度法(Binoculars)及有监督检测器(RADAR)。
| 数据集 | 评测场景 | 本文 (SPABD) | 最优现有基线 | 提升 (AUROC) | 最优基线模型 |
|---|---|---|---|---|---|
| phd2019 | Agentic Fill (Mean) | 0.753 | 0.613 | +0.140 | Binoculars |
| springer2017 | Agentic Fill (Mean) | 0.687 | 0.613 | +0.074 | Log-Likelihood |
| osmi_mh | Agentic Fill (Mean) | 0.813 | 0.591 | +0.222 | DetectGPT |
| All Surveys | Agentic Fill (Mean) | 0.751 | 0.606 | +0.145 | Mixed |
在极低误报率(FPR)的严格部署要求下,SPABD 相比现有基线具备压倒性优势:在 FPR=5% 时,SPABD 在全部 12 个智能体代填场景下的平均真阳性率(TPR@5%)达到 27.7%,而最优现有基线仅为 12.0%;在 FPR=1% 时,SPABD 检出率达到 15.5%,相比现有基线的 4.5% 实现了超过三倍的提升。
消融实验¶
消融实验全面评估了 SPABD 在参考样本数 \(K\)、多线索聚合策略、开放字段数量敏感度以及不同 LLM 生成底座下的稳健性。
| 配置 / 变量 | 变动说明 | 平均 AUROC | 备注 |
|---|---|---|---|
| Full model (SPABD, K=5) | Max-z 单尾聚合,4个特征 | 0.751 | 基准配置,50次随机种子标准差 0.09 |
| Scaling K=10 | 增加真实参考样本至 10 | 0.776 | 种子标准差收敛至 0.06 |
| Scaling K=100 | 增加真实参考样本至 100 | 0.792 | 种子标准差收敛至 0.02 |
| Aggregator: Sum-z / Mean-z | 采用均值/求和无监督聚合 | 0.776 | 干净设置下略高,但对抗鲁棒性差 |
| Aggregator: Trimmed-sum-z | 剔除最大绝对值后求和 | 0.689 | 丢失决定性异常特征 |
| Supervised Upper Bound | 5人类 + 5AI 训练逻辑回归 | 0.856 | 需 AI 真实标签作为监督上限 |
| Fields Retained 50% | 问卷开放题数量截断减半 | 0.655 | 依然优于全题现有最强检测器 (0.61) |
| Fields Retained 25% | 问卷开放题仅保留四分之一 | 0.612 | 降至单题 MGT 类似水平 |
关键发现¶
- 使用策略决定检测难度:全生成(Full Generation)最容易检测,现有基于概率曲率的 Fast-DetectGPT 与 Log-Likelihood 在各大问卷上平均 AUROC 可达 0.79–0.93;文本润色(Revision)次之(0.55–0.74);而拟人化智能体代填(Agentic Completion)则让所有现有文本级检测器几近失效,平均 AUROC 仅有 0.50–0.65。
- Max 聚合在对抗盲攻击下的韧性:针对有意通过提示扰乱长度分布的盲攻击者(Blind Attacker),Mean-z 聚合性能从 0.899 暴跌至 0.722,而 Max-z 依靠幸存的未受干扰线索(如 \(n\_answered\) 依然保持判别力)维持了 0.839 的高检测率。
- 跨底座鲁棒性突出:在 OSMI 数据集上将智能体底座切换为 gpt-oss-120b 和 Gemini-3-Flash 时,现有基线的最优模型频繁更迭且出现大量低于抛硬币(AUROC < 0.30)的严重失效,而 SPABD 在三大不同底座上稳健保持在 0.886–0.909 之间。
亮点与洞察¶
- 范式转变洞察:本文敏锐指出长文本 MGT 检测技术向问卷领域迁移的根本失配,指出 AI 智能体代填的本质伪装在微观文本上无懈可击,但在整份问卷的宏观行为方差与边界条件上暴露出无法消除的确定性规律。
- 即插即用且廉价高效:SPABD 彻底摆脱了对目标问卷繁重微调或模型前向重算(如 DetectGPT 的多重掩码重扰动)的依赖,仅需 80M 参数的轻量级句子编码器和 5 份人类历史作答,即可作为现有问卷平台轻量级后验质检插件。
局限与展望¶
- 适用场景受限于多开放题设置:SPABD 的统计显著性高度依赖问卷中包含多个开放式填空题,若问卷仅包含单道开放题,跨题目的长度方差与跳题特征将完全退化,性能回落至单题短文本检测水平。
- 跨问卷迁移受限:实验表明参考分布必须严格来自当前问卷的目标人群;若直接使用跨问卷的先验样本,平均 AUROC 会从 0.751 骤降至 0.646。实际应用中需要问卷设计者在预调研阶段提供少量可靠的人工样本。
- 多语言泛化待检验:目前 ASURRE 数据集主要基于英语问卷,虽然非母语英语受试者分析表明该方法不会产生有害的人口统计学偏见,但在非英语主流文化圈的问卷中行为线索分布仍需扩展验证。
相关工作与启发¶
- vs 单题 MGT 统计检测器 (DetectGPT, Fast-DetectGPT, Binoculars):后者依赖单段连续长文本内的局部词元对数概率与曲率,在问卷碎片化回答中缺乏足够词元支撑且极易被智能体上下文重写抹除;本文将视角扩展至被试全题行为模式,利用跨题统计量突破局限。
- vs 有监督 MGT 检测器 (RADAR):RADAR 在问卷开放题中产生严重的跨领域负迁移(AUROC 在 phd2019 上仅 0.28);本文采用无监督且无需训练的统计标定,避免了过拟合和分布漂移。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性揭露智能体全卷代填对问卷调查的颠覆性威胁,并提出全新的被试级行为审计范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 大真实问卷跨学科领域、多种 LLM 与 4 种对抗性提示模式,评测粒度极其扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 问题定义清晰锐利,实验分析层层推进,消融研究全面深入。
- 价值: ⭐⭐⭐⭐⭐ 为计算社会科学与数据采集领域的学术规范提供了亟需的轻量级防御基准。