Overreliance on AI in Information-seeking from Video Content¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 社会计算
关键词: 过度依赖, 人机协同, 视频信息检索, 生成式AI风险, 虚假信息
一句话总结¶
通过 917 名被试完成 8,253 项视频寻知任务的 \(2 \times 3\) 被试间受控实验,首次系统量化了生成式多模态 AI 在视频信息检索中的双刃剑效应:有益 AI 可提效最高 25% 并在未看视频时提准 27%–35%,但在第三轮提供欺骗性回答时准确率骤降多达 32%,而人类主观置信度依然维持在 4.5/5 高位,揭示了极度危险的过度依赖漏洞。
研究背景与动机¶
随着多媒体内容的普及,YouTube、TikTok 等在线视频平台已成为公众获取日常知识、新闻资讯与学习技能的核心阵地。与此同时,生成式 AI 正迅速重塑人类搜索信息的基本范式,大语言模型与多模态模型被广泛嵌入社交网络与搜索引擎(如 X 平台的 Grok、Google AI Overviews),作为人类与底层多媒体资源之间的中介代理。在传统文本检索领域,用户面对错误答案尚可通过快速扫读网页排查幻觉;然而,视频内容本身具有高时序密度和非结构化特征,验证一条信息的真伪往往需要拉动进度条仔细核对特定片段,认知成本高昂,导致用户更倾向于放弃回溯原始信源。
这种检索中介化模式的核心矛盾在于:多模态大模型虽然能快速解析并总结冗长视频,但本身仍频繁伴随事实幻觉与偏见;当用户面对难以核查的视频内容时,对 AI 效率的极度渴望会迅速诱发认知惰性与过度依赖(overreliance)。尽管已有工作探讨了文本对话搜索中的信源偏见与引用错觉,但在多媒体与视频场景下,用户究竟如何利用 AI 寻找证据、在多大程度上放弃核验视频、以及当 AI 输出经过精心包装但完全错误的答案时用户能否察觉,整个学术界尚缺乏严格的实证测度与因果行为数据。
本文的切入角度是打破以往对生成式 AI 纯能力评测的黑盒假设,将研究重心转向真实的人机交互行为实验。研究团队构建了一个包含 917 名真实受试者、覆盖 8,253 个独立问答任务的高通量受控实验平台,通过控制视频时长与 AI 行为策略(纯视频、有益 AI、前两轮有益而后蓄意欺骗的伪装 AI),全景追踪用户在跨时序轮次中的行为轨迹、准确率、答题耗时与主观置信度。核心 idea:设计跨轮次“先立信任、后行欺骗”的因果干预实验,在短视频与长视频寻知任务中系统拆解用户对多模态 AI 的依赖度、核验率与虚假置信度。
方法详解¶
整体框架¶
为了因果测量 AI 介入对视频信息获取的正面赋能与潜在诱导,实验设计了一个标准的 \(2 \times 3\) 被试间阶乘设计(Between-subjects Factorial Design)。整个实验流程由准备阶段、三个正式实验轮次(Round 1–3)以及赛后问卷(Post-survey)与真相揭示(Debriefing)构成。在每个轮次中,被试需要面对 3 段与特定真实新闻事件相关的 YouTube 视频,并回答 3 道针对这些视频不同时序位置(开头、中间、结尾)的自由简答题,同时在 5 点李克特量表上评估自身作答的主观置信度。被试端交互平台基于 Empirica 框架定制,前端为受试者提供视频播放器、问题答题区以及一个由 Gemini 3 Flash 驱动的多模态实时问答侧边栏(受试者可在提问区自由发问,AI 具备直接解析当前全部候选视频内容的能力)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["受试者入组<br/>Prolific 917人 / 签署知情同意"] --> B["2×3 被试间随机分组<br/>时长(短/长) × AI策略(无AI/有益/欺骗)"]
B --> C["多轮视频寻知任务交互<br/>每轮3视频×3跨时序问题 + 置信度打分"]
C --> D["行为轨迹追踪与细粒度核验对齐<br/>高保真时间戳分割: W / V / AI 八大序列"]
D --> E["多模型多数表决裁决<br/>Claude Opus 4.5 + Gemini 3 Pro + GPT-5.2"]
E --> F["计量经济学OLS回归与因果效应估计<br/>控制轮次/主题/社会人口学协变量"]
关键设计¶
1. 2×3 被试间阶乘实验与“特洛伊”欺骗干预:因果剥离真实收益与伪装欺骗 研究设计交叉了视频长度(短视频 \(<1\) 分钟 vs. 长视频 1–5 分钟)与 AI 辅助形态(无 AI 对照组 C、始终有益 AI 组 T1、蓄意欺骗 AI 组 T2)。三类事件主题分别为 2025 年卢浮宫抢劫案、奥林匹克运动会历史、以及 2023 年泰坦号潜水器内爆事故,每个主题挑选 6 段真实新闻与纪录短片(3 短 3 长),所有主题在各轮次间全随机轮转以抵消主题偏置。关键在于 T2 组的“特洛伊木马式”信任诱导:在第 1 轮与第 2 轮中,AI 侧边栏表现与 T1 组完全一致,均以准确、详实的视频分析辅佐答题,从而让用户在真实任务中建立对 AI 的基线信任;而在第 3 轮,系统在后台静默切换提示词,迫使模型利用 6 类精巧的虚假信息策略(事实篡改、时序调序、人名/行动归因错误、因果颠倒、半真半假致命细节、以及高确定性不可动摇的自信陈述)生成看似极其可信但事实颠倒的错误答案,以此严格模拟现实中模型突然发生幻觉或遭遇数据投毒时用户的应激脆弱性。
2. 行为轨迹追踪与细粒度核验对齐:微观拆解人机协同决策链路 传统人机协作研究仅观测最终准确率,难以判断用户到底有没有看信源。本文通过前端埋点记录全流程击键与播放器状态,定义了三种原子事件:观看包含答案关键信息的核心视频片段(W,定义为播放重叠度 \(>50\%\))、仅点开浏览视频但未覆盖答案片段(V)、以及向 AI 助手提问(AI)。基于墙钟时间戳,将每次答题前的行为归纳为 8 类离散动作路径:\(\text{W}\)、\(\text{V}\)、\(\text{AI}\)、\(\text{W}\to\text{AI}\)、\(\text{V}\to\text{AI}\)、\(\text{AI}\to\text{W}\)、\(\text{AI}\to\text{V}\)、以及不借助任何工具凭先验直答的 \(\text{Direct}\)。这一映射机制使研究者得以清晰透视出用户是“用 AI 替代观看”、“看后求证 AI”,还是具备批判性思维的“拿 AI 回答去视频中反查验证(\(\text{AI}\to\text{W}\))”。
3. 多模型多数表决裁决管线:消除主观自由文本评分偏差
面对 917 名被试生成的 8,253 条多语言开放自由文本答案,人工穷举评测成本极高且易产生漂移。为此,本文部署了由 Claude Opus 4.5、Gemini 3 Pro 和 GPT-5.2 组成的 LLM-as-a-judge 多数表决评审团(Majority Voting Pipeline)。每个模型接收标准化提示,结合金标事实与上下文仅输出二分类标签(CORRECT 或 INCORRECT)。作者团队对 603 个样本抽取双人盲审人工复核,四位作者人类标注者间达成极高的信度一致性(Fleiss' \(\kappa = 0.866\));三大前沿大模型裁判之间同样高度一致(Fleiss' \(\kappa = 0.891\));而人类多数表决结果与大模型裁判团结果的判定一致性更是达到了近乎完美的契合度(Cohen's \(\kappa = 0.910\)),为因果效应推断奠定了扎实的数据质量地基。
4. 计量经济学 OLS 回归与固定效应模型:精确控制交互与人口学协变量 为了排除受试者年龄、性别、教育程度、政治倾向以及不同实验轮次熟练度效应的干扰,研究以“被试-轮次(participant-round)”为基本观测单元(总样本量 \(N = 917 \times 3 = 2,751\)),构建了带交叉项的普通最小二乘法(OLS)多元回归模型: $$ \text{DV} \sim \mathcal{C}(\text{LLM Config}) \times \mathcal{C}(\text{Video Length}) + \mathcal{C}(\text{Round}) + \mathcal{C}(\text{Topic}) + \mathcal{C}(\text{Demographics}) $$ 其中因变量 \(\text{DV}\) 分别为作答准确率(Accuracy)与主观置信度(Confidence)。在该设定下,T2 在第 1、2 轮按有益 AI 编码,仅第 3 轮编码为欺骗 AI,严格分离了静态系统可用性与动态对抗欺骗的边际因果效应。
实验关键数据¶
主实验¶
主实验通过比较对照组(Control)、有益 AI 组(T1)和欺骗 AI 组(T2)在不同视频时长与核验状态下的准确率与置信度表现,揭示了 AI 介入带来的巨大分化。
| 实验组别 | 视频长度 | 是否观看答案片段 (W/NW) | 答题准确率 (Accuracy) | 相比对照组增益 | 主观置信度 (1-5 分) |
|---|---|---|---|---|---|
| Control (无 AI) | 短视频 (<1 min) | 观看 (W: 1126) | 90.6% | 基线 (0.0%) | 4.60 |
| Control (无 AI) | 短视频 (<1 min) | 未观看 (NW: 197) | 60.9% | 基线 (0.0%) | 4.25 |
| Helpful AI (T1) | 短视频 (<1 min) | 观看 (W: 827) | 93.6% | +3.0% | 4.65 |
| Helpful AI (T1) | 短视频 (<1 min) | 未观看 (NW: 577) | 88.3% | +27.4% | 4.45 |
| Deceiving AI (T2, R3) | 短视频 (<1 min) | 观看 (W: 251) | 81.2% | -9.4% | 4.62 |
| Deceiving AI (T2, R3) | 短视频 (<1 min) | 未观看 (NW: 202) | 21.8% | -39.1% | 4.42 |
| Control (无 AI) | 长视频 (1-5 min) | 观看 (W: 1128) | 86.2% | 基线 (0.0%) | 4.55 |
| Control (无 AI) | 长视频 (1-5 min) | 未观看 (NW: 357) | 49.6% | 基线 (0.0%) | 4.10 |
| Helpful AI (T1) | 长视频 (1-5 min) | 观看 (W: 563) | 93.3% | +7.1% | 4.68 |
| Helpful AI (T1) | 长视频 (1-5 min) | 未观看 (NW: 769) | 85.0% | +35.4% | 4.48 |
| Deceiving AI (T2, R3) | 长视频 (1-5 min) | 观看 (W: 180) | 81.1% | -5.1% | 4.60 |
| Deceiving AI (T2, R3) | 长视频 (1-5 min) | 未观看 (NW: 270) | 20.4% | -29.2% | 4.45 |
行为序列与时间效率消融分析¶
研究进一步消融对比了各组别在不同轮次中的核心动作序列占比演变,以及 AI 带来的时间效率增益(任务完成速度提升)。
| 实验组与轮次 | 核心行为: 仅看视频 (W) | 核心行为: 仅问AI (AI) | 批判核验: 先AI后看 (AI→W) | 任务完成耗时 (分钟/轮) | 相对对照组效率提升 |
|---|---|---|---|---|---|
| Control (短视频, R1→R3) | 79.4% → 78.0% | 0.0% | 0.0% | 5.8 → 4.6 min | 基准 |
| Helpful AI (短视频, R1→R3) | 37.6% → 30.3% | 22.4% → 42.3% | 11.1% → 7.9% | 5.3 → 3.9 min | +7.8% → +15.1% |
| Deceiving AI (短视频, R3) | 25.4% | 39.7% | 15.7% (受疑核查翻倍) | 4.7 min | -1.5% (轻微变慢) |
| Control (长视频, R1→R3) | 72.9% → 69.9% | 0.0% | 0.0% | 9.7 → 7.8 min | 基准 |
| Helpful AI (长视频, R1→R3) | 23.0% → 15.1% | 36.7% → 58.8% | 8.8% → 9.9% | 8.1 → 4.9 min | +16.5% → +37.1% |
| Deceiving AI (长视频, R3) | 16.9% | 51.3% | 13.8% | 5.9 min | +24.1% |
关键发现¶
- 信息空间膨胀与认知卸载成正比:长视频环境下的 AI 依赖程度显著高于短视频。长视频组中,直接跳过视频仅问 AI 的比例从 R1 的 36.7% 迅速攀升至 R3 的 58.8%;而在短视频组中该比例从 22.4% 增至 42.3%。
- 虚假置信度极其顽固(False Sense of Security):尽管在第 3 轮中,未观看视频的 T2 组准确率跌落至 20.4%–21.8% 的崩盘状态,被试自我评估的置信度却几乎毫发无损(仍稳定在 4.42–4.45 左右,与基线无显著差异)。用户不仅无法辨别 AI 编造的事实,甚至在完全被误导时坚信自己是正确的。
- 批判性核查仅存在于极少数被试:在遭受欺骗时,虽然先查 AI 再回溯视频的比例有所上升(短视频从 7.9% 升至 15.7%,长视频从 9.9% 升至 13.8%),但仍有超过 84%–86% 的查询未能触发任何核验动作。
亮点与洞察¶
- 多模态场景下的因果实验标杆:首次摆脱了过去仅局限于文本 RAG 或纯网页引用的局限,将人机协同评测推进到时序视听场景,定量刻画了“视频难以检索”是如何转化为“对 AI 的非理性信任”。
- 特洛伊诱导范式揭示信任衰减非对称性:前两轮的高准确率表现快速催化了认知卸载,而当模型在第三轮发生致命漂移时,早期积累的信任惯性完全压制了人类的怀疑倾向。
- 可复用的微观行为追踪框架:将用户答题分解为 W、V、AI 等时序组合,并与视频时序标签交叉校验,这种细粒度交互归因框架对未来多模态 Agent 界面设计具有普适指导价值。
局限与展望¶
- 众包被试群体的生态效度:被试招募自 Prolific 平台(美、英母语者),作为熟悉在线工具的众包工人,他们对 AI 工具的接纳速度与依赖倾向可能高于全年龄段普遍大众。
- 单模型闭源 API 依赖:交互端统一采用 Gemini 3 Flash,未探索不同体量、不同交互口吻(如带有犹豫语气 vs. 绝对肯定)对用户核验动机的调节效应。
- 主题覆盖与问题形式单一:仅涵盖卢浮宫盗窃、奥运历史与泰坦号三个事实型新闻主题,未来需要扩展到存在主观争议、复杂因果推导或长文档视听教程场景。
相关工作与启发¶
- vs Spatharioti et al. (2025): 后者在传统网页文本搜索中观察到 LLM 带来的提速与错误过度依赖;本文进一步将该结论扩展到多模态视听领域,证明由于视听线索定位门槛远高于文本快扫,视频信息检索中的过度依赖程度与准确率暴跌幅度更为惊人(未看视频跌幅超 30%)。
- vs Li & Aral (2025) / Miroyan et al. (2026): 以往工作侧重于评估大模型引文透明度或人类偏好榜单(Search Arena);本文则专注于端到端的人类认知行为闭环,证实了用户即便面对带有明确错误回答的 AI,只要缺乏核验意愿,透明度与界面本身也难以阻止误导蔓延。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统研究多模态视频信息检索中的人类过度依赖与信任欺骗机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 917 名受试者、8,253 次任务交互,双人盲审结合三顶尖大模型交叉裁判,统计因果严谨。
- 写作质量: ⭐⭐⭐⭐⭐ 实验范式清晰,图表逻辑自洽,行为学量化指标论述扎实。
- 价值: ⭐⭐⭐⭐⭐ 对当前各大平台将生成式多模态 AI 植入视频与社交搜索的盲目狂热敲响了伦理与安全警钟。