When Humans and LLMs Disagree: Understanding Human-LLM Disagreement in Learner Intent Annotation for Educational Chatbot Dialogues¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/d-isasterhub/studychat-automatic-labeling
领域: 对话系统
关键词: 教育对话系统、意图标注、人机分歧、弱监督、自主学习能力
一句话总结¶
基于自主学习能力(Learning-to-Learn)理论构建面向教育聊天机器人的分层学习意图标注框架,通过对比人类标注员与大语言模型在多维决策上的分歧,揭示出高模型间一致性掩盖了深层分歧,并将人机不一致解构为模型局限、任务设计与数据意图模糊三大根源。
研究背景与动机¶
随着大语言模型(LLM)驱动的对话助教深入大学课程与在线学习平台,教育研究者迫切需要细粒度、规模化的工具来追踪并分析学习者在真实交互中究竟在做什么。然而,现有对话行为(Dialogue Act)标注体系(如 DAMSL、SwDA、ISO 24617-2)主要面向通用人际日常交流,仅关注话语的功能性角色(如提问、陈述、应答)。在教育交互情境下,这类表层分类完全抹杀了关键的学习行为差异——例如“能直接给我作业代码吗?”与“for 循环是在条件为假时才终止吗?”在传统体系中均被机械标记为“提问(Question)”,但前者属于直接外包任务的“索取解法(Solution Seeking)”,后者则是力图建立概念认知的“知识探究(Knowledge Seeking)”。缺乏与学习理论对齐的细粒度标注,导致教育界难以评估学习者对 AI 的过度依赖与认知卸载风险。
构建这种教育对话标注体系面临着严峻的方法论矛盾。一方面,基于自主学习能力(Learning-to-Learn, L2L)与自我调节学习(SRL)理论的心理学构念通常关注学习者内在的认知、元认知与反思状态,但这些内部心理过程在高度碎片化、多轮次的聊天日志中往往不可直接观测;若强行引入多标签细粒度主观判断,会导致人类标注员之间的一致性(Krippendorff's \(\alpha\))剧烈退化。另一方面,面对海量交互日志,人工双审标注昂贵且无法扩展,学术界开始广泛探索零样本大模型自动标注;然而,现有研究往往简单以人类标注为“绝对真值(Ground Truth)”,依靠宏观的一致性统计(如 Cohen's \(\kappa\) 或 Accuracy)来评判模型好坏,既忽视了人类标注自身的主观偏差与漂移,也掩盖了人机分歧背后复杂的数据模糊性。
针对上述瓶颈,本文并未停留于将大模型作为简单的替代标注工具,而是从教育心理学与计算语言学的交叉视角出发,将标注行为本身作为诊断透镜。研究首先通过理论自顶向下推导与数据自底向上归纳的混合范式,将 L2L 构念降维转化为具有优先决策序的树状单标签决策流;随后在包含 2,393 条真实大学 AI 课程人机对话的数据集(StudyChat)上建立严格的人工双审基准,并部署 GPT-5.4 与开源模型 GPT-OSS:120B 进行层级化零样本推理与多维交叉审计。核心 idea:将隐性学习状态转化为显式优先决策树进行可观测代理标注,进而通过人机分歧定性审计推翻“模型错误即算法失败”的单向假设,将人机标签重新定位为互补的弱监督信号与人机协同协议设计依据。
方法详解¶
整体框架¶
本文构建的交互意图分析框架包含三个核心阶段:理论驱动的分层决策树标注方案制定、模块化检索增强的零样本 LLM 自动推理管线,以及面向多维决策节点的人机分歧归因审计。框架首先将学生输入话语与课程背景进行对齐,再通过确定性路由依次判别解法索取、解法类型、知识探究、认知参与及心智模型表达,生成唯一的叶子节点意图标签。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["学生-助教多轮交互话语<br/>课程作业材料与上下文"] --> B["1. 理论驱动的分层决策树构建<br/>解法优先规则与单标签路由"]
B --> C["2. 结构化模块化提示与上下文检索<br/>DSPy签名动态注入代码片段与历史"]
C --> D["3. 自动化零样本层级决策推理<br/>GPT-5.4 与 GPT-OSS:120B 序贯判定"]
D --> E["4. 多方一致性量化交叉比对<br/>人类双审/模型间/人机跨节点评估"]
E --> F["5. 差异审计与人机协作协议<br/>三维度根因分类与弱监督标注流"]
关键设计¶
1. 理论驱动的分层决策树构建:心理构念不可观测性 -> 显式解法优先判定路由 -> 保证主观认知标签的可复现性
早期的多标签探索中,直接标注认知/元认知维度在人工之间呈现极低一致性(Krippendorff's \(\alpha\) 处于 -0.02 至 0.67 之间)。为解决“知识获取”与“代码解答”在外表上的重叠问题,方案确立了严格的优先级规则:当解法索取与知识探究同时成立时,只要机器人回复能够直接生成或仅需微调即可补全作业子任务,一律优先裁决为“解法索取(Solution Seeking = Yes)”。整体决策流由根节点分叉:若是解法索取,进一步判定解法类型为“全新创建(Create)”还是“验证/修复/调整(Verify/Fix/Adapt)”;若非解法索取,则判别是否属于“知识探究(Knowledge Seeking)”,在确认是知识探究后,再并行打上两项二值代理标签——“认知参与(Cognitive Engagement)”(是否针对前文助教回复展开深层互动)与“心智模型(Mental Model)”(是否显式暴露其假设、推测或理解框架)。辅以作业归属(a1–a7)和作业关联度(相关、无关、环境配置),将多义性彻底约束在确定性的单标签叶子路径上。
2. 结构化模块化提示与上下文检索:长文本干扰与上下文缺失 -> DSPy签名与自适应历史裁剪 -> 精准隔离多阶段推理依赖
为消除单一复杂 prompt 对大模型的认知过载,自动化管线采用 DSPy 签名将决策树的每个分支拆分为独立的子决策模块。针对不同判定节点的特征,动态分发最小充足上下文:对于作业匹配与作业关联度判定,仅保留前序对话中学生发言并进行首尾各 150/250 字符截断,助教回复用省略号替代以防提示词长度爆炸;对于核心的“解法索取”判定,利用 all-MiniLM-L6-v2 向量模型在 ChromaDB 中检索作业 Markdown 说明、AST 解析后的 Python 函数单元及 Jupyter 单元格,向模型提供相似度最高的 Top-5 作业代码块;而对于纯内省性质的“心智模型”判定,则严格仅输入当前单轮话语,避免长上下文引入不必要的推理幻觉与先入为主的偏置。
3. 自动化零样本层级决策推理:多轮交互多粒度标注瓶颈 -> 双模型零样本序贯执行 -> 暴露不同模型容量的归纳偏置
在推理执行层面,统一采用温度系数 0.0 以最大化判决确定性。体系部署了闭源顶尖大模型 GPT-5.4(通过 API 调用)与本地单张 NVIDIA H200 NVL GPU(141 GB 显存、MXFP4 混合精度量化)驱动的开源 MoE 模型 GPT-OSS:120B(分配 32,768 上下文窗口)。模型在无需少量样本示例(Zero-shot)的前提下,顺着决策树从根节点向下依次执行 2 到 4 步二值或类别分类,输出每一步的推理依据(Rationale)与最终选项,为后续诊断不同架构模型在各级分支上的断裂点提供了结构化日志。
4. 多方一致性量化交叉比对:单一真值评估假象 -> 人人/机机/人机矩阵化校验 -> 揭示模型间高一致性与低基准对齐的脱节
评估方案并未简单套用准确率或 F1,而是在 408 条严格的人工双审子集上建立三方对照矩阵(Human-Human, LLM-LLM, Human-LLM),并逐层计算 Cohen's \(\kappa\) 与 Accuracy。结果发现人类双审在最终主标签上达到 \(\kappa = 0.73\)(准确率 0.80),且在解法索取上高度稳定(\(\kappa = 0.79\));两款大模型之间同样表现出接近人类水平的互相认可度(主标签 \(\kappa = 0.67\)),并在心智模型维度达成惊人一致(\(\kappa = 0.74\))。然而,当将模型预测与人类最终共识标签(Consolidated Human Label)比对时,一致性剧烈下滑(GPT-5.4 主标签 \(\kappa = 0.52\),GPT-OSS:120B 主标签 \(\kappa = 0.41\)),直接证明大模型之间高度自洽的表征并不等同于人类教师的认知标准。
差异审计与人机协作协议¶
面对人机标注的一致性断崖,本文突破性地拒绝将分歧直接定性为“模型错误”,而是通过系统性二次质性编码,将分歧实例归结为三大维度共 11 个细分子项: - 模型局限(Model Limitations):包含无视检索任务上下文(Context Ignored)、推理逻辑自相矛盾(Reasoning Failure,如将学生明确要求“just read this”判定为索取解法)、未能穿透表层语法识别隐性解题意图(Implicit Intent Missed)、无中生有虚构对话历史(Hallucinations),以及过度泛化作业相关性(Task Relation Missed)。 - 任务与标注设计缺陷(Task & Annotation Design Issues):包含标注定义模糊(Label Misinterpretation,例如对“文字润色/第一人称重写”是否算解法索取的边界未严格限定)、上下文检索缺失(Missing Context,未向模型输入数据表格文件 .csv/.txt 导致信息不足),以及提示词元指令误读(Prompting Misread)。 - 数据模糊性与人类因素(Data Ambiguity & Human Factors):包含语义固有多义性(Interpretive Label Ambiguity,两方均有充分合理解释)、学生意图客观模糊(Unclear Student Intent,单纯粘贴作业代码但无任何问题说明),以及人类标注员自身出现的疏漏与评判漂移(Human Labeling Error)。
统计表明,在所有人机分歧标签中,高达 23.7% 源于解释性多义,17.8% 源于学生意图模糊,13.2% 甚至是人类标注失误。这意味着超过 54% 的“表面错误”不能怪罪于模型算法缺陷。基于此,研究提出了新型人机协作标注协议:在置信度边缘或极低频类别(如带有心智模型的节点),系统不再强制单一主体给出确定真值,而是允许标注工具主动标记“意图不确定”,将人机标签均视为弱监督信号(Weak Supervision),由专家实施靶向质检与代码簿动态迭代。
实验关键数据¶
主实验¶
实验依托 StudyChat 数据集春季课程(s25)子集,在 408 条人工独立双审且完成最终仲裁(Consolidated Reference)的基准集上展开。下表对比了人类内部、两款 LLM 之间,以及两款 LLM 分别与人类共识参考标签的一致性指标(Cohen's \(\kappa\) 与 Accuracy)。
| 判定维度 (Variable) | 样本量 \(N\) | 人类-人类 \(\kappa\) (Acc.) | 模型-模型 \(\kappa\) (Acc.) | 人类-GPT-5.4 \(\kappa\) (Acc.) | 人类-GPT-120B \(\kappa\) (Acc.) |
|---|---|---|---|---|---|
| 作业映射 (assignment) | 408 | 0.91 (0.93) | 0.99 (1.00) | 0.96 (0.97) | 0.97 (0.98) |
| 作业关联度 (assignment relation) | 408 | 0.70 (0.98) | 0.71 (0.97) | 0.47 (0.96) | 0.48 (0.95) |
| 解法索取 (solution seeking) | 408 | 0.79 (0.91) | 0.53 (0.78) | 0.63 (0.87) | 0.50 (0.77) |
| 解法类型 (solution type) | 272 / 217 / 248 / 221 | 0.85 (0.93) | 0.52 (0.76) | 0.67 (0.83) | 0.56 (0.79) |
| 知识探究 (knowledge seeking) | 100 / 103 / 95 / 94 | 0.85 (0.96) | 0.89 (0.97) | 0.38 (0.87) | 0.55 (0.87) |
| 认知参与 (cognitive engagement) | 82 / 85 / 78 / 72 | 0.73 (0.87) | 0.78 (0.93) | 0.53 (0.79) | 0.39 (0.75) |
| 心智模型 (mental model) | 82 / 85 / 78 / 72 | 0.52 (0.89) | 0.74 (0.91) | 0.48 (0.85) | 0.37 (0.82) |
| 最终主标签 (main label) | 408 | 0.73 (0.80) | 0.67 (0.78) | 0.52 (0.64) | 0.41 (0.56) |
消融实验与分类别表现¶
为进一步剖析大模型在各细分意图类别上的表现异质性,下表给出了 408 条评估样本中各叶子节点的真实样本分布(Support)以及 GPT-5.4 与 GPT-OSS:120B 相对于人类参考标签的精确率(P)、召回率(R)与 F1 分数。
| 意图主标签类别 (Main Label Category) | 样本数 (占比) | \(P_{5.4}\) | \(R_{5.4}\) | \(F1_{5.4}\) | \(P_{120B}\) | \(R_{120B}\) | \(F1_{120B}\) |
|---|---|---|---|---|---|---|---|
| 索取解法:全新创建 (Solution seeking: create) | 147 (36.03%) | 0.87 | 0.71 | 0.78 | 0.66 | 0.80 | 0.72 |
| 索取解法:验证/修复/调整 (Verify/fix/adapt) | 140 (34.31%) | 0.67 | 0.74 | 0.70 | 0.83 | 0.41 | 0.55 |
| 知识探究 + 认知参与 + 无心智模型 | 45 (11.03%) | 0.52 | 0.62 | 0.57 | 0.37 | 0.60 | 0.46 |
| 知识探究 + 无认知参与 + 无心智模型 | 39 (9.56%) | 0.56 | 0.38 | 0.45 | 0.45 | 0.26 | 0.33 |
| 知识探究 + 认知参与 + 表达心智模型 | 13 (3.19%) | 0.28 | 0.54 | 0.37 | 0.17 | 0.38 | 0.24 |
| 知识探究 + 无认知参与 + 表达心智模型 | 1 (0.25%) | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| 其他 / 非知识探究 (Other / non-knowledge) | 23 (5.64%) | 0.18 | 0.22 | 0.20 | 0.28 | 0.43 | 0.34 |
| 宏平均 (Macro average) | - | 0.44 | 0.46 | 0.44 | 0.39 | 0.41 | 0.38 |
| 加权平均 (Weighted average) | 408 (100.0%) | 0.67 | 0.64 | 0.65 | 0.63 | 0.56 | 0.56 |
关键发现¶
- 互补的一致性强项:人类标注员在“解法索取”(\(\kappa = 0.79\))与“解法类型”(\(\kappa = 0.85\))上高度一致,但在更隐蔽的“心智模型”维度一致性较低(\(\kappa = 0.52\));相反,两款 LLM 在心智模型识别上表现出较强的自恰性(LLM-LLM \(\kappa = 0.74\)),但在解法索取判定上分歧显著增大(\(\kappa = 0.53\)),印证了人机对于显性行为与隐性认知特征的关注侧重点天然互补。
- 长尾心智模型识别严重滑坡:数据分布呈现严重的极化,索取解法类占全量样本的 70.34%,而显式表达心智模型的样本合计仅占 3.44%。在稀缺类别“知识探究 + 认知参与 + 表达心智模型”上,GPT-5.4 的 F1 仅为 0.37(精确率低至 0.28),GPT-OSS:120B 的 F1 仅为 0.24;在无认知参与的心智模型极值样本上 F1 完全挂零,说明当前大模型在缺乏思维链引导时对罕见教育意图的捕捉极为脆弱。
- 单编码与双编码一致性稳定性验证:在未经历双审讨论的 1,985 条单编码子集上,GPT-OSS:120B 与人类标注的一致性保持稳定(双编码 \(\kappa = 0.41\),单编码 \(\kappa = 0.43\)),排除了双编码样本因人类协商产生人工共识而虚增/虚减人机分歧的可能性。
亮点与洞察¶
- 颠覆纯算法评估视角:论文通过质性审计证明,在自然人机对话标注中,超过半数(54.7%)的人机分歧根本不是模型推理错误,而是源于自然语言的解释性多义性、学生本身的提问模糊性甚至人类标注漂移。这一洞察警示研究界:不可盲目使用大模型自动化标注并将其 F1/\(\kappa\) 直接等同于系统可靠性。
- 解法优先的教育意图消歧规则:将 L2L 理论转化为计算机视觉与自然语言处理可操作的二叉判决流,创造性地用“输出物是否能直接替学生完成作业代码”作为界定认知外包(Offloading)的硬性锚点,为后续教育对话分析与自适应助教干预提供了极高实用价值的规范准则。
- 人机多源弱监督协议:论文不再视自动化标注为“全自动替代”或简单的“人工过滤”,而是提出将 LLM 与人类打标共同视为带有噪声的弱监督源(Weak Supervision),重点对长尾心智模型节点进行专家复审,大幅降低标注成本的同时实现了代码簿演进的可溯源性。
局限与展望¶
- 单一课程与任务泛化边界:实证数据全部采自一门大学本科 AI 课程的 Spring 2025 学期,代码和作业主要基于 Python/Jupyter 环境。该决策树在开放式人文写作、论述型答疑或基础数学辅导中的可迁移性与分类稳定性仍待验证。
- 上下文模态受限:由于输入上下文窗口和工程实现限制,管线排除了数据文件(.csv、.txt),导致当学生针对数据内容或清洗结果提问时,模型因缺失关键作业上下文而频繁产生误判;此外,实验仅评测了零样本设置,未包含少样本(Few-shot)上下文学习或思维链(CoT)优化。
- 未来方向:探索引入主动学习(Active Learning)框架,让大模型在遇到学生意图模糊(如单纯粘贴代码)时主动向学习者追问澄清目标,由被动标注意图转向主动支持学习者的元认知表述。
相关工作与启发¶
- vs 传统对话行为标准 (SwDA / ISO 24617-2): 传统标准侧重通用语用学功能(提问、陈述、赞同),无法区分教育场景中寻求答案(偷懒外包)与探究概念(真实理解)的本质对立;本文通过解法与知识对立分支填补了这一空白。
- vs 阶段性自我调节学习分析 (Lyu & Ding 2025; Lai 2024): 以往工作依据 SRL 宏观阶段(计划、监控、反思)建立规则词典,往往将所有编码提问通通归入“控制执行”阶段;本文在更细的话语粒度(Utterance-level)上切分认知与元认知代理行为,具备跨任务普适性。
- vs 传统大模型数据标注评测 (Ahmed et al. 2025; Wang et al. 2024): 多数研究简单假设人类标注为绝对金标并统计错误率;本文采用深度的多源差异审计,将分歧拆解为人、机、数据三元互动,为弱监督教育数据生成提供了全新范式。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性解构教育对话中人机标注分歧的深层认知与数据根源,提出理论对齐的解法优先树状决策框架。
- 实验充分度: ⭐⭐⭐⭐☆ 包含 2,393 条真实对话语料、408 条人工双审全量跟踪,多维度细粒度对比矩阵详实,仅缺少多学科跨域评测。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密,理论推演与实证质性案例结合极佳,图表数据自洽透彻。
- 价值: ⭐⭐⭐⭐⭐ 为教育对话系统行为审计、学生认知外包监测以及人机协作弱监督标注体系树立了极具指导性的标准。