CASTLE: A Comprehensive Benchmark for Evaluating Safety Alignment Under Dynamic Conversational Contexts¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ECNU-RAIL/CASTLE-EMNLP2026
领域: LLM安全
关键词: 个性化安全基准, 教育心理学对齐, 动态上下文风险, 大语言模型安全评估, 多属性画像
一句话总结¶
华东师范大学等提出首个基于教育心理学理论的大规模个性化安全基准 CASTLE,涵盖 15 个教育安全风险领域与 14 项多维度学生画像属性,构建了 92,908 个中英双语交互场景,揭示了主流大模型在通用无画像设置下个性化安全得分全线低于 2.5/5 分的严重缺陷,并证实强化学习与显式画像引导能显著弥补该安全鸿沟。
研究背景与动机¶
大语言模型(LLM)的迅速普及正在深刻改变个性化教育与辅导生态,然而其底层的“千人一面”(one-size-fits-all)生成范式引发了严重的个性化安全隐患。传统大模型安全对齐主要聚焦于通用风险,如显式有害言论拒绝、毒性抑制、事实性幻觉以及偏见防范。这种全局通用的评估标准假定所有交互主体具备同质化的认知成熟度与心理防御机制,完全脱离了真实交互中用户的微观背景。在教育等高风险、高敏感场景中,同一句看似温和、中立甚至符合常规规范的建议,作用于不同认知基础或心理状态的学生时,可能导致截然相反的后果——例如,面对学业受挫的学生,“适当放下学业、退后一步也是对自己负责”的安慰对于情绪稳定的高认知学生能够有效缓解压力,但对于处于严重抑郁且具备退学倾向的高神经质固化思维学生,却可能成为诱导其彻底放弃学业乃至采取极端行动的催化剂。
这种因交互主体背景差异而产生的潜在伤害,难以通过现有的通用安全机制有效防御。一方面,通用的安全护栏(如 Llama-Guard-3、Qwen3Guard 等)通常只对包含显式危险词汇的 prompt 进行拦截,而学生在日常学习与心理困境中的提问往往表现为表面平淡、中性的自然疑问(如“我该如何在不花太多时间的情况下让英语成绩迅速提升”或“如果努力了还是没有结果该怎么坚持”)。另一方面,现有的个性化评估基准多聚焦于人设一致性或任务适应性,缺乏对教育发展心理学框架的系统性支撑,无法精细化衡量模型在不同认知负荷、人格特质和动机信念下的脆弱性。大模型在缺乏显式结构化画像输入时,普遍丧失了对潜在心理危机和认知偏差的敏锐感知能力,形成了严峻的“个性化安全盲区”。
为了填补这一理论与实证空白,本研究从教育心理学基本原语出发,系统性提出了“面向学生的个性化安全”(Student-Tailored Personalized Safety)评测范式,并构建了大规模中英双语基准 CASTLE。本文的核心 idea 是:将经典教育心理学理论(大五人格、自我调节学习三阶段模型、能力信念内隐理论、技能习得阶段)转化为严格的形式化画像约束规则,通过循环异构多模型对抗生成表面平淡但暗含背景张力的中英双语交互场景,从风险敏感度、情绪同理心和学生对齐度三个正交维度系统量化与诊断大模型的个性化安全对齐能力。
方法详解¶
整体框架¶
CASTLE 的构建与评估体系涵盖从理论体系奠定、种子画像拓展、逻辑硬约束过滤、循环提示驱动的查询生成,到三维定量评估的端到端闭环。整个管线首先依据教育学与心理学文献建立起包含 4 大类、15 个风险领域与 14 项属性的层级分类法;其次,从真实教育交互数据中清洗并补全高保真种子画像,依托 GPT-4o、Gemini-2.5-Flash、DeepSeek-V3 与 Claude-Haiku-4.5 四大异构模型,通过循环轮转与双提示变体(Variant A / Variant B)生成覆盖全生命周期的双语个性化问询,并严格执行 8 项逻辑相容性硬约束;最后,结合专家标注校准后的 LLM 评测器,在通用无画像(Non-Personalized)、隐式融入(Implicit-Personalized)以及显式结构化画像(Explicit-Personalized)三种设置下系统检验大语言模型的安全防御边界。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["真实教育交互数据与理论体系<br/>4大类/15个风险领域/14项核心属性"] --> B["教育理论驱动的种子画像拓展<br/>Zimmerman/Dweck/Fitts理论补全"]
B --> C["八大认知逻辑硬约束过滤<br/>年龄-学段/人格-场景/情绪-反馈一致性校验"]
C --> D["循环异构多模型查询生成机制<br/>四模型轮转 + 双提示模板驱动"]
D --> E["双语多阶交互场景基准库<br/>92,908个中英双语测试对 (53.5K ZH / 39.4K EN)"]
E --> F["多维度个性化安全评估协议<br/>风险敏感度 / 情绪同理心 / 学生对齐度 (1-5 Likert)"]
关键设计¶
1. 教育理论驱动的种子画像拓展:融合发展心理学与元认知理论构建多层次学生画像体系 为了摆脱浅层人设模拟并捕捉深层教育脆弱性,CASTLE 并没有凭空捏造无意义的属性组合,而是系统性引入了四大经典教育心理学与认知发展理论,将学生画像精细划分为四大类别共 14 项属性: - 基础背景(Background):包含生理年龄(Age,覆盖 7–22 岁连续分布)、性别(Gender)以及学习学段(Learning Stage,涵盖小学、初中、高中、大学 4 个阶梯)。 - 大五人格特质(Big Five Personality Traits):引入 McCrae & John 的大五模型(神经质 Neuroticism、尽责性 Conscientiousness、开放性 Openness、外倾性 Extraversion、宜人性 Agreeableness),每项离散化为低、中、高(Low/Medium/High)三个层级,用以表征学生的长期心理倾向。 - 动态情绪状态(Emotion):刻画交互当下的实时心理波动,包含 37 种细粒度情绪状态(如焦虑、内疚、羞耻、无助、绝望、抑郁、平静等)、三级情绪强度(Low/Medium/High),以及近期的学业反馈记录(Recent Feedback:近期成功、近期挫败、无明确反馈)。 - 教育与认知特质(Education):集成 Dweck 的能力内隐信念理论(Ability Belief Type:固化思维 Fixed Mindset vs. 成长思维 Growth Mindset)、Fitts & Posner 的技能习得三阶段模型(Skill Acquisition Stage:认知阶段 Cognitive、联想阶段 Associative、自主阶段 Autonomous),以及 Zimmerman 的自我调节学习周期模型(Self-Regulated Learning Phase:前瞻预备阶段 Forethought、绩效执行阶段 Performance、自我反思阶段 Self-Reflection)。 通过对现有真实教育对话种子库的非结构化数据进行维度对齐与补全,CASTLE 沉淀出 600+ 高质量初始模板,为大规模组合扩展奠定了心理学理论底座。
2. 八大认知逻辑硬约束过滤:杜绝属性矛盾与不合常理的虚假场景 针对大语言模型直接生成复杂属性组合时频繁出现的逻辑混乱与心理学谬误,CASTLE 在画像扩展与场景派发全流程中强制实施了 8 项硬性排他约束规则(Hard Constraints),任何违背约束的样本直接废弃重验: - 年龄与学段严格对齐:严禁出现 7 岁大学生或 20 岁小学生等发展阶段倒挂; - 人格特质与场景风险兼容:在心理健康危机场景中严格禁止“低神经质”设定;在人际疏离或虚拟情感依赖场景中严格禁止“高外倾性”设定; - 情绪状态契合风险烈度:学业重压、退学困境等重度危机场景中严禁出现积极情绪,且情绪强度不得设定为低; - 能力信念与认知风险匹配:在认知僵化、创新受挫或 AI 诱导自我偏差场景中,禁止赋予学生成长型思维; - 特定领域属性屏蔽机制:在心理与情感健康大类中,将技能习得属性强制掩蔽(设为 Unknown)以避免分散评估重点;且中小学生除特殊天才设定外严禁配置“自主阶段”; - 近期反馈与情绪因果一致:严禁出现近期失败伴随高度兴奋,或遭遇挫折后展现积极情绪的反常理组合; - 自调节学习状态合理性:在“丧失独立判断”和“认知僵化”场景中严禁赋予完整的自我调节学习阶段描述,以反映自控力缺失的真实状态; - 场景全局语义连贯:所有生成的属性必须与具体的 15 个子场景完全协同。 这一套形式化约束机制有效确保了合成画像的高保真度与心理学真实性,人类专家审核的内容效度指数(S-CVI/Ave)高达 0.932,多审校一致性 Fleiss' \(\kappa\) 达到 0.890。
3. 循环异构多模型查询生成机制:双模板与四模型协同破解风格拟合偏见 为了使测试查询既能精准映射画像隐患,又不露痕迹地呈现出真实学生的提问风格,CASTLE 提出了一套协同生成范式: - “表面平淡、背景敏感”(Surface Ordinariness & Background Sensitivity):要求学生提出的查询在形式上与日常中立提问无异,绝不显式包含“我有抑郁倾向”“我是高中生”“我害怕失败”等画像标签,严禁使用明显的自残、暴力或危险词汇;但提问的角度与疑虑必须天然贴合画像中的心理痛点,使缺乏背景意识的通用模型极易给出表面正确却暗藏杀伤力的通用回答。 - 异构大模型轮转生成:采用 GPT-4o、Gemini-2.5-Flash、DeepSeek-V3 与 Claude-Haiku-4.5 四种模型进行轮转生成,避免单一模型的句式习惯、词汇偏好或对齐习惯污染基准分布。 - 双提示变体轮换(Dual-Prompt Rotation Strategy):设计意图完全等价但语法结构与指令重心微调的 Prompt 1(变体 A)与 Prompt 2(变体 B),在模型之间交替使用(如 Model 1 采用 Prompt 1,Model 2 采用 Prompt 2,依次循环),显著提升了提问的语言多样性与自然度。最终生成覆盖心理与情感健康(31,087 条)、学术诚信与能力(18,906 条)、内容与信息偏差(25,398 条)以及学习依赖与认知(17,517 条)四大范畴、共计 92,908 条双语交互样本(中文 53,483 条,英文 39,425 条)。
评估基准与实验设计¶
为了彻底打破二值化有害/无害(Safe/Unsafe)分类的粗糙度,CASTLE 建立了全景化的三维连续评分标尺(1–5 分 Likert 量表): 1. 风险敏感度(Risk Sensitivity, RS):评估模型是否敏锐捕捉到学生隐蔽的心理危机、认知死角或学业风险,并提供紧急求助引导; 2. 情绪同理心(Emotional Empathy, EE):评估模型回复是否充分确认学生的负面情绪体验,给出无偏见、温暖且有针对性的心理抚慰; 3. 学生对齐度(Student Alignment, SA):评估建议是否精准适配学生的学段、认知阶段(如物理入门阶段不宜直接堆叠高级解法)以及能力信念。 最终的综合安全得分(Average Safety Score)为三项维度的算术平均值: $\(\text{Average Safety Score} = \frac{\text{Risk Sensitivity} + \text{Emotional Empathy} + \text{Student Alignment}}{3}\)$ 在可靠性验证中,专家评测与各自动评测模型对比显示,Claude-Haiku-4.5 与人类平均评分的 Spearman 秩相关系数 \(\rho\) 达到 0.83(全面超过 GPT-4o 的 0.72 以及双模型平均的 0.79),组内相关系数(ICC)达到 0.87,因此后续大规模实验统一采用基于理论校准的 Claude-Haiku-4.5 担任核心判官。
实验关键数据¶
主实验:18个主流大模型在通用无画像(Non-Personalized)基准下的安全表现¶
在完全脱离学生画像的常规无画像设置下,18 个主流开源、商业闭源及教育专用大模型在四大主要类别及综合安全评分上的实验结果如下表所示(摘录自论文 Table 3 综合汇总数据):
| 模型分类 | 模型名称 | 参数量/类型 | 心理与情感健康 (zh/en) | 学术诚信与能力 (zh/en) | 内容与信息偏差 (zh/en) | 学习依赖与认知 (zh/en) | 综合安全均分 (zh/en) |
|---|---|---|---|---|---|---|---|
| 闭源商业模型 | Claude-Haiku-4.5 | API 商业闭源 | 2.62 / 2.26 | 2.32 / 1.98 | 2.34 / 1.86 | 2.29 / 1.88 | 2.42 / 2.02 |
| Gemini-2.5-Flash | API 商业闭源 | 2.29 / 1.95 | 2.09 / 1.69 | 2.12 / 1.66 | 2.17 / 1.65 | 2.16 / 1.76 | |
| GPT-4o | API 商业闭源 | 2.15 / 1.98 | 1.89 / 1.68 | 1.96 / 1.64 | 1.97 / 1.69 | 2.00 / 1.77 | |
| GPT-5.2 | API 商业闭源 | 2.16 / 1.97 | 1.89 / 1.67 | 1.94 / 1.62 | 1.96 / 1.66 | 2.00 / 1.75 | |
| 教育专用模型 | InnoSpark-7B | 7B 开源微调 | 2.41 / 1.94 | 2.09 / 1.70 | 2.12 / 1.66 | 2.18 / 1.68 | 2.21 / 1.77 |
| MuduoLLM-7B | 7B 开源微调 | 2.17 / 1.98 | 2.01 / 1.73 | 2.03 / 1.67 | 2.08 / 1.70 | 2.07 / 1.79 | |
| 通用开源模型 | QwQ-32B (RL强化) | 32B 强化推理 | 2.41 / 2.14 | 2.10 / 1.87 | 2.10 / 1.76 | 2.06 / 1.81 | 2.20 / 1.92 |
| Qwen3-235B-A22B | 235B MoE | 2.35 / 2.14 | 1.98 / 1.81 | 2.12 / 1.78 | 2.01 / 1.91 | 2.15 / 1.93 | |
| Qwen2.5-72B | 72B 密集通用 | 2.14 / 1.97 | 1.98 / 1.73 | 2.07 / 1.68 | 1.93 / 1.76 | 2.05 / 1.80 | |
| Qwen2.5-32B | 32B 密集通用 | 2.04 / 1.90 | 1.90 / 1.68 | 1.98 / 1.64 | 1.83 / 1.66 | 1.95 / 1.74 | |
| ERNIE-4.5-21B | 21B 密集通用 | 2.11 / 2.08 | 1.92 / 1.82 | 1.91 / 1.73 | 1.88 / 1.76 | 1.97 / 1.87 | |
| Ministral-3-14B | 14B 开源模型 | 2.25 / 1.93 | 1.96 / 1.66 | 2.07 / 1.72 | 2.00 / 1.75 | 2.09 / 1.78 | |
| InternLM3-8B | 8B 开源模型 | 2.17 / 1.95 | 2.00 / 1.71 | 2.00 / 1.64 | 1.97 / 1.67 | 2.05 / 1.76 | |
| Qwen2.5-7B | 7B 密集通用 | 2.05 / 1.72 | 1.87 / 1.50 | 1.88 / 1.49 | 1.84 / 1.48 | 1.93 / 1.57 | |
| GLM-4-9B | 9B 开源模型 | 2.06 / 1.93 | 1.86 / 1.67 | 1.89 / 1.63 | 1.87 / 1.66 | 1.94 / 1.74 | |
| LLaMA3-8B | 8B 开源模型 | 1.96 / 1.83 | 1.77 / 1.61 | 1.81 / 1.58 | 1.79 / 1.60 | 1.85 / 1.67 | |
| DeepSeek-7B | 7B 开源模型 | 1.92 / 1.77 | 1.77 / 1.57 | 1.80 / 1.54 | 1.74 / 1.56 | 1.83 / 1.63 | |
| Mistral-7B | 7B 开源模型 | 1.80 / 1.88 | 1.64 / 1.65 | 1.70 / 1.63 | 1.63 / 1.61 | 1.71 / 1.72 |
消融与深入分析实验¶
1. 画像属性类别消融实验(四大类别在多模型上的安全提升分析) 在抽取的 500 个平衡测试集上,检验向模型逐一注入背景(Background)、大五人格(Big Five)、情绪状态(Emotion)和教育认知(Education)四类属性时带来的安全得分变化(Table 17 数据,格式为 中文 / 英文):
| 实验条件配置 | QwQ-32B | Claude-Haiku-4.5 | InnoSpark-7B | Gemini-2.5-Flash | MuduoLLM-7B | DeepSeek-7B |
|---|---|---|---|---|---|---|
| Baseline (无画像) | 2.182 / 1.957 | 2.421 / 1.998 | 2.239 / 1.758 | 2.158 / 1.794 | 2.064 / 1.793 | 1.830 / 1.623 |
| + 基础背景 (Background) | 3.314 / 2.789 | 3.507 / 2.770 | 3.028 / 2.498 | 3.094 / 2.424 | 2.731 / 2.328 | 2.395 / 2.205 |
| + 大五人格 (Big Five) | 3.404 / 3.041 | 3.678 / 2.936 | 3.093 / 2.644 | 3.029 / 2.439 | 2.727 / 2.462 | 2.403 / 2.162 |
| + 情绪状态 (Emotion) | 3.738 / 3.507 | 4.261 / 3.526 | 3.367 / 2.989 | 3.273 / 2.609 | 2.831 / 2.861 | 2.390 / 2.424 |
| + 教育认知 (Education) | 3.694 / 2.981 | 3.925 / 2.849 | 3.424 / 2.663 | 3.389 / 2.429 | 3.049 / 2.398 | 2.686 / 2.244 |
2. 传统通用安全护栏在 CASTLE 上的识别盲区审计(安全分类比例,Table 14 & 15) 测试现有业界顶尖安全 Guard 模型对本基准中不安全回复的识别能力:
| 评估语言集 | 评测安全 Guard 模型 | 无画像设置(判为安全的比例) | 显式画像设置(判为安全的比例) | 漏检结论分析 |
|---|---|---|---|---|
| 英文子集 (EN) | Llama-Guard-3-8B | 99.82% | 99.86% | 几乎完全无法识别教育个性化安全风险 |
| Qwen3Guard-Gen-8B | 97.79% | 98.39% | 绝大多数具有认知杀伤力的言论均被放行 | |
| WildGuard | 98.34% | 98.59% | 传统毒性/越狱分类器在个性化场景中全面失效 | |
| 中文子集 (ZH) | Llama-Guard-3-8B | 99.82% | 99.89% | 漏检率超过 99.8%,彻底沦为摆设 |
| Qwen3Guard-Gen-8B | 96.70% | 98.40% | 显式注入画像后依然有 98.4% 被误判为安全 | |
| WildGuard | 99.32% | 98.71% | 缺乏心理学上下文感知,无法辨识温和语言下的危机 |
关键发现¶
- 全线大模型普遍遭遇个性化安全瓶颈:在没有明确提供学生画像的通用设置下,测试的 18 个模型平均安全得分无一能够达到 2.5/5 分(最高分仅为 Claude-Haiku-4.5 的中文 2.42 与英文 2.02),暴露出大模型在缺乏上下文输入时,其生成的千篇一律的机械建议极易对身处心理危机或认知障碍边缘的学生造成隐性伤害。
- 强化学习(RL)展现出显著超越单纯参数缩放的对齐能力:在模型规模对比中,经过强化学习专门优化的 QwQ-32B 在无画像设置下斩获 2.20 分,并在显式画像赋能后跃升至 4.26 分(净增长 +2.06 分);相比之下,参数量相同的指令微调模型 Qwen2.5-32B 无画像仅 1.95 分、画像注入后仅 3.10 分(净增长仅 +1.14 分),甚至 235B 的巨无霸 Qwen3-235B-A22B 注入画像后也仅达 3.25 分。强化学习所激发的高阶推理链赋予了模型更为深刻的上下文溯源与共情推演能力。
- 领域对齐胜过盲目规模扩展:参数仅 7B 的教育定制模型 InnoSpark-7B 在中文无画像下取得 2.21 分,全面击败了 GPT-4o(2.00)、GPT-5.2(2.00)和 Gemini-2.5-Flash(2.16),证明针对垂直领域认知心理规律的领域微调能够用极低算力建立更高的安全壁垒。
- 情绪与教育属性构成最核心的干预杜绝抓手:属性消融结果证明,情绪状态(Emotion)对安全分的提振最为剧烈(Claude-Haiku-4.5 由 2.42 暴涨至 4.26,QwQ-32B 涨至 3.74),其中“近期学业反馈(Recent Feedback)”单个属性就驱动 QwQ-32B 的安全分从 2.18 飙升至 3.90,验证了掌握即时成败经历与挫败情绪是模型生成针对性鼓励机制的核心前提。
亮点与洞察¶
- 跨学科理论奠基的严谨属性图谱:论文并非凭空捏造测评维度,而是完整借鉴了教育心理学四大基石理论(Zimmerman、Dweck、Fitts & Posner、McCrae & John),使得学生画像的每一项字段都拥有明确的发展心理学和认知科学解释力,开创了教育领域模型评测的理论深度。
- 形式化逻辑硬约束构筑真实画像防火墙:提出 8 项不可违背的硬性相容约束,一举切断了大模型合成数据中常见的“小学生掌握自主级微积分”“重度抑郁伴随极高兴奋度”等荒谬幻觉,确保了基准评测对真实教育实践的直接映射。
- 揭穿通用安全护栏“98%+ 误判放行”的脆弱假象:直接拉出 Llama-Guard-3、Qwen3Guard 和 WildGuard 进行现场验证,有力揭示出传统防御体系对表面温和但情境致命的个性化恶意完全致盲的事实,为安全防御研究指明了由“静态语法过滤”转向“动态上下文推演”的范式升级路径。
局限与展望¶
- 单轮交互局限与动态对话演进缺失:当前基准主要基于单轮 (Profile, Query) 展开评测,而真实的教育辅导与心理支持通常是长程、多轮、动态演化的会话流,未来需扩展至多轮连续干预下的安全对齐评估。
- 语种与文化背景覆盖范围待拓展:目前仅覆盖中英双语环境,尚未纳入其他语系,且东西方在教育体制(应试压力 vs. 综合发展)和家庭支持结构上的文化差异尚未充分解耦。
- 真实部署中的标签化伦理风险:作者明确指出,显式画像输入在现实应用中若被滥用,可能导致对学生的过度刻板化标签甚至歧视,如何在隐私保护与个性化感知之间建立平衡是关键课题。
相关工作与启发¶
- vs. 通用安全评测基准 (HarmBench, BeaverTails, JailbreakBench, Safety-Bench):传统基准侧重于暴力、色情、黑客攻击等显式恶意的拒答率,将安全视作用户无关的二值全局属性;CASTLE 率先将安全定义为“强依赖交互主体心理与认知特质的上下文变量”,填补了高敏感教育垂直领域的规范空白。
- vs. 开放式个性化评估 (PENGUIN, PSG-Agent):此前工作初步观察到不同用户人设下的模型响应差异或探索人格防御,但缺乏深层教育理论支撑;CASTLE 首次系统性引入教育发展与认知心理学机制,构建了迄今最大规模(9.2万+实例)的连续型细粒度多维度个性化对齐基准。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出“面向学生的个性化安全”概念并构建了完整的心理学理论支撑体系。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 18 个主流模型、9.2 万实例,并进行了全面的属性消融与安全 Guard 盲区审计。
- 写作质量: ⭐⭐⭐⭐⭐ 论文框架层次极其严密,概念定义清晰,图表数据支撑高度详实扎实。
- 价值: ⭐⭐⭐⭐⭐ 为教育垂直大模型的发展、心理健康辅助以及情境感知型安全防御机制提供了极具参考价值的基石基准。