TherapyGym: Evaluating and Aligning Clinical Fidelity and Safety in Therapy Chatbots¶

会议: NeurIPS 2026
arXiv: 2603.18008
代码: https://therapygym.stanford.edu/
领域: 医学图像
关键词: 心理健康对话、认知行为疗法、临床保真度、安全对齐、强化学习

一句话总结¶

针对心理健康大模型缺乏临床有效性与安全性评估的问题，本文提出了结合认知行为疗法量表（CTRS）与安全红线的 TherapyGym 框架，通过可配置患者模拟环境与专家校验的自动评测法官，利用 GRPO 强化学习将心理咨询对话技能显著提升同时降低临床安全违规率。

研究背景与动机¶

大语言模型在心理健康支持领域的应用日益普及，但现有的开放域对话评测体系（如 BLEU、ROUGE、MT-Bench 或 HELM）主要衡量通用对话的流畅度、连贯性与表面帮助性，完全脱离了心理治疗的核心临床维度。即便近期涌现的心理学评测方案（如 CBTBench、CPsyExam 或 ESC-Eval），要么仅停留在事实回忆与单轮问答分类，要么依赖不可解释的成对偏好或通用共情打分，未能扎根于经过临床实证检验的治疗学构念与多轮互动流程。

在循证心理治疗研究中，评估治疗师的核心支柱始终是临床保真度（Fidelity，涵盖治疗成分的依从性与个体化执行能力）与安全性（Safety，避免提供越权医疗诊断或忽视危机伤害）。然而，真实心理治疗具有高度交互性与多轮递进性，直接利用真实患者进行大规模评测或持续人工打分既存在严重的伦理安全隐患，在经济与时间成本上也难以规模化。更关键的是，若直接引入大模型作为评测法官（LLM-as-a-Judge），其固有的评分偏置与幻觉又缺乏经过持牌临床心理学专家标定的可靠基准。

本文的目标是打破心理咨询模型评测与优化的孤立状态，将临床黄金标准转化为可规模化落地的训练与评估闭环。核心 idea：将认知治疗评定量表（CTRS）与四类临床安全红线融合为复合奖励，构建包含专家校验评测集（TherapyJudgeBench）与增强型患者模拟器的 TherapyGym 环境，利用在线强化学习（GRPO）驱动大模型同时提升 CBT 治疗技能并抑制高危医疗违规。

方法详解¶

整体框架¶

TherapyGym 包含两大核心模块：评估套件（Evaluator Suite）与对齐模块（Alignment Module）。评估套件首先构建包含 116 段 10 轮完整 CBT 会话及 1,270 项持牌临床专家标注的 TherapyJudgeBench 审计基准，据此校准基于大模型的自动评测裁判 TherapyJudge；随后，对齐模块将 TherapyJudge 转化为复合奖励模型，在基于认知模型扩展得到的 13,000+ 患者模拟环境（由患者模拟器驱动）中，使用分组相对策略优化（GRPO）对心理咨询大模型进行多轮对话层面的强化学习微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["患者认知模型库<br/>TreeSynth 扩充至 13,093 个档案"] --> B["1. 患者模拟环境<br/>基于 Patient-Ψ-CM 生成真实交互"]
    B <--> C["待对齐治疗师策略模型<br/>Qwen3-4B / 1.7B"]
    C --> D["完整 10 轮对话轨迹"]
    D --> E["2. TherapyJudge 临床评测器<br/>9 项可靠 CTRS 技能 + 4 类安全违规"]
    E --> F["3. 技能与安全复合奖励建模<br/>归一化 CTRS 奖励减去加权违规惩罚"]
    F --> G["4. 多轮对话 GRPO 策略对齐<br/>组内标准化优势广播至全部生成 token"]
    G --> C

关键设计¶

1. 临床驱动的评估体系与 TherapyJudgeBench 专家审计基准：解决模型评测脱离临床金标准的问题 现有模型法官在复杂临床技能评估中缺乏真实专家的校准。TherapyGym 将贝克认知治疗研究所的认知治疗评定量表（CTRS）深度适配为 11 个细粒度技能维度（包括议程设定 Agenda、反馈 Feedback、理解 Understanding、人际效能 Interpersonal Effectiveness、合作 Collaboration、节奏掌控 Pacing、引导性发现 Guided Discovery、聚焦关键认知与行为 Focusing、改变策略 Strategy for Change、CBT 技术应用 Application of CBT Techniques 和作业布置 Homework），采用 0-6 分制标准化打分。同时设立 4 项会话级二元安全红线：提供越权医疗意见/用药建议（Provide medical opinion/medication）、未应对自残自杀等危机与紧迫风险（Fail to address crisis）、未处理暴力虐待（Fail to address abuse）以及未处理功能受损（Fail to address functional impairment）。团队构建了 116 个完整的 10 轮咨询会话（5 轮患者、5 轮治疗师），由 2 位持牌 CBT 专家进行双盲独立标注，形成了首个专用于校验和校准 LLM 法官的 TherapyJudgeBench。通过评估发现人类治疗师之间的 CTRS 标注 Krippendorff's \(\alpha\) 均值为 0.52（Spearman \(\rho = 0.58\)），证明了临床评估具有充分的一致性信号；同时筛选剔除了人际信度较低的 2 项维度（引导性发现与技术应用），保留 9 项高信度维度构成后续的奖励池。

2. 提示工程与上下文示范驱动的 TherapyJudge 自动化评测：构建高保真且高精度的自动裁判 为克服单靠人类专家无法规模化评分的瓶颈，本文开发了 TherapyJudge。评测裁判不仅输入待评测的完整多轮对话文本，还包含结构化评分细则（Rubric）以及每个 CBT 技能维度的典型范例话语（In-Context Learning, ICL）。评测表明，采用 Claude 3.7 + ICL 方案的 TherapyJudge 在 9 项保留的 CTRS 技能维度上达到了平均 Spearman \(\rho = 0.56\) 的高位人机相关性（特别是在改变策略和合作维度分别达到 0.67 的高相关），并且在 4 类临床安全红线判定上取得了高达 99% 的准确率。该评测器能够作为可靠但略带噪声的“整形奖励”（shaping reward），为下游策略优化提供连续的方向性反馈。

3. 技能与安全并重的复合奖励建模：平衡治疗推进力与医疗伦理底线 单一追求咨询技能极易导致模型为了展现技术而在高危情境中“过度干预”或忽视安全危机；反之，过度强调安全拒绝又会导致对话机械、冷漠。本文设计了融合 9 项可靠 CTRS 技能与 4 类安全惩罚的复合标量奖励函数。对于一段完整 10 轮对话轨迹 \(d\)，将每个保留技能 \(i \in S\)（\(|S|=9\)）的原始 0-6 分归一化为 \(\widehat{\mathrm{CTRS}}_{i}(d) = \mathrm{CTRS}_{i}(d)/6 \in [0, 1]\)，整体会话奖励定义为：

\[R(d) = \sum_{i \in S} w_i \, \widehat{\mathrm{CTRS}}_{i}(d) - \sum_{j=1}^4 \lambda_j \, \mathbf{1}_{\mathrm{Safety}_j(d)}\]

其中 \(w_i\) 为各项治疗技能的权重（默认均等），\(\lambda_j\) 为 4 类安全违规项的可调惩罚系数。该奖励在会话结束时给出，强制模型在最大化循证心理学干预质量的同时坚决规避越权行医和危机失察。

4. 规模化患者档案增强与多轮对话 GRPO 策略对齐：实现高效端到端在线强化学习 强化学习需要海量多样化的模拟交互样本。针对原有 Patient-\(\psi\)-CM 仅有 106 个档案的匮乏现状，本文引入 TreeSynth 树状子空间划分方法将其扩增至 13,093 个临床一致的患者认知画像，并在盲测中由临床专家证实其在术语对齐度（4.95/5.00）和病历语调逼真度（4.95/5.00）上均优于原始档案。在对齐训练中，以每个患者档案作为种子任务生成多条模拟轨迹，采用分组相对策略优化（GRPO）进行在线训练。对于包含 \(K\) 条轨迹的采样组 \(\mathcal{G}\)，通过组内标准化计算每条轨迹的归一化优势：

\[\widetilde{R}_k = \frac{R(\tau_k) - \mathrm{mean}(\{R(\tau)\}_{\tau \in \mathcal{G}})}{\mathrm{std}(\{R(\tau)\}_{\tau \in \mathcal{G}})}\]

在多轮交互轨迹中，将该标量优势 \(\hat{A}_{k,t} = \widetilde{R}_k\) 广播分配至治疗师生成的所有 token 集合 \(\Omega_k\) 上，通过 PPO 截断目标更新模型参数 \(\theta\)，使开源小模型在无需额外判别器或价值网络（Value Model）的轻量架构下学会在长程互动中适时设定议程、拆解自动化思维并主动留取作业。

损失函数 / 训练策略¶

训练采用 rLLM 强化学习框架，以 Qwen3-4B-instruct（及对照模型 Qwen3-1.7B）为基础策略，Gemma3-4B 扮演模拟患者，Claude 3.7 Sonnet 扮演 TherapyJudge 提供在线奖励反馈。对话固定上限 10 轮（最大 16,384 tokens），采样温度设为 0.6，top-\(p=0.95\)。每次任务采样 \(K=4\) 条 rollout，batch size 为 16，学习率为 \(1 \times 10^{-6}\)，使用 AdamW 优化器训练 50 个 epoch。多轮 GRPO 优化目标为：

\[\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}_{\mathcal{G}} \Bigg[ \frac{1}{K} \sum_{\tau_k \in \mathcal{G}} \frac{1}{|\Omega_k|} \sum_{t \in \Omega_k} \min \Big( r_{k,t}(\theta) \hat{A}_{k,t}, \; \mathrm{clip}(r_{k,t}(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_{k,t} \Big) \Bigg]\]

其中 \(r_{k,t}(\theta) = \frac{\pi_\theta(a_t | h_t)}{\pi_{\theta_{\text{old}}}(a_t | h_t)}\) 为策略比率，\(\epsilon\) 为截断常数。

实验关键数据¶

主实验¶

在验证集 20 个患者档案的对话生成中，分别由大模型法官与独立持牌临床专家进行双盲评分。评价涵盖 9 项归一化 CTRS 技能均分（越高越好，0-1）与 4 类安全违规率（越低越好，0-1）。

模型	评测者	训练设定	技能均分 (CTRS ↑)	虐待失察 (Abuse ↓)	功能受损失察 (Func ↓)	危机失察 (Crisis ↓)	安全违规均率 (Avg ↓)
Qwen3-4B	LLM 法官	Base (未训练)	0.16	0.10	0.80	0.60	0.38
Qwen3-4B	LLM 法官	GRPO (TherapyGym)	0.59	0.10	0.30	0.10	0.13
Qwen3-4B	人类专家	Base (未训练)	0.10	0.20	0.80	0.50	0.38
Qwen3-4B	人类专家	GRPO (TherapyGym)	0.60	0.20	0.40	0.20	0.20
Qwen3-1.7B	LLM 法官	Base (未训练)	0.09	0.00	0.80	0.30	0.28
Qwen3-1.7B	LLM 法官	GRPO (TherapyGym)	0.29	0.00	0.50	0.10	0.15

消融实验¶

针对 Qwen3-4B 在对齐训练过程中是否引入安全惩罚项（\(\lambda_j\)）开展消融对比实验，使用 LLM 法官进行系统评测：

配置	CTRS 技能均分 (↑)	虐待失察 (Abuse ↓)	功能受损 (Func ↓)	危机失察 (Crisis ↓)	安全违规均率 (Avg ↓)	说明
Untrained (Base)	0.16	0.10	0.80	0.60	0.38	原始未微调基线模型
GRPO (带安全惩罚)	0.59	0.10	0.30	0.10	0.13	完整模型：技能大涨且违规率下降 65.8%
GRPO (无安全惩罚)	0.53	0.30	0.70	0.70	0.43	去掉安全惩罚：违规反超基线，模型博弈单项技能

关键发现¶

RL 显著激活结构化认知干预能力：未微调的 Qwen3-4B 在 Agenda（议程）和 Homework（作业）维度上几乎得 0 分，普遍只会泛泛的人际安抚；经 TherapyGym 强化训练后，人类专家评定其反馈获取（Feedback，0.04 → 0.65）与问题聚焦（Focusing，0.04 → 0.67）产生了质的跃升，会主动引导患者识别自动化思维。
安全惩罚是抑制策略“博弈欺诈”的必备条件：消融表明，若只以 CTRS 技能得分作为奖励（不加安全惩罚），模型为了在多轮对话中显得更像专业治疗师，会过度向患者推销激进认知方案，导致危机与虐待失察率从 0.38 暴增到 0.43；加上安全惩罚后，违规率成功压制至 0.13（人类盲测 0.20）。
参数规模扩展性优异：微调后 4B 模型的技能得分（0.59）已追平甚至超越部分未专门微调的闭源前沿巨量模型（如 Llama 4 Scout 0.61、GPT-o3-mini 0.65），展现出领域强化学习在紧凑模型上的强大对齐效能。

亮点与洞察¶

多轮临床金标准数字化：不同于传统的单轮偏好排序或大模型泛共情评测，本文首次将具备数十年临床实证基础的 CTRS 评估规程和精神心理伦理守则转化为可微调大模型的强化学习奖励。
专家标定与 LLM-as-a-Judge 形成闭环：通过建立 TherapyJudgeBench 审计集并严格度量 Krippendorff's \(\alpha\) 与 Spearman \(\rho\)，不仅论证了人类评测的一致性，还筛选出稳定维度，防止了不可靠评测信号对 RL 造成的奖励破解（Reward Hacking）。
可复用的多轮 GRPO 范式：将单局对话的会话级标量复合奖励均匀广播至全轨迹治疗师生成 token，为多智能体角色扮演和专业客服/咨询任务提供了轻量无 Critic 网络的后训练示范。

局限与展望¶

治疗流派局限于认知行为疗法（CBT）：当前仅适配了 CTRS 框架，对于接纳承诺疗法（ACT）、辩证行为疗法（DBT）或精神动力学流派的干预范式尚未覆盖。
对话轮次固定为 10 轮：标准化 10 轮对话虽便于批处理与评测，但无法反映长程纵向心理咨询（跨越数月、数十次 Session）的连贯性与阻抗处理。
全合成患者数据的局限：尽管模拟患者基于认知模型构建并通过了专家逼真度检验，但现实患者的情感突变、抵触情绪和非语言信息仍难以完全建模。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将多轮 CBT CTRS 临床量表与四项核心安全红线落地为 LLM 在线强化学习环境与自动判官。
实验充分度: ⭐⭐⭐⭐⭐ 包含持牌临床心理学家双盲标注、人机一致性审计、安全惩罚消融以及不同模型规模的系统对比。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论阐述清晰，临床与计算机交叉细节交待透彻。
价值: ⭐⭐⭐⭐⭐ 为大语言模型在心理健康乃至医疗问诊场景下的循证规范化开发与安全对齐确立了标杆范式。