CaptchaMind: Training CAPTCHA Solvers via Reinforcement Learning with Explicit Reasoning Supervision¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/AlibabaResearch/captcha-mind
领域: LLM Agent
关键词: CAPTCHA求解, 多模态Agent, 强化学习, 显式推理监督, 过程级奖励
一句话总结¶
针对多模态 Agent 在复杂 CAPTCHA 验证码中因缺乏细粒度视觉定位与中间推理监督而频繁失败的问题,本文提出了首个具备过程级标注的大规模基准 CaptchaBench,并构建了基于强化学习的求解器 CaptchaMind,通过边界框工具显式约束并直接奖励中间关键区域定位,在 8 类任务上取得 82.9% 的平均成功率,且能无缝泛化至真实商业验证码场景。
研究背景与动机¶
多模态智能体(Multimodal Agents)在网页导航、GUI 自动化和在线人机交互领域正迎来爆发式进展,但现实互联网环境中普遍部署的 CAPTCHA 人机验证机制,却成为阻碍智能体实现全流程端到端自主操作的关键瓶颈。现代验证码系统早已从早期的纯文本字符扭曲识别,演化为需要空间关系理解、多步骤交互推理与动态跨图像比对的综合视觉推理难题。近期针对多模态 Agent 的权威测试表明,即便是业界最顶尖的闭源 VLM 在复杂验证码环境下的任务成功率也往往仅有 40% 左右,与人类超过 90% 的直觉完成率存在显著鸿沟。
面对这一挑战,现有求解方案严重依赖于对闭源前沿模型(如 GPT-5、Claude-4 等)设计复杂提示词工程或外挂启发式搜索策略。这不仅带来了高昂的 API 调用开销与交互延迟,更在严苛的安全合规和自动化环境中严重缺乏行为可控性。然而,发展完全开源的专用训练求解器却长期面临两大难以逾越的技术鸿沟:一是社区缺乏具有过程级密集标注的大规模训练数据,评测基准(如 OpenCaptchaWorld)仅面向评估且规模极小;二是现有多模态强化学习普遍采用基于终局成败的稀疏结果奖励(Outcome-only Reward),模型内部的视觉推理与对齐过程完全隐式黑盒化,无法有效指导模型在复杂背景中精确定位关键微小特征。
本文的研究切入点在于:要打破多模态模型“依赖全局模糊印象推断、忽略局部细微线索”的致命缺陷,必须将隐式的视觉推理过程显式化,并在中间步骤提供可计算、可监督的密集信号反馈。为此,研究团队首先利用仿真生成管线构建了包含 16,000 个带完整区域级与过程级监督样本的大规模基准 CaptchaBench。核心 idea:通过引入边界框工具将视觉推理过程显式外显为关键区域定位,并基于真实标注在强化学习阶段联合施加显式区域定位过程奖励、多步交互反馈奖励与任务终局奖励(GRPO 优化),让模型学会“先精确定位关键视觉线索,再执行决策与操作”。
方法详解¶
整体框架¶
CaptchaMind 采用经典的“两阶段训练”范式:第一阶段利用行为克隆在全自动合成数据上进行监督微调(SFT),使基座模型(Qwen2.5-VL-7B)掌握标准的思考-行动(Think-then-Act)范式、基础工具调用规范以及多步交互行为;第二阶段则引入显式推理过程监督的强化学习框架(RL with Explicit Reasoning Supervision),通过群体相对策略优化(GRPO)算法驱动策略迭代。
整个推理解题流程将验证码交互形式化为部分可观测马尔可夫决策过程(POMDP)。在每个时间步,模型接收包含当前图像、任务指令与历史上下文的观测输入,首先自主调用边界框标注工具(bounding_box)框选出它认为对解题至关重要的视觉区域(例如目标图标、候选图标对、几何参照物等)。仿真环境将模型预测的边界框与程序记录的 Ground-Truth 关键区域进行空间 IoU 比对,并给出即时的过程奖励 \(R_{\text{process}}\)。紧接着,模型结合显式定位线索生成下游操作(点击、拖拽、输入数值或切换候选),环境进一步给出单步交互反馈奖励 \(R_{\text{feedback}}\) 以及终局成败奖励 \(R_{\text{outcome}}\),实现端到端闭环训练。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 验证码图像 + 任务指令"] --> B["程序化仿真环境与大规模基准构建<br/>CaptchaBench 自动化场景与过程级标注"]
B --> C["双阶段训练初始化<br/>SFT 注入 Think-then-Act 行为克隆"]
C --> D["显式区域接地机制<br/>调用 bounding_box 工具外显中间视觉线索"]
D --> E["多级联合强化学习奖励设计<br/>过程奖励 + 交互反馈 + 终局完成奖励"]
E --> F["输出: 精确动作决策 click / drag / enter_number"]
关键设计¶
1. 程序化仿真环境与大规模基准构建:解决真实验证码无过程监督与训练数据稀缺问题
现实商业验证码仅反馈最终校验通过与否,无法回溯模型的推理盲区,且公开基准规模极小无法支撑大模型微调。为此,作者开发了支持高保真渲染与状态可控转换的 Python 仿真器,全自动合成了涵盖 8 大类典型任务(图像切换类:connect_icon、coordinates、dart_count、rotation_match;多步交互类:click_order、image_select;单步决策类:dice_count、slide_puzzle)的 16,000 训练样本与 1,600 测试样本。在程序化生成场景的同时,底层渲染引擎毫秒级同步记录了目标物件掩码、候选正确区域、控制按钮像素坐标、交互中间逻辑状态及基于规则模板生成的 CoT 思维链轨迹。人类双盲判别实验表明,志愿者对合成图像与商业真实图像的区分准确率仅为 51.04%(接近 50% 随机猜测,Cohen's \(\kappa=0.02\)),从感知层面证实了基准的高度拟真性。
2. 显式区域接地机制:打破黑盒隐式推理,赋予模型视觉证据感知能力
针对前沿视觉大模型在细粒度辨析任务中习惯依赖“整体画面直觉”从而导致错看、漏看微小视觉元素的顽疾,本文引入了非侵入式工具 bounding_box。这一工具并不改变环境物理状态,也不额外泄露外部信息,其核心价值在于强制模型将内隐的注意力焦点显式映射为具体的二维像素空间坐标集合。模型必须在采取具体交互动作之前,主动输出自身所依据的关键线索框选。这一机制不仅充当了认知脚手架,帮助模型在自注意力机制中自我锚定关键局部细节,更充当了通往监督信号的透明接口,使得策略优化算法能够在符号和空间层面对模型的“思考过程”进行量化评估与对齐。
3. 多级联合强化学习奖励设计:消除稀疏奖励缺陷,动态自适应多维过程指导
传统强化学习依赖单一的终局奖励,在多步骤长链条交互中极易遭遇奖励稀疏与信用分配模糊。本文构建了综合三重维度的复合步级奖励函数:
其中过程奖励 \(R_{\text{process}}\) 专门评估模型的视觉定位质量:当模型预测的某个边界框与任意 Ground-Truth 关键区域的交并比 \(\text{IoU} \ge 0.8\) 时视为有效召回,当单步预测覆盖了基准所要求关键区域总数的 50% 以上时即触发正向激励,既保证证据充分性又避免强迫模型过度标出冗余元素;交互反馈奖励 \(R_{\text{feedback}}\) 则基于状态转移逻辑,对多步交互任务中符合解题进展的单步动作(如点击序列中选对第一个目标、切图切向正确方向)赋予局部进展增量奖励;终局奖励 \(R_{\text{outcome}}\) 则在任务最终彻底解决时发放。更为关键的是,训练策略采用了难度自适应机制:仅在 SFT 成功率低于 50% 的高难度感知任务(如 connect_icon 与 image_select)中激活 \(R_{\text{process}}\),而在简单任务上直接置零,显著提升了联合训练的收敛速度与稳定性。
损失函数 / 训练策略¶
训练采用两阶段递进方案,基于 16 块 NVIDIA A100 (80GB) GPU 展开。基座选用开源视觉语言模型 Qwen2.5-VL-7B(实验对比表明 3B 基座能力不足导致 RL 奖励极度稀疏,32B 初始 SFT 即达 89.6% 缺乏提升空间且算力代价巨大,7B 展现出最佳的初始能力与 RL 提升弹性): - SFT 阶段:使用 8,000 条样本(每类任务 1,000 条),混合包含规则生成的 CoT 推理轨迹,学习率设为 \(5\times 10^{-6}\),训练 3 个 epoch,建立稳固的基础工具格式与多步交互规范。 - RL 阶段:使用剩余 8,000 条样本,采用 Group Relative Policy Optimization (GRPO) 算法,每个 prompt 采样 8 条 rollout 轨迹,batch size 为 64,学习率 \(5\times 10^{-6}\),迭代 1 个 epoch(训练时长约 20 小时)。
实验关键数据¶
主实验¶
在包含 1,600 个测试样本的 CaptchaBench 评测集上,CaptchaMind 与最强商业闭源 VLM、前沿 Agent 框架及开源 GUI 专有 Agent 进行了系统对比。各方法在 8 类任务上的成功率(%)如下表所示:
| 方法类别 | 模型 / 方案 | 平均成功率 (Avg.) | connect_icon | coordinates | dart_count | dice_count | rotation_match | image_select | click_order | slide_puzzle |
|---|---|---|---|---|---|---|---|---|---|---|
| 闭源前沿 VLM | Claude-4-Sonnet | 47.4 | 7.5 | 93.5 | 68.5 | 51.0 | 20.0 | 43.0 | 71.5 | 24.5 |
| Claude-3.7-Sonnet | 43.9 | 19.0 | 83.5 | 51.0 | 75.5 | 10.0 | 38.5 | 30.0 | 44.0 | |
| Gemini-3-Pro | 45.8 | 47.5 | 62.0 | 88.5 | 63.0 | 50.0 | 52.0 | 0.0 | 3.0 | |
| OpenAI-o3 | 46.9 | 37.0 | 69.0 | 51.0 | 72.0 | 4.0 | 46.0 | 62.0 | 34.0 | |
| GPT-5 | 33.6 | 15.0 | 35.5 | 37.0 | 42.0 | 3.5 | 32.5 | 67.0 | 36.0 | |
| Qwen-VL-Max | 38.6 | 14.5 | 55.5 | 40.0 | 42.5 | 5.5 | 39.5 | 72.5 | 39.0 | |
| Agentic 方案 | Oedipus (CCS 2025) | 51.9 | 35.0 | 68.0 | 76.0 | 44.5 | 31.5 | 53.0 | 68.5 | 38.5 |
| Halligan (USENIX 2025) | 54.7 | 34.0 | 76.5 | 69.5 | 43.0 | 36.0 | 66.0 | 71.0 | 41.5 | |
| GUI Agent | GUI_R1_7b | 6.5 | 0.0 | 13.5 | 14.0 | 0.5 | 3.5 | 18.0 | 2.0 | 0.0 |
| 训练基线 | SFT-only | 68.1 | 49.0 | 79.5 | 77.0 | 76.0 | 88.0 | 14.0 | 70.5 | 91.0 |
| 本文方法 | CaptchaMind (Ours) | 82.9 | 71.0 | 91.0 | 93.0 | 72.5 | 86.0 | 71.0 | 87.5 | 91.5 |
消融实验¶
为了量化验证显式推理过程监督、多步交互反馈以及冷启动阶段的具体贡献,作者在测试集上进行了组件消融分析:
| 训练配置说明 | 平均成功率 (Avg.) | connect_icon | coordinates | dart_count | dice_count | rotation_match | image_select | click_order | slide_puzzle |
|---|---|---|---|---|---|---|---|---|---|
| Full (完整方法) | 82.9 | 71.0 | 91.0 | 93.0 | 72.5 | 86.0 | 71.0 | 87.5 | 91.5 |
| SFT-only (仅微调无 RL) | 68.1 | 49.0 | 79.5 | 77.0 | 76.0 | 88.0 | 14.0 | 70.5 | 91.0 |
| w/o RPS (去除推理过程监督) | 78.9 | 56.0 | 83.5 | 89.5 | 76.5 | 89.5 | 54.5 | 90.0 | 92.0 |
| w/o FBR (去除交互反馈奖励) | 80.0 | 70.5 | 90.0 | 92.5 | 73.0 | 86.5 | 58.0 | 79.0 | 91.0 |
| RL-only (无 SFT 预热直接 RL) | 25.6 | 31.0 | 26.0 | 65.0 | 12.5 | 16.0 | 11.5 | 37.0 | 6.0 |
此外,在 OpenCaptchaWorld 跨数据集泛化测试中(151 例),CaptchaMind 达到 66.2%(100/151),大幅碾压 SFT-only 的 29.8%(45/151)与 Claude-4-Sonnet 的 51.0%(77/151);在 100 张真实商业验证码(GeeTest、hCaptcha)真实截图测试中,CaptchaMind 亦录得 71.0% 的高解决率。
关键发现¶
- 显式过程监督是攻克细粒度感知瓶颈的核心武器:在最考验局部细节识别的
connect_icon(连线图标)和image_select(目标图像筛选)任务中,去除过程监督 \(R_{\text{process}}\) 导致成功率分别剧烈下跌 15.0%(71.0% \(\to\) 56.0%)和 16.5%(71.0% \(\to\) 54.5%)。 - 区域定位覆盖度与任务成功率呈现强正相关:定量分析显示,当模型在前置步骤中正确框出的关键区域覆盖度低于 20% 时,终局成功率仅有 16%;当覆盖度提升至 40%–60% 时,成功率迅速跃升至 82%;一旦覆盖度突破 60%,任务成功率全面收敛至 90%–91%。
- SFT 预热是复杂策略强化学习成立的绝对前置条件:脱离 SFT 直接启动强化学习(RL-only),模型平均成功率仅为 25.6%,在多任务中因探索阶段难以触发成功而深陷极度稀疏奖励的死局。
- 通用 GUI 预训练经验在验证码场景中彻底失效:GUI Agent(如 GUI_R1_7b)在验证码测试中仅取得 6.5% 的成功率,其本质原因在于 GUI 预训练过度聚焦于单步表层元素点击,极度缺乏跨图像对比和多步空间推演能力。
亮点与洞察¶
- 将工具调用由操作接口拓展为“监督接口”:常规 Agent 研究仅把边界框或点击动作视作与环境交互的操作工具,而本文巧妙地将
bounding_box转化为多模态大模型思维过程的显式外显载体,使原本黑盒的自注意力聚焦过程变得可计算、可评估。 - 任务难度自适应的过程奖励调度哲学:研究者没有一刀切地在所有任务中强加过程奖励,而是以 SFT 表现为基准,仅在基座能力低于 50% 的瓶颈任务中激活密集过程奖励,既精准解决了最棘手的感知短板,又避免了简单任务被过度规约导致模式坍塌。
- 零人工标注的高保真数据与过程监督飞轮:利用计算机图形学渲染与规则环境全自动构造 16,000 组包含毫秒级像素标注、思维链和状态转移轨迹的数据集,且在感知层面完全通过人类双盲混淆测试,为长链条具身/界面交互研究提供了极具参考价值的数据闭环范例。
局限与展望¶
- 真实环境评估依赖静态截屏而非全栈端到端挂载:受限于商业合规与法律伦理边界,实网泛化测试均在静态保存的验证码截图上以无状态交互协议进行,尚未涉及动态 DOM 渲染、浏览器反爬指纹探测(Canvas/WebGL 探针)及鼠标移动轨迹熵值等高级风控对抗。
- 模型基座泛化性尚未跨家族全面验证:核心强化学习方案主要在 Qwen2.5-VL-7B 上开发与验证,在其他开源多模态家族(如 InternVL、Llama-Vision)及不同视觉编码器架构上的通用鲁棒性仍有待更广泛的实证考察。
- 对抗性与动态变异防御机制探索:未来需要进一步研究防御方引入动态噪点注入、对抗性纹理扰动或对抗性时空混淆时,基于视觉锚定的显式推理求解器的鲁棒性边界。
相关工作与启发¶
- vs. Oedipus (CCS 2025) & Halligan (USENIX Security 2025):Oedipus 和 Halligan 均依赖于设计精密的提示词模板调用昂贵的闭源 VLM,或通过领域特定语言(DSL)外挂树搜索策略;本文通过构建开源且具备过程监督训练能力的 CaptchaMind,不仅将推理开销降至零 API 成本,更在平均成功率上大幅反超前两者达 28.2%–31.0%,从根本上证明了内生参数化训练优于外挂提示词。
- vs. 传统基于结果奖励的 Agent 强化学习 (UI-R1, DeepSeek-R1 范式):主流强化学习倾向于给予二进制的最终成败奖励让模型自行摸索,但在视觉密集型场景中容易引发捷径学习(Shortcut Learning)或陷入局部盲猜;本文证明了在中间关键思考节点注入显式的空间对齐过程监督,能够以极高的样本效率引导策略走出探索死局。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次将工具外显化与过程级空间密集奖励引入验证码多模态强化学习,方法思路极具启发性]
- 实验充分度: ⭐⭐⭐⭐⭐ [自建 1.6 万规模基准、人类双盲图灵测试、8 类任务系统横评、组件消融及真实商业验证码外验一应俱全]
- 写作质量: ⭐⭐⭐⭐⭐ [问题动机切中肯綮,逻辑链条严密连贯,图表呈现扎实详尽]
- 价值: ⭐⭐⭐⭐⭐ [彻底填补开源社区在训练型 CAPTCHA 解题领域的长期空白,对复杂视觉 Agent 推理过程监督具有广泛借鉴意义]