跳转至

CaptchaMind: Training CAPTCHA Solvers via Reinforcement Learning with Explicit Reasoning Supervision

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/AlibabaResearch/captcha-mind
领域: 多模态VLM
关键词: 视觉语言模型, 强化学习, 验证码破解, 显式推理监督, 细粒度视觉定位

一句话总结

针对现有 VLM 在复杂验证码任务上因缺少中间推理监督而频繁失效的问题,本文构建了包含 16,000 个带细粒度区域与过程级标注样本的 CaptchaBench 基准,并提出强化学习求解器 CaptchaMind,通过在中间步骤直接奖励关键视觉区域定位(IoU > 0.8 与覆盖率奖励),配合交互反馈与结果奖励,在 8 类验证码任务上取得 82.9% 的平均成功率,并在真实商业验证码上达到 71.0% 的零样本泛化性能。

研究背景与动机

基于大语言模型与视觉语言模型的多模态智能体正在快速向真实网络环境部署迈进,被广泛应用于网页导航、复杂 UI 自动化与线上交互等端到端自动化场景。然而,作为区分人类与自动化程序的经典人机检验机制,现代验证码(CAPTCHA)已由早期的字符识别演进为包含复杂空间几何变换、跨图上下文匹配、多步时序交互与细粒度计数的多模态视觉推理挑战。近期 OpenCaptchaWorld 等基准测试表明,即便是目前最顶尖的多模态闭源商用智能体配置,其验证码破解成功率也仅在 40% 左右,与人类水平存在显著鸿沟,构成了阻碍智能体执行端到端网络自动化的关键瓶颈。

现有应对方案主要依赖提示工程驱动闭源商用 VLM(如 Oedipus 与 Halligan),这不仅带来了高昂的 API 调用成本与极低的可控性,而且在面对需要精细视觉线索捕捉的场景时经常折戟。探索基于开源模型的本地训练路径极具前景,但前期研究发现常规的有监督微调(SFT)收敛效果极差。导致这一困境的核心痛点在于双重缺失:一方面,学术界与工业界缺乏能够覆盖真实商业验证码复杂交互逻辑的大规模训练基准;另一方面更关键的是,缺乏能够在中间推理步骤中监督模型视觉感知焦点的过程级显式标注。现有基准均仅针对评测设计,无法提供细粒度交互信号,使得模型在纯结果驱动的训练下退化为仅凭全局视觉轮廓碰运气的黑盒。

这种失败的深层核心矛盾在于:验证码成功求解高度依赖对特定任务相关局部区域(如对应图案连接线、旋转朝向角、遮挡骰子点数等)的精确定位与逐步逻辑推进,而传统的端到端训练与提示方法仅能提供二元的终局成功奖励,模型的内部视觉推理过程完全隐式且不可直接监督。为了打破这一阻碍,本文提出应当将中间视觉定位与推理步骤工具化与显式化,使不可见的推理链条转化为可直接评估奖励的中间状态。核心 idea:构建首个包含 16,000 个程序化生成且带完整过程级与区域标注样本的 CaptchaBench 基准,并开发首个基于强化学习的专用求解器 CaptchaMind,在 GRPO 优化中直接对模型调用边界框工具识别出的关键视觉区域实施过程级显式奖励监督,配合交互反馈与结果奖励,从根本上解决模型因注意力偏移导致的细粒度视觉推理崩溃。

方法详解

整体框架

CaptchaMind 将多模态验证码求解建模为部分可观测马尔可夫决策过程(POMDP),在时间步 \(t\) 模型接收包含当前截图、任务指令与历史交互的观察 \(h_t\),并在包含点击(click)、拖拽(drag)、输入文本(type/enter_number)以及绘制边界框(bounding_box)的动作空间中输出动作 \(a_t\)。整个训练体系分为两个阶段:首先在大规模程序化合成的轨迹数据上执行行为克隆(SFT),使基础视觉语言模型(Qwen2.5-VL-7B)掌握基础工具调用语法与特定任务的思维链(CoT)思考模式;随后采用基于强化学习的群体相对策略优化(GRPO)算法,针对模型在行动前调用边界框工具预测的关键区域实施多层次复合奖励机制(过程推理奖励、交互推进奖励与终局结果奖励),完成策略迭代优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入观察<br/>CAPTCHA 图像 + 交互历史 + 任务提示"] --> B["阶段 1:程序化数据构建与 SFT 热身<br/>16K 样本轨迹 + 工具调用 + 显式 CoT"]
    B --> C["阶段 2:显式区域引导与工具具象化<br/>调用 bounding_box 显式框选关键视觉候选区域"]
    C --> D["阶段 3:多层次强化学习过程奖励构建<br/>R = R_process + R_feedback + R_outcome"]
    D --> E["阶段 4:GRPO 策略更新与自适应监督<br/>8 rollout/prompt 联合优化,难任务激活过程奖励"]
    E --> F["输出动作执行<br/>精准点击 / 拖拽 / 跨图翻页 / 提交验证"]

关键设计

1. 程序化数据构建与 SFT 热身:破解缺乏过程级标注的冷启动瓶颈

针对直接进行强化学习导致任务过于困难、奖励极度稀疏(未热身直接 RL 成功率仅 25.6%)的问题,本文开发了一套无人工参与的自动化数据生成模拟器,程序化生成包含 8 类验证码任务(涵盖图像切换类、多步交互类和单步决策类)的 16,000 个高保真样本。模拟器在渲染过程中精确记录真实目标区域(Ground-Truth Bounding Boxes)、中间状态转换规则与最优交互路径,并在代表性复杂任务(如 dice_count 和 rotation_match)中由程序规则自动生成标准思维链(CoT)推理文本。在预热阶段,利用 8,000 个样本对 Qwen2.5-VL-7B 执行 3 个轮次的行为克隆监督微调,使模型牢固建立 "先思考定界、再操作执行"(Think-then-act)的通用交互范式,将平均成功率迅速提升至 68.1%,为后续强化学习探索提供了稠密的成功轨迹初态。

2. 显式区域引导与工具具象化:让内部注意力转移转化为可直接监督的交互状态

针对闭源模型与普通微调模型频繁依赖 "整体视觉模糊印象"(Holistic Visual Impressions)而忽视细微线索的问题,本文赋予模型专用的 bounding_box 动作工具。该工具在推理环境中不改变验证码的物理验证状态,其核心机制在于将模型内部未知的感知焦点显式外化为精确的二维边界框坐标。模型在做出实质性交互操作(如点击图案或拖拽滑块)之前,被强制或激励去标注其认为与解题相关的目标线索(例如左侧参考图案、右侧候选连通对或分散的骰子集合)。通过与数据生成阶段记录的精准地面真值(Ground Truth)进行比对,训练系统能够对智能体 "看对了没有" 进行显式量化,从而实现针对视觉注意力和感知质量的端到端直接干预。

3. 多层次强化学习过程奖励构建:结合感知质量、交互推进与终局成果的三元目标

针对传统强化学习中单一二元结果奖励无法指导复杂长链条视觉推理的问题,CaptchaMind 设计了在时间步层层递进的三元复合奖励函数: $\(R = R_{\text{process}} + R_{\text{feedback}} + R_{\text{outcome}}\)$ 其中推理过程奖励 \(R_{\text{process}}\) 专为监督模型感知质量设计:对于模型绘制的每一个预测边界框,若其与任意地面真值区域的交并比(IoU)超过 0.8,则判定为正确识别;当单步中正确识别区域的覆盖比例达到 ground-truth 集合的 50% 以上时,系统即赋予正向过程奖励,既督促模型收集充分解题依据,又避免因过度追求严苛全覆盖而增加推理冗余。交互反馈奖励 \(R_{\text{feedback}}\) 则针对 image_select 和 click_order 等多步交互任务,每当模型执行一步符合任务状态转移逻辑的有效中间探索时即给予奖励。终局结果奖励 \(R_{\text{outcome}}\) 仅在整幕结束且验证码通过时赋予 1。

4. GRPO 策略更新与自适应监督:依据初始任务困难度动态分配训练焦点

针对多任务联合强化学习中各任务收敛进度不一、统一奖励容易导致简单任务过拟合的问题,本文采用高效的群相对策略优化算法(GRPO),在 16 块 NVIDIA A100 GPU 上按每个 prompt 采样 8 条 rollout 轨迹进行联合策略更新。更为巧妙的是,作者引入了基于任务困难度的自适应监督策略:仅当任务在 SFT 阶段的基线准确率低于 50%(如高度依赖微观纹理与连接关系的 connect_icon 与 image_select)时,才显式激活过程推理奖励 \(R_{\text{process}}\);而对于 SFT 准确率已然达标的中简单任务,则将 \(R_{\text{process}}\) 设为 0,仅依靠状态反馈和最终结果奖励驱动策略细化,大幅简化了多任务学习下的奖励超参调优并稳定了策略梯度。

损失函数 / 训练策略

训练分为两个阶段。阶段一为监督微调(SFT),在 8,000 个带完整轨迹和 CoT 标注的样本上微调 Qwen2.5-VL-7B,训练 3 个 epoch,学习率为 \(5\times 10^{-6}\)。阶段二采用 GRPO 算法在剩余 8,000 个交互环境样本上训练 1 个 epoch,批大小为 64,学习率为 \(5\times 10^{-6}\),每个 prompt 探索 8 个 rollout。整个强化学习训练仅需 20 小时即可高效收敛。

实验关键数据

主实验

在包含 8 个任务、1,600 个测试样本的 CaptchaBench 评测集上,对比当前最顶尖的闭源 VLM、基于提示的智能体、专业 GUI 智能体以及微调基线(指标为任务成功率 %):

方法分类 模型 / 方法 connect_icon coordinates dart_count dice_count rotation_match image_select click_order slide_puzzle 平均成功率 (Avg.)
闭源商用 VLM Claude-4-Sonnet 7.5 93.5 68.5 51.0 20.0 43.0 71.5 24.5 47.4
闭源商用 VLM Claude-3.7-Sonnet 19.0 83.5 51.0 75.5 10.0 38.5 30.0 44.0 43.9
闭源商用 VLM Gemini-3-Pro 47.5 62.0 88.5 63.0 50.0 52.0 0.0 3.0 45.8
闭源商用 VLM OpenAI-o3 37.0 69.0 51.0 72.0 4.0 46.0 62.0 34.0 46.9
闭源商用 VLM GPT-5 15.0 35.5 37.0 42.0 3.5 32.5 67.0 36.0 33.6
闭源商用 VLM Qwen-VL-Max 14.5 55.5 40.0 42.5 5.5 39.5 72.5 39.0 38.6
专有 Agent 架构 Oedipus 35.0 68.0 76.0 44.5 31.5 53.0 68.5 38.5 51.9
专有 Agent 架构 Halligan 34.0 76.5 69.5 43.0 36.0 66.0 71.0 41.5 54.7
跨界 GUI 智能体 GUI_R1_7b 0.0 13.5 14.0 0.5 3.5 18.0 2.0 0.0 6.5
本地训练基线 SFT-only (Qwen2.5-VL-7B) 49.0 79.5 77.0 76.0 88.0 14.0 70.5 91.0 68.1
本文方法 CaptchaMind (Ours) 71.0 91.0 93.0 72.5 86.0 71.0 87.5 91.5 82.9

消融实验与泛化评测

在测试集上验证各核心组件贡献,以及在包含 151 个样本的跨源真实基准 OpenCaptchaWorld 上的分布外(OOD)迁移表现:

消融配置 / 评测设置 平均成功率 (Avg. %) connect_icon image_select click_order slide_puzzle 核心说明
CaptchaMind (Full) 82.9 71.0 71.0 87.5 91.5 完整模型配置
去除过程推理监督 (w/o RPS) 78.9 56.0 (-15.0) 54.5 (-16.5) 90.0 92.0 困难任务上细粒度定位崩溃,掉点极其严重
去除交互反馈奖励 (w/o FBR) 80.0 70.5 58.0 (-13.0) 79.0 (-8.5) 91.0 多步序列交互任务明显退化,单步任务不受影响
仅纯强化学习 (RL-only,无 SFT) 25.6 31.0 11.5 37.0 6.0 奖励极度稀疏,策略无法有效收敛探索
OpenCaptchaWorld 跨域泛化
CaptchaMind (Ours) 66.2 (100/151) 6/10 10/20 15/20 29/31 显著超越闭源大模型与纯微调模型
SFT-only 29.8 (45/151) 1/10 2/20 8/20 15/31 纯 SFT 泛化极弱,面临严峻分布偏移退化
Claude-4-Sonnet (闭源参考) 51.0 (77/151) 4/10 13/20 15/20 18/31 闭源大模型中跨域泛化最佳水准

关键发现

  • 显式过程监督是攻克细粒度困难任务的核心生命线:在消融实验中,去掉 \(R_{\text{process}}\) 对全局平均影响看似温和(-4.0%),但在最具挑战性、需要精准识别小连通对与目标物体的 connect_icon 和 image_select 任务上,成功率分别遭遇了 15.0% 和 16.5% 的毁灭性跌幅,证明该设计对症下药。
  • 区域定位命中率与任务最终成功率呈极强的正单调相关:统计分析揭示,当模型在决策前正确圈定关键目标区域的比例低于 20% 时,解题成功率仅有 16%;当覆盖率提升至 40%–60% 时,成功率跃升至 82%;而当覆盖率大于 60% 时,成功率高达 90%–91%,定量证实了 "先看清再做对" 的强关联假设。
  • 纯 GUI 智能体在验证码场景遭遇维度打击:经过大量图形界面定位训练的 GUI_R1_7b 模型在 CaptchaBench 仅获得 6.5% 成功率,核心原因在于其惯于无条件盲目点击界面突出的按钮与箭头,完全缺乏跨图比对、旋转匹配与数量推理的多步推导能力。
  • 真实场景与人类双重不可分辨验证:在 50 名受试者参与的合成图像与真实商业验证码鉴别盲测中,人类分类准确率仅为 51.04%(接近 50% 纯盲猜,Cohen's Kappa \(\kappa = 0.02\));且 CaptchaMind 在未经微调的 100 张真实商用验证码截图上斩获 71.0% 的成功率,证实了合成训练集极高的生态保真度与现实迁移价值。

亮点与洞察

  • 将边界框工具赋予 "认知外化" 的双重角色:bounding_box 动作不仅是提供给 VLM 的视觉推理辅助脚手架,更成为了连接黑盒神经注意力和外部客观过程监督信号的结构化接口。这种将不可见的内部思考转化为显式可评测动作的设计极具启发性。
  • 非对称的任务自适应过程奖励机制:仅对初始 SFT 表现弱于 50% 的困难任务引入过程奖励,避免了向所有任务无差别堆叠过程反馈导致的超参爆炸和策略冲突,既确保了简单任务的高效收敛,又保证了重难点任务的强引导。
  • 从局部结构泛化打破闭源 API 依赖:证明了 7B 量级的中小开源 VLM 通过精细构建的强化学习过程级监督,其解构微观视觉几何关系与长时交互策略的能力可完全碾压千亿量级的 GPT-5、Claude-4 与 OpenAI-o3。

局限与展望

  • 静态截图评测与真实动态风控间的系统级间隙:作者坦承受制于法律和伦理考量,评测仅在离线采集的公开静态截图上进行;而真实黑产与反爬对抗涉及动态 JavaScript 代码混淆、设备指纹检测、鼠标物理移动轨迹连续性模拟等复杂反外挂风控,单纯视觉通过并不等同于浏览器穿透。
  • 模型基座泛化范围尚待拓宽:全部强化实验仅基于 Qwen2.5-VL-7B 验证,尚未在 InternVL、LLaVA-OneVision 等其他开源架构,或更大参数规模的基座上验证跨架构强化学习规律。
  • 未来方向:探索与底层浏览器内核结合的端到端动态感知验证码求解架构,并研发新型抵御强化视觉推理的主动防御型验证码机制。

相关工作与启发

  • vs Oedipus (Deng et al., 2025) / Halligan (Teoh et al., 2025):前者基于领域特定语言(DSL)做规则解构,后者构建 Agent 启发式搜索,两者均高度依赖闭源昂贵 API 且无法自适应修正视觉误识;本文则属于开创性的本地开源可训练强化学习范式,无需外部模型即在准确率与延迟上实现全面超越。
  • vs OpenCaptchaWorld (Luo et al., 2025b):OpenCaptchaWorld 仅包含少量样本且专门用于纯结果性评测,无法支撑参数优化;本文的 CaptchaBench 规模扩大了近两个数量级(16,000 例)且具有像素级关键区域真值,首次构建起过程级训练与诊断的完整基石。
  • vs DeepEyes (Zheng et al., 2025) / Ground-R1 (Cao et al., 2025):同属 "Thinking with images" 视觉工具强化学习前沿探索,但现有工作通常仅将工具作为感知剪裁工具;本文则通过直接度量生成边界框与 Ground-Truth 的交并比实施显式密集过程打分,为复杂多模态强化学习提供了更精细的奖励塑形借鉴。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出在强化学习中利用边界框工具实现显式推理过程监督,开创了端到端可训练验证码智能体先河。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 8 大任务、多类主流基线对比、真实人机鉴别盲测、真实商用验证码测试与跨域 OOD 泛化,论证极度扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 结构严整逻辑自洽,图表信息充沛且动机层层剥茧,深入浅出。
  • 价值: ⭐⭐⭐⭐⭐ 填补了开源多模态模型在验证码复杂交互与细粒度视觉推理领域的训练空白,对端到端 Web Agent 演进极具推动价值。