跳转至

MemoPhishAgent: Memory-Augmented Multi-Modal LLM Agent for Phishing URL Detection

会议: ACL 2026
arXiv: 2602.21394
代码: GitHub
领域: 安全AI
关键词: 钓鱼检测, LLM智能体, 情景记忆, 多模态推理, 工具调用

一句话总结

提出 MemoPhishAgent(MPA),首个专为钓鱼URL检测设计的记忆增强多模态LLM智能体,通过5个专用工具的动态编排和情景记忆系统复用历史推理轨迹,在公开基准上召回率提升13.6%,在真实社交媒体数据上提升20%,并已部署生产环境每周处理约6万高风险URL。

研究背景与动机

领域现状:钓鱼攻击持续演变,传统防御(静态黑名单、手工启发式规则)对新域名和新手法覆盖不足。基于品牌-域名映射的参考方法改进了鲁棒性但维护成本高,对新品牌和子域名反应滞后。

现有痛点:(1)现有LLM方案多为提示式确定性流水线,缺乏自适应证据收集能力;(2)工具使用固定流程(如先OCR再品牌匹配再域名验证),不能根据当前证据状态动态调整;(3)无记忆系统,无法复用历史调查经验,重复分析类似钓鱼模式效率低。

核心矛盾:钓鱼攻击是非平稳的——攻击者不断变换策略,但防御系统是无记忆的,每次从零开始分析。

本文目标:构建一个能动态调整证据收集策略、从历史调查中学习、并适用于生产环境的钓鱼检测智能体。

切入角度:将钓鱼检测建模为多步推理过程——模拟人类专家的调查行为,动态选择工具收集证据。

核心idea:5个钓鱼专用多模态工具 + ReAct推理循环 + 情景记忆系统(存储/检索历史推理轨迹),三者结合实现自适应、可学习的钓鱼检测。

方法详解

整体框架

MPA接收可疑URL列表,每个URL通过Agent处理:(1)动态选择5个专用工具收集多模态证据(文本+视觉+外部知识);(2)在ReAct循环中进行多步推理,基于当前证据状态决定下一步行动;(3)利用情景记忆检索相似历史案例,加速判断或提供exemplar引导。最终输出"恶意"或"良性"判定。

关键设计

  1. 5个钓鱼专用工具

    • 功能:提供互补的多模态证据
    • 核心思路:三方面覆盖——多模态证据(Crawl Content提取Markdown文本 + Check Screenshot全页截图分析 + Check Image细粒度图像检查)、外部知识(Intelligent Search构建证据驱动的搜索查询获取最新信息)、嵌套攻击面(Extract Targets提取重定向目标和子链接进行深层检查)
    • 设计动机:通用工具不适配钓鱼场景;5个工具覆盖文本/视觉/链接/外部知识四个维度
  2. 情景记忆系统

    • 功能:存储、检索和复用历史推理轨迹
    • 核心思路:用LLM从页面提取紧凑关键词(如"apple login", "wallet connect"),嵌入向量索引。检索top-k近邻,按三级策略使用——无匹配时完整ReAct循环、部分匹配时作为exemplar引导、完全匹配时直接多数投票。随部署增长,记忆越来越丰富
    • 设计动机:钓鱼模式存在大量重复(同一攻击模板针对不同受害者),记忆系统将重复调查转化为快速决策
  3. 三级记忆使用策略

    • 功能:平衡速度和可靠性
    • 核心思路:k'=0→完整推理(未见模式);0<k'<k→历史轨迹作为in-context exemplar(部分相似);k'≥k→直接多数投票(高度相似)
    • 设计动机:避免记忆主导推理——应作为上下文指导而非替代思考

实验关键数据

主实验

方法 TR-OP Recall DynaPD Recall 速度(s/URL)
MPA 93.4% 93.6% 4.46
PhishLLM ~80% ~88% 14.2
MLLM ~82% ~85% 5.1
URLTran ~86% 2.8(含训练)

消融实验

配置 关键指标 说明
完整MPA 93.4% Recall 所有组件
- 记忆系统 -27% Recall 记忆贡献最大
- 工具设计 性能下降 专用工具优于通用工具
提示式基线 较差 固定流程不如自适应选择

关键发现

  • 情景记忆贡献高达27%的召回率提升,且不增加额外计算开销
  • MPA是所有方法中最快的(4.46s/URL),因为记忆系统跳过了大量重复分析
  • 在真实社交媒体数据(SocPhish)上召回率提升20%,说明在真实场景中优势更大
  • 生产部署每周处理~60K高风险URL,实现91.44%召回率
  • URL shorteners和平台托管路径(如sites.google.com)是传统方法的盲区,MPA通过多模态工具克服

亮点与洞察

  • 已部署生产环境:不仅是学术工作,已在Amazon生产环境中保护百万用户,说服力强
  • 情景记忆的效果惊人:27%召回率提升且不增加计算——因为对重复模式直接投票,减少了LLM调用
  • 工具设计专业且互补:5个工具从文本/视觉/搜索/链接四维度收集证据
  • 三级记忆策略平衡了效率和准确性:对未见模式完整分析,对已见模式快速决策

局限与展望

  • 依赖外部LLM API:Claude-3-Sonnet的延迟和成本
  • 记忆系统可能被污染:如果早期错误判断被存入记忆,可能影响后续决策
  • 仅关注钓鱼URL:其他安全威胁(如恶意软件分发)未覆盖
  • 未来方向:记忆自我修正机制、扩展到更多安全威胁类型、轻量化本地模型替代API

相关工作与启发

  • vs PhishLLM:使用LLM做品牌提取+意图识别,但仍是固定流程;MPA动态选择工具
  • vs Cao et al. (2025):多模态LLM钓鱼检测但固定证据获取流程,无记忆
  • vs 通用Agent框架:使用通用工具和推理,MPA的钓鱼专用工具更有效

评分

  • 新颖性: ⭐⭐⭐⭐ 首个钓鱼专用的记忆增强LLM Agent,情景记忆系统设计精巧
  • 实验充分度: ⭐⭐⭐⭐⭐ 两个公开基准+真实社交媒体数据+生产部署验证,消融全面
  • 写作质量: ⭐⭐⭐⭐ 威胁模型定义清晰,系统架构图直观
  • 价值: ⭐⭐⭐⭐⭐ 已在生产环境验证,对安全AI有直接应用价值