Known By Their Actions: Fingerprinting LLM Browser Agents via UI Traces¶

会议: NeurIPS 2026
arXiv: 2605.14786
OpenReview: https://openreview.net/forum?id=DT4P4Xo3iP
领域: LLM Agent
关键词: LLM Browser Agent, UI Trace Fingerprinting, Passive Side-Channel, Behavioral Biometrics, Agent Security

一句话总结¶

论文揭示了黑客或网站运营者可通过注入被动 JavaScript 脚本监听网页端 UI 交互轨迹（事件时序与动作结构），无需特权网络流量或内部状态即可对 14 种前沿 LLM 浏览器智能体实现高达 96% 的基座模型指纹识别，进而使针对特定模型的提示注入与消耗算力的海绵攻击成为可能。

研究背景与动机¶

随着多模态大语言模型（MLLM）被赋予自主操控浏览器界面的能力，LLM 驱动的智能体正在迅速从学术原型走向规模化商业部署。当海量智能体代表人类用户在真实互联网环境中自动完成多跳检索、电商导购和信息汇总等复杂交互时，访问的每一个网页都天然成为了对端站点的观测点。传统 Web 安全体系针对自动化客户端的研究长期定位于二元判定——即基于请求模式、设备环境属性或鼠标神经运动生物特征区分“真人”还是“机器人”，而对由高级大模型驱动的新型智能体缺乏细粒度归因能力。

然而在现实威胁建模中，目标识别是实施针对性网络攻击的第一步。不同基座大语言模型在安全对齐、越狱防御边界、视觉推理鲁棒性以及推理代价上存在显著的异构性。若恶意网站运营商获悉当前访问智能体背后运转的是具体哪一款模型，便可精准检索该模型已知专属越狱提示库或执行特定攻击优化，甚至故意部署具有信息歧义的高熵页面诱导其推理扩展，形成专门消耗用户推理预算的新型拒绝服务攻击。现有基于网络侧抓包或主动探针的识别方法不仅部署门槛极高，而且易被代理跳板和端到端加密阻断。

针对该安全隐患，本文提出了一个核心研究问题：仅凭普通网站上注入的轻量级 JavaScript 探针记录的用户界面（UI）事件序列与时间节奏，能否在被动无感状态下精准指纹识别底层驱动的大模型？核心 idea：利用不同 LLM 在视觉感知决策、指令规划延迟和网页交互结构上的内生行为差异，通过轻量级无感 JavaScript 脚本采集包含事件间隔时序（IEI）与动作分布的 UI 交互轨迹，构建端到端分类模型实现前沿 LLM 浏览器智能体的无侵入式精准指纹识别。

方法详解¶

整体框架¶

本文构建了面向浏览器智能体的指纹识别攻击威胁模型与评估框架。被动共存攻击者（即受控网站管理员）在页面加载时注入轻量级 JavaScript 监听脚本，无需读取智能体生成的文本内容或底层网络报文。智能体在固定浏览器环境（Midscene.js 配合 Playwright，纯视觉截图感知模式）下执行跨页面任务时，DOM 监听器实时抓取击键、点击、滚动、焦点和导航等事件并附加毫秒级相对时间戳，生成结构化交互轨迹 \(\tau = \{(s_t, u_t, \Delta t_t)\}_{t=1}^T\)。随后，特征提取模块从中计算包含时序动态、点击空间分布、滚动深度和导航策略的 41 维标量特征，送入机器学习分类器完成闭集识别（判定属于哪种已知模型）或开集检测（识别是否为未见未知模型）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境观察与任务目标<br/>1280x768截图 + 纯视觉指令"] --> B["双路事件监听探针<br/>DOM脚本Push桥接 + 页面卸载补采"]
    B --> C["41维行为特征提取<br/>全局时序 + 点击空间 + 滚动导航"]
    C --> D["模型身份指纹分类<br/>XGBoost闭集归因与开集异常检测"]
    D -->|推断模型标签| E["下游定向威胁利用<br/>专属提示注入 / 海绵算力消耗 / 差异化内容呈现"]

关键设计¶

1. 双路事件监听探针：无感且完备的高精度数据采集 针对传统日志抓取容易漏记页面跳转前夕短暂事件的痛点，该机制通过注入 page_tracer.js 脚本实现事件无感采集。探针采用以 Chrome DevTools Protocol（CDP）为核心的主通道（Push Bridge），对页面内的 click、keydown、scroll、navigate、focus 等交互实时通过 window.__pushTraceEvent 推送至宿主缓存；同时辅以二级兜底捕获（Backstop Harvest），在页面生命周期销毁或导航卸载（beforeunload）瞬间快速打包遗留事件，配合 Playwright 底层 framenavigated 补齐 HTTP 级别跳转。这种设计确保了在完全不干扰智能体原生行为的前提下，以毫秒级时间戳完整记录连续交互时序。

2. 41维多维度行为特征工程：从交互节奏与结构提炼内生指纹 模型识别的核心挑战在于剔除页面内容带来的随机干扰，提取与模型决策风格绑定的本质属性。论文从原始事件序列中提炼出 41 维可泛化标量特征，涵盖七大子维度： - 全局时序与思考延迟：首个动作响应时间（\(t_{\text{first\_action}}\)）、全事件跨度间隔（Inter-Event Intervals, IEI）的均值、标准差、分位数（p10/p90），以及表征长上下文规划衰减的趋势比值 \(\text{iei\_trend} = \frac{\text{mean}(\text{IEI}_{\text{late}})}{\text{mean}(\text{IEI}_{\text{early}})}\)； - 各动作专用交互节奏：点击间间隔均值/标准差（\(\text{mean\_click\_iei}\)）、跨页驻留时间（\(\text{mean\_nav\_iei}\)）与单字符击键间隔（\(\text{mean\_key\_iei}\)）； - 空间点击与感知定位分布：点击坐标在视口内的离散度（\(\sigma_x, \sigma_y\)）、顶栏导航搜索区点击占比（\(y < 192\text{px}\)）及超链接命中率（\(\text{link\_click\_ratio}\)）； - 导航与结构化交互策略：结构键（回车、方向键、Tab、退格等）相比可打印字符的占比（\(\text{structural\_key\_ratio}\)）、滚动与点击比率（\(\text{scroll\_to\_click\_ratio}\)）及页面离开前的平均阅读滚动深度（\(\text{mean\_exit\_scroll\_pct}\)）。

3. 双重威胁识别与抗时延防御自适应 面对现实场景中不同攻击者诉求，方案分别形式化了闭集分类与开集未知模型检测。在闭集设定下，通过跨折超参数网格搜索优化 XGBoost、Random Forest 与 LSTM 等架构，输出模型类别预测 \(\hat{m} = \arg\max_{m \in \mathcal{M}} P(m \mid \phi(\tau))\)；在开集检测中采用留一模型（Leave-One-Agent-Out）协议计算 AUROC 分离度。针对客户端注入随机时间抖动（Randomized Delay）这一直觉防御手段，论文揭示了未自适应分类器与自适应重训分类器的博弈机制：尽管纯时序特征（如 IEI 方差）会在延迟扰动下显著退化，但结构性动作特征（点击空间离散度、结构键比例、链接点击偏好）依然强力保留了模型固有的操作逻辑，经过延迟数据重训后的分类器能迅速恢复识别精度。

实验关键数据¶

主实验¶

主实验在两个大类四个真实 Web 基准（问答多跳检索：2WikiMultiHop、FRAMES；电商在线购物：WebShop、DeepShop）上评测了 14 种前沿多模态大语言模型（含 GPT-5.4、Claude Opus 4.6、Gemini-3.1-Pro、Gemini-3-Flash、Seed-2.0-Lite 以及 Qwen3/Qwen3.5、GLM-4.6V、UI-TARS-1.5、Gemma-4 等开源模型）。基准随机基线为 7.14%（14 分类）。

任务数据集	评估环境	XGBoost (Macro F1 %)	Random Forest (Macro F1 %)	LSTM (Macro F1 %)	逻辑回归 LR (Macro F1 %)
2WikiMultiHop	Wikipedia	79.36	75.75	66.75	67.61
FRAMES	Wikipedia	75.27	69.95	73.15	65.41
WebShop	Amazon	74.23	72.31	65.14	63.00
DeepShop	Amazon	72.57	65.42	59.54	60.92

部分代表性单模型在 XGBoost 下的识别 F1 表现极为突出：Seed-2.0-Lite 在 2Wiki 和 FRAMES 上分别达到 96.05% 和 96.60%；UI-TARS-1.5-7B 在 WebShop 上达到 92.09%；GPT-5.4 在 2Wiki 上达 91.50%；Qwen3.5-27B 在 FRAMES 上达 97.40%。

消融与迁移实验¶

针对不同数据汇聚机制与跨站/跨任务泛化能力，下表展示了分类器的迁移性能衰减与数据聚合效果。

训练与测试配置	数据域设定	评测场景	Macro F1 (%)	结论说明
同任务独立训练 (In-Domain)	Wikipedia (2Wiki)	域内测试	79.40	动作时序模式在同任务高度稳定
单任务跨任务迁移 (Cross-Task)	2Wiki \(\to\) FRAMES	跨任务测试	41.10	纯单任务特征难直接迁移到异构任务
单任务跨任务迁移 (Cross-Task)	FRAMES \(\to\) 2Wiki	跨任务测试	49.80	任务复杂度差异造成动作分布漂移
同站点混合训练 (Pooled-Site)	2Wiki + FRAMES	2Wiki 测试集	81.30	同一站点多任务联合可学到强健站点指纹
同站点混合训练 (Pooled-Site)	2Wiki + FRAMES	FRAMES 测试集	77.20	性能反超或持平独立域内基线
跨站点完全迁移 (Cross-Site)	Wikipedia \(\to\) Amazon	跨网站测试	29.70	界面交互基底差异大，指纹高度绑定站点宿主
跨站点完全迁移 (Cross-Site)	Amazon \(\to\) Wikipedia	跨网站测试	25.98	跨站通用独立指纹目前仍具挑战性

关键发现¶

时序主导日常指纹，动作承载深层抗扰鲁棒性：在干净环境下，SHAP 归因显示决策节奏相关特征（IEI 标准差、点击间隔、首动延迟）权重最高；当注入 5 秒随机时间扰动后，未调整分类器性能陡跌，但重训后的自适应分类器自发转向结构按键比例、点击坐标方差等动作语义特征，Macro F1 迅速回调，证明对抗性单纯加延时不能作为有效防御手段。
任务能力与可识别性完全正交：通过比较各智能体在 FRAMES 上的任务解决准确率与识别 F1，发现二者相关性完全不显著（Pearson \(r=0.14, p=0.626\)；Spearman \(\rho=0.05, p=0.852\)）。例如 Claude Opus 4.6 任务准确率高达 88% 但识别 F1 为 68.71%，而 UI-TARS-1.5-7B 任务准确率仅 2.67% 却取得了高达 90.07% 的识别 F1，证明指纹反映的是模型独特的认知行动模式而非能力优劣。
数据与推理极度高效：仅利用前 30% 的会话训练数据即可逼近全局峰值分类精度；而在测试推断时，观测前 40% 的操作事件（通常不足 15 个事件）即可稳固收敛到模型最终判断，攻击者无需等待会话结束即可动态投毒。

亮点与洞察¶

从 Bot 检测向模型身份指纹的维度飞跃：传统对抗停留在“人与机器”的二元分类，该工作率先将攻防边界推入“究竟是哪一款闭源/开源模型在操纵客户端”的细粒度模型归因新纪元。
揭示了针对智能体经济成本的“海绵攻击”新攻击面：网站可根据识别出的高资费旗舰模型（如 GPT-5.4、Claude Opus 4.6），实时动态返回排版繁琐、信息冗余的高熵页面诱导其展开超长链条推理，在对端耗尽调用者的 Token 预算。
开集识别与闭集识别的能力分离：闭集下最容易被锁定的模型（如 Seed-2.0-Lite，F1 超 96%）在留一开集测试中 AUROC 反而低于随机基线，而 GPT-5.4 的开集可检出性最好（AUROC 0.84），为新模型在线注册监控机制提供了理论洞见。

局限与展望¶

单一套件基底的依赖：实验中所有智能体均在统一配置的 Midscene.js 纯视觉环境下评测，尚未充分量化基于纯 DOM/HTML 文本解析或混合模式的自研 Agent 框架在跨框架迁移时的指纹保持能力。
跨网站迁移受限：模型在不同 Web UI 结构下的操作范式差异显著，跨站迁移 Macro F1 跌至 30% 左右，防御方或研究者需要探索更本质的无视宿主站点形态的模型内在行动表征。
自适应防御机制待深入：单纯随机延迟被证明易被重训瓦解，未来防御需研发在交互动作采样、点击平滑轨迹与规划决策流层面的系统性对抗混淆机制。
多标签与复合模型指纹混淆：在长链条多 Agent 系统（如前端路由由轻量级模型负责、深层操作交由大型模型）协同作业时，时序行为特征可能发生交错污染，未来工作需探索解耦混合智能体签名的时序因果分离算法。

评分¶

论文质量: 5.0 / 5.0 (首次确立了浏览器端被动 UI 交互轨迹到基座 LLM 身份归因的攻击面与方法学)
实验充分度: 5.0 / 5.0 (涵盖 14 种前沿大模型、4 个权威 Web 任务环境、41 维特征消融以及完整的时延防御攻防博弈分析)
创新性: 5.0 / 5.0 (跳出文本输出与网络流量特征定势，开创性利用客户端原生操作动力学实现身份识别)
价值: 5.0 / 5.0 (对未来 Web 基础设施演进、针对性 Agent 提示词注入防御及安全交互协议设计具有重大警示意义)