MCP-Persona: 用环境模拟评估 LLM agent 在真实个人化应用上的能力¶

会议: ICML 2026
arXiv: 2606.02470
代码: https://github.com/wwh0411/MCP-Persona
领域: LLM Agent / Benchmark / 工具使用
关键词: MCP, 个人化, agent benchmark, 环境模拟, 工具调用

一句话总结¶

MCP-Persona 是首个针对真实个人化 MCP 工具（Slack/Rednote/Instagram/Lark 等 12 服务器）的 LLM agent benchmark；提出 Tool-Traverse + Context-Tree + Persona-Gen 三套方法，用 LLM 自动 synthesize Python simulator 代码避免真实账号问题；测 10+ SOTA agent 发现连 Claude-Sonnet-4.5 也只达 38.66% Acc，证明个人化工具使用是被严重低估的能力短板。

研究背景与动机¶

领域现状：MCP 是 LLM 接外部工具的标准协议，已被 Anthropic Skills、OpenClaw 等广泛采用。但现有 tool-use benchmark（AppWorld、PersonaBench、MCP-Universe、ToolAthlon）大多用通用 information-seeking 工具或合成工具，没有评测"绑定用户账号、操作本地状态"的个人化工具。

现有痛点：个人化 MCP 评测面临三个困难——(1) 真实部署需要 private user data 和大量人工配置；(2) 隐私和安全限制开放数据共享；(3) 维护稳定可执行的模拟环境是非平凡技术挑战。

核心矛盾：真实评测要真实数据（隐私问题）；合成评测有 distribution gap（评测信号不可信）。现有 benchmark 选了合成路线，对 Slack/Instagram/Lark 等广泛使用的应用没覆盖。

本文目标：建一个既反映真实个人化工具行为又不依赖真实用户数据的 evaluation platform，覆盖社交媒体、企业协作、邮件、内容管理四大类别。

切入角度：traverse-then-simulate 范式——先在 sandbox 真实账号 traverse 真实 MCP server 的成功+失败 FC 记录行为；然后用 LLM autonomously synthesize Python code 当 simulator，保证 distribution 接近真实。User context 用 tree hierarchy 建模，task 用 tool chain sampling + instruction fuzzification + 人工校验生成。

核心 idea：三套工具——(1) Tool-Traverse：seed FC + adversarial generation 扩 pool，记录真实行为，LLM 写 Python simulator；(2) Context-Tree：User→Calendar→Event 这种 hierarchy 表征 entity；(3) Persona-Gen：tool chain 采样 → prototype → context 注入 → fuzz → 人工校验得 173 任务。

方法详解¶

整体框架¶

三组件交互：Tools + Contexts + Tasks。每个 MCP server 通过 Tool-Traverse 得 simulator kernel；Context-Tree 得 user profile；Persona-Gen 得 173 人工校验任务。Agent 在 simulated environment 执行 task，用 Acc / SR / Exec-Acc 评估。

关键设计¶

Tool-Traverse：traverse-then-simulate 复刻真实 MCP 服务:
- 功能：不依赖真实账号情况下让 simulator 行为跟真实 server 一致（含 error handling）。
- 核心思路：(a) Bootstrapping — 人工写 valid seed call \(x_{\text{seed}}\) 在 live server 执行记录 \((t, x_{\text{seed}}, y_{\text{seed}}, \tau)\)；(b) Adversarial Failure Induction — LLM perturb seed input 覆盖 Type Mismatch / Schema Violation / Boundary / Semantic Conflict 四类错误，跑真服务器记录失败响应；(c) Code-Based Simulation — LLM 基于 (tool schema, behavioral traces, context handler APIs) autonomously synthesize Python file \(K_t\) 实现 transition \(f_t: (\mathcal{C}_{\text{current}}, x) \to (\mathcal{C}_{\text{new}}, y)\)，含 input validation、entity check、error response 完整逻辑。
- 设计动机：手工 mock 易漏 error handling，scale 不到 12 服务器。Adversarial 系统覆盖错误模式；LLM-as-coder 把人工成本从写完整 simulator 降到写 seed FC。
Context-Tree：用户上下文的树形 hierarchy 化:
- 功能：让 simulator 支持 stateful multi-turn 操作 + 个人化任务合成。
- 核心思路：(a) Hierarchy Identification — 从 tool call pool 聚合 entity types/fields/relations，人工校验得 root-at-User 层级（Lark: User→Calendar→Event）；(b) Tree Construction — parent entity 的同类 child 存 identifier-indexed map，跨类型用 foreign key；(c) Content Generation — LLM 给每 field 分配生成方式：Enumerate（iplocation）/ Free-Form（channel_name）/ Random（chat_id）/ Authentic（采真实 Rednote post）；(d) Cross-Entity Linking — 引用类 field 从已生成内容 sample identifier。
- 设计动机：tree 匹配真实 MCP server 数据结构，支持高效 lookup/update；四种 generation 覆盖不同 field 性质；authentic content 提升真实度但敏感字段替换为 fake。
Persona-Gen：两阶段任务生成 + 人工校验:
- 功能：得 173 高质量个人化任务，覆盖 single-server 和 cross-server，模糊化指令模拟真实用户。
- 核心思路：(a) Tool Chain Sampling — topological sampling 满足 5 原则（Dependency/Personalization/Deduplication/Coherence/Realism）；(b) Instruction Prototyping — LLM 用 typed placeholder \(P\) 抽象 instruction template \(S_{\text{proto}}\)；(c) Context Enrichment — 从 context-tree sample entity value 替换 placeholder 得 \(S_{\text{inst}}\)；(d) Fuzzification — 移除 implicit context（如同事 user_id 可通过 shared group 推断）得 fuzzy instruction \(S_{\text{fuzz}} = \mathcal{F}(S_{\text{inst}} \setminus \mathcal{C}_{\text{imp}})\)；(e) Human Verification — 校验 consistency + 增加难度（1 post → 10 posts、pruning 不必要 context）。
- 设计动机：纯自动任务往往不真实或过简单；4 步流水线 + 人工校验既 scale 又保质量。Implicit context 模拟"用户说话不完整，agent 要从环境补全"的现实难点。

实验关键数据¶

Benchmark 对比¶

Benchmark	Real-World	Personal Context	Social Media	Collab	Email	Content
AppWorld	✗	✓	✗	✗	✓	✓
PersonaBench	✗	✓	✗	✗	✓	✓
InfoMosaic-Bench	✓	✗	✗	✗	✗	✗
MCP-Universe	✓	✗	✗	✗	✗	✓
TOOLATHLON	✓	✗	✗	✗	✓	✓
MCP-Persona	✓	✓	✓	✓	✓	✓

唯一覆盖全部 5 维度，特别是 Social Media 和 Collaboration Platform 是其他 benchmark 完全没有的。

主实验：SOTA agent 在 MCP-Persona¶

Model	Collab	Content	Social	Email	Lark	Rednote	Hodgepodge	Acc	SR-0.8	Exec-Acc
Claude-Sonnet-4.5	39.94	19.76	47.04	43.63	40.81	42.37	12.50	38.66	10.40	41.50
GPT-5	43.50	22.57	42.64	47.17	37.67	34.66	12.50	36.99	6.94	41.45
Claude-Opus-4.1	38.79	13.56	44.79	9.71	39.67	34.70	25.00	34.52	7.05	36.77
o4-mini	34.38	21.22	35.61	53.83	30.43	25.25	6.25	30.70	5.78	34.73
o3	26.41	14.55	32.78	41.08	34.64	26.05	37.50	29.79	5.20	30.27
GPT-4o	24.50	7.58	36.98	12.57	30.65	20.29	25.00	25.56	4.35	20.02

Claude-Sonnet-4.5 总体仅 38.66% Acc，证明个人化工具是当前 LLM agent 严重短板。Hodgepodge（cross-server 混合）尤其差 12-25%。

关键发现¶

SOTA 没到 50%：所有模型 Acc < 50%，远低于通用 tool benchmark 上 70-80%+，证明个人化工具是被严重低估的能力短板。
Cross-server 是关键瓶颈：Hodgepodge 普遍 12-25%，跨多服务协调能力远低于 single-server。
Content Management 最难：所有模型在 Content Mgmt 表现最差（< 25%），需要深度理解用户历史内容而非简单 CRUD。
Email 任务的模型间差异极大：o4-mini 53.83、GPT-5 47.17 但 Claude-Opus-4.1 只 9.71、GPT-4o 12.57，可能跟训练数据中 email 样本量有关。
Simulation 有效性验证：作者实验显示 simulator response 与真实 server prediction accuracy 高，证明 Tool-Traverse 可靠。

亮点与洞察¶

第一个真正覆盖个人化工具的 MCP benchmark：Slack/Rednote/Instagram/Lark 评测一直是空白，本文填补关键 gap。
Traverse-then-simulate 范式：真实账号 traverse 行为 + LLM 写 simulator 代码，人工成本从 prohibitive 降到可行，simulator 行为接近真实 server。
Tool-Traverse 的错误模式覆盖：4 类错误（Type/Schema/Boundary/Semantic）系统化 adversarial generation 让 simulator 准确复制 server 的 error handling，比手工 mock 完整。
Context-Tree 的 hierarchy + content generation 混合：tree 结构匹配真实数据，4 种 content generation 方式（含 authentic real text）兼顾真实和隐私。
Persona-Gen 的 fuzzification：通过移除 implicit context 模拟"用户说话不完整、agent 要从环境补全"的核心难点，是 benchmark 难度的关键来源。
结论震撼：SOTA 不到 50% 让社区清楚知道还有大量个人化工具能力工作要做。

局限与展望¶

173 任务规模偏小：相比 MMLU 万级题量，173 任务可能在某些维度上 statistical power 不够。
覆盖应用仍有限：12 个 MCP server 主要英语/中文，对其他语言生态（如 LINE、KakaoTalk）覆盖不足。
Simulator 的细节失真：尽管 traverse-then-simulate 接近真实，但实际部署可能有 simulator 没捕捉到的 edge case，benchmark 信号可能 over-estimate agent 能力。
没分析失败原因：知道 SOTA 不到 50% 但缺乏 failure analysis（是 information seeking 失败？还是 multi-step 协调失败？）。
隐私处理需更严格：Authentic content 虽替换敏感字段，但完整审计需要更系统的隐私保证。
没考虑 adversarial users：真实用户可能给故意模糊或对抗性指令，benchmark 全是 well-intentioned task。
缺 agent 训练 baseline：benchmark 只评测现有 SOTA，没探索是否可通过特定 fine-tuning 提升个人化工具能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ Traverse-then-simulate 范式 + LLM-as-coder simulator + Context-Tree hierarchy 都是 benchmark 建设方法学创新。
实验充分度: ⭐⭐⭐⭐ 10+ SOTA agent 评测 + simulator 有效性验证 + 多类别 benchmark 对比，扎实；缺 failure analysis 和 finetuning experiment。
写作质量: ⭐⭐⭐⭐ 三组件流水线介绍清晰，Figure 1 直观，Table 2 一表道尽 SOTA gap；少数 LLM 写 simulator 的 prompt 细节放 appendix 影响 reproducibility。
价值: ⭐⭐⭐⭐⭐ 直接揭示 LLM agent 个人化能力短板，对 agent 训练社区是必要的 evaluation foundation，开源 + 涵盖 Slack/Lark 等高 demand 应用对工业有直接价值。