这项由上海交通大学多智能体治理与智能团队MAGIC实验室联合浙江大学、伊利诺伊大学厄巴纳-香槟分校、牛津大学以及上海人工智能实验室共同完成的研究发表于2026年第43届国际机器学习大会ICML 2026论文编号为arXiv:2606.02470。有兴趣深入了解的读者可通过该编号查询完整论文。你有没有想过让AI帮你管理日常的飞书日历、给小红书发帖、在Slack里给同事发消息听起来应该不难吧毕竟这些AI已经能写诗、编程、解数学题了处理这点小事应该手到擒来。然而这项研究给出了一个让人意外的答案即便是目前全球最顶尖的AI模型在面对这类个人账号管理任务时准确率普遍不超过50%而且相当一部分任务几乎完全失败。这背后究竟发生了什么研究团队构建了一套名为MCP-Persona的测试平台专门用来检验AI助手在真实个人应用场景中的实际表现。这不是那种让AI在网上搜索信息的简单测验而是模拟真实的你把自己的账号交给AI管理的场景——AI需要在你的飞书里创建会议在你的小红书里发内容在你的Slack频道里同事同时还得弄清楚谁是谁、谁的ID是什么、哪个日历是主日历。研究结果清晰地揭示了当前AI助手在个性化工具使用上的真实短板也为未来的改进指明了方向。一、一个被忽视的关键问题AI在个人账号场景里为何如此吃力要理解这项研究解决的是什么问题可以先想象这样一个场景你雇了一个刚入职的助理第一天就让他帮你安排飞书会议、通知群里的同事、更新Notion笔记本里的项目计划。这个助理智商很高能记住复杂的会议议程但他不知道你飞书里哪个日历是主日历不知道小李在飞书里的用户ID是什么也不知道你的小红书账号发帖时用的是哪个标签风格。结果呢他可能会把会议建在错误的日历上把消息发给错误的人或者干脆因为找不到必要的信息而卡住不动。这正是当前AI助手面临的困境。研究团队注意到目前学术界对AI工具使用能力的评测基本都集中在通用信息查询这类任务上比如让AI搜索天气、查询股票、翻译文字。这类任务有个共同特点工具是公开的、无需账号的、与用户个人信息无关的。然而现实生活中人们最希望AI帮忙处理的恰恰是那些与个人账号紧密相关的任务——管理邮件、发社交媒体、协调团队日程。这类任务有三个核心难点。第一个难点是账号绑定这些工具必须登录特定账号才能使用而每个账号里的数据结构、权限设置、实体关系比如某个群里有哪些成员都完全不同没有统一的模板可循。第二个难点是隐私壁垒真实的个人数据无法公开共享用于研究这让构建一个公开可复现的测试平台变得极为困难。第三个难点是环境复杂性这些应用的状态是动态变化的AI执行的每一个操作都可能改变环境状态后续操作必须依赖前面操作的结果任何一步出错都会影响整个链条。正是这三重难点叠加导致了一个令人尴尬的研究空白学术界几乎没有任何一个像样的测评基准专门针对个人账号管理类AI任务尽管这类任务在现实中的需求量巨大。MCP-Persona就是为了填补这个空白而诞生的。二、搭建一个假账号真考验的测试世界研究团队面临的核心挑战是如何在不使用真实用户数据的前提下创建一个足够逼真的测试环境来考察AI的真实能力他们的解决方案是构建一套精密的模拟系统整个系统由三个相互配合的部分构成就像搭建一个精密剧本演出所需的舞台、演员和剧情一样。第一部分叫做工具模拟器Tool-Traverse负责创建虚拟版本的真实应用程序工具。研究团队首先收集了12个真实的个人应用MCP服务器涵盖社交媒体小红书、Reddit、Instagram、企业协作平台飞书Lark、Slack、企业微信WeCom、内容管理工具Notion、Obsidian以及电子邮件服务此外还整合了12个通用信息查询服务器如高德地图、百度地图、医疗信息查询等共计24个服务器。要模拟这些工具团队采取了一个先探索、再复刻的策略。他们首先手动部署真实的应用环境和测试账号由人工标注员构造一批种子函数调用——也就是示例操作指令比如获取某个飞书日历下的所有事件。接着引入了一种受自我指令方法启发的技术Self-FC让AI模型自动生成更多样化的操作指令既包括正常成功的指令也包括各种会失败的错误指令比如类型错误、缺少必填字段、参数超出范围、参数之间逻辑矛盾等四类典型错误。收集到大量真实操作及其对应响应结果后团队让AI模型分析这些行为轨迹自动生成Python代码来模拟每个工具的处理逻辑。这段生成的代码既能正确处理合法请求也能精确复现各种错误情况下的报错信息。验证结果表明这套模拟器与真实工具的行为一致率高达94%而仅仅依靠阅读文档来猜测工具行为的对照方法一致率只有58%。换句话说光看说明书远不够真正把工具用一遍才能理解它的全部脾气。第二部分叫做情境树Context-Tree负责创建每个虚拟用户的个人数据档案。研究团队为每个应用程序定义了一套树状的数据结构清晰地描述用户数据的层级关系。以飞书为例结构是用户→日历→日程事件以小红书为例结构是用户→帖子→评论以Slack为例结构是用户→频道→消息。填充这棵树的方式颇为讲究。对于需要随机ID的字段系统会按照真实格式自动生成对于地名、城市等有限选项的字段从预设列表中抽样对于自由文本字段由AI模型依据上下文自由生成而对于需要体现真实感的内容性字段比如小红书帖子的正文团队直接采用了经过脱敏处理的真实网络内容。敏感字段如电话号码则全部替换为虚假数据以保护隐私。这棵情境树不是静态的AI助手执行的每个创建、修改、删除操作都会实时更新树的内容从而真实模拟多轮交互中数据的变化状态。第三部分叫做任务生成器Persona-Gen负责创作真实可信的测试任务。这是整个系统最考验人工参与的环节。研究团队首先通过拓扑采样方法从工具之间的依赖关系图中筛选出合理的工具调用链确保每条链满足五个条件工具之间存在真实的逻辑依赖、链条中至少包含一个个人账号工具、不同链条之间不重复、上下游工具的输入输出能够衔接、整体场景符合现实使用逻辑。基于这些工具链系统自动生成原型指令再将情境树中的具体数据值填入得到具体化的任务描述。接下来是最关键的模糊化处理刻意删去真实用户在日常对话中不会说出口的参数细节比如用户ID、日历ID这类技术性标识符。一个真实用户会说帮我给我的上司宋柯发个飞书消息而不会说帮我调用im_v1_message_create接口向user_id为o9k5jtwo的用户发送消息。这种模糊化处理模拟了现实中指令的自然性和不完整性正是AI需要应对的真实挑战。最终所有自动生成的任务都经过人工标注员的逐一审核、修改和打磨确保每个任务在逻辑上完全自洽在难度上足够有挑战性在表达上真实反映用户的日常语言习惯。经过这道严格的人工关卡共产生173个高质量测试任务平均每个任务需要调用多个工具并包含若干需要从环境中自主发现的隐性信息。三、让顶尖AI一一上场接受考验测试平台就位后研究团队邀请了超过十款当今最顶尖的AI模型来参加这场考核阵容相当豪华。商业闭源模型方面GPT-5、Claude-Sonnet-4.5、Claude-Opus-4.1、o4-mini、o3、GPT-4o、Grok-4、Gemini-3-Pro、Gemini-2.5-Pro悉数登场。开源模型方面Qwen3-Max-Latest、Qwen3-235B-A22B、DeepSeek-V3、Qwen3-Coder也一同参与。每款模型都以相同的任务和工具集合为输入最多允许进行20轮工具调用来完成任务。评分体系分三个维度。第一个维度是检查点准确率将每个任务分解成若干个子目标检查点由另一个AI模型GPT-4o担任裁判对每个检查点独立打分取平均值作为任务得分。第二个维度是成功率衡量模型得分超过0.8的任务比例可以理解为基本完成任务的比率。第三个维度是执行准确率直接检查模型对数据库的实际操作结果——创建了什么、修改了什么、删除了什么——是否符合预期这是最直接、最客观的评判标准。结果令人警醒。表现最好的Claude-Sonnet-4.5检查点准确率是38.66%GPT-5以36.99%紧随其后。换句话说即便是全球最顶尖的AI模型平均而言也只能正确完成任务中不到四成的目标步骤。成功率这个指标更惨Claude-Sonnet-4.5的成功率是10.40%意味着只有大约十分之一的任务能被完整地基本完成。没有任何一个模型的准确率超过50%。从任务类型看电子邮件任务是模型表现相对最好的一类因为邮件的操作逻辑相对简单依赖链条也较短。社交媒体和企业协作平台的任务则更具挑战性因为涉及跨用户的交互和复杂的实体关系识别。内容管理类工具Notion、Obsidian的表现最差模型在面对长篇文档的导航和编辑时尤为吃力。跨应用任务Cross-Server Tasks的难度进一步升级需要同时操作飞书和小红书的任务或者需要将高德地图的路线信息写入Obsidian笔记再通知Slack频道的复合任务对所有模型都是严峻考验。其中杂烩场景任意组合多个应用的任务是最难的一类几乎所有模型在这里都跌入低谷。四、AI到底在哪里犯错了通过分析大量失败案例研究团队总结出三种反复出现的典型失败模式每种模式都揭示了AI在个性化工具使用上的特定短板。第一种失败模式叫浅尝辄止不深挖环境。许多任务中用户的指令并不会把所有必要信息说清楚AI需要主动去探索环境中已有的数据来补全这些信息。但实验中大量的弱模型选择了就近解决的策略——根据表面指令生成一个看起来合理但实际上错误的操作然后就此收手根本不去验证缺失的信息是否可以从环境中找到。一个典型例子是任务要求给我的上司宋柯发一条飞书消息解释我的请假原因同时环境数据中存储着宋柯的飞书用户IDo9k5jtwo。弱模型的做法是绕过飞书直接发了一条企业微信消息收件人还是凭空捏造的——任务表面上完成了实际上平台错了、收件人也错了彻底失败。正确的做法应该是先调用工具查询飞书的联系人列表找到宋柯对应的ID再调用飞书消息发送接口。第二种失败模式叫跳过隐含的前置步骤。飞书的许多操作需要先用手机号查找用户的平台内部ID再用这个ID来执行具体操作。正确的工作流程是两步先调用user_batchGetId工具把手机号转成用户ID再把这个ID传给calendarEvent_create工具来创建日程并指定主持人。但许多模型会跳过第一步直接把手机号当成用户ID填进去或者干脆伪造一个ID结果要么报错要么在没有错误提示的情况下静默失败——最糟糕的情况因为没有报错模型甚至不知道自己已经失败了。第三种失败模式叫上下文越长越迷糊。情境树设计确保了AI在与各个工具交互时上下文中会积累越来越多的信息。某些工具比如本地文档阅读器返回的内容本身就相当冗长进一步撑大了整个对话窗口。随着轮次推进模型的注意力开始分散越来越难以准确回忆早期对话中的关键信息和约束条件最终连一些本应简单的步骤也开始出错。这揭示了一个当前大语言模型普遍存在的弱点在超长对话中维持高度精准的前后一致性依然是未被很好解决的难题。五、给AI装上专属使用手册有没有用除了基础评测研究团队还做了几组有趣的对比实验探究不同条件下模型表现是否会有显著变化。其中一组实验专门研究技能文档的效果。在现实的AI助手生态中用户可以给AI配备针对特定应用的操作手册告诉它这个应用有哪些工具、各个参数是什么含义、典型的操作流程是什么。研究团队测试了三种情况不提供任何手册、提供从社区平台ClawHub下载的最流行公共技能文档、以及提供由研究人员手动精心编写的专属指南。结论是有手册比没手册好精心编写的手册比随意下载的公共手册更有效。以GPT-5在飞书任务上的表现为例没有手册时检查点准确率是37.5%用公共手册是42.5%用精心编写的手册则达到45%。但即便如此这个提升也相当有限距离令人满意还差得很远。研究团队分析指出公共平台上的技能文档质量参差不齐有些内容已经过时描述的接口参数不再与当前版本匹配反而可能误导模型。另一组实验研究工具数量对表现的影响。给模型提供整个平台的140个工具还是只给出当前任务实际需要用到的少量工具结果显示工具越少模型表现反而越好尤其是在需要处理更长上下文的任务中这种趋势更明显。这说明工具过多会对模型造成认知负担在大量不相关工具中找到正确工具本身就是一项挑战。还有一组实验研究干扰信息的影响。在提供给模型的上下文中额外加入五段与任务无关的文字段落来自维基百科描述等文本库结果大多数模型的表现都有一定程度的下滑。这表明模型在信息筛选能力上存在明显短板容易被无关信息干扰判断。六、评判结果可靠吗人类和AI裁判有多大分歧一项测评研究还需要回答一个元问题评判标准本身可靠吗研究团队请人类专家对所有173个任务的970个检查点结果进行了独立评判并与AI裁判GPT-4o的评分进行对比分析。结果显示人类与AI裁判的整体一致率高达91.55%。分任务类别看长文档任务Lark Long、Obsidian Long的一致率略低于短任务电子邮件任务的一致率相对较低13.73%的分歧率。不一致的情况主要来自两个原因其一AI裁判在涉及复杂逻辑或细微语境的判断上偶尔力不从心这属于模型能力本身的局限其二AI裁判有时会因为模型使用了不同于参考答案的工具但最终结果正确而过于严格地扣分。总体而言这套评测体系的可靠性得到了初步验证但研究团队也诚实地指出了其存在的局限性以供后续研究改进参考。在效率与成本分析上研究团队也给出了有价值的发现。不同模型在完成同等难度任务时消耗的token数量可理解为思考量和产生的调用成本差异悬殊。GPT-5在效率上表现突出平均每个任务花费约0.09美元检查点准确率达到36.99%性价比在所有测试模型中最为出色。研究结论是单纯堆砌计算资源并不必然带来更好的结果在AI工具选型时准确率与成本的综合权衡比单纯追求烧最多钱的模型更为重要。---说到底这项研究揭示的不仅是技术层面的能力差距更是当前AI发展阶段与用户真实期望之间的鸿沟。人们期待AI能够真正融入个人数字生活帮忙管理那些散落在飞书、小红书、Slack、Notion中的日常事务但现实是即便最强大的模型在面对你把账号交给我、我帮你打理这种场景时仍然会频繁地找不到正确的人、用错平台、遗漏关键步骤。这不是对AI能力的否定而是对还差在哪里的精准定位。MCP-Persona提供的是一个可复现、保护隐私、覆盖多类真实应用的标准化测试环境让研究者能够清楚地看到不同模型的具体短板并针对性地加以改进。下一步如何让AI学会主动探索环境、补全用户遗漏的细节、在多工具协作中保持长程一致性将是这一领域最值得攻克的方向。对这项研究感兴趣的读者可以通过arXiv编号2606.02470查阅完整论文代码和数据集也已在GitHub上公开地址可通过论文获取。---QAQ1MCP-Persona测试平台是如何在不使用真实用户数据的情况下模拟真实账号环境的AMCP-Persona通过三套系统协同工作。工具模拟器方面研究团队实际运行了真实应用的API收集大量真实操作记录再让AI生成Python代码来复刻工具逻辑准确率达到94%。情境树方面团队按照真实应用的数据结构生成虚拟用户数据其中文本内容部分来自脱敏的真实网络内容敏感字段全部替换为虚假数据。这两套机制结合既保证了环境的真实感又完全避免了真实隐私数据的使用。Q2飞书、小红书这类中国应用在AI助手测评中表现如何A在MCP-Persona的测评结果中飞书Lark任务和小红书Rednote任务都属于难度较高的类别。飞书任务的主要挑战在于需要先通过手机号查询用户的平台内部ID才能执行操作很多模型会跳过这个步骤直接失败。小红书任务难在内容操作涉及复杂的账号状态判断。表现最好的模型Claude-Sonnet-4.5在飞书任务上的准确率约为40%在小红书任务上约为42%整体仍处于较低水平。Q3给AI配备专属使用手册能明显提升它使用飞书或小红书的能力吗A有效果但提升幅度有限。以GPT-5在飞书任务上的测试为例不提供手册时准确率约37.5%使用社区公开手册提升到约42.5%使用研究团队精心编写的手册则达到约45%。提升存在但并不显著原因在于公开平台上的手册质量参差不齐部分内容已过时甚至会误导模型。研究结论是高质量、与任务高度对齐的专属操作指南比随意下载的公共资源更有价值。