1. 从“聊天”到“操作”AI交互范式的根本性转变过去两年我们衡量AI进步的标尺一直是模型回答问题的能力。从GPT-3的惊艳亮相到Claude、Gemini在长文本和推理上的精进整个行业的焦点都集中在“模型知道什么”以及“它如何表达”。我们痴迷于让AI生成更流畅的文本、更准确的答案、更富有创造力的故事。然而Hugging Face发布的Holo3模型连同Anthropic、OpenAI等公司在“计算机使用”领域的布局悄然改变了一切。新的前沿不再是模型“知道”什么而是它能“触摸”和“操作”什么。这不仅仅是功能的叠加而是一次交互范式的根本性重构。聊天界面为我们提供了一种简单的契约你提问模型回应。这个契约的核心是信息交换。模型无法验证你的问题是否可回答无法检查它的回应是否真正解决了你的问题更无法在第一次尝试失败后换一种方法重新来过。它就像一个知识渊博但双手被缚的顾问只能提供建议无法亲自动手。而计算机使用智能体彻底颠覆了这个契约。它们不再仅仅回答问题而是直接操作界面——点击按钮、填写表单、滚动页面、读取结果。最关键的是它们能通过“看”屏幕来验证自己的工作成果。模型不再只是“知道”它开始“行动”并“观察”行动的结果。这种从“对话式智能”到“操作式智能”的跃迁标志着AI从辅助思考的工具转变为能够直接执行任务的数字劳动力。2. 核心差异解析为何“操作”比“聊天”复杂一个数量级2.1 架构目标的根本分歧聊天模型和计算机使用模型在优化目标上存在本质区别这决定了它们是完全不同的技术品类。聊天模型的核心优化目标是文本生成质量。这包括连贯性确保生成的回复在逻辑和语言上流畅自然。相关性使回复紧密贴合用户查询的上下文和意图。信息量提供充足、准确且有价值的信息。安全性避免生成有害、偏见或不恰当的内容。其架构无论是Transformer还是后续的改进型都是围绕理解和生成序列文本而设计的。所有的注意力机制、层归一化、位置编码最终都服务于一个目标预测下一个最可能的词元Token。而计算机使用模型如Holo3所代表的范式其优化目标是多维且与环境强相关的视觉接地将屏幕上看到的像素信息按钮、文本框、图标、文字与内部的知识和任务目标进行准确匹配。这不是简单的OCR光学字符识别而是理解UI元素的语义、状态如按钮是否可点击和功能。动作精度在三维空间屏幕坐标和时间维度上执行精确操作。它需要决定“点击哪里”、“输入什么”、“何时滚动”而不仅仅是“描述如何点击”。一个像素的偏差就可能导致任务失败。状态追踪与恢复在复杂的多步骤流程中例如在线预订包含选择日期、填写乘客信息、选择座位、支付等多个页面模型必须时刻清楚自己处于流程的哪个阶段。更重要的是当某个动作未达到预期效果例如点击后页面未跳转或弹出一个意外窗口它需要有能力诊断问题并尝试替代方案而不是陷入死循环或报错停止。推理与规划将高层级目标“为我预订下周一上午9点从北京飞往上海的机票”分解为一系列原子操作步骤并在执行过程中根据环境反馈动态调整计划。2.2 技术挑战动态环境中的稳健性任何尝试过自动化测试或网络爬虫的开发者都对浏览器自动化的脆弱性深有体会。计算机使用智能体面临的环境远比静态的聊天窗口复杂和动态。选择器失效依赖CSS选择器或XPath的自动化脚本非常脆弱。前端一个微小的代码更新一个按钮的id或class名称改变就会导致脚本崩溃。计算机使用智能体不能依赖这些脆弱的“钩子”它必须像人一样通过视觉特征和上下文来识别元素。例如它需要理解“那个蓝色的、写着‘提交’的矩形块很可能就是提交按钮”即使它的HTML属性已经完全改变。状态漂移与异步加载现代网页大量使用JavaScript进行异步加载和动态渲染。一个操作的结果可能不会立即显现或者页面布局会在数据加载完成后突然改变。智能体需要具备等待和轮询的能力判断页面何时“稳定”到可以执行下一步操作。错误级联在图形界面中一个微小的错误点击可能会产生连锁反应。例如本想点击“编辑”却误点了旁边的“删除”随后又可能在确认对话框里错误地点击了“确定”。恢复这种错误状态所需的步骤可能比完成原始任务本身还要复杂。智能体需要具备“回滚”或“应急路径”的推理能力。多模态理解与决策智能体接收的输入是屏幕截图视觉和可能的辅助信息如可访问性树。它必须融合这些信息理解当前屏幕的完整语义然后输出一个动作指令如CLICK [x320, y450]或TYPE “John Doe”。这要求模型在视觉理解、语言理解和决策制定之间进行紧密的闭环耦合。这个“观察-思考-行动-验证”的循环我们称之为智能体循环。它完全不同于聊天的“输入-生成-输出”循环。智能体循环是动态的、有状态的、且与环境持续交互的。3. 新的评估体系从“说得对”到“做成了”当评价标准从文本生成转向任务执行时整个评估体系也必须重构。我们不能再依赖BLEU分数、ROUGE分数或人类对回答质量的偏好评分。这些指标衡量的是“感知到的智能”或“表达的质量”而非“实际产生的效用”。对于计算机使用智能体评估必须是客观、二元且难以通过取巧的提示工程来作弊的。核心指标围绕任务完成本身任务完成率这是最核心的指标。在给定的一批标准化任务例如“在电商网站X上用优惠码Y购买商品Z并邮寄到地址A”中智能体成功完成的比例是多少成功必须严格定义例如订单确认号生成、支付成功页面出现等。步骤效率完成同一个任务智能体平均需要多少步操作点击、输入、滚动等这衡量了智能体规划的优劣和操作的精准度。一个高效的智能体应避免冗余操作。恢复成功率当执行过程中遇到预期外的障碍如弹窗、验证码、页面错误时智能体能自行识别并成功恢复、继续完成任务的比例是多少这直接体现了其稳健性。任务完成时间从任务开始到结束所花费的总时间。这综合反映了智能体的决策速度、操作延迟和恢复耗时。为了进行这种评估业界正在构建复杂的数字孪生环境或沙盒浏览器。在这些受控但高度仿真的环境中可以自动化地运行成千上万次任务精确记录每一步操作和最终结果从而生成可靠的性能基准。这种评估方式将AI从“修辞学家”的竞赛拉入了“实干家”的竞技场。4. 对开发者与产品经理的启示构建“操作型AI”的新优先级如果你正在或将要在AI领域进行构建从“聊天”思维转向“计算机使用”思维意味着产品设计、技术选型和基础设施建设的优先级将发生深刻变化。4.1 技术栈的重心转移对于聊天工具你的技术栈核心是大语言模型追求更高的上下文长度、更强的指令跟随和更优的文本生成质量。提示工程与检索增强生成精心设计系统提示并高效地从知识库中检索相关信息注入上下文。对话状态管理管理多轮对话的历史确保上下文连贯。对于计算机使用工具你需要优先考虑多模态模型不再是纯文本模型而是能够深度理解屏幕截图和UI结构的视觉-语言模型。模型的视觉编码器能力和视觉-语言对齐能力至关重要。动作抽象层如何将模型的自然语言决策“点击登录按钮”转化为操作系统或浏览器可执行的精确指令鼠标事件、键盘事件。这需要一套稳定、低延迟的动作执行器。状态管理与记忆智能体需要有一个内部的世界模型来记住它做了什么、当前屏幕是什么、目标是什么。这比聊天对话的短期记忆复杂得多涉及对图形界面状态的抽象表示。稳健的观察系统如何高效、可靠地捕获屏幕状态是全屏截图还是基于DOM树和可访问性API的混合表示观察的频率和粒度如何设定这直接影响到智能体对环境的理解质量。错误处理与恢复框架必须预先设计一套机制用于检测异常如页面无响应、元素未找到、诊断原因并触发恢复策略如刷新页面、回退上一步、尝试替代路径。这不能完全依赖模型需要系统层面的支持。4.2 产品设计哲学的变革从“对话流”到“工作流”聊天产品的设计核心是对话的启承转合。而计算机使用产品的设计核心是用户目标的分解与达成。你需要深入理解目标领域如税务申报、旅行预订、数据录入的具体工作流程并将这些流程编码为智能体可以理解和执行的任务图谱。可解释性与可控性当AI开始替你操作真实账户、进行支付时用户对可控性和透明度的要求会急剧升高。产品需要提供清晰的执行计划预览、实时操作日志以及随时中断和人工接管的能力。用户需要知道“它正在做什么”以及“为什么这么做”。安全与权限边界这带来了前所未有的安全挑战。智能体应运行在最小权限原则下。例如一个用于整理邮件的智能体不应有权限访问你的网银。沙箱环境、操作确认机制、敏感操作二次授权等都必须成为产品的基础设施。5. 为何现在成为可能三大趋势的汇合计算机使用智能体并非新概念早期的自动化脚本和RPA机器人流程自动化就是其雏形。但直到最近一两年它才从实验室演示走向具备实际生产价值的可能性。这得益于三个关键趋势的融合视觉模型足够强大GPT-4V、Gemini 1.5 Pro、Claude 3.5 Sonnet等模型展现出了令人惊讶的视觉理解能力。它们不仅能识别物体还能理解复杂的文档布局、软件界面、图表数据甚至手写笔记。这为智能体提供了可靠的“眼睛”。推理模型成本足够低廉大语言模型的推理成本正在快速下降。无论是通过更高效的模型架构如MoE还是通过云服务商激烈的价格竞争执行一次“观察-思考-行动”循环的成本已经降至可以支持大规模实验和特定场景商业化的水平。这使得让智能体进行多次尝试和迭代变得经济可行。智能体框架生态成熟LangChain、LlamaIndex等早期框架探索了工具使用的范式而像Cursor、OpenAI的Operator、以及Hugging Face的Holo3所代表的更集成的“端到端操作”框架正在涌现。同时用于评估和测试智能体的平台如衡量任务完成率的沙盒环境也在快速发展为迭代优化提供了工具链。6. 实战考量与未来展望6.1 当前落地面临的现实挑战尽管前景广阔但将计算机使用智能体投入实际生产仍面临诸多挑战长尾问题与泛化能力一个智能体可能能处理95%的标准网页但剩下的5%千奇百怪的界面、古老的Java Applet、复杂的Canvas绘图应用或高度定制的企业软件会带来巨大的长尾挑战。模型的泛化能力仍需提高。延迟与用户体验每一次“观察-思考-行动”循环都涉及截图、模型推理、执行动作这必然带来延迟。对于需要快速响应的交互如何平衡模型的深思熟虑与操作的流畅性是一个用户体验设计的难题。一种策略是让模型预先规划多个步骤后批量执行但这又降低了应对动态变化的灵活性。道德与责任归属当智能体操作失误导致经济损失如错误下单、错误删除数据时责任如何界定是开发者、模型提供方还是用户自己的责任这需要法律和保险产品的配套发展。6.2 未来的演进方向我们可以预见几个清晰的演进路径专用化与通用化并存会出现针对特定垂直领域如财务软件、CRM系统、政府网站高度优化的专用智能体它们在该领域内的成功率和效率极高。同时通用基础模型的能力会不断提升试图覆盖更广的范围。人机协同的混合模式最有效的模式可能不是完全自动化而是“智能体主导人类监督”。智能体处理枯燥、重复的步骤在遇到不确定或高风险环节时主动暂停并向人类请求确认或指导。从图形界面到操作系统API未来的智能体可能不会仅限于模拟鼠标键盘操作图形界面。更高效的方式是获得操作系统或应用提供的、更结构化的API接口。这需要软件生态的配合可能催生新的“AI可操作”应用设计标准。我的个人实践体会在尝试构建一些自动化工作流时我深刻感受到最大的瓶颈往往不是模型的核心智力而是环境的不可预测性和系统层面的稳健性设计。一个有用的建议是从最狭窄、界面最稳定的任务开始。例如先让你的智能体学会在某个特定且很少改版的内部管理后台完成一项固定报表的导出而不是一上来就让它去应对千变万化的公众电商网站。在狭窄场景中打磨好观察、动作、恢复的完整闭环积累经验和数据再逐步扩大范围。这比一开始就追求通用性要务实得多。聊天界面让AI变得触手可及而计算机使用界面将让AI变得真正实用。核心问题正在从“你的模型能否解释如何预订航班”转变为“你的模型能否实际预订航班”。那些能够触摸并操作数字世界的模型终将取代那些只能谈论它的模型。我们用了两年时间完善AI如何交谈接下来两年我们将见证并参与塑造AI如何行动。这场变革将重新定义我们与计算机的协作方式。