Codex Skill 保姆级教程 1:Computer Use — 让 AI 接管整台电脑
目录摘要一、Codex Computer Use 是什么1.1 以前 Codex 主要做什么1.2 现在 Computer Use 多了什么能力二、Codex 电脑操控功能如何开启2.1 方法一通过更新弹窗直接开启1打开 Codex 后出现更新弹窗2点击开始设置即可2.2 方法二在设置中手动开启1进入 Codex 设置2找到电脑操控3在任意应用中点击安装三、如何在对话框中调用 Codex 操作电脑3.1 选择 Computer Use 工具3.2 选择审批模式3.3 输入任务指令四、使用时需要注意什么4.1 Codex 会看到屏幕内容4.2 敏感操作需要谨慎审批4.3 Windows 11 更推荐Windows 10 可能不稳定摘要以前在 Windows 电脑上使用Codex更多是通过浏览器、项目目录、终端或代码环境来完成开发任务。现在 Codex 的Computer Use 电脑操控功能已经支持 Windows意味着 Codex 不仅能看代码、改代码、跑命令还可以像真人一样看屏幕、点按钮、输入文字、切换窗口直接操作电脑上的应用程序。OpenAI 官方说明中提到Codex App 支持 Windows并且可以在 Windows 上通过 PowerShell、Windows 沙箱或 WSL2 运行相关工作流。Computer Use 功能则可以让 Codex 通过“看、点、输入”的方式操作应用。一、Codex Computer Use 是什么1.1 以前 Codex 主要做什么之前我们在 Windows 电脑上使用 Codex更多是把它当成一个AI 编程助手。它可以帮我们写代码修改项目文件解释报错生成测试代码运行终端命令协助 Git 操作查看项目结构分析代码逻辑。也就是说以前 Codex 的核心能力主要集中在代码、终端、项目文件、浏览器调试。它很强但是它的工作范围多数还是围绕“开发环境”展开。比如你让 Codex 修改一个 C 项目它可以打开项目、改代码、运行测试、分析报错但如果你想让它去操作 Word、Excel、记事本、微信、画图、浏览器页面或者其他 Windows 应用以前就没有这么自然。1.2 现在 Computer Use 多了什么能力这次更新最大的变化就是Codex 可以直接使用你的电脑。OpenAI 官方对 Computer Use 的说明是Codex 可以查看屏幕内容、截取屏幕信息并与目标应用中的窗口、菜单、键盘输入和剪贴板状态进行交互。也就是说它可以像人一样观察界面然后通过点击、输入、切换窗口等方式完成任务。简单理解就是1. 以前你让 Codex 改代码它主要在项目里工作。2. 现在你可以让 Codex 去操作 Windows 上的应用。比如打开浏览器并测试网页打开 VS Code 修改项目打开记事本整理文字打开 Word 处理文档打开 Excel 整理表格打开画图或其他软件执行简单操作在多个软件之间复制、粘贴、整理内容。以前 Windows 上 Codex 只能在浏览器中实现自主操控现在整个电脑都可以交给它操作了。当然这里的“整个电脑都是它的”不是说完全失控而是说 Codex 获得了更强的桌面应用交互能力。真正执行时仍然需要你授权应用、确认审批并且你可以随时停止。二、Codex 电脑操控功能如何开启2.1 方法一通过更新弹窗直接开启1打开 Codex 后出现更新弹窗一般打开 Codex 后如果你的版本已经推送到了新功能会出现一个更新或功能介绍弹窗。弹窗大概会提示Codex 移动版上线或者提示你可以使用新的电脑操控功能。这个时候直接点击开始设置就可以根据引导继续开启。Codex 会提示只要电脑处于唤醒状态就可以在手机上通过 ChatGPT 应用继续使用 Codex。这其实和 Codex 的远程控制、移动端联动有关。OpenAI 官方也提到用户可以从手机端查看、审批、继续 Codex 的工作电脑仍然作为项目文件、终端、应用服务器和本地上下文的主机。2点击开始设置即可如果出现弹窗最简单的方法就是打开 Codex等待弹窗出现点击“开始设置”根据提示完成授权进入电脑操控配置页面安装对应的 Computer Use 能力。如果暂时不想设置也可以点击“稍后设置”。不过如果你准备体验 Computer Use建议直接点开始设置这样能少走很多路径。2.2 方法二在设置中手动开启1进入 Codex 设置如果你打开 Codex 后没有看到弹窗也不用担心。可以手动进入设置页面。2找到电脑操控进入设置后在左侧找到电脑操控英文里一般对应Computer Use这个页面的作用是管理 Codex 如何使用你电脑上的其他应用程序。从截图中可以看到页面中有一个“控制”区域里面包括任意应用Google Chrome。其中任意应用允许 Codex 控制你电脑上的应用Google Chrome浏览器扩展程序状态如果没有连接会显示“浏览器扩展程序未连接”。OpenAI 官方文档中也说明需要在 Codex 设置里打开 Computer Use然后点击 Install 安装 Computer Use 插件之后才能让 Codex 操作桌面应用。Windows 使用时需要保持目标应用在当前活动桌面可见。3在任意应用中点击安装如果你看到“任意应用”右侧有安装那么直接点击安装即可。安装完成后Codex 就具备了操作 Windows 应用的能力。这里要注意不是所有应用都应该随便授权涉及支付、账号、安全、隐私的软件要谨慎尽量只让 Codex 操作当前任务需要的软件不要一次性给太多高风险权限。比如你只是想让 Codex 帮你打开 VS Code 检查项目就没必要让它去操作微信、网银、密码管理器之类的软件。三、如何在对话框中调用 Codex 操作电脑3.1 选择 Computer Use 工具开启之后在 Codex 对话框中就可以看到类似Computer Use: Computer Use这样的工具提示。这说明当前对话已经可以调用电脑操控能力。你可以在输入框里直接描述任务例如帮我打开 VS Code运行当前项目帮我打开 Chrome测试本地网页是否能正常访问帮我打开记事本把这些要点整理成一段文章帮我打开项目找到报错位置并修改帮我打开浏览器检查页面按钮点击后有没有跳转。官方文档也提到可以在提示词中提到Computer或AppName或者直接让 Codex 使用 Computer Use并说明具体要操作的应用、窗口或流程。3.2 选择审批模式从截图里可以看到在发送任务前可以选择审批方式。常见有三类请求批准这种方式最安全。Codex 在编辑外部文件、访问互联网或执行某些动作之前会先询问你。适合新手用户也适合第一次测试 Computer Use。替我审批这种模式相对更自动化。Codex 只会在检测到风险操作时请求批准。适合你已经比较熟悉 Codex并且任务风险较低的情况。完全访问权限这种权限最高。它可以不受限制地访问互联网和电脑上的文件。这种模式效率高但风险也最高。除非你非常确定任务范围并且已经做好备份否则不建议随便使用。OpenAI 官方也提醒Computer Use 可能会影响项目工作区之外的应用或系统状态因此应该保持任务范围清晰并在继续前仔细检查权限提示。3.3 输入任务指令开启后你就可以像正常聊天一样给 Codex 下任务。比如使用 Computer Use 打开 VS Code进入当前项目帮我运行程序并检查报错。或者打开 Chrome访问本地前端页面点击登录按钮检查是否能正常跳转。或者打开记事本把下面这些零散内容整理成一篇干净的草稿。这里有一个关键点任务描述越具体Codex 操作越稳定。不建议一上来就说帮我操作电脑。四、使用时需要注意什么4.1 Codex 会看到屏幕内容Computer Use 的本质是让 Codex 通过屏幕内容理解当前电脑状态。所以你要知道Codex 可能会看到当前打开的软件Codex 可能会看到浏览器页面内容Codex 可能会读取目标应用中的文字Codex 可能会使用剪贴板Codex 可能会点击按钮或输入内容。官方安全说明中也明确提到使用 Computer Use 时Codex 可以查看屏幕内容、截屏并与目标应用中的窗口、菜单、键盘输入和剪贴板状态交互。所以使用前最好先关闭不相关的软件。尤其是微信聊天窗口邮箱网银密码管理器隐私文件夹重要账号设置页面公司内部敏感系统。这不是说 Codex 一定会乱看而是使用这类功能时应该主动降低风险。4.2 敏感操作需要谨慎审批使用 Computer Use 时最好遵守几个原则。第一任务要小。不要一次让它做太大的任务。比如不要说帮我整理整个电脑。而应该说帮我打开 D 盘 Code 文件夹把里面的 C 项目按章节命名整理。第二应用要少。一次只让它操作一个或少数几个应用。第三高风险操作要人工确认。比如删除文件移动大量文件提交 Git推送代码发送邮件修改系统设置填写账号密码执行支付或购买操作。这些最好都手动确认。官方文档也建议保持任务范围窄、审查权限提示、对账号安全和隐私相关流程保持在场并且如果 Codex 开始操作错误窗口要及时取消任务。4.3 Windows 11 更推荐Windows 10 可能不稳定从实际体验角度看建议优先在 Windows 11 上开启和测试 Computer Use。OpenAI 官方已经说明 Codex 支持 Windows App并且 Windows 版本可以配合 PowerShell、Windows 沙箱或 WSL2 使用。Windows 11更推荐兼容性更稳Windows 10可能存在不支持或不稳定情况