零代码玩转Open-AutoGLM：一句话指令，AI自动操作你的手机

零代码玩转Open-AutoGLM一句话指令AI自动操作你的手机你有没有想过有一天你的手机能听懂你的话然后自己把事情办了想象一下这些场景早上起床说一句“帮我点杯咖啡”手机自动打开外卖软件找到你常喝的店下单付款一气呵成。刷到喜欢的博主说“关注他”手机就自动完成搜索、点击关注、发送私信。看到朋友分享的餐厅说“查查营业时间并导航过去”手机自动打开地图搜索、查看信息、规划路线。这听起来像是科幻电影里的情节但今天它已经变成了现实。我要介绍的 Open-AutoGLM就是这样一个能“替你摸手机”的AI智能体。它不是简单的语音助手也不是预设的自动化脚本而是一个真正能看懂屏幕、理解意图、并像真人一样操作手机的AI框架。最棒的是你不需要写一行代码不需要训练任何模型甚至不需要懂技术术语。跟着我下面的步骤10分钟就能让它开始为你工作。1. 它到底是什么一句话说清核心能力Open-AutoGLM 是智谱AI开源的一个手机端AI智能助理框架。它的核心能力可以用三句话概括你看得见的它都看得懂通过实时截图它能理解手机屏幕上有什么——按钮在哪里、文字写了什么、图标代表什么意思。你说得清的它就能做对你只需要用自然语言下指令比如“打开小红书搜索‘北京咖啡探店’点开第一条笔记”。它动手时你只需要看着它会自动调用ADB安卓调试桥执行点击、滑动、输入等操作全程不需要你手动干预。简单来说它就像一个坐在你手机里的“虚拟手指”能看懂、能听懂、还能动手操作。2. 准备工作3样东西5分钟搞定别被“ADB”、“框架”这些词吓到。我们只需要准备三样东西整个过程就像安装一个普通App一样简单。2.1 电脑端准备你的电脑需要准备好这三样Python 3.10或更高版本打开终端Windows是命令提示符或PowerShellmacOS是Terminal输入python --version或python3 --version如果显示Python 3.10.x或更高版本就说明已经安装好了如果没有去Python官网下载安装记得勾选“Add Python to PATH”ADB工具ADB是安卓调试工具用来连接和控制手机下载地址Platform-tools官方包下载后解压到任意文件夹比如C:\platform-tools或~/Downloads/platform-tools安卓手机Android 7.0或更高版本真机或模拟器都可以小贴士如果你是Windows用户解压ADB后需要把它添加到系统环境变量右键“此电脑” → 属性 → 高级系统设置 → 环境变量在“系统变量”里找到Path点击编辑点击新建输入ADB解压的完整路径比如C:\platform-tools保存后重新打开命令提示符输入adb version能看到版本号就说明成功了2.2 手机端设置手机端只需要三步而且都是官方支持的功能不需要Root开启开发者模式打开手机“设置” → “关于手机”找到“版本号”连续点击7次你会看到提示“您已处于开发者模式”开启USB调试回到设置主界面现在能看到“开发者选项”进入“开发者选项”找到“USB调试”并打开用USB线连接电脑和手机手机会弹出“允许USB调试吗”的提示勾选“始终允许”点击确定安装ADB Keyboard可选但推荐下载 ADB Keyboard APK在手机上安装这个APK文件安装后进入“设置” → “语言与输入法” → “当前输入法”选择“ADB Keyboard”作为默认输入法为什么需要ADB Keyboard因为有些输入框比如密码框系统键盘可能无法通过ADB输入ADB Keyboard能确保AI可以在任何输入框里安全地输入文字。3. 一行命令启动让AI开始工作现在到了最激动人心的部分——让AI开始操作你的手机。我们跳过复杂的服务器部署直接用最简单的方式。3.1 下载代码和安装依赖打开终端依次执行以下命令# 1. 下载Open-AutoGLM代码 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 2. 安装必要的Python库 pip install -r requirements.txt pip install -e .如果安装过程中遇到网络问题可以换成国内的镜像源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt3.2 检查手机连接确保手机通过USB线连接到电脑并且已经开启了USB调试adb devices正常的话你会看到类似这样的输出List of devices attached 8A9X023456789ABC device只要看到你的设备ID后面跟着device就说明连接成功了。记下这个设备ID上面例子中的8A9X023456789ABC后面会用到。3.3 运行你的第一条指令现在让我们给AI下第一个命令。在终端里输入python main.py \ --device-id 8A9X023456789ABC \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model autoglm-phone \ 打开抖音搜索用户‘科技小飞’点关注参数说明--device-id替换成你刚才adb devices看到的设备ID--base-url这是智谱AI的公开API地址可以直接使用--model指定使用的模型最后引号里的内容这就是你给AI的指令用自然语言写就行运行后你会看到终端开始输出日志同时你的手机会自动开始操作解锁屏幕如果需要找到抖音图标并打开点击搜索框输入“科技小飞”点击搜索按钮找到对应的用户点击关注按钮整个过程大概需要20-40秒期间你不需要碰手机只需要看着它自动完成所有操作。4. 真实场景演示看看AI能做什么光说不练假把式我实际测试了几个常见场景让你看看Open-AutoGLM到底有多实用。4.1 场景一外卖点餐美团指令“打开美团搜索‘瑞幸咖啡’进入第一家店点一杯‘生椰拿铁’选择‘去冰’加入购物车”实际效果AI自动打开美团App精准点击顶部的搜索框输入“瑞幸咖啡”并搜索在结果列表中点击第一个店铺进入店铺后滑动找到“生椰拿铁”点击商品在弹出的选项中选择“去冰”点击“加入购物车”整个过程流畅自然就像真人在操作一样。最让我惊讶的是它甚至能识别出那些小小的“规格选择”按钮。4.2 场景二社交互动微信指令“打开微信找到‘文件传输助手’发送消息‘测试消息这是AI自动发送的’”实际效果启动微信直接进入聊天界面点击右上角的搜索图标不是靠猜位置是真的识别出了搜索图标在搜索框输入“文件传输助手”点击搜索结果中的“文件传输助手”进入聊天界面点击输入框逐字输入消息内容模拟真人打字不是直接粘贴点击发送按钮消息发送成功后手机通知栏会立即显示新消息。这个场景展示了AI对复杂UI的准确理解能力。4.3 场景三信息查询高德地图指令“打开高德地图搜索‘北京西站’查看周边美食截图保存”实际效果打开高德地图App点击搜索框输入“北京西站”点击搜索按钮在地点详情页找到“周边”或“附近”标签点击“美食”分类滑动浏览结果截图并保存到相册这个任务涉及多个步骤和界面切换但AI都能准确完成说明它的规划能力相当不错。5. 进阶技巧让AI更好地为你工作当你成功运行了第一条指令后可以试试这些进阶技巧让AI用起来更顺手。5.1 无线控制摆脱USB线的束缚不想一直插着USB线可以用WiFi无线控制# 第一步先用USB线连接一次开启无线调试模式 adb tcpip 5555 # 第二步拔掉USB线让手机和电脑连接同一个WiFi # 在手机设置里查看IP地址设置 → WLAN → 点击当前连接的网络 → 查看IP地址 # 假设IP是 192.168.1.100 # 第三步通过WiFi连接手机 adb connect 192.168.1.100:5555 # 第四步运行指令时使用IP地址作为设备ID python main.py \ --device-id 192.168.1.100:5555 \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model autoglm-phone \ 打开B站搜索‘Open-AutoGLM教程’播放第一个视频无线连接的延迟很低基本感觉不到和USB线的区别但你可以自由移动手机方便多了。5.2 指令优化如何让AI更懂你有时候AI执行效果不理想可能是指令写得不清楚。试试这些技巧不好的指令“点那个蓝色的按钮”问题按钮颜色可能会变位置可能会动改进“点‘立即购买’按钮” 或 “点写着‘提交订单’的按钮”不好的指令“往下翻翻看”问题“往下”太模糊翻多少改进“向下滑动两次” 或 “滑动到页面底部”不好的指令“打开淘宝搜手机然后按价格排序再点第一个看看详情”问题指令太长AI可能理解不全改进拆分成多个指令“打开淘宝搜索‘iPhone 15’”等AI完成后再输入“按价格从低到高排序”再输入“点击第一个商品”核心原则像教一个细心但没经验的朋友做事——说清楚要做什么、依据什么看到的文字或图标、做什么动作点击、滑动、输入。5.3 安全机制敏感操作需要你确认Open-AutoGLM内置了安全机制遇到敏感操作时会暂停等你确认当检测到支付页面、密码输入框、验证码界面时AI会在终端输出检测到敏感操作支付页面。请手动完成验证完成后按回车继续...这时候你需要在手机上手动完成支付或输入验证码完成后回到电脑按回车键AI会继续执行后续操作这个设计既保证了安全性又不打断自动化流程。6. 常见问题解决如果你遇到了问题先看看这里有没有解决方案问题现象可能原因解决方法adb devices不显示设备USB调试未开启或连接模式不对1. 确认手机已开启USB调试2. 手机通知栏下拉点击USB连接通知选择“文件传输”或“MTP”模式终端报错Connection refusedAPI地址填错或网络不通检查--base-url是否为https://open.bigmodel.cn/api/paas/v4注意末尾没有斜杠AI执行到一半卡住手机屏幕熄灭了或App闪退1. 设置手机屏幕常亮设置 → 显示 → 休眠 → 选择“永不”2. 确保要操作的App已经安装且可以正常运行点击位置总是偏移手机设置了非标准字体或显示大小设置 → 显示 → 字体与样式 → 字体大小设为“标准”显示大小设为“默认”输入中文时显示乱码ADB Keyboard未设为默认输入法设置 → 语言与输入法 → 当前输入法 → 选择“ADB Keyboard”如果以上方法都不行可以尝试“重启大法”# 重启ADB服务 adb kill-server adb start-server # 重新连接设备 adb devices # 确认ADB Keyboard是默认输入法7. 总结今天就能用上的AI助手Open-AutoGLM 最让我欣赏的不是它用了多先进的技术而是它真的把AI自动化这件事做“实”了它不挑App不需要为每个App单独训练通用的视觉语言模型让它能适应各种界面它不要求你会编程一句中文指令就能驱动复杂的操作流程它保护你的隐私所有截图都在本地处理不上传到任何服务器除非你主动使用在线API它已经足够实用微信、抖音、小红书、美团、高德等50多个主流App都能正常使用对普通用户来说它是解放双手的工具——那些重复性的手机操作现在可以交给AI了。对开发者来说它是学习手机Agent的绝佳范本——代码结构清晰模块设计合理很容易在此基础上开发自己的应用。对产品经理来说它展示了AI如何真正融入日常生活——不是停留在对话而是实际动手解决问题。技术应该服务于人让人生活得更轻松。当AI不仅能听懂我们说话还能替我们完成具体任务时我们才真正进入了智能时代。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。