如何把phone-harness注册为Agent技能让Claude Code与Codex自动操控你的手机【免费下载链接】phone-harnesslet your agent control your phone项目地址: https://gitcode.com/gh_mirrors/ph/phone-harnessphone-harness 是一个轻量的手机操控框架让 Claude Code、Codex 等 AI Agent 直接控制你的真实 iPhone用 OCR 当眼睛、HID 级输入事件当双手无需越狱、无需 WebDriverAgent。本文带你完成安装并把 phone-harness 注册为 Agent 技能使 Claude Code 与 Codex 在需要开 App、点按、输入、滑动、读屏时自动调用它。注册技能后会发生什么技能注册完成后你只需对 Agent 说一句帮我打开手机上的备忘录写点东西它会自动想起phone-harness技能按其内置的 SKILL.md 工作流行动通过ocr()识别屏幕上所有文字及其可点击坐标俗称穷人的 DOM用tap()、type_text()、swipe()等预导入函数执行操作每次动作后再截屏 OCR 验证结果因为截屏就是唯一的事实来源。整个过程你无需手写任何脚本——缺什么辅助函数Agent 会自己写进可编辑的 agent_helpers.py例如点击主屏图标而非标签文字的tap_icon()。工作原理iPhone 镜像窗口就是传输层phone-harness 依赖 macOS Sequoia 自带的iPhone Mirroring应用它把手机画面渲染成一个 Mac 窗口并把鼠标/键盘输入转发为真实触摸。Agent 因此只需看窗口 发输入看screencapture截取镜像窗口用 Apple Vision 框架做 OCR得到每个可见字符串的坐标动HID 级 CGEvent 发送点击、长按、拖动、滚轮滚动、快捷键Cmd1 回主屏、Cmd2 切换应用、Cmd3 Spotlight验再次截屏确认。镜像传输是无状态的——每次调用都重新查询窗口位置与截屏没有常驻守护进程一次调用自包含。前提条件一次性准备macOS Sequoia 或更新版本iPhone Mirroring 已与手机配对需手动打开应用一次完成配对配对提示只有实体手机能响应Python 3.12终端需要两项系统权限在 系统设置 → 隐私与安全性 中开启辅助功能——负责点按与键盘输入开启立即生效屏幕录制——负责看见手机需重启终端应用后生效。这两项是人工步骤Agent 会一步步引导你完成详见 install.md。一键安装把phone-harness装进PATH打开终端执行以下命令~/.phone-harness是它的规范家目录Agent 在任何机器上都知道这个路径git clone https://gitcode.com/gh_mirrors/ph/phone-harness ~/.phone-harness cd ~/.phone-harness pip install pyobjc-framework-Quartz pyobjc-framework-Vision pyobjc-framework-Cocoa pip install -e . --no-depspip install -e .是可编辑安装既让phone-harness成为全局命令技能从任何目录调用它都成立又保持源码可改--no-deps跳过依赖解析——pyobjc 依赖已由上一行装好。核心步骤用phone-harness skill注册Agent技能这是全文最关键的一步。phone-harness skill命令会输出 SKILL.md 的完整内容构建时打包进 wheel见 pyproject.toml 的 force-include 配置你只需把它重定向到对应 Agent 的技能目录Claude Codemkdir -p ~/.claude/skills/phone-harness phone-harness skill ~/.claude/skills/phone-harness/SKILL.mdCodexmkdir -p ${CODEX_HOME:-$HOME/.codex}/skills/phone-harness phone-harness skill ${CODEX_HOME:-$HOME/.codex}/skills/phone-harness/SKILL.md为什么这样就能自动使用技能文件的 front matter 写明了触发描述——Control the users phone … open apps, tap, type, swipe, read the screen。当你的任务涉及手机操作时Claude Code / Codex 会自己检索到这个技能并加载其中的日常工作流无需你每次叮嘱。技能正文里还内置了重要约束例如Mac 上能干的活就别动手机能用网页/API 解决就别开 App发消息、发帖、购买、删除等不可逆操作前必须先征得你同意连接手机是用户的事Agent 绝不替你点连接也不会空转轮询。验证链路--doctor 一键自检phone-harness --doctoradmin.py 中的 doctor 按顺序走一遍检查梯pyobjc → 辅助功能 → 屏幕录制 → 镜像应用已安装 → 应用运行中 → 找到窗口 → 截屏可用 → OCR 可用。修掉第一个 FAIL 即可后面的检查依赖前面的通过。再跑一个最小脚本确认端到端可用phone-harness PY print(screen_info()) PY只要打印出镜像窗口的坐标范围安装就完成了 日常使用与技能更新日常用法就是 heredoc 喂 Python辅助函数已预导入phone-harness PY open_app(Notes) tap_text(New Note) type_text(hello from the harness) PY两个维护建议拉取更新后重跑注册phone-harness skill …/SKILL.md重新覆盖技能副本让 Agent 用的工作流与代码版本一致遇到权限或连接问题Agent 被要求优先阅读 install.md 排障——截屏全黑通常是屏幕录制授权后没重启终端点按没反应多半是辅助功能缺失或镜像窗口失焦。已知限制心里有数再上手机一部手机、一个会话物理手机解锁会暂停镜像提示 iPhone in Use无多指手势不能捏合缩放不支持摄像头/Face ID 流程DRM 视频渲染为黑屏OCR 只认文字不认语义无标签图标需要截图交给视觉模型判断type_text是粘贴而非逐键输入故意绕过 iOS 自动纠错需要真实按键时传keystrokesTrue。Android 设备同样支持phone-harness config set platform android切换平台后同一套辅助函数走 adbOCR 直接读无障碍树精准无误。小结三步回顾克隆安装到~/.phone-harness→phone-harness skill输出注册到 Claude Code 与 Codex 的技能目录 →--doctor验证全链路。完成后你的 Agent 就拥有了看手机、点手机的完整能力而且所有约束何时该用、何时该问都写进了技能正文替你把关。【免费下载链接】phone-harnesslet your agent control your phone项目地址: https://gitcode.com/gh_mirrors/ph/phone-harness创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考