【免费下载链接】esp32-iphone-agentLet an AI model use a real iPhone with a $7 ESP32: AirPlay eyes, USB HID hands, any OpenAI-compatible vision model. No Mac, no developer account, no jailbreak.项目地址https://gitcode.com/gh_mirrors/es/esp32-iphone-agent点击查看免费下载ESP32 iPhone Agent是一个开源 iPhone 自动化项目让 AI 模型直接操作一部真实的 iPhone只需一块约 40 元的ESP32-S3开发板插进 iPhone 的 USB 口任何OpenAI 兼容的视觉模型都能当它的大脑。不需要 Mac、不需要 Apple 开发者账号、不需要 Xcode、不用越狱、手机上什么都不用装。如果你已经被 WebDriverAgent 的Mac 开发者账号 签名 7 天过期组合劝退本文带你从 7 个关键差异快速做出选择。上图的网页界面中Agent 收到打开白板画一个笑脸的指令后自己搜索并打开白板 App再用连续笔画完成绘制——每一步的截图都留在下方的截图墙里点按位置、模型推理、思考与执行耗时一目了然。对比总览ESP32 iPhone Agent 与 WebDriverAgent 一眼看清目前大多数 iPhone 自动化方案都通过 XCTest / WebDriverAgent 驱动手机。项目文档给出的官方对比表如下ESP32 iPhone AgentXCTest / WebDriverAgent 类工具Apple 开发者账号不需要需要给测试程序签名Xcode不需要需要电脑Mac或 Linux仅 Mac手机上安装 App不需要需要安装测试程序越狱不需要不需要额外硬件ESP32-S3 开发板约 $7 / 40 多元USB 线任意 App含游戏可以只看像素大多可以取决于无障碍控件树工作原理AirPlay 的眼睛、USB 鼠标的手、AI 的脑进入 7 个差异之前先花 30 秒理解 ESP32 iPhone Agent 的眼、手、脑眼 —— AirPlay 屏幕镜像手机通过 AirPlay 把屏幕镜像到电脑上的 UxPlay 接收端视频流被转成一帧帧 JPEG供 AI 和网页查看实现在 server/hidagent/screen.py。手 —— USB HID 桥插进 iPhone 的 ESP32-S3 被识别为标准 USB 鼠标和键盘打开 iOS 的辅助触控AssistiveTouch后鼠标点击就是屏幕点按、拖动就是滑动。板子固件本身不含任何逻辑只通过 Wi-Fi 执行move、click、type等行命令所有逻辑都在电脑上见 hardware/hid_bridge/hid_bridge.ino。脑 —— 规划模型 执行模型规划模型根据目标和当前屏幕写一份简短计划执行模型每轮看最新截图选出下一个动作点按、滑动、画笔画、输入、按键……两个角色可以用同一个模型提示词见 server/hidagent/agent.py。照片里那枚指甲盖大小的 XIAO ESP32S3 直接插在 iPhone 上旁边是运行在 Linux 机器上的服务端与网页界面——整套 iPhone 自动化方案就这么简单。7 个关键差异详解ESP32 iPhone Agent 赢在哪里差异 1不用 Apple 开发者账号告别 7 天签名过期WebDriverAgent 路线最大的隐性坑测试运行程序必须用 Apple 开发者账号签名免费账号的签名 7 天就过期每周都要重签一遍付费账号则要每年 99 美元。ESP32 iPhone Agent 走的是看屏幕 动指针这条和真人一样的路径手机上不装代码、不签任何东西这一栏直接划掉。✅差异 2不用 Mac、不用 XcodeLinux 也能跑WebDriverAgent 依赖 Xcode 的 XCTest 框架控制端被锁死在 Mac 上。ESP32 iPhone Agent 的服务端是纯 PythonFastAPI屏幕接收端 UxPlay 在 macOS 和 Debian/Ubuntu 上都有安装包——一台 Linux 电脑就够了不用再为了 iPhone 自动化单独掏一台 Mac。差异 3手机什么都不用装没有测试运行 AppWebDriverAgent 需要往手机里装一个测试运行器 App并且要跟着签名过期一起维护。ESP32 iPhone Agent 在手机侧零安装用完拔线即可不用操心测试 App 被 iOS 杀后台或系统升级后跑不跑得动的问题。差异 4只看像素任意 App 都能操作包括游戏WebDriverAgent 靠无障碍控件树找元素来点击而游戏、画布、部分网页视图根本不暴露控件遇到它们基本无能为力。ESP32 iPhone Agent 像人一样只看像素只要人能点得着它就能点得着——本文开头那张在白板里画笑脸的截图就是证明。差异 5约 40 元的 ESP32-S3 当手硬件成本极低唯一的额外硬件就是一块 ESP32-S3XIAO ESP32S3 约 $7 / 40 多元选 USB-C 口直连 S3 原生 USB 的普通版即可。iPhone 直接给板子供电USB-C 机型即插即用Lightning 机型加一个 Lightning 转 USB 相机转换器。差异 6任何 OpenAI 兼容视觉模型云端或本地随意AI大脑不绑定任何厂商任何接受图片输入的 OpenAI 兼容 chat 接口都行云端 API 或自己部署vLLM、Ollama、llama.cpp 等 视觉模型均可。配置只需填LLM_BASE_URL、LLM_MODEL、LLM_API_KEY三项客户端实现只有 40 来行见 server/hidagent/llm.py仓库还附带 server/serve/transformers_server.py 供自行托管 Hugging Face 模型。项目实测本地配置下每个动作约 1.3 秒、每次规划约 2 秒。差异 7闭环校验点空、滑偏会被自动发现并重试WebDriverAgent 靠元素查询校验状态但元素根本不存在时就只能干瞪眼。ESP32 iPhone Agent 的视觉闭环更皮实点按前轻推指针在镜像画面里找到它的真实位置偏了先纠正再点动作后检查屏幕是否真的变化了并把这个结果告诉模型——点空了会重试而不是将错就错同一个动作重复多次会触发重新规划Wi-Fi 断线、模型回复出错都能自动恢复。指针位置跟踪与板子连接管理在 server/hidagent/device.py。快速上手指南5 分钟跑起来如果上面的差异打动了你这里是最短上手路径。第 1 步克隆仓库、刷固件先安装 arduino-cli 和 ESP32 core 3.xgit clone https://gitcode.com/gh_mirrors/es/esp32-iphone-agent cd esp32-iphone-agent cp hardware/hid_bridge/secrets.example.h hardware/hid_bridge/secrets.h # 编辑 secrets.h填 2.4GHz Wi-Fi 名称/密码以及运行服务端电脑的 IP hardware/flash.sh第 2 步安装并启动服务端brew install uxplay # macOSDebian/Ubuntu 用 apt install uxplay cd server python3 -m venv .venv .venv/bin/pip install -e . cp .env.example .env # 填 LLM_BASE_URL / LLM_MODEL / LLM_API_KEY set -a . ./.env set a .venv/bin/python -m hidagent浏览器打开http://电脑 IP:8890。第 3 步设置手机只需一次设置 → 辅助功能 → 触控 →辅助触控打开把板子插进手机屏幕出现圆形指针网页显示控制器已连接控制中心 → 屏幕镜像 →iPhone Agent网页里出现实时画面网页打开手动操控 → 校准服务端几秒内自动完成校准。第 4 步下达任务输入打开设置进入 Wi-Fi之类的目标点开始即可界面提供紧急停止按钮Esc随时叫停 Agent。上例中Agent 自己打开时钟 App在时间滚轮里直接输入0700在重复里一次连续勾选多天后保存——11 个动作、27 秒完成全程可在网页界面逐步回放。项目文件导航去哪看什么文件说明README.zh-CN.md完整中文文档配置项、调试模式、板子协议、相关项目对比server/hidagent/agent.py看-想-做循环核心规划/执行提示词与动作解析server/hidagent/llm.pyOpenAI 兼容模型客户端自动适配 token 参数名server/hidagent/screen.pyAirPlay 镜像接收与 JPEG 帧转换server/hidagent/device.py与 ESP32 板子的 TCP 连接和命令管理server/hidagent/static/app.js网页 UI实时画面、截图墙、紧急停止hardware/hid_bridge/hid_bridge.inoESP32-S3 固件USB 键鼠 Wi-Fi 行命令协议server/tests/test_agent.pyAgent 行为的单元测试LICENSEMIT 许可证限制与注意事项开始前先看看⚠️ 入手前请记住这些限制iOS 不镜像部分界面密码输入、Apple Pay、版权保护视频Agent 看不到这些画面手机锁屏后镜像断开Agent 工作时请关闭自动锁定键盘输入仅支持 ASCII暂不能输入中文暂不支持横屏 App横屏界面的点按和绘图会偏修改辅助触控的跟踪速度后需要重新校准。到底该选谁如果你已有 Mac 开发者账号且目标是自家 App 的 UI 自动化测试Appium、XCUITestWebDriverAgent 依旧成熟可靠但如果你想让AI 自由操作一部真实 iPhone——尤其是第三方 App 和游戏或者你的控制端是 Linux——ESP32 iPhone Agent 值得尝试硬件成本只有一杯咖啡钱。最后提醒项目的合理使用原则只自动化你自己拥有或被允许使用的设备和账号让 Agent 在你的注视下干活紧急停止按钮随时备好。赞分享【免费下载链接】esp32-iphone-agentLet an AI model use a real iPhone with a $7 ESP32: AirPlay eyes, USB HID hands, any OpenAI-compatible vision model. No Mac, no developer account, no jailbreak.项目地址https://gitcode.com/gh_mirrors/es/esp32-iphone-agent点击查看免费下载相关推荐7个关键理由为什么protobuf.js是Node.js开发者的终极Protocol Buffers选择7个关键理由为什么protobuf.js是Node.js开发者的终极Protocol Buffers选择 protobuf.js是一个纯JavaScript实后端开发工具OpenCore Simplify 使用指南:四步生成可用的黑苹果 OpenCore EFIOpenCore Simplify 使用指南:四步生成可用的黑苹果 OpenCore EFI OpenCore Simplify 是一款黑苹果 OpenCore开发工具CLI从论文到代码vnet.pytorch核心架构解析与实战案例从论文到代码vnet.pytorch核心架构解析与实战案例 VNet是医学图像分割领域的里程碑式工作而vnet.pytorch项目提供了一个完整的PyTor创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
