【免费下载链接】sim-useGive your AI agent eyes and hands on iOS Simulator and Android emulator/devices.项目地址https://gitcode.com/gh_mirrors/si/sim-use点击查看免费下载sim-use 是一个跨平台 CLI 工具它为 AI Agent 提供在 iOS 模拟器和 Android 模拟器/真机上看屏幕、动手指的能力。核心工作方式是observe-act-verify观察→操作→验证循环AI 读取屏幕结构、点击元素、再确认结果从而验证自己写的移动 App 是否真的可用。整个过程无需坐标计算AI 通过元素别名直接操作一次往返约 300 毫秒。为什么需要 sim-useAI 已经能帮你写移动 App 代码但写完就结束并不等于真的能用。缺少验证环节Agent 只能自说自话地声称功能正常。sim-use 补齐了 agentic 移动开发闭环中的最后一环Plan → code → verify → ship。它的设计特点Token 高效ui输出的屏幕大纲比原始 JSON 无障碍树紧凑约 16 倍LLM 只需几百个 token 就能读懂整个屏幕⚡快按设备常驻后台 daemon首次调用后每次观察-操作往返约 300 ms跨平台同一套命令同时驱动 iOS 模拟器和 Android 模拟器/真机一套 Agent 循环两边通用AI 原生结构化--json输出、错误自带可执行的hint、内置 Agent 技能包快速安装macOS 用户推荐用 HomebrewREADME.md 安装章节brew tap lycorp-jp/tap brew install lycorp-jp/tap/sim-use如果想从源码构建需要 macOS 14 和最新 Xcode 工具链git clone https://gitcode.com/gh_mirrors/si/sim-use cd sim-use ./scripts/build.sh dev # 首次构建依赖的 XCFrameworks make buildLinux 用户目前仅支持 Android 后端可运行scripts/install-linux.sh详见 docs/linux.md。安装完成后确认环境可用sim-use devices这条命令会一次性列出所有目标已启动的 iOS 模拟器、Android 模拟器/设备、USB 连接的物理 iPhoneREADME.mdPLATFORM KIND STATE NAME UDID RUNTIME ios simulator Booted iPhone 17 Pro Max B34FF305-5EA8-412B-943F-1D0371CA17FF iOS 27.0 android emulator device Medium_Phone emulator-5554 Android把 UDID 存进变量后续命令都带上--device $UDID只有一个模拟器在运行时可省略。observe-act-verify三步循环详解sim-use 的所有交互都遵循同一个循环README.mdsim-use ui # 1. 观察读取屏幕 sim-use tap 9 # 2. 操作点击看到的元素 sim-use ui # 3. 验证确认结果第一步 Observe把屏幕读成大纲sim-use ui --device $UDID输出是人类和 LLM 都能读的紧凑大纲元素按[Top]/[Content]/[Bottom]区域分带并带有别名App: Settings 402x874 [Top y120] 1 StaticText Settings [Content y120..754] 5 SearchField Search 7 Button Sign in to your iPhone 9 Button General 10 Button Display Brightness [Bottom y754] 43 TabBar每个元素都有N别名来自最近一次ui快照的缓存还可能带#id稳定标识符、#N列表格别名。第二步 Act用别名点击不用坐标sim-use tap 9 --device $UDID # ✓ Tap at (201.0, 452.0) completed successfully按场景选择选择器README.md 选择器表选择器示例适用场景N别名tap 9最快紧跟ui之后使用#idtap #settingsButton稳定布局变化后依然有效--labeltap --label General脚本化流程可搭配--wait-timeout等待元素出现-x -y/--pointtap --point 100,200最后手段仅在无无障碍数据时用一个关键细节iOS 上所有基于无障碍的选择器都能自动适配横竖屏——sim-use 每次命令都会自校准当前旋转方向坐标由你按看到的屏幕来写即可。第三步 Verify操作后必须回读因为点击是发后即忘验证只能靠再读一次屏幕sim-use ui --device $UDID # 读取新状态推荐token 便宜 sim-use screenshot --device $UDID # 仅当检查是视觉性的颜色、图片才用截图 Agent 技能包里有一条黄金法则第 N 步的验证读屏就是第 N1 步的观察读屏不要中间多跑一次uiskills/sim-use/SKILL.md。让 AI 学会这套循环安装 Agent 技能包sim-use 内置了面向 AI 客户端的技能文档一条命令即可安装sim-use init # 自动探测已安装的 AI 客户端 sim-use init --client claude # 非交互安装到 Claude sim-use init --print # 只打印技能内容不安装安装后Agent 会在第一次接触设备前自动跑一遍 preflight 检查skills/sim-use/scripts/preflight.py确认 sim-use 已安装、设备可达、daemon 健康。这套技能文档还内置了常见陷阱索引如标签撞名、别名过期和崩溃感知协议——检测到目标 App 进程消失时Agent 会停下来报告而不是假装一切正常。常用命令速查滑动、输入、录屏任务命令向下滑动看下方内容sim-use gesture scroll-up --device $UDID输入文字sim-use type hello --device $UDID粘贴 Unicode中文/emojisim-use paste こんにちは --device $UDID按 Home 键 / 锁屏sim-use button home --device $UDID双指捏合缩放sim-use gesture pinch-out --device $UDID录制成 MP4 / 循环 GIFsim-use record-video --output demo.gif --device $UDID注意一个容易踩的命名细节scroll-up表示内容向上移动也就是显示页面下方的内容相当于翻页向下——见 skills/sim-use/references/cheatsheet.md。多步流程iOS还可以用sim-use ios batch一次执行多个步骤复用同一个 HID 会话和无障碍快照并支持--wait-timeout轮询等待元素出现是多屏跳转流程的主力机制README.md。实战场景AI 如何验证自己写的 App把上面串起来一个典型的AI 自验证流程是这样的启动 App→sim-use ui确认落在首页大纲中出现预期的入口按钮执行操作→sim-use tap 9点击入口sim-use type test在输入框填入内容验证状态→ 再次sim-use ui确认页面标题、元素状态符合预期留证据→sim-use record-video --output demo.gif录制操作过程GIF 可直接内嵌到 PR/issue 里展示项目自带了用于验收这套能力的评测层e2e/agent-evals/用自然语言指令驱动无头 Agent 操作测试用 Playground AppPASS/FAIL 由操作结束后重新查询设备状态判定——Agent 自己的我成功了声明从不被采信e2e/agent-evals/README.md。这正是 observe-act-verify 循环的精神用屏幕事实说话而不是用自我陈述说话。避坑清单新手最容易遇到的 3 个问题症状原因解决办法tap N点击后无反应或点错页面已变化N缓存过期先重新sim-use ui再点tap --label报multipleMatches多个元素共享同一标签加--element-type或--frame minY0.7r缩小范围大纲里缺少可见控件前台 App 未暴露无障碍树对照截图排查详见 skills/sim-use/references/pitfalls.md更多细节横屏、软键盘粘贴、Xcode 27 Resize Mode 等都在 skills/sim-use/references/pitfalls.md 里有对应的症状→原因→处方配方。结语sim-use 用uitap N 再次ui三步循环让 AI Agent 第一次拥有了在移动端眼睛和手它看到什么就点什么点完再看结果。装上 Homebrew 包、跑一次sim-use init3 分钟你就能让 AI 开始验证自己写的 App——把声称完成变成已验证完成。想深入了解架构、Viewer 可视化或物理设备支持可以阅读 README.md 的 Architecture 与 Viewer 章节以及 skills/sim-use/SKILL.md 的完整技能文档。赞分享【免费下载链接】sim-useGive your AI agent eyes and hands on iOS Simulator and Android emulator/devices.项目地址https://gitcode.com/gh_mirrors/si/sim-use点击查看免费下载相关推荐如何5分钟快速上手YOLO-World从安装到第一个目标检测应用如何5分钟快速上手YOLO World从安装到第一个目标检测应用 YOLO World是一款强大的目标检测工具能够帮助开发者快速实现图像中物体的识别与定位。从快照到点击agent-desktop观察-行动循环Observe-Act Loop快速上手指南从快照到点击agent desktop观察 行动循环Observe Act Loop快速上手指南 agent desktop 是一个用 Rust 构建的桌GUI 自动化AI 应用桌面应用AI 技能3分钟上手mojs动态图表让数据自己讲故事3分钟上手mojs动态图表让数据自己讲故事 你是否曾为枯燥的静态图表发愁当用户面对密密麻麻的数据表格时80%的信息都会被忽略。mojs动画库让数据可视前端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
