UI-TARS 桌面版：说句话就能控制电脑的开源 Agent

UI-TARS 桌面版说句话就能控制电脑的开源 Agent【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop周五下午领导让你导出昨天的数据报表。你坐在电脑前对 UI-TARS 桌面版——一个基于 UI-TARS 视觉语言模型的多模态 AI Agent 桌面应用——说打开浏览器找到数据平台最后一张表把报表下载下来然后转身去倒杯水。回来时活儿已经干完了。全程你只说了一句自然语言鼠标和键盘成了它的手。它到底能替你做什么替你点鼠标—— 靠屏幕截图定位按钮和输入框不依赖网页 DOM替你敲键盘—— 能输入中文、粘贴文本也能发组合快捷键替你开浏览器—— 打开网页、填搜索词、点进目标页面读内容替你跨应用搬数据—— 从一个窗口复制文字贴进另一个应用替你记录过程—— 任务结束后导出逐步执行报告可回放每一步一句话你说它点。UI-TARS 桌面版主界面从零跑起来安装 UI-TARS 桌面版并完成首次任务环境准备硬性要求只有两条。你打算跑浏览器任务的话先装好 Chrome、Edge 或 Firefox 之一。它目前只在单显示器下稳定多屏用户先拔一根线。确认你机器上有 Homebrewbrew --version没有输出的话先按 Homebrew 官方说明装好再回来。安装macOS 上一条命令装完brew install --cask ui-tars装好后把应用拖进应用程序文件夹Windows 用户直接双击安装程序跟着向导走。拖入应用程序文件夹安装然后去系统设置 → 隐私与安全性把辅助功能和屏幕录制两项权限都打开。不开这两项它看得见也点不动。开启两项系统权限首次任务把系统音量调到 50%先接上模型打开设置页选 VLM 提供商把模型服务给的 Base URL、API 密钥、模型名填进去点Check Model Availability确认连通。具体开关下面会讲。然后点新建任务选本地计算机模式发这句话打开系统设置把系统音量调到50%等十几秒看着音量条自己走到一半它就通了。输入指令即可开工自然语言变成鼠标点击原理 30 秒相当于一个人戴着 AR 眼镜边看屏幕边伸手。它先截一张当前屏幕的图UI-TARS 视觉模型认出哪个按钮在哪个位置返回动作文本动作解析器把文本翻译成坐标和按键操作器替你动真格的鼠标键盘。每一轮循环都是这四步循环到任务完成。拿 3 个真实任务试手感任务一本地桌面调音量你说「打开系统设置把系统音量调到50%」它做找到设置应用展开声音面板拖动音量条结果音量条停在 50% 刻度坑设置窗口被最小化了它找不到。先把窗口挪到桌面再下指令任务二浏览器查数据你说「打开浏览器搜索 UI-TARS告诉我第一个结果页面上的星标数」它做开浏览器输入搜索词点进第一个链接读出页面上的数字结果星标数直接出现在它的回复里坑网页弹窗挡住按钮。手动先关一次或指令里加一句若有弹窗先关闭任务三跨应用搬文本你说「把文档里选中的那段话复制到系统备忘录里」它做激活文档窗口发送复制切到备忘录窗口粘贴结果备忘录里多了一段刚选中的文字坑应用叫昵称容易认错。按 Dock 上的正式名称写配置别只填默认值3 个影响体验的开关打开设置页下面三项直接决定任务顺不顺。VLM Provider→ 改成与你部署模型对应的提供商比如Hugging Face for UI-TARS-1.5→ 不改会怎样动作文本格式对不上它要么点空要么干脆不动。VLM Base URL→ 填模型服务给的端点末尾必须带/v1/→ 不改会怎样模型可用性检查直接失败首个任务都发不出去。Loop Wait Time→ 页面动画或加载慢时从默认 1000 毫秒加到 2000 左右 → 不改会怎样它可能在页面没渲染完时就截图认错按钮、点错位。填入端点、密钥与模型名卡住了先查这里屏幕不动 → 缺辅助功能或录屏权限 → 系统设置里打开两项模型检查失败 → Base URL 没以 /v1/ 结尾 → 回设置补上点击位置不对 → 提供商和模型不匹配 → 切换 VLM Provider任务做一半停了 → 撞上 Max Loop 上限 → 调大上限或拆小任务想再深一层桌面应用只是入口。底层ui-tars/sdk是跨平台工具包同一个 Agent 能在 Node.js 和 Web 里跑源码在packages/ui-tars/sdk/它调用的本地桌面、浏览器、ADB 等 operator 实现都在packages/ui-tars/operators/想把模型接到自己的设备就从这里入手。文档看三处就够快速开始安装与配置、设置指南参数全表、SDK 文档开发者参考。倒水回来时报表已经躺在桌面上了这就是文章开头那一幕。今晚你可以只做一件事装好它连上模型把音量调到50%这句话发出去。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考