UI-TARS桌面应用GUI自动化实操10分钟跑起来【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop昨天你可能还在手动点击40个窗口改设置今天一句把VS Code自动保存延迟设为500毫秒就够了。UI-TARS桌面应用是一款能看懂屏幕并直接控制鼠标键盘的VLM GUI自动化桌面端基于视觉语言模型驱动本地就能跑。先跑起来再聊原理环境要求Node 20 / pnpm 9.x / 单显示器环境Browser Operator 另需 Chrome、Edge 或 Firefox 之一。不想编译的话macOS 可以直接brew install --cask ui-tars装现成安装包。想从源码启动路径如下# 拉取项目源码 git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop # 安装依赖 cd UI-TARS-desktop pnpm install # 以开发模式启动桌面应用 cd apps/ui-tars pnpm devmacOS 额外要手动做一步系统设置 → 隐私与安全性把 UI TARS 的辅助功能和屏幕录制都勾上。前者让它能模拟鼠标键盘后者让它能截屏缺一不可。macOS 上把 UI TARS 拖入 Applications 的安装过程装完后重点去隐私与安全性里开两项权限模型配置四个字段别填错应用不自带模型需要在 Settings 页面补齐四件套。Hugging Face 上可免费部署 UI-TARS-1.5-7B 的 endpoint有 30 分钟免费额度火山方舟也提供 Doubao-1.5-UI-TARS两者只是 Provider 不同。Provider必须和模型匹配UI-TARS-1.5 系列要选对应的选项否则动作解析会乱Base URL必须以/v1结尾API Key从 endpoint 页面复制Model Name按 endpoint 页面原样填写设置页面中的 VLM Provider、Base URL、API Key 与模型名四项是本地跑通前唯一需要手填的配置它到底在做什么可以把 UI-TARS 理解为一个戴着 AI 眼镜的实习生你只告诉它目标它自己看屏幕、自己找按钮、自己点下去完事再瞄一眼确认结果。一轮任务的循环非常朴素收到指令 → 截屏连同目标发给 VLM VLM 返回一个动作点击 / 输入 / 等待... Operator 执行动作 → 再次截屏 循环直到任务完成或你手动停止主进程负责编排动作真正落地靠 operator 包。关键目录apps/ui-tars/src/main/ ├── agent/ # 提示词构建与模型交互 ├── services/ # 任务调度、设置与窗口管理 ├── ipcRoutes/ # 主进程/渲染进程间的 IPC 接口 ├── remote/ # 远程计算机/浏览器 Operator 客户端 └── utils/ # 截屏、系统权限等工具函数 packages/ui-tars/operators/ # 鼠标键盘、浏览器 Operator 实现完整流程在仓库里有一张流程图任务执行闭环指令进入后经过截屏、模型推理、动作执行、反馈校验循环推进直至完成三个真实场景场景一本地桌面操作。你输入帮我打开 VS Code启用自动保存并把延迟设为 500 毫秒。它自己找到 VS Code、打开设置面板、定位到 Auto Save 一行勾上复选框、把下拉值改成 After Delay。你得到的是改好设置的 IDE全程没碰过鼠标。场景二浏览器任务。上一轮刚在 VS Code 里改完接着输入去 GitHub 看下某个开源项目的最新 open issue。它拉起浏览器、输入项目名、进入 Issues 页并逐条读取。你得到的是一份 issue 标题和状态的口头总结而不是自己翻三页。场景三留档汇报。任务跑完后你输入导出这次操作的报告。它把每一步的截图、指令和结果打包成可下载的 report。你得到一份能直接发给同事的操作记录验收不用再口头描述它刚才点了哪。输入自然语言指令后进入任务执行界面左侧是对话区右侧是实时屏幕截图与动作反馈踩坑速查表Q点开始后面板不动、屏幕无反应→ macOS 检查辅助功能和屏幕录制权限是否都开着改完重启应用。Q模型连接报错、动作解析结果乱七八糟→ 确认 Base URL 以/v1结尾且 Provider 与模型系列匹配UI-TARS-1.5 必须选对应 Provider。Q多显示器下任务经常失败→ 当前版本只保证单显示器环境临时拔掉或禁用第二块屏幕再跑。QBrowser Operator 起不来→ 先装好 Chrome、Edge 或 Firefox 中任意一个应用只驱动这三家。Q单步耗时太久→ 换更近的 endpoint 或更轻量的模型任务尽量拆小减少单轮截图数量。场景模型选择精度取向并发日常设置调整UI-TARS-1.5-7B免费 endpoint均衡1复杂长链路任务Doubao-1.5-UI-TARS优先准确1批量回归本地 GPU 部署均衡/快速2~4继续深挖快速上手与模型部署docs/quick-start.mdVLM / Chat 参数详解docs/setting.md用 SDK 自己搭 GUI Agentdocs/sdk.md主进程编排逻辑apps/ui-tars/src/main/services/鼠标键盘与浏览器 Operator 实现packages/ui-tars/operators/遇到问题直接去项目仓库的 Issues 页提问维护者响应很快配置填好的那一刻去输入框里敲下你的第一条自然语言指令看它替你动一次鼠标。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考