UI-TARS 桌面应用用自然语言指挥电脑从零部署到跑通第一个任务【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop你有没有过这样的时刻同一份流程要在 Windows 和 Mac 上各做一遍同一个报表要点几十次确认UI-TARS 桌面应用基于视觉语言模型能看懂屏幕截图并输出操作指令的大模型做GUI 自动化——你用一句大白话下指令它自己看屏幕、找按钮、点鼠标、填表单。下面花 10 分钟带你从安装到跑通第一个任务。一图看懂UI-TARS 桌面应用能替你做什么UI-TARS 桌面应用主界面左侧 Computer Operator 控制整台电脑右侧 Browser Operator 自动化浏览器任务看懂屏幕截图识别按钮、输入框、菜单的位置不依赖写死的坐标界面改版也能重新定位听懂指令用自然语言描述任务即可不需要写脚本、不需要学框架动手执行模拟真实键盘鼠标完成点击、输入、滚动、拖拽双操作器Computer Operator 管整台电脑Browser Operator 专管浏览器需安装 Chrome / Edge / Firefox自校验每步操作后重新截图确认结果没点中就重试而不是直接放弃技术上它由 UI-TARS 视觉语言模型驱动任务层基于 UTIO 框架后面会讲。从零到跑通3 步安装并运行 UI-TARS 桌面应用1. 环境检查项目要求操作系统Windows / macOS当前仅支持单显示器Node.js20.x 及以上包管理器pnpm 9.x浏览器仅 Browser OperatorChrome / Edge / Firefox# 检查 Node 版本需要 20.x node --version # 检查 pnpm没有就全局安装 9.x pnpm --version || npm install -g pnpm9.10.02. 获取源码并启动# 克隆 UI-TARS 桌面应用仓库 git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop # 进入项目目录 cd UI-TARS-desktop # 安装 monorepo 工作区依赖 pnpm install # 以开发模式启动桌面应用 pnpm run dev:ui-tars不想跑源码的话macOS 用户也可以直接brew install --cask ui-tars安装预构建包。3. 首次运行与权限macOS 权限弹窗屏幕录制权限是模型看懂屏幕的前提辅助功能权限则用于模拟键鼠系统必须开启的权限用途macOS系统设置 → 隐私与安全性 → 屏幕录制让模型截屏并识别界面macOS系统设置 → 隐私与安全性 → 辅助功能允许模拟键盘鼠标操作Windows无需额外授权直接可用两个开关都打开后重启应用生效。4. 配置模型并跑第一个任务进入设置页填好视觉语言模型VLM的四项参数点Check Model Availability验证连通性# 设置页关键字段Base URL 必须来自你的部署端点且以 /v1/ 结尾 VLM Provider: Hugging Face for UI-TARS-1.5 VLM Base URL: https://your-endpoint/v1/ VLM API KEY: your_api_key VLM Model Name: UI-TARS-1.5-7B返回主页选择Computer Operator → Use Local Computer点 New Chat输入帮我打开记事本输入 hello UI-TARS然后保存文件然后盯着屏幕看 30 秒它会自动截屏、定位应用、完成输入 ⚡ 这就是最小闭环。它是怎么工作的截图、识别、点击的循环可以把它想象成一个盯着你屏幕的同事。你说帮我点那个蓝色按钮他会先截图看清楚屏幕上有什么在图里找到按钮位置移动鼠标点下去再截一张图确认点中了——没点中就再试一次。UI-TARS 把同事的每一步做成了模型调用循环截屏 → 模型输出动作点击/输入/滚动→ Operator 执行 → 再截屏。UTIO 框架流程指令进入 GUI 任务执行执行过程与结果写入存储并生成可分享的任务报告主进程的核心代码结构长这样渲染进程只负责界面apps/ui-tars/src/main/ ├── agent/ # GUI Agent 核心指令 → 模型 → 动作的执行循环 ├── services/ # UTIO 任务服务、模型设置、窗口管理 ├── ipcRoutes/ # 主进程与渲染进程通信截屏、权限、设置 ├── window/ # 窗口创建与屏幕标注 └── utils/ # 系统权限检测、截屏工具agent/负责和模型对话并解析动作services/里的 UTIO 负责任务生命周期和结果落盘utils/处理各平台的权限差异。想把它嵌进自己的产品项目提供ui-tars/sdk一条npx ui-tars/cli start就能在命令行里驱动 GUI Agent进阶玩法见下一节。实战场景与进阶玩法3 个可直接复现的任务任务执行界面左侧用自然语言下达 GUI 自动化指令右侧回传每一步的屏幕截图场景 1每周从 50 份 PDF 合同里抄甲方名称到 Excel。用 Computer Operator 下指令即可它逐份打开 PDF、识别关键字段、切到 Excel 粘贴无需写脚本。量再大一点用 SDK 把流程包成脚本批量排队执行。场景 2在浏览器里连续填 10 个后台的商品表单。切到 Browser Operator指令类似打开这个后台把这 10 个 SKU 的名称和价格依次填进去。它会复用你已登录的浏览器会话比写 Selenium 选择器省心得多。场景 3发版前的 UI 回归验证。同一句指令分别在 Windows 和 macOS 上跑同一款应用任务报告会记录每一步截图哪一步行为不一致一眼就能看出来。进阶方向嵌入自有产品ui-tars/sdk支持 Node.js 和浏览器环境Operator 可替换为自己的实现详见 docs/sdk.md多模型切换设置页支持 Hugging FaceUI-TARS-1.5与火山引擎Doubao-1.5-UI-TARS等 Provider按精度和成本随时换配置复用Preset 支持从本地 YAML 文件或 URL 导入整套设置团队可以统一分发模型配置模型设置界面Provider、Base URL、API Key、模型名四项决定识别精度与动作解析方式踩坑记录3 个高频问题的一行修复现象pnpm run dev:ui-tars启动失败或报错→ 先确认node --version是 20.x然后重新pnpm install大部分依赖问题都出在 Node 版本不符。现象模型能看见屏幕但点击/输入无响应→ macOS 上 屏幕录制 和 辅助功能 两个权限都要开系统设置 → 隐私与安全性改完必须重启应用。现象Check Model Availability 失败或动作解析报错→ Base URL 必须以/v1/结尾、Provider 要选与模型匹配的那一项如 UI-TARS-1.5 对应 Hugging Face for UI-TARS-1.5模型名和部署页保持一致。这套东西适合两类人想摆脱重复点击的普通用户装好配好模型就能用以及想给自家产品加GUI 自动化能力的开发者直接用 SDK。完整部署参数看 docs/setting.md模型获取与本地运行看 docs/quick-start.md。现在就去把第一条指令敲进去让它替你点一次鼠标 【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考