近年来，随着图形用户界面（GUI）自动化技术的不断发展，如何让代理程序具备理解并与用户屏幕高效交互的能力，成为业界亟待解决的难题。传统上，通用大型语言模型（LLM）在充当GUI代理时，常面临两个核心挑战：一是如何可靠地识别界面中可交互的图标；二是如何理解截图中各个元素的语义，并准确地将预期操作与屏幕相应区域关联起来。针对这一痛点，OmniParser通过将UI截图中的像素信息“标记化”为结构化元素，使得这些信息能被LLM有效解析，从而支持基于检索的下一步操作预测。
2025年2月12日，OmniParser V2在这一背景下隆重发布，其技术创新标志着GUI自动化领域迈入了全新纪元。该版本在前沿研发基础上，不仅进一步提升了检测小型可交互元素的精度，同时通过优化图标描述模型，推理速度较前一版本降低了60%，为用户带来前所未有的高效体验。
相关原文地址：
https://www.microsoft.com/en-us/research/articles/omniparser-v2-turning-any-llm-into-a-computer-use-agent/
https://github.com/microsoft/OmniParser/tree/master
https://github.com/microsoft/OmniParser/tree/master/omnitool#notes
技术突破与性能提升
OmniParser V2引入了大规模交互元素检测数据及图标功能描述数据，使得模型能适应各种复杂场景。与前代产品相比，新版本在小目标检测上表现尤为突出，并结合GPT-4o模型，在高分辨率屏幕与微小目标图标定位基准测试ScreenSpot Pro中，平均准确率达到了39.6分，相较于原始得分0.8分，实现了质的飞跃。
OmniTool
加速实验与部署的利器
为了便于对不同代理设置的快速实验，研发团队推出了全新OmniTool。该工具基于Docker封装的Windows系统，集成了一整套必备的代理工具，支持多款领先的LLM（如OpenAI、DeepSeek、Qwen及Anthropic），实现屏幕理解、目标定位、动作规划与执行的全流程自动化。
OmniTool主要亮点
速度与精准度双提升：OmniParser V2比上一版本快60%，同时具备识别多种操作系统及应用内图标的能力。
资源占用优化：OmniBox在磁盘空间使用上较其他Windows虚拟机减少50%，而功能与API接口毫不逊色。
多模型兼容性：支持OpenAI、DeepSeek、Qwen、Anthropic等多种视觉模型，满足不同用户需求。
系统整体架构
omniparserserver：基于FastAPI运行的OmniParser V2服务端。
omnibox：在Docker容器中运行的Windows 11虚拟机，为测试提供稳定环境。
gradio：交互式UI界面，用户可通过该界面发出命令并实时监控执行过程。
演示视频
OmniParser V2：
OmniTool：
注意事项与部署建议
运行环境选择：虽然OmniParser V2支持在CPU上运行，但为获得更快响应，推荐在GPU设备上部署。
虚拟机依赖性：OmniBox的Windows 11虚拟机Docker镜像依赖KVM技术，在Windows和Linux系统上运行效果最佳；在CPU环境下亦能稳定运行，无需GPU支持。
UI部署提示：Gradio界面同样支持CPU运行，建议将omnibox与gradio部署在同一台CPU设备上，而将omniparserserver部署在GPU服务器上，以确保整体性能最优。
风险控制与负责任的AI实践
团队严格遵循微软AI原则及负责任AI实践，针对图标描述模型采用专门的负责任数据进行训练，有效规避对敏感属性的不当推断。同时，建议用户仅在截图内容不含有害信息的前提下使用该技术。OmniTool已通过微软威胁建模工具的全面评估，并在GitHub仓库中提供了安全沙盒Docker容器、安全指导及实用示例，确保在实际部署中保持人工监管以降低风险。
结语
OmniParser V2以其创新技术和卓越性能，为GUI自动化领域注入全新活力。无论是技术研发团队还是各行业应用者，都将从这一突破性工具中获得巨大红利。立即体验OmniParser V2，与OmniTool携手，共同开启高效、精准、安全的自动化新时代！
--- End ---欢迎关注微软 智汇AI 官方账号
一手资讯抢先了解喜欢就点击一下 在看 吧~
