Midscene.js：用自然语言让AI替你操作所有设备的视觉驱动自动化神器
Midscene.js用自然语言让AI替你操作所有设备的视觉驱动自动化神器【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene你是否厌倦了每天重复点击、填写表单、测试应用的枯燥工作是否曾为不同平台需要学习不同的自动化工具而烦恼Midscene.js 为你带来了一场自动化革命——只需用自然语言告诉AI要做什么它就能像真人一样操作网页、Android、iOS、HarmonyOS等所有设备。 传统自动化的痛点你中了几个痛点一技术门槛高如天堑传统自动化需要编写复杂的CSS选择器、学习各种API接口对于非技术人员来说简直是天书。即使是有经验的开发者也要花费大量时间调试和维护脚本。痛点二维护成本不断攀升每次网站改版、APP更新所有基于DOM结构的脚本都要重写。选择器一旦失效整个自动化流程就会崩溃维护成本惊人。痛点三平台限制束手束脚网页自动化管不了原生APPiOS脚本不能在安卓运行跨平台测试需要编写多套完全不同的代码效率极低。痛点四视觉元素无法识别纯图标按钮、canvas画布、自定义控件传统工具根本看不见。这些视觉元素在自动化测试中成了盲区。 Midscene.js基于视觉AI的跨平台自动化解决方案Midscene.js 采用纯视觉驱动的方式通过AI分析屏幕截图来理解和操作界面。这意味着它不依赖DOM结构不关心底层实现只看屏幕上的内容——就像真人一样。核心功能一自然语言驱动像对话一样简单你不需要懂任何编程知识只需要用大白话告诉AI要做什么。Midscene.js 能将你的自然语言指令转化为精确的操作步骤。真实使用场景点击登录按钮在搜索框输入iPhone 15并搜索滚动到页面底部查看评论获取第一个商品的价格并保存到Excel打开设置检查Android版本号传统方式 vs Midscene方式对比任务传统方式Midscene方式点击按钮编写CSS选择器document.querySelector(.login-btn)直接说点击登录按钮填写表单编写JavaScript代码定位每个输入框输入填写用户名和密码调试定位问题不断调整选择器查看DOM结构AI自动识别并点击正确位置页面结构变化所有脚本需要重写AI视觉识别自动适应变化核心功能二跨平台统一操作一套方案搞定所有设备Midscene.js 真正实现了一次学习处处可用。无论是网页、移动端还是桌面应用都能用同一套API和指令进行自动化。Android设备自动化应用安装卸载测试系统设置批量配置应用功能回归测试数据备份恢复操作iOS设备自动化应用商店操作自动化系统功能批量测试多设备同步操作性能监控与测试核心功能三智能桥接模式人机协作无缝切换有时候你需要完全自动化有时候又想手动介入调试。Midscene.js 的桥接模式让你鱼与熊掌兼得。桥接模式优势保留浏览器状态Cookies、登录信息、插件配置全保留人机协作自由切换自动化过程中随时手动操作本地SDK控制通过终端命令远程控制浏览器不影响正常使用自动化在独立环境中运行️ 5分钟快速上手Midscene.js第一步安装Chrome扩展最简单的方式从源码安装# 克隆项目 git clone https://gitcode.com/GitHub_Trending/mid/midscene cd apps/chrome-extension # 安装依赖 pnpm install # 构建扩展 pnpm run build手动加载扩展打开Chrome浏览器访问chrome://extensions/开启右上角的开发者模式点击加载已解压的扩展程序选择项目中的dist目录第二步配置AI模型让AI开始工作Midscene.js 支持多种AI模型包括OpenAI、Ollama、UI-TARS等。配置非常简单环境变量配置# 在终端中设置 export MIDSCENE_OPENAI_API_KEY你的API密钥 export MIDSCENE_OPENAI_BASE_URLhttps://api.openai.com/v1扩展内配置点击浏览器工具栏中的Midscene图标进入设置页面输入你的AI模型配置信息第三步开始你的第一个自动化任务让我们从一个简单的电商价格监控开始打开Midscene扩展面板输入指令打开京东网站搜索iPhone 15 Pro获取第一个商品的价格点击运行看AI如何自动完成所有操作再试一个打开淘宝搜索同样商品对比价格 实战案例电商价格监控自动化系统案例背景小王是电商运营每天需要监控10个平台、50个商品的价格变化。以前他需要手动打开10个网站逐个搜索商品记录价格数据整理到Excel表格每天花费3小时还经常漏掉价格变动。Midscene解决方案步骤1创建监控脚本# price-monitor.yaml name: 电商价格监控系统 platforms: [web] tasks: - name: 监控京东价格 url: https://jd.com actions: - 搜索{{商品名称}} - 获取第一个商品的价格 - 保存到价格记录表 - name: 监控淘宝价格 url: https://taobao.com actions: - 搜索{{商品名称}} - 获取第一个商品的价格 - 保存到价格记录表步骤2设置定时任务# 每天上午10点执行监控 0 10 * * * cd /path/to/midscene midscene run price-monitor.yaml步骤3查看监控报告Midscene.js 会自动生成详细的执行报告包括每个平台的价格数据价格变化趋势图异常价格提醒导出Excel表格效果对比指标传统方式Midscene方式时间消耗3小时/天5分钟/天准确性人工记录易出错100%准确及时性每天一次实时监控扩展性难以增加平台轻松扩展 进阶技巧让自动化更智能高效技巧1条件分支处理复杂业务场景Midscene.js 能像人一样做判断处理不同的业务场景tasks: - name: 检查用户登录状态 action: evaluate script: return document.querySelector(.user-menu) ! null storeResultAs: isLoggedIn - name: 智能登录处理 if: {{isLoggedIn}} then: - action: click selector: .logout-btn else: - action: click selector: .login-btn - action: type selector: #username text: {{用户名}} - action: type selector: #password text: {{密码}}技巧2智能错误处理与重试机制自动化难免遇到网络波动、页面加载慢等问题。Midscene.js 内置智能重试tasks: - name: 稳定点击提交按钮 action: click selector: .submit-btn retry: maxAttempts: 3 # 最多重试3次 delay: 2000 # 每次重试间隔2秒 conditions: # 重试条件 - 元素不存在 - 网络超时 - 页面未加载完成技巧3数据提取与智能处理Midscene.js 不仅能操作界面还能提取和处理数据tasks: - name: 提取商品信息 action: extract target: .product-list fields: - name: title selector: .product-title - name: price selector: .price transform: parseFloat - name: rating selector: .rating transform: parseFloat output: products.json # 自动保存为JSON文件 常见问题与解决方案Q1扩展安装后无法正常工作解决方案检查Chrome扩展页面是否有错误提示确保构建过程完整执行pnpm install pnpm run build尝试重启浏览器检查是否有其他扩展冲突Q2AI模型响应慢怎么办优化建议使用更快的AI模型如GPT-4 Turbo优化提示词减少歧义启用Midscene.js的缓存功能将大任务拆分为小步骤Q3如何调试自动化脚本调试步骤使用Midscene.js的录制功能生成脚本在Playground中逐步执行查看效果查看详细的执行日志使用可视化回放功能定位问题Q4支持哪些平台和设备目前支持✅ 所有主流浏览器Chrome、Firefox、Edge等✅ Android设备需要开启USB调试✅ iOS设备需要连接Mac✅ HarmonyOS设备✅ 桌面应用通过桥接模式 学习路径与资源官方文档快速开始指南apps/site/docs/zh/quick-start.mdxAPI参考文档apps/site/docs/zh/reference/平台特定指南apps/site/docs/zh/platforms/社区支持Discord社区获取实时帮助和最新动态GitHub Issues提交问题和功能请求官方示例仓库学习最佳实践进阶学习路径基础阶段掌握自然语言指令编写中级阶段学习YAML脚本编写和条件逻辑高级阶段掌握桥接模式和API集成专家阶段贡献代码和开发插件 立即开始你的自动化之旅Midscene.js 不仅仅是一个工具它是你工作效率的革命性提升。无论你是开发者需要自动化测试和部署运营人员需要数据采集和监控测试工程师需要跨平台自动化测试普通用户想要自动化重复的网页操作Midscene.js 都能为你节省大量时间让你专注于更有价值的工作。今天就开始行动克隆项目git clone https://gitcode.com/GitHub_Trending/mid/midscene安装扩展按照上面的指南快速安装尝试第一个任务从简单的网页操作开始逐步扩展应用到更多场景和平台不要再让重复劳动消耗你的时间和精力。让Midscene.js 成为你的AI助手用自然语言控制所有设备开启高效工作的新篇章小贴士建议先从简单的日常任务开始比如自动填写表单、批量下载文件等。随着熟练度的提高逐步尝试更复杂的自动化场景。Midscene.js 社区中有大量现成的脚本模板和最佳实践欢迎参考和学习。【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
