这次我们来看 Hermes 0.18.2 版本重点拆解其核心的Learn命令功能。对于关注本地AI智能体开发、自动化任务编排和技能扩展的开发者来说这个更新值得关注。它不是一个单纯的模型而是一个开源的智能体框架旨在让AI能够像人类一样学习并执行复杂的计算机操作任务。最值得关注的点在于Learn命令让智能体具备了“学习”能力。你可以通过演示或指令教会它一套操作流程之后它就能自动复现。这直接降低了为智能体编写复杂技能Skill的门槛。本文将带你快速了解 Hermes 的核心能力并重点演示如何利用Learn命令来创建和复用自动化技能涵盖从环境准备、功能验证到实际集成的完整流程。1. 核心能力速览能力项说明项目类型开源AI智能体框架/平台核心特性Learn命令技能学习与记录、多模态感知、自动化任务执行推荐硬件支持CPU运行GPU可加速视觉模型推理如使用OCR、目标检测时显存占用取决于集成的视觉/语言模型基础框架本身占用较低需按实际加载的模型测试支持平台Windows, macOS, Linux启动方式命令行启动、WebUI访问Hermes Studio、可能的桌面版Hermes Desktop是否支持 API是通常提供RESTful API或SDK供集成调用是否支持批量任务是可通过脚本或API编排连续任务流适合场景桌面自动化、RPA机器人流程自动化、AI辅助操作、技能市场构建、自动化测试2. 适用场景与使用边界Hermes 框架及其Learn命令功能主要适合以下人群和场景自动化脚本开发者/ RPA工程师希望用自然语言或演示来生成自动化流程替代部分编码工作。AI智能体研究者/爱好者需要搭建一个能感知屏幕、操作键鼠、理解指令的智能体原型。效率工具探索者想要创建个性化的电脑助手自动完成重复性软件操作或信息收集任务。它能解决什么问题技能沉淀将一次性的操作演示如“整理桌面截图到指定文件夹”转化为可重复调用的标准化技能。降低开发门槛无需为每个复杂操作编写详细的代码通过“教”的方式让智能体学会。动态适应对于界面布局变化的软件通过重新“学习”可能比修改硬编码脚本更灵活。不适合什么场景高精度、高实时性工业控制基于视觉和模拟操作的精度和速度可能无法满足严苛的工业标准。完全离线、无视觉反馈的操作对于无法通过屏幕捕捉或系统API感知状态的操作流程难以学习。绕过安全机制的操作任何试图绕过软件许可、数字版权管理或系统安全屏障的用途都是不合规的。重要合规与安全边界合法授权只能用于你有权访问和操作的软件、网站及数据。禁止用于攻击、窃取他人信息或商业机密。隐私保护学习过程中可能录制屏幕或捕获界面元素确保不涉及他人隐私数据。遵守平台规则在使用 Hermes 自动化操作第三方平台如社交媒体、办公软件时需严格遵守其自动化政策ToS。3. 环境准备与前置条件在开始安装和体验Learn功能前请确保你的开发环境满足以下基础要求操作系统Windows 10/11 macOS 或 Linux 发行版如 Ubuntu 20.04。部分底层库对系统有特定要求。Python 环境推荐 Python 3.8 - 3.11。确保已安装pip。Node.js (可选)如果使用 WebUI (Hermes Studio) 或桌面版可能需要 Node.js 环境。Git用于克隆代码仓库。CUDA/cuDNN (可选)如果你计划使用 GPU 来加速集成的视觉或语言模型例如需要 OCR 识别图片中的文字则需要安装对应版本的 CUDA 和 cuDNN。纯框架和基础Learn命令学习操作步骤可能不需要。磁盘空间预留至少 2-5 GB 空间用于安装框架、依赖和可能的模型文件。权限在 Windows 上可能需要以管理员身份运行部分命令以便模拟全局键鼠操作。通用检查清单打开终端CMD/PowerShell/Terminal运行python --version和pip --version检查版本。运行git --version确认 Git 已安装。如需要运行nvidia-smi检查 GPU 和 CUDA 驱动状态。4. 安装部署与启动方式Hermes 的安装方式可能包括从源码安装、使用预编译包或通过 Docker 运行。以下以常见的源码安装方式为例启动其 WebUI 服务Hermes Studio进行交互。步骤 1克隆代码仓库# 克隆 Hermes 主仓库 git clone https://github.com/你的Hermes仓库地址/hermes.git # 请将“你的Hermes仓库地址”替换为实际的 GitHub 地址例如 danni-models 等 cd hermes注意由于输入材料未提供确切的官方仓库地址此处为通用命令。请根据网络搜索或官方文档确认正确的仓库URL。步骤 2创建并激活 Python 虚拟环境强烈推荐# 创建虚拟环境 python -m venv venv # 激活虚拟环境 # Windows (CMD/PowerShell) venv\Scripts\activate # Linux/macOS source venv/bin/activate步骤 3安装依赖# 安装核心依赖通常通过 requirements.txt pip install -r requirements.txt # 如果存在特定平台的依赖可能需要额外安装 # 例如在Windows上可能需要 pip install pywin32安装过程可能耗时较长取决于网络和依赖数量。如果遇到特定包安装失败请根据错误信息搜索解决或查看项目README.md获取更详细的安装指导。步骤 4启动 WebUI 服务 (Hermes Studio)# 启动开发服务器假设启动脚本为 app.py 或 run.py python app.py # 或者使用项目指定的启动命令例如 # python -m hermes.studio服务启动后终端会输出访问地址通常是http://127.0.0.1:7860或http://localhost:7860。在浏览器中打开该地址即可进入 Hermes Studio 交互界面。其他启动方式命令行直接交互某些版本可能提供命令行客户端直接通过自然语言指令与智能体交互。桌面版 (Hermes Desktop)如果提供了可执行文件则双击运行即可。Docker如果项目提供了 Dockerfile 或镜像使用docker run命令启动。5. 功能测试与效果验证聚焦Learn命令Learn命令是 Hermes 0.18.2 的核心亮点。下面我们设计几个测试场景来验证其“学习-执行”的能力。5.1 测试一学习一个简单的文件操作测试目的验证 Hermes 能否通过演示学会将指定类型的文件移动到新文件夹。操作步骤在 Hermes Studio WebUI 中在交互界面输入指令或点击“开始学习”按钮。例如输入Learn how to move all .txt files from Desktop to a new folder called “TextFiles”.按照提示开始手动演示操作在桌面上新建一个名为TextFiles的文件夹。手动选中桌面上所有的.txt文件拖拽到TextFiles文件夹中。演示完成后告诉 Hermes 学习结束例如点击“结束录制”或输入Finish learning。Hermes 会将这一系列操作识别桌面、识别.txt文件、执行拖拽编码成一个内部技能Skill并可能让你为其命名例如move_txt_files。预期结果Hermes 生成一个名为move_txt_files的技能。判断成功在技能列表或技能库中能看到新创建的技能。5.2 测试二执行已学习的技能测试目的验证 Hermes 能否自动执行上一步学到的技能。操作步骤在桌面上散落放置几个新的.txt文件和一个.jpg文件。在 Hermes Studio 中输入指令Execute skill move_txt_files或直接点击该技能的“运行”按钮。观察 Hermes 的自动操作。预期结果Hermes 自动定位到桌面。识别出所有的.txt文件应排除.jpg文件。自动将.txt文件移动到TextFiles文件夹如果文件夹不存在可能会先创建。.jpg文件保持原地不动。判断成功.txt文件被正确移动且过程无需人工干预。常见失败原因视觉识别失败桌面背景变化、图标样式不同导致.txt文件图标无法识别。可尝试重新学习或在更稳定的界面环境下学习。路径问题TextFiles文件夹被移动或删除。技能可能依赖绝对路径或特定的查找逻辑。权限问题无权限在桌面创建文件夹或移动文件。5.3 测试三学习一个带条件判断的软件操作测试目的验证 Hermes 能否学习更复杂的、包含逻辑判断的操作序列。操作步骤输入学习指令Learn how to open Notepad, type “Hello Hermes”, and save it to Desktop only if the file doesn‘t exist.开始演示打开记事本Notepad。输入文字 “Hello Hermes”。点击“文件”-“另存为”。在保存对话框中导航到桌面。如果看到同名文件已存在则关闭记事本不保存如果不存在输入文件名hermes_note.txt并保存。结束学习命名技能为smart_save_note。预期结果技能smart_save_note被创建其内部逻辑应包含条件判断。验证执行首次执行桌面无hermes_note.txt文件。执行后应在桌面创建该文件并包含内容。再次执行桌面已存在hermes_note.txt文件。执行后不应创建新文件或覆盖原文件或应有相应提示。判断成功技能能根据文件是否存在这一条件执行不同的分支操作。6. 接口 API 与批量任务对于希望将 Hermes 集成到自身系统的开发者其 API 服务至关重要。Learn创建的技能也可以通过 API 进行调用和编排。6.1 启动 API 服务通常Hermes 会提供一个独立的 API 服务器启动方式。# 假设启动API服务的命令如下请以实际项目文档为准 python -m hermes.api_server --host 0.0.0.0 --port 8000启动后API 服务将在http://127.0.0.1:8000上运行。6.2 API 调用示例以下是一个调用技能执行任务的通用 Python 示例import requests import time # API 基础地址 BASE_URL http://127.0.0.1:8000/api/v1 # 1. 列出所有可用技能 def list_skills(): response requests.get(f{BASE_URL}/skills) if response.status_code 200: print(可用技能:, response.json()) else: print(获取技能列表失败:, response.text) # 2. 执行特定技能 def execute_skill(skill_name, parametersNone): payload { skill_name: skill_name, # 参数取决于技能定义例如目标文件夹路径、文件名等 parameters: parameters or {} } response requests.post(f{BASE_URL}/skills/execute, jsonpayload) if response.status_code 202: # 通常返回202 Accepted表示任务已接受 task_id response.json().get(task_id) print(f任务已提交ID: {task_id}) # 轮询任务状态 return poll_task_status(task_id) else: print(执行技能失败:, response.text) return None def poll_task_status(task_id): while True: time.sleep(1) # 每秒查询一次 status_resp requests.get(f{BASE_URL}/tasks/{task_id}) if status_resp.status_code 200: status_info status_resp.json() state status_info.get(state) print(f任务状态: {state}) if state in [SUCCESS, FAILED, CANCELLED]: print(f任务完成结果: {status_info.get(result)}) return status_info else: print(查询任务状态失败) break # 使用示例 if __name__ __main__: list_skills() # 假设我们之前创建了 move_txt_files 技能并需要指定源路径和目标路径 execute_skill(move_txt_files, {source_dir: C:/Users/Admin/Desktop, target_dir: C:/Users/Admin/Desktop/TextFiles})6.3 批量任务编排利用 API可以轻松编排批量任务。# 批量处理多个文件夹的示例 folders_to_clean [ {source: D:/Downloads, target: D:/Sorted/Images}, {source: C:/Temp, target: C:/Archive}, ] for job in folders_to_clean: print(f开始处理 {job[source]} - {job[target]}) result execute_skill(organize_files_by_type, job) # 假设有一个整理文件的技能 if result and result.get(state) SUCCESS: print(f处理成功: {result.get(message)}) else: print(f处理失败记录日志并可能重试) # 这里可以加入重试逻辑或错误日志记录7. 资源占用与性能观察Hermes 框架本身的资源占用相对较低主要开销来自其集成的子模块特别是视觉感知模型。CPU/内存占用基础服务进程在 idle 状态下内存占用可能在几百MB。当执行技能尤其是涉及屏幕截图、图像识别OCR、目标检测时CPU和内存使用率会显著上升。GPU 显存占用这是需要重点观察的。如果你启用了基于深度学习的视觉模型例如用于更精准的图标识别或文字提取这些模型加载时会占用显存。占用多少取决于模型大小从几百MB到数GB不等。务必通过nvidia-smi命令在技能执行前后观察显存变化。性能影响因素屏幕分辨率高分辨率屏幕截图和处理会更耗时。识别复杂度需要识别的界面元素越多、越相似耗时越长。操作间隔技能录制或执行时步骤间的延迟设置会影响总耗时。模型精度与速度的权衡使用更快的轻量级模型可能牺牲一些识别准确率。降低资源占用的建议在不需要高精度视觉识别时使用基于坐标或控件树的自动化方法如果 Hermes 支持。调整屏幕采集的区域和频率避免全屏持续截图。对于批处理任务合理安排任务间隔避免集中爆发式请求。8. 常见问题与排查方法问题现象可能原因排查方式解决方案启动失败提示缺少依赖requirements.txt未完全安装成功或存在版本冲突。查看终端报错信息通常是某个 Python 包导入失败。1. 在虚拟环境中根据错误提示手动安装或升级指定包。2. 检查项目是否有针对不同操作系统的额外安装说明。WebUI 页面打不开服务未成功启动或端口被占用。1. 检查终端是否有成功启动的日志如Running on http://...。2. 使用netstat -ano | findstr :端口号(Win) 或lsof -i:端口号(Linux/macOS) 检查端口占用。1. 根据错误日志解决启动问题。2. 更换启动端口例如--port 7861。Learn命令录制时无反应屏幕录制或事件捕获权限未开启。检查系统设置中是否授予了 Hermes 或 Python 屏幕录制、辅助功能权限。在系统设置-安全性与隐私中为终端或 IDE 添加相应权限。学习的技能执行失败1. 界面元素变化导致识别失败。2. 技能参数如路径未正确传递或已失效。3. 执行环境与学习环境差异大。1. 查看技能执行时的详细日志或错误信息。2. 对比学习时和执行时的屏幕状态。1. 在更稳定、标准化的界面环境下重新学习技能。2. 修改技能使用相对路径或环境变量增加容错判断。3. 启用更鲁棒的视觉识别模型如果支持。API 调用返回超时或错误1. API 服务未运行。2. 请求路径或参数错误。3. 任务执行时间过长。1. 确认 API 服务进程是否存活。2. 使用curl或 Postman 测试基础 API 端点。3. 查看 API 服务日志。1. 重启 API 服务。2. 核对 API 文档修正请求格式。3. 对于长任务实现异步轮询并适当增加超时时间。GPU 已安装但未调用框架默认配置为 CPU 模式或 CUDA 环境配置不正确。检查启动日志看是否有加载 CUDA 或 GPU 相关模型的信息。查阅项目文档确认如何启用 GPU 加速可能需要设置环境变量如CUDA_VISIBLE_DEVICES或修改配置项。9. 最佳实践与使用建议为了更高效、稳定地使用 Hermes特别是Learn功能建议遵循以下实践从简单到复杂先学习单个、明确的简单操作如点击某个固定按钮成功后再尝试多步骤、带条件的复杂流程。标准化学习环境尽量在界面元素稳定、背景干净的环境下录制技能。避免在录制过程中切换壁纸、移动窗口位置。技能参数化在技能学习或创建时尽量将可变部分如文件路径、URL、搜索关键词设计为参数提高技能的复用性。建立技能库与文档为每个创建的技能编写简单的描述文档说明其功能、输入参数、预期输出和使用限制。加入异常处理逻辑在通过 API 调用技能进行批量处理时务必加入异常捕获、重试机制和日志记录避免单个任务失败导致整个流程中断。安全隔离在服务器部署 API 服务时使用防火墙规则限制访问 IP避免服务被恶意调用。定期复核与更新对于关键业务流程依赖的自动化技能定期进行测试复核。当目标软件界面更新时及时重新学习或调整技能。10. 总结与下一步Hermes 0.18.2 的Learn命令将智能体开发从“编码”部分转向了“演示教学”这是一个降低实用化门槛的重要特性。它最值得尝试的点在于你可以快速将一些琐碎、重复的桌面操作转化为自动化资产。最先应该验证的功能就是找一个你每天都要手动操作两三遍的电脑任务尝试用Learn命令教会 Hermes并让它成功执行一次。这个过程能让你立刻体会到其价值与当前的局限性。最容易踩的坑主要集中在环境权限屏幕录制和技能泛化能力上。一个在特定分辨率、特定主题下学习的技能换一个环境可能就失效了。因此构建健壮的技能需要一些技巧比如选择更稳定的界面元素进行锚定。后续可以探索的方向包括将学到的技能组合成更复杂的工作流探索 Hermes 是否支持与其他 AI 模型如大语言模型结合实现“自然语言指令 - 自动调用技能”的闭环或者研究其技能市场的可能性共享和下载他人创建的有用技能。对于开发者而言深入其源码理解Learn命令背后是如何将演示记录转化为可执行代码可能是基于图像模板匹配、OCR 或可访问性树将有助于你定制更强大的智能体。建议收藏本文的实践和排查部分在部署和调试时能快速定位问题。