1. 项目概述当Selenium遇上Claude3浏览器自动化进入“思考”时代最近在捣鼓一个挺有意思的项目叫“基于Selenium和Claude3的AI自动化工具”。这玩意儿本质上是一个智能浏览器代理它把传统的、需要你一步步写死的Selenium脚本变成了一个能“看懂”网页、自己“思考”下一步该干嘛的智能体。简单来说就是你给它一个用自然语言描述的目标比如“帮我找到比特币创始人的维基百科页面”它就能自己打开浏览器分析页面执行搜索、点击等一系列操作直到完成任务。这背后的核心就是把Selenium这个老牌浏览器自动化工具和Claude3这类大语言模型LLM的“理解”与“规划”能力结合了起来。这个思路之所以吸引我是因为它直击了传统自动化测试和RPA机器人流程自动化的一个痛点脆弱性。传统的脚本严重依赖于页面元素的定位路径如XPath、CSS Selector页面结构一变脚本就崩了维护成本极高。而引入LLM后工具不再依赖固定的路径而是像人一样通过“看”页面截图和HTML结构理解当前有什么内容、哪些是可点击的按钮、哪里是输入框然后根据目标动态生成操作指令。这大大提升了自动化脚本的健壮性和适应性尤其适合处理那些结构多变、流程复杂的网页任务。无论你是想自动化一些日常的、重复性的网页操作还是构建更复杂的、需要一定决策能力的业务流程自动化这个组合都提供了一个全新的、更智能的解决方案。2. 核心架构与工作原理拆解2.1 从“脚本执行”到“智能体规划”的范式转变传统的Selenium自动化我们称之为“过程驱动”。开发者需要预先精确知道每一步先打开哪个URL在哪个输入框通过ID或XPath定位输入什么点击哪个按钮然后等待什么元素出现。整个流程是线性的、写死的。而基于Selenium和Claude3的AI自动化工具其核心是一种“目标驱动”或“状态驱动”的范式。我们可以把它理解为一个在网页“地图”上自主导航的智能体。这个智能体即我们的程序拥有两个核心能力感知和决策。感知Perception通过Selenium获取当前网页的两种信息源。一是DOM树HTML结构提供了页面元素的层级关系和属性二是屏幕截图通常借助Pillow库处理提供了最直观的视觉信息。这两者结合相当于给了智能体一双“眼睛”。决策Decision将当前页面的信息DOM和截图连同用户的自然语言目标如“订购一本《Selenium指南》到我的默认地址”一起提交给Claude3这样的LLM。LLM扮演“大脑”的角色它分析当前状态理解目标然后规划出下一步最可能达成目标的操作比如“在搜索框输入‘Selenium指南’点击搜索按钮”或者“在商品详情页点击‘加入购物车’”。这个“感知-决策-执行通过Selenium操作浏览器-再感知”的循环构成了智能体自主工作的核心闭环。2.2 关键技术组件深度解析整个系统的稳定运行依赖于几个关键组件的紧密配合每一个的选择和实现都有其深意。1. Selenium与SeleniumBase自动化的手脚Selenium是毋庸置疑的基石它提供了跨浏览器控制的标准WebDriver API。但在实际项目中直接使用Selenium WebDriver可能会遇到一些繁琐的问题比如驱动管理、等待策略、报告生成等。因此许多类似项目如资料中提到的Cerebellum会选择基于SeleniumBase进行构建。SeleniumBase 是一个优秀的测试框架它在Selenium之上做了大量封装和增强。使用它的好处显而易见简化驱动管理内置了自动下载和匹配浏览器驱动ChromeDriver, GeckoDriver的功能省去了手动配置的麻烦。更智能的等待提供了更健壮的等待页面元素加载的方法减少了因网络延迟或动态加载导致的“元素未找到”错误。丰富的内置方法包含了许多常用操作的快捷方式比如更稳定的点击、滚动到元素、处理弹窗等。与Pytest深度集成便于组织测试用例和生成漂亮的测试报告。这对于将AI自动化工具用于测试场景尤其有利。注意虽然SeleniumBase很方便但它也引入了一定的学习成本和框架依赖性。如果你的需求极其简单或者希望保持最小的依赖直接使用纯Selenium WebDriver搭配webdriver-manager库管理驱动也是一个完全可行的、更轻量的选择。2. Claude3 (Anthropic API)系统的大脑Claude3作为LLM是整个工具的“智能”来源。它的核心任务是多模态理解和任务规划。多模态输入理解Claude3能够同时处理文本DOM结构、用户目标、操作历史和图像页面截图。这意味着它不仅能“读”懂HTML里的按钮文字还能“看”到按钮在页面上的实际位置和样式综合判断哪个才是真正的“提交”按钮。任务分解与规划LLM擅长将复杂的自然语言指令分解为一系列可执行的原子操作步骤。例如目标“预订明天北京到上海的高铁票选二等座”LLM需要规划出打开12306官网 - 点击“车票查询” - 输入出发地、目的地、日期 - 点击查询 - 在结果列表中筛选“G”字头列车 - 选择有余票的车次 - 点击“预订” - 选择“二等座” - …… 这个链条。上下文管理LLM需要记住之前的操作历史和状态才能做出连贯的决策。这通常通过维护一个“对话历史”或“状态上下文”列表来实现每次请求都将整个历史发送给LLM。3. Pillow (PIL)视觉信息的预处理员Pillow库在这里的角色非常关键。Selenium截取的屏幕截图是原始的图像数据直接扔给LLM可能效率不高或包含无关信息。Pillow可以进行必要的预处理尺寸调整与压缩高分辨率截图文件很大上传至API既慢又贵。使用Pillow将截图缩放到一个合理的尺寸如1024px宽并适当压缩质量可以在保留主要视觉信息的前提下大幅降低传输和处理成本。区域裁剪有时我们可能只需要将页面的特定区域如一个包含表单的弹窗发送给LLM分析。Pillow可以方便地根据坐标裁剪出感兴趣的区域。格式转换确保截图以LLM API支持的格式如JPEG, PNG进行编码。4. 状态管理与图导航模型这是架构中最具理论色彩的部分。资料中提到“网页浏览被简化为导航一个有向图”。这是一个非常精妙的抽象。节点Node每一个独特的网页状态URL核心内容或页面内的一个显著状态如登录成功后的页面、搜索结果显示页都可以看作一个节点。节点信息包括URL、页面标题、关键元素摘要和截图。边Edge用户或智能体的一个操作点击、输入、下拉选择等就是连接两个节点的边。这个操作导致了页面状态从A变迁到B。智能体的工作就是从起始节点如浏览器首页出发通过LLM分析当前节点选择一条边执行一个操作到达下一个节点如此循环直到抵达代表目标完成的目标节点如“订单提交成功”页面。这种模型的好处是理论上智能体可以探索出多条达到目标的路径并且能够处理操作失败如点击无效后回溯到上一个节点尝试其他路径的情况增强了鲁棒性。3. 环境搭建与核心代码实现3.1 开发环境与依赖部署工欲善其事必先利其器。我们先来搭建一个可复现的Python开发环境。我强烈建议使用conda或venv创建独立的虚拟环境避免包版本冲突。# 1. 创建并激活虚拟环境 (以conda为例) conda create -n ai-automation python3.10 conda activate ai-automation # 2. 安装核心依赖 pip install seleniumbase4.32.9 # 包含了Selenium和驱动管理 pip install anthropic0.39.0 # Claude3官方SDK pip install pillow11.0.0 # 图像处理 pip install python-dotenv # 用于管理环境变量推荐使用接下来是关键的API密钥配置。永远不要将密钥硬编码在代码中使用环境变量是最佳实践。# 在项目根目录创建一个 .env 文件 echo ANTHROPIC_API_KEYyour_actual_anthropic_api_key_here .env然后在你的Python代码开头通过dotenv加载import os from dotenv import load_dotenv load_dotenv() # 加载 .env 文件中的环境变量 ANTHROPIC_API_KEY os.getenv(ANTHROPIC_API_KEY) if not ANTHROPIC_API_KEY: raise ValueError(请在 .env 文件中设置 ANTHROPIC_API_KEY 环境变量)3.2 核心执行引擎的构建下面我们来构建一个简化版但功能完整的核心引擎。这个引擎将封装Selenium操作、截图处理、与Claude3的通信以及决策循环。import base64 import json import time from io import BytesIO from pathlib import Path from PIL import Image from seleniumbase import Driver from anthropic import Anthropic class AIWebAutomationAgent: def __init__(self, api_key, modelclaude-3-5-sonnet-20241022, headlessFalse): 初始化AI自动化智能体 :param api_key: Anthropic API密钥 :param model: 使用的Claude3模型 sonnet是性价比不错的选择 :param headless: 是否使用无头模式不显示浏览器界面 self.client Anthropic(api_keyapi_key) self.model model # 初始化浏览器驱动使用SeleniumBase的Driver它比原生WebDriver更强大 self.driver Driver(browserchrome, headlessheadless, ucTrue) # ucTrue启用undetected-chromedriver有助于防检测 self.driver.maximize_window() self.conversation_history [] # 维护与LLM的对话历史用于保持上下文 def _capture_page(self): 捕获当前页面截图并转换为base64编码字符串供Claude3多模态API使用 # 1. 使用Selenium截图 screenshot_png self.driver.get_screenshot_as_png() # 2. 使用Pillow处理调整大小以节省token image Image.open(BytesIO(screenshot_png)) # 将宽度调整为1024高度按比例缩放 w, h image.size new_w 1024 new_h int((new_w / w) * h) image_resized image.resize((new_w, new_h), Image.Resampling.LANCZOS) # 3. 转换为base64 buffered BytesIO() image_resized.save(buffered, formatJPEG, quality85) # JPEG压缩以进一步减小体积 img_base64 base64.b64encode(buffered.getvalue()).decode(utf-8) return img_base64 def _get_page_info(self): 获取当前页面的结构化信息包括URL、标题和简化的DOM摘要 # 获取完整的DOM会非常长我们只提取一些关键信息避免给LLM造成负担 url self.driver.current_url title self.driver.title # 一个简单的技巧获取所有按钮和输入框的文本作为页面功能摘要 try: buttons self.driver.find_elements(tag name, button) inputs self.driver.find_elements(tag name, input) links self.driver.find_elements(tag name, a)[:10] # 只取前10个链接 page_summary f页面包含约 {len(buttons)} 个按钮 {len(inputs)} 个输入框。 page_summary f 主要链接文本: {, .join([link.text[:20] for link in links if link.text])} except Exception: page_summary 无法解析页面元素摘要。 return { url: url, title: title, summary: page_summary } def _ask_llm_for_action(self, user_goal, page_info, screenshot_base64): 向Claude3询问下一步操作。这是核心的决策函数。 # 构建多模态消息 message_content [ { type: text, text: f你是一个网页自动化助手。你的目标是{user_goal}。 当前页面信息 - 网址{page_info[url]} - 标题{page_info[title]} - 页面元素摘要{page_info[summary]} 操作历史最近几步 {json.dumps(self.conversation_history[-5:], indent2, ensure_asciiFalse) if self.conversation_history else 无} 请根据当前页面截图和以上信息决定下一步做什么来推进目标。 你必须从以下操作中选择一个并严格按照指定JSON格式回复 1. click: 点击一个元素。你需要提供该元素的description描述如‘蓝色的登录按钮’。 2. type: 在输入框输入文本。需要提供description和text要输入的内容。 3. scroll: 滚动页面。需要提供directionup或down和amount像素数如500。 4. goto: 导航到一个新网址。需要提供url。 5. wait: 等待一段时间秒。需要提供seconds。 6. extract: 提取页面上的特定信息如文本、价格。需要提供description描述要提取什么。 7. finish: 任务已完成。提供reason完成原因。 你的回复必须是且仅是一个JSON对象例如 {{action: click, description: 搜索按钮}} 或 {{action: type, description: 搜索输入框, text: Python教程}} 或 {{action: finish, reason: 已成功找到并打开目标维基百科页面}} 请仔细分析截图确保你描述的元素在页面上是可见且可操作的。 }, { type: image, source: { type: base64, media_type: image/jpeg, data: screenshot_base64 } } ] try: response self.client.messages.create( modelself.model, max_tokens1024, messages[{role: user, content: message_content}] ) # 解析LLM的回复期望是一个JSON字符串 response_text response.content[0].text # 清理响应提取JSON部分有时LLM会在JSON外加一些解释性文字 import re json_match re.search(r\{.*\}, response_text, re.DOTALL) if json_match: action_json json.loads(json_match.group()) else: # 如果没找到JSON尝试直接解析整个响应风险较高 action_json json.loads(response_text.strip()) return action_json except json.JSONDecodeError as e: print(fLLM响应JSON解析失败: {e}) print(f原始响应: {response_text}) return {action: wait, seconds: 2, error: 解析失败等待后重试} except Exception as e: print(f调用LLM API失败: {e}) return {action: wait, seconds: 5, error: API调用异常} def _execute_action(self, action): 执行LLM返回的操作指令。这里需要将LLM的‘描述’映射到Selenium可操作的元素。 action_type action.get(action) print(f[执行] {action}) if action_type click: desc action.get(description, ) # 这是一个简化实现实际项目中需要更复杂的逻辑来根据描述定位元素 # 例如可以使用LLM辅助生成XPath或结合视觉定位库 # 这里我们简单尝试点击包含描述文本的第一个元素 try: # 这是一个非常脆弱的定位方式仅用于演示 element self.driver.find_element(xpath, f//*[contains(text(), {desc})]) element.click() except Exception as e: print(f点击元素 {desc} 失败: {e}) # 失败后可以尝试其他定位策略或让LLM重新决策 elif action_type type: desc action.get(description, ) text action.get(text, ) try: # 同样简化定位 input_element self.driver.find_element(xpath, f//input[contains(placeholder, {desc}) or contains(aria-label, {desc})]) input_element.clear() input_element.send_keys(text) except Exception as e: print(f在 {desc} 输入文本失败: {e}) elif action_type scroll: direction action.get(direction, down) amount action.get(amount, 500) script fwindow.scrollBy(0, {amount if direction down else -amount}); self.driver.execute_script(script) elif action_type goto: url action.get(url) if url and url.startswith((http://, https://)): self.driver.get(url) else: print(f无效的URL: {url}) elif action_type wait: time.sleep(action.get(seconds, 2)) elif action_type finish: print(f[任务完成] {action.get(reason)}) return True # 返回True表示任务结束 # 将执行的动作加入历史 self.conversation_history.append({role: assistant, action: action}) return False def run(self, user_goal, start_urlhttps://www.google.com): 运行智能体的主循环 print(f开始任务: {user_goal}) self.driver.get(start_url) time.sleep(2) # 初始页面加载等待 max_steps 20 # 防止无限循环 for step in range(max_steps): print(f\n--- 步骤 {step1} ---) # 1. 感知 screenshot self._capture_page() page_info self._get_page_info() print(f当前页面: {page_info[title]} ({page_info[url]})) # 2. 决策 llm_action self._ask_llm_for_action(user_goal, page_info, screenshot) print(fLLM决策: {llm_action}) # 3. 执行 判断终止 is_finished self._execute_action(llm_action) if is_finished: break time.sleep(1) # 操作间等待 if step max_steps - 1: print(达到最大步数任务未完成。) self.driver.quit() # 使用示例 if __name__ __main__: from dotenv import load_dotenv import os load_dotenv() api_key os.getenv(ANTHROPIC_API_KEY) agent AIWebAutomationAgent(api_keyapi_key, headlessFalse) # 调试时设为False可以看到浏览器操作 try: agent.run(user_goal搜索‘人工智能发展史’并打开百度百科的词条) except Exception as e: print(f程序运行出错: {e}) agent.driver.quit()3.3 代码关键点与避坑指南上面的代码是一个高度简化的原型但它揭示了实现过程中的几个核心挑战和解决方案元素定位的“语义鸿沟”这是最大的难点。LLM可以描述“蓝色的登录按钮”但Selenium需要的是driver.find_element(By.ID, “loginBtn”)这样的精确选择器。上述代码中简单的文本匹配 (contains(text())) 在实际中非常脆弱。进阶方案可以训练一个专门的视觉定位模型如基于CV的或者使用LLM本身来生成更精确的CSS选择器或XPath。例如可以将页面关键区域的HTML片段和截图一起发给LLM让它返回该元素的唯一选择器。这需要更精细的提示工程和HTML预处理清理无关属性、添加有意义的ID/Class。LLM上下文长度与成本控制每次请求都将整个对话历史和截图发送给LLMtoken消耗巨大成本高昂。优化策略不要每次都发送完整历史。可以维护一个“状态摘要”只包含最近几步的关键操作和结果。对截图进行有效的压缩和裁剪只发送包含可能操作元素的区域如屏幕中央的表单区域。操作的确定性与错误处理LLM的决策可能模糊或不准确导致执行失败。增强鲁棒性在执行_execute_action时需要实现更丰富的重试和回退机制。例如点击失败后可以尝试滚动到该元素附近或使用更宽松的定位策略再试一次。如果连续失败可以将失败信息反馈给LLM让它重新规划。绕过反自动化检测直接使用Selenium控制的浏览器容易被网站识别为自动化工具并屏蔽。对抗策略使用undetected-chromedriver代码中ucTrue已启用、随机化操作间隔、模拟人类鼠标移动轨迹等。SeleniumBase本身也集成了一些反检测特性。4. 典型应用场景与实战优化4.1 场景一智能数据抓取与内容聚合传统爬虫面对JavaScript渲染、登录验证、复杂交互的网站时非常头疼。AI自动化工具可以模拟真人操作轻松应对。实战任务自动抓取某电商网站特定关键词下的商品列表包括价格、名称、评分并翻页直到抓满100条。# 在agent.run中设置目标 goal “在京东网站搜索‘无线蓝牙耳机’将前5页搜索结果中价格在200-500元之间的商品标题和价格提取出来保存到CSV文件。”优化技巧结构化输出引导在给LLM的指令中明确要求其extract操作时返回结构化的数据格式如JSON。例如{action: extract, target: product_list, format: [{title: ..., price: ..., rating: ...}]}。分阶段任务对于复杂任务不要指望LLM一步到位。可以设计成多轮对话第一轮任务是“登录并搜索”第二轮是“解析本页结果”第三轮是“点击下一页并重复”由主控程序协调。设置检查点每成功抓取一页数据后立即保存到文件或数据库。这样即使后续步骤出错已抓取的数据也不会丢失。4.2 场景二自动化测试与智能探索在QA领域这个工具可以用于生成和执行探索性测试用例甚至发现开发人员未考虑到的边缘场景。实战任务对一个新建用户注册表单进行探索性测试尝试找出可能导致提交失败或出现错误提示的输入组合。goal “测试这个用户注册表单。尝试各种有效的和无效的输入组合如空值、超长字符、错误格式的邮箱、弱密码观察系统的反应提交成功、出现错误提示等并记录下所有导致错误的输入情况。”优化技巧结合测试断言除了让LLM“观察”还可以在代码中预设一些断言Assertions。例如在LLM执行了“提交”操作后程序自动检查页面是否出现“注册成功”的文本或者URL是否跳转到特定页面。状态感知与恢复测试中经常遇到弹窗、错误页。需要增强智能体对异常状态的识别和恢复能力。例如检测到“404 Not Found”页面时自动执行“返回上一页”或“重新加载”操作。生成测试报告将LLM的决策过程、执行的操作、页面的响应截图、文本以及断言结果自动整理成一份可视化的测试报告这对于测试人员复盘至关重要。4.3 场景三跨平台工作流自动化虽然核心是浏览器但通过集成操作系统级的自动化如PyAutoGUI或调用其他API可以串联起更复杂的工作流。实战任务每日从公司内部网页报表系统中下载最新的销售数据CSV用Python脚本进行清洗分析然后将分析图表插入到指定的Google Slides周报中。AI自动化部分登录报表系统 - 导航到下载页面 - 选择日期昨日- 点击下载文件会保存到默认下载目录。衔接脚本一个监控下载文件夹的Python脚本检测到新CSV文件后触发数据分析脚本pandas, matplotlib。AI自动化部分打开Google Slides - 定位到指定幻灯片 - 点击“插入图片” - 从本地选择刚生成的分析图表。优化技巧工具链集成将Selenium/LLM智能体作为工作流中的一个“服务”或“函数”来调用。主控脚本负责流程编排、状态传递和错误处理。凭证的安全管理自动化登录需要用户名密码。绝对不要硬编码使用操作系统密钥链如macOS的KeychainWindows的Credential Manager或加密的配置文件来存储。在代码中通过环境变量或安全读取方式获取。增加人工复核点对于关键操作如发送邮件、提交订单可以在流程中设计暂停通过发送通知如Slack消息等待人工确认后再继续避免全自动带来的风险。5. 常见问题、性能调优与未来展望5.1 实操中高频问题与解决方案在实际部署和运行过程中你几乎一定会遇到下面这些问题。这里是我的“踩坑”实录和解决方案。问题现象可能原因排查与解决思路LLM返回的操作无法执行1. 元素定位描述不准确。2. 页面尚未加载完成。3. 元素被遮挡或不在视口内。1.增强定位将失败元素的截图和周围HTML片段再次发送给LLM要求它提供更精确的CSS选择器或XPath。2.显式等待在执行操作前使用Selenium的WebDriverWait等待关键元素出现并可交互。3.滚动与聚焦执行操作前先执行scroll动作将元素滚动到视图中或用driver.execute_script(“arguments[0].scrollIntoView();”, element)。任务陷入死循环LLM在两个或多个页面状态间来回跳转无法达成目标。1.设置步数限制如代码中的max_steps强制退出。2.状态去重记录访问过的URL或页面特征如标题哈希如果检测到循环则反馈给LLM“此路不通”要求它尝试新操作。3.丰富提示词在系统指令中明确要求“避免重复访问相同页面”。API调用成本过高或速度慢每次决策都发送高分辨率截图和长上下文。1.截图优化如前述强力压缩和裁剪。2.上下文窗口滑动只保留最近3-5轮对话将更早的总结成一句话摘要。3.缓存决策对于常见的页面状态如Google搜索首页可以建立本地缓存将页面特征哈希与最优操作映射无需每次都问LLM。被网站识别为机器人Selenium的浏览器指纹被检测。1.使用高级驱动坚持使用undetected-chromedriver。2.模拟人类行为在操作间添加随机延迟模拟鼠标移动轨迹可用selenium.webdriver.common.action_chains.ActionChains。3.更换User-Agent定期更换浏览器的User-Agent字符串。LLM不理解特定领域术语目标涉及专业领域LLM可能规划错误路径。1.Few-Shot示例在系统提示词中提供1-2个该领域任务的成功操作示例让LLM学习。2.领域知识注入将关键的领域知识如网站导航结构、特定按钮的名称作为文本背景信息提供给LLM。5.2 性能与成本优化策略要让这个工具真正实用必须在效果、速度和成本之间找到平衡。模型选型Claude 3.5 Sonnet在智能和成本间比较均衡。对于简单、模式固定的任务可以尝试更小、更快的模型如Haiku甚至微调开源模型如Llama 3.2部署在本地彻底消除API成本。分层决策系统不要所有决策都依赖大模型。可以构建一个规则引擎处理最常规的操作如“如果页面标题包含‘登录’则寻找用户名输入框”。只有当规则引擎无法处理时才去调用昂贵的LLM。这能极大降低成本和延迟。并行执行与异步化如果一个任务包含多个独立子任务如同时监控多个网页的数据变化可以考虑使用异步Selenium如asyncio配合selenium-wire或并发进程来并行处理提升整体效率。5.3 技术演进方向与个人思考这个领域正在飞速发展我认为接下来有几个明确的趋势专用化智能体框架类似Cerebellum的项目会越来越多它们会提供更高级的抽象比如内置的视觉定位器、更好的状态管理、可插拔的LLM后端支持OpenAI, Gemini, 国内大模型等让开发者更专注于业务逻辑而非底层连接。多模态能力深度融合未来的工具不会只依赖截图和HTML。可能会直接接入浏览器的可访问性树Accessibility Tree获取更精准的语义信息或者与计算机视觉模型深度结合实现像素级的理解和操作。从自动化到“半自动化”协作完全自主的智能体在复杂场景下依然容易出错。更实用的模式可能是“人机协作”智能体完成90%的例行工作在遇到不确定或高风险操作时比如弹出一个从未见过的确认框自动暂停并截图向人类用户请求指示形成一种高效的混合工作流。从我个人的实践来看基于Selenium和LLM的自动化工具其最大价值不在于完全取代人工编写脚本而是极大地降低了自动化的门槛和长期维护成本。它让那些不懂编程的业务人员也能通过自然语言描述来创建自动化流程也让开发者从繁琐的元素定位和维护中解放出来去处理更复杂的逻辑集成和异常处理。这个方向充满了挑战但无疑代表着未来自动化技术的一个关键演进路径。