实战 WorkBuddy+反爬+爬虫固化 Skill,6大能力搞定浏览器自动化

📅 2026/7/17 22:26:45
实战 WorkBuddy+反爬+爬虫固化 Skill,6大能力搞定浏览器自动化
AI Agent 时代最大的资源是什么信息信息还是信息。别人的 Agent 可以抓取到的信息你抓取不到那你的产品再好也只能成为空中楼阁。明明都是抓网页、抓内容为什么别人可以 Goal 干活到天亮而你的 Agent 不是告诉你获取不到网页信息就是告诉你遇到了反爬动不了。能力差在浏览器自动化和信息抓取上。说简单点就是反爬。最近我在 github 看到一个升星特别快的 Skill ——BrowseAct。它是一款专为 Agent 配置的浏览器自动化 CLI 工具专门用来解决 Agent 无法深度开展浏览器使用以及容易被反爬挡住的问题。在使用它之前我还专门找了几个真正体验并分享过的内容。嘿一看一研究还发现这个 Skill 是真的有点东西。它不只是一个简单的浏览器反爬或者浏览器操作或者是无头浏览器的能力。它是真正把浏览器指纹伪装、TLS 轮换、代理切换、验证码处理、受保护页面提取、远程人工接管、无头浏览器、会话隔离、多账号身份隔离、并发任务管理以及面向 Agent 的索引化页面交互整合到一起的浏览器控制系统。它解决的不是“能不能打开网页”这么浅的问题而是 Agent 在真实互联网环境里持续干活时很容易遇到的几个痛点打不开、进不去、看不懂、登录态不能复用、不能并发、遇到风控、遇到验证、遇到问题不会主动找人无缝接管。所以它的价值不只是反爬而是把浏览器变成了 Agent 的一只“专业手臂”。接下来骑上我们心爱的小摩托 WorkBuddy。词元神启动第一关抓取网页先来看看白板 WorkBuddy 的抓取能力吧。我让它分别抓取了公众号、小红书的信息。从结果来看它对前几篇公众号WebFetch毫无问题但是当遇到公众号限制以及小红书搜索时整个 Agent 直接抓瞎无能为力了属于是。再来看看安装了 BrowserAct 之后的 WorkBuddy。同样抓取小红书内容分分钟拿下而且每一篇都可以抓取到标题、作者、互动数、日期。我仔细翻看了 WorkBuddy 调用 BrowserAct CLI 的过程发现整个 CLI 工具通过了两个层级来执行这次抓取任务。层级一是 BrowserAct 的内置服务叫做stealth-extract它是一个可以自动提取受保护页面的工具。可惜这一层在处理小红书的时候撞墙了小红书必须有登录态。层级二浏览器自动化操作BrowserAct 启动本地 Chrome 浏览器模拟人为操作和搜索。这一次顺利抓到了相关信息。这里要感慨一下 WorkBuddy 的主动性非常给力。数据返回后它第一时间把数据整理成了规范的 Markdown 格式并且列出了表格、排序比单独看文字要丰满很多。除了小红书我还尝试去抓了一些有校验的网站当然具体的网址就不透露了。在这里 Browser-Act 另外一个强大的能力solve-captcha大放异彩。它是 Browser-Act 的一个云端服务免费注册既可以享受。而且另外还赠送了 5 个可并发的stealth 浏览器。我翻看了一下 Browser-Act 的 Github 仓库里面介绍stealth 浏览器本身就拥有降低自动化特征的能力所以它搭配solve-captcha这个网站的滑杆被 WorkBuddy 顺利解决了。第二关并发批量抓取第一关过的很轻松于是我准备测试一下第二关批量操作和并发抓取信息。对于普通的 Agent 来说Browser USE 能力可以算是一个基础能力了但是一遇到大批量的并发数据抓取就会有点困难。它的难不在于传统Playwright不支持并发而更多在于高频下的浏览器校验、限定以及大模型的决策可靠性上。我让 WorkBuddy 帮我分别从知乎、值得买、公众号、小红书上搜索 NAS docker 相关的 AI 教程并且汇总。大致上是三个阶段1️⃣使用stealth-extract并行抓取知乎、SMZDM 数据本地 Chrome 浏览器操控小红书2️⃣开启隐身浏览器批量获取 知乎、小红书、什么值得买平台数据公众号使用 WorkBuddy 内置 WebSearch 搜索信息3️⃣公众号单独启用stealth-extract抓取获取到的信息然后全平台详情汇聚出报告。这里 WorkBuddy 使用 Browser-Act 把四个平台分成了三类来处理。第一类 浏览器操作 隐身浏览器。知乎、小红书两类需要登录才能搜索内容的平台WorkBuddy 直接切换到了本地 Chrome 并发处理。Browser-Act 支持同时开启多个浏览器并分别访问不同的网站彼此之间的会话、上下文完全隔离。更厉害的是在启动本地浏览器后它还并发开启了Stealth browser隐私浏览器这种模式下可以模拟正常的浏览器指纹来进行操作会大大降低平台的风控触发。因此很快也就拿到了数据。第二类 stealth-extract。这里以什么值得买平台为例它不需要登录态WorkBuddy 可以快速提取浏览器返回的渲染页面然后通过正文结构化的处理后将内容从网页里抽取出来。整个过程非常快而且没有 html 里的各种格式文件和其它不必要的功能按钮。第三类 WebSearch stealth-extract。 这里的坑点是公众号。因为公众号我不像第一关那样给一个非常具体的 URL 而是要求它搜索公众号的信息。这就存在了一个信源问题。于是 WorkBuddy 就调用了自身的另外一个搜索能力来获取公众号相关文章的列表获取到详细 URL 后再来调用stealth-extract抓取实际内容。整套流程我看下来这就有点 Nice 了。可以用各司其职来体现我最大的感受。其实最让我心动的浏览器能力就是并发执行了。我想每一个善于使用 Agent 进行网络信息采集的人都应该懂这个点。毕竟时间就是金钱时间就是一切。但是并发真的很难它不仅有我刚才说的问题甚至对你的电脑性能都是一个考验你总不能开几十个窗口在那边跑任务吧。所以 WorkBuddy 搭配 Browser-Act Skill 在并发任务执行这一关的表现非常优秀。它甚至可以确保每一个打开的查询页面都拥有独立的 Sessions 互相之间不串台、不冲突一个账号的登录态就可以满足多个并发任务下对不同页面、任务的执行需求。第三关可复用的抓取路径回顾以往我在使用一些反爬的 Skill 或者三方软件遇到最大的问题不是没办法抓取。而且每一次抓取 Agent 的呈现结果都不稳定。明明第一次可以成功但是过几天再去尝试Agent 就会说没办法解决必须把当时的资料喂给它才能继续。这个问题最终还是源自于 LLMs 的能力并且依靠 Memory 也只能治标而不能治本。那么回到 WorkBuddy 的工作里说说我的解决方案。依旧是 Browser-Act 不过这次不是它的 CLI 能力了而是它提供的一个叫browser-act-skill-forge的能力。browser-act-skill-forge是一个用于创建网页数据抓取的 Skill 的工具它的目标就是将单一的网页数据采集工作转换为本地可复用、可执行稳定高效的 Skill。我使用这个 Skill 要求它对值得买里批量的 NAS 好价数据进行整理。具体的工作流程是这样子的。第一步是使用browser-act-skill-forge对网站进行探索了解我的数据需求以及它们分别分布在网站的什么地方。第二步是验证这些数据能否通过stealth-extract提取即避免每次都跑完整的浏览器。第三步是通过browser-act创建隐身浏览器跑一遍完整的流程看看能否正确跑出数据来。第四步开始是对数据的具体处理和调用。最后一步是处理网页数据整理过程中遇到的验证码问题跑通自动解决和转人工协助解决的流程。这里提一嘴人工协助的时候WorkBuddy 会调用 Browser-Act 的服务到会话里我们直接点击就可以处理就是哪怕人在外只要手机可以连接 WorkBuddy 就可以解决。WorkBuddy 跑完整个流程后输出了一套 Skill 框架给我里面包含了具体的流程、py 代码等等然后在我的要求下将其创建成了完整的 Skill 。专门用来满足我跑这一个网站数据的任务。在 Skill 对应的说明文档里可以看到每一个步骤以及操作流程。这样一整套稳定、可复用的 Skill 就真正落地在了 Agent 里真正成为了扩展能力。牛牛牛。干脆再跑一遍吧。所以我这里直接复用这个创建好的 Skill 并发批量去跑四台 NAS 的价格数据。下面是结果非常的快12 秒钟内完成了四款 NAS 产品型号的并且整理成了详细的价格对比和曲线波动 HTML 单文件。写在最后最近不是 Vibe Coding 么所以在我之前的 TRADIS 容器管理工具里我增加了一个 NAS 导购的功能主要目的就是给大家介绍促销时期的 NAS 选购指南以及对比型号等等。这下好了 真的是瞌睡了送枕头来了数据源和及时性的问题被 WorkBuddy Browser-Act 彻底解决了。如果你平时经常有一些浏览器操作或者数据整理的需求并且一直没有找到一个很好的浏览器控制方案的。那么 Browser-Act 觉得可以试一试它在当前真的非常火而且有效。对比其它工具而言不是说其它工具做不到这一套效果。而是说 Browser-Act 真的把之前浏览器操作的所有能力整合在一起了。抓取流程 Skill 化、多任务/多账号的 profile、Session 保持、本地浏览器登录态复用、本地浏览器操作、自动过验证等等它把 Agent 的浏览器自动化操作真正带进了浏览器执行层。部署方法很简单直接把这个指令发给AgentInstall browser-act. Skill source: https://github.com/browser-act/skills/tree/main/browser-act . Verify it works after installation.如果说我前面体验过的这些能力还无法满足你的数据整理需求甚至你还需要更稳定的 IP、指纹、并行处理那么可以体验一下 Browser-Act 的官方 SAAS 服务它可以提供动态/静态的代理能力并且并发限制也会有所增加对于大规模的浏览器控制上会更有价值。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】