分页爬取全攻略thal项目如何遍历全部搜索结果【免费下载链接】thal项目地址: https://gitcode.com/gh_mirrors/tha/thal在网页爬虫开发中分页爬取是最基础也最关键的技能之一。无论是搜索引擎结果、电商商品列表还是社交平台用户列表只要数据量超过一页就必须通过翻页才能拿到全部内容。thal 正是一个以 GitHub 用户搜索为案例的爬虫实战项目它基于 Chrome Headless 与 Puppeteer用少量核心代码演示了从登录、搜索到遍历全部搜索结果的完整流程。本文将以 thal 为例为你完整拆解分页爬取的全过程零基础也能轻松理解。什么是分页爬取新手必懂的翻页原理分页爬取Pagination Crawling指的是爬虫在抓取第一页数据后按照页码参数或下一页链接不断翻页直到抓完所有结果的过程。它的难点不在翻页本身而在于三个关键问题如何知道总共有多少页这决定了循环的终止条件如何用代码模拟翻页通常靠 URL 中的页码参数或点击按钮如何把每一页的数据都解析出来这需要稳定的页面选择器。理解了这三点任何网站的分页爬取都能举一反三。thal项目基于Puppeteer的分页爬虫实战教程thal 是一个非常适合新手学习的爬虫项目它使用 Chrome Headless无头浏览器 Puppeteer 驱动真实浏览器完成操作比传统的 HTTP 请求式爬虫更接近人工浏览行为也更容易绕过简单的反爬限制。整个项目结构非常精简核心逻辑都集中在 index.js 中数据模型放在 models/user.js你可以在几分钟内通读全部源码。分页爬取第一步统计搜索结果总量并计算总页数在 thal 中分页爬取的第一步不是翻页而是读取搜索结果的总数。打开 GitHub 搜索页面顶部会明确显示类似 70,134 users 这样的总量信息对应地index.js 中的getNumPages函数会通过page.evaluate读取这个数字去掉逗号和 users 字样后转成整数再用总人数除以每页显示的结果数GitHub 每页 10 条向上取整即可得到总页数。这段代码的思路非常经典先摸清总量再决定翻多少页。遍历全部搜索结果的翻页循环怎么写拿到总页数后翻页的关键就落在 URL 参数上。观察 GitHub 的分页链接可以发现第二页的地址比第一页多了一个p2参数也就是说只要修改 URL 中的页码参数就能跳转到任意页比点击下一页按钮更加简单可靠。thal 在 index.js 中用一个for循环完成了全部翻页动作for (let h 1; h numPages; h) { // 跳转到指定页码 await page.goto(${searchUrl}p${h}); // 执行爬取并解析本页数据 }这样每循环一次就抓取一页直到遍历全部搜索结果为止分页爬取中提取网页数据的CSS选择器技巧翻页只是手段提取数据才是目的。在 thal 中每个搜索结果的用户信息都位于class为user-list-item的div内因此只需在page.evaluate中通过document.querySelectorAll配合 CSS 选择器就能把用户名、简介、邮箱等字段逐一取出。这里有个值得学习的细节不是所有用户都公开邮箱所以代码会先取邮箱元素若不存在则标记为undefined最后统一过滤掉没有邮箱的条目。这种先取全部、再按需过滤的思路在分页爬取中很实用因为每一页的数据结构都可能存在差异。分页爬取结果如何保存到MongoDB爬下来的数据若只是打印到控制台就太浪费了。thal 使用 Mongoose 定义了一个用户数据模型见 models/user.js包含用户名、邮箱和爬取时间三个字段然后通过findOneAndUpdate的upsert 模式写入 MongoDB——邮箱已存在就更新记录不存在才新增有效避免了重复数据。至此一条完整的分页爬取链路就打通了登录 → 搜索 → 计算页数 → 循环翻页 → 解析数据 → 入库。分页爬取避坑指南频率限制与反爬机制最后必须提醒爬得越快封得越快。thal 项目在翻页遍历时也遇到了真实的反爬问题——当请求过于频繁时GitHub 会弹出Whoa there!的滥用检测页面要求你等待几分钟再试此外实测中 GitHub 搜索无法跳转到 100 页之后从第 101 页开始会返回 404。因此在实际做分页爬取时建议在翻页循环中加入随机延时模拟真实用户节奏设置合理的页数上限避免做无谓的请求优先抓取已登录状态下的数据可获取更多公开信息数据量极大时可考虑通过页面底部的页码链接而非 URL 参数翻页。总结通过 thal 项目我们可以清晰掌握分页爬取的完整套路统计总量 → 计算页数 → 参数翻页 → 逐页解析 → 持久化存储。这套方法不仅适用于 GitHub稍作修改就能迁移到任何带分页的网站。如果你正准备入门网页爬虫不妨以 thal 为起点亲手跑通一遍遍历全部搜索结果的过程相信你会对翻页这件事彻底开窍。【免费下载链接】thal项目地址: https://gitcode.com/gh_mirrors/tha/thal创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考