Python 爬虫实战8 大反爬与健壮性技巧详解前言在爬虫开发中如何做到不被封 IP、断点续爬、应对页面结构变化是每个爬虫工程师的必修课。本文基于一个真实的高校新闻爬虫项目系统梳理其中用到的 8 大爬虫技巧涵盖请求伪装、频率控制、异常退避、断点续爬、多路径回退、数据清洗与持久化等内容。技术栈requestslxmlrepandascsv1. User-Agent 随机化UA 池是反反爬的第一道防线。每次请求从 UA 列表中随机选取一个避免固定 UA 被服务端识别为爬虫。importrandom user_agents[Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36,Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/144.0.0.0 Safari/537.36 Edg/144.0.0.0,Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:126.0) Gecko/20100101 Firefox/126.0,Mozilla/5.0 (Macintosh; Intel Mac OS X 14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.5 Safari/605.1.15]header{User-Agent:random.choice(user_agents),}技巧要点UA 列表应常更新覆盖 Chrome / Edge / Firefox / Safari 主流浏览器且版本号不宜过旧。2. 请求头完整伪装除了 UA还需要模拟完整浏览器请求头尤其是Referer让请求看起来像站内跳转。header{User-Agent:random.choice(user_agents),Referer:https://www.xyu.edu.cn/,# 伪装来源Accept:text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8,Accept-Language:zh-CN,zh;q0.9,Connection:keep-alive}技巧要点Accept、Accept-Language、Connection三个字段建议一并设置让你的请求看起来更像正常浏览器行为。3. 随机延时 分段长休息固定频率请求是触发反爬的常见原因。通过随机延时 分段长休息模拟人类浏览节奏。# 每次请求后随机休眠 2-6 秒waitrandom.uniform(2,6)time.sleep(wait)# 每爬取 50 条额外休息 30-60 秒ifid%500:restrandom.uniform(30,60)time.sleep(rest)策略间隔目的单次延时2~6s 随机避免固定间隔被检测分段休息每 50 条休息 30~60s模拟人类阅读间歇降低服务器压力技巧要点使用random.uniform()而非固定整数让间隔无法被简单统计规律识别。4. 反爬状态码自动退避当服务端返回限流/封禁状态码时立即进入长时间休眠避免持续冲击触发更严厉封锁。ifresp.status_codein(429,403,503):time.sleep(600)# 休眠 10 分钟状态码含义应对策略429Too Many Requests请求频率过高等待 10 分钟再继续403Forbidden拒绝访问等待 10 分钟IP 可能被暂时封禁503Service Unavailable服务不可用等待 10 分钟服务恢复后再试技巧要点根据实际反爬强度可调整休眠时间600s / 1200s激进场景可配合 IP 代理池使用。5. 断点续爬访问记录持久化大规模爬取不可避免会遇到中断网络波动、程序异常、IP 被封。断点续爬机制保证不重复爬取已访问页面程序重新运行时从断点继续。visited_filevisited_ids.txt# 1. 启动时加载已访问 ID 集合try:withopen(visited_file,r,encodingutf-8)asf:visited_idsset(line.strip()forlineinfifline.strip())exceptFileNotFoundError:visited_idsset()# 2. 遍历时跳过已访问 IDforidinrange(23900,40000):ifstr(id)invisited_ids:continue# ... 爬取逻辑 ...# 3. 每条爬取后立即写入记录文件withopen(visited_file,a,encodingutf-8)asf_visited:f_visited.write(str(id)\n)visited_ids.add(str(id))设计要点使用set做 O(1) 查找避免大文件线性扫描每条爬完后立即追写文件a模式而非等全部结束再写启动时从文件重建visited_ids实现真正的断点续爬技巧要点visited_ids同时存在于内存set和磁盘txt内存用于快速判重磁盘用于持久化恢复。6. 多路径 XPath 回退目标网站的 HTML 结构可能存在多种模板单一 XPath 容易漏数据。通过多路径回退策略依次尝试不同模板提高数据覆盖率。# 第一优先级idvsb_content_4 的模板contenthtml.xpath(//div[idvsb_content_4]//div[classv_news_content]//p//text())# 回退路径 1idvsb_content 的模板ifnotcontent:contenthtml.xpath(//div[idvsb_content]//div[classv_news_content]//p//text())# 回退路径 2不分段落直接取所有文本ifnotcontent:contenthtml.xpath(//div[idvsb_content]//div[classv_news_content]//text())技巧要点回退路径按优先级排列——先精确再宽松最后兜底。确保不同版本的页面模板都能正确提取正文。7. 正则数据清洗爬取的原始文本常包含\xa0不间断空格、多余换行、HTML 实体等脏数据需要用正则统一清洗。importre# 删除浏览量后缀如 浏览123conttimere.sub(r 浏览.*$,,conttime)# 去除 \xa0、\n、\rcontentcontent.replace(\xa0,).replace(\n,).replace(\r,)# 合并连续空白为单个空格contentre.sub(r\s, ,content)# 审核信息的多字段拼接与清洗sssx .join([part.strip().replace(\r,).replace(\n,).replace(\xa0,)forpartinsssxifpart.strip()])清洗目标方法说明浏览量信息re.sub(r 浏览.*$, , conttime)删除时间后的浏览量尾巴不间断空格.replace(\xa0, )网页中常见的特殊空白字符多余换行.replace(\n, ).replace(\r, )去除 HTML 排版带来的换行连续空白re.sub(r\s, , content)多个空白合并为一个技巧要点优先用str.replace()处理已知字符再用re.sub()处理通用模式性能更好。8. 实时刷盘 去重数据安全是爬虫的底线——爬了 2 万条然后崩溃没存盘等于白干。每条写入后立即flush()到磁盘爬取完成后用 Pandas 去重。withopen(../data/output.csv,a,newline,encodingutf-8)asf:writercsv.writer(f)# 空文件先写入表头iff.tell()0:writer.writerow([标题,发行信息,正文,审核信息])foridinrange(start,end):# ... 爬取逻辑 ...writer.writerow([title,conttime,content,sssx])f.flush()# ← 每条写入立即刷盘# 爬取完毕后基于多列去重dfpd.read_csv(../data/output.csv,encodingutf-8)df_dedupdf.drop_duplicates([标题,发行信息,正文,审核信息])df_dedup.to_csv(../data/final.csv,indexFalse,encodingutf-8)设计要点f.tell() 0判断文件是否为空仅在空文件时写入表头f.flush()保证每一条数据都实时落盘程序崩溃也不丢数据drop_duplicates()基于多列组合去重比单列更安全整体架构总结启动 ──→ 加载 visited_ids断点恢复 │ ▼ 遍历 ID 范围 ──→ 已在 visited_ids──→ 跳过 │ 否 ▼ │ 发送请求 ◄──────────────┘ │ ├─ UA 随机化 │ ├─ 完整请求头伪装 │ └─ 429/403/503 退避休眠 ▼ XPath 解析多路径回退──→ 正则清洗 │ ▼ 写入 CSV flush() 记录 visited_id │ ├─ 每次请求后 sleep(2~6s) └─ 每 50 条 sleep(30~60s) ▼ 全部完成 ──→ Pandas 去重 ──→ 最终输出进阶建议本文介绍的策略适合轻量级礼貌爬虫场景。如果你面对更强的反爬如 Cloudflare 5 秒盾、滑块验证码、动态渲染页面还需要补充以下能力场景进阶方案IP 被封频繁引入代理池付费/免费 IP 代理动态渲染页面使用 Selenium / Playwright 模拟浏览器验证码拦截OCR 识别ddddocr / tesseract或打码平台Cookie/登录态requests.Session 维持会话保持登录态大规模采集改用 Scrapy 框架支持并发、中间件、分布式本文代码均来自真实项目核心思想用最小的代价换取最大的数据采集成功率。希望这些技巧对你的爬虫开发有所帮助