1. BeautifulSoup入门解析静态网页的基础操作第一次接触网页抓取时我被各种HTML标签绕得头晕眼花直到发现了BeautifulSoup这个神器。它就像一把瑞士军刀能轻松拆解网页结构提取你需要的内容。先来看个最简单的例子from bs4 import BeautifulSoup import requests # 获取网页内容 response requests.get(http://example.com) html_content response.text # 创建BeautifulSoup对象 soup BeautifulSoup(html_content, html.parser)这里用html.parser作为解析器它是Python内置的不需要额外安装。但如果你追求解析速度可以换成lxmlsoup BeautifulSoup(html_content, lxml)实际项目中我踩过不少坑比如网页编码问题。有次抓取中文网站时全是乱码后来发现需要手动指定编码response.encoding gbk # 对于使用GBK编码的网页提取标题和所有链接是最常见的需求# 获取网页标题 title soup.title.string # 获取所有链接 links soup.find_all(a) for link in links: print(link.get(href))注意soup.title返回的是整个title标签对象而soup.title.string才是标题文本。这种细节刚开始很容易忽略。2. 精准定位多种元素查找方法对比BeautifulSoup提供了丰富的查找方法每种都有适用场景。先看最基础的find_all# 查找所有段落 paragraphs soup.find_all(p) # 查找class为content的div content_div soup.find_all(div, class_content)这里有个坑因为class是Python关键字所以查找class属性要加下划线写成class_。对于需要复杂条件的情况可以用CSS选择器# 选择id为main下的所有p标签 soup.select(#main p) # 选择class包含news的所有div soup.select(div.news)我曾遇到需要提取表格数据的任务用find_all配合列表推导式很高效rows soup.find(table).find_all(tr) data [[td.get_text(stripTrue) for td in row.find_all(td)] for row in rows]性能方面有个经验当文档很大时select方法通常比find_all快。但小文档差异不大选择更直观的写法就行。3. 动态数据抓取结合Requests的高级技巧现代网站很多内容是通过JavaScript动态加载的直接请求HTML可能拿不到完整数据。这时候需要分析网页的请求接口。先用浏览器开发者工具F12查看XHR请求找到数据接口。比如发现数据是通过AJAX获取的JSONimport json api_url https://example.com/api/data response requests.get(api_url) data json.loads(response.text)有些网站会检查请求头需要模拟浏览器headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } response requests.get(url, headersheaders)对于需要登录的网站可以维持会话session requests.Session() session.post(login_url, data{username: xxx, password: xxx}) response session.get(protected_url)我做过一个电商价格监控项目需要处理分页数据。关键点是找到分页规律for page in range(1, total_pages1): url fhttps://example.com/products?page{page} # 处理每页数据...4. 反爬策略应对与实战建议网站为了防止爬虫会设置各种限制这里分享几个实用对策请求频率控制是最基本的礼貌import time time.sleep(1) # 每次请求间隔1秒IP轮换可以防止被封proxies { http: http://10.10.1.10:3128, https: http://10.10.1.10:1080 } requests.get(url, proxiesproxies)处理验证码的几种思路使用打码平台手动输入适合低频需求机器学习识别成本较高一个完整的抓取流程建议这样设计先抓取少量数据测试处理异常超时、404等实现断点续爬数据去重存储try: response requests.get(url, timeout10) response.raise_for_status() except requests.exceptions.RequestException as e: print(f请求失败: {e}) # 记录失败URL稍后重试最后提醒务必遵守网站的robots.txt规定不要给服务器造成过大压力。有些网站提供公开API优先考虑使用官方接口。