1. XPath语法精讲从入门到精通如果你已经会用XPath提取简单的网页数据但遇到复杂嵌套结构就头疼那这篇文章就是为你准备的。XPath就像HTML文档的GPS导航系统能精准定位到任何一个标签节点。但要用好这个工具得先掌握它的核心语法规则。先说说最基础的路径表达式。/和//的区别就像坐电梯和爬楼梯/div/a是严格按照父子关系一层层查找而//div//a则可以跨越多级标签直接找到目标。我经常看到新手犯的一个错误是在不需要严格层级时过度使用/导致表达式冗长且脆弱。属性匹配是XPath的杀手锏。比如要抓取豆瓣电影评分可以用//span[classrating_num]精准定位。但有个坑要注意当class属性有多个值时如classrating num highlight必须用contains()函数//span[contains(class, rating)]。文本提取也有讲究。/text()只能获取直接文本而//text()会提取所有子孙文本。最近我抓取新闻网站时就踩过坑某个p标签里嵌入了span用/text()只拿到前半段改用string(.)才完整获取。2. 实战中的高级定位技巧当页面结构复杂时基础定位方法就不够用了。这时候需要祭出XPath的轴定位axes功能。比如要抓取电商网站的商品价格但价格标签没有唯一class这时可以用following-sibling轴//div[contains(text(),价格)]/following-sibling::span[1]这个表达式意思是先找到包含价格文字的div然后定位它后面同级的第一个span标签。我在京东抓取时就靠这招解决了90%的价格定位问题。另一个神器是preceding-sibling轴。有次抓取论坛数据需要获取楼主发言时间但时间标签在用户名之前用常规方法很难定位。最终用这个表达式搞定//a[classusername]/preceding-sibling::span[classtime]按序选择也经常派上用场。比如抓取知乎热榜时用//div[classHotList-item][position()10]可以精准获取前10条热榜内容。注意XPath的索引从1开始这点和Python不同我刚开始经常搞混。3. 浏览器调试工具实战指南工欲善其事必先利其器。Chrome的XPath Helper插件是我的必备工具安装后按CtrlShiftX就能调出调试窗口。左边输入表达式右边实时显示匹配结果比反复运行爬虫调试效率高10倍不止。有个实用技巧在Elements面板选中元素后右键Copy XPath能快速生成表达式。不过自动生成的路径往往又臭又长我通常会手动优化。比如把/html/body/div[3]/div/div[2]/div简化成//div[classmain-content]。Firefox的开发者工具也很强大它的XPath评估器能直接测试表达式。我习惯两个浏览器交替使用因为有些网站在不同浏览器下DOM结构会有差异。上周抓取政府网站时就发现Chrome里能正常工作的表达式在Firefox下失效最后发现是某个div的嵌套层级不同。4. Python代码中的XPath实战理论懂了怎么在Python里用呢首先确保安装了lxml库pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple解析网页时有个重要细节etree.HTML()会自动补全缺失的标签。有次解析一个格式错误的HTML发现多出了tbody标签导致XPath失效。后来改用html5parser作为解析器parser etree.HTMLParser(remove_blank_textTrue) tree etree.HTML(html, parserparser)提取数据时要注意xpath()方法永远返回列表。我见过最常犯的错误是直接取[0]而不做空值判断。稳妥的写法是results tree.xpath(//h1/text()) title results[0] if results else None对于大量数据提取建议用zip组合多个XPath结果titles tree.xpath(//div[classtitle]/text()) links tree.xpath(//div[classtitle]/a/href) for title, link in zip(titles, links): print(title, link)5. 高频踩坑点与解决方案动态加载内容是最常见的坑。明明在浏览器能看到元素但XPath就是匹配不到。这时候要先确认网页是否通过AJAX加载数据。我常用的解决方法是使用Selenium等工具渲染页面分析网络请求直接调用接口在XPath中加入等待逻辑反爬虫机制也让人头疼。有些网站会随机插入隐藏标签干扰XPath定位。我的应对策略是优先用class和id定位避免使用绝对路径添加normalize-space()处理空白字符编码问题也不容忽视。有次抓取中文网站XPath匹配总是失败最后发现是编码不一致导致的。现在我会先用html html.decode(utf-8)统一编码。性能优化方面避免在循环中重复执行XPath查询。应该先获取父节点再在子节点上操作items tree.xpath(//div[classitem]) # 先获取所有item for item in items: title item.xpath(./h3/text())[0] # 在子节点上查询6. 复杂网页结构解析案例来看个房产网站的真实案例要抓取房源信息div classhouse-list div classitem div classtitle阳光花园 3室2厅/div div classdetails span120平/span span南向/span span classprice450万/span /div /div !-- 更多房源... -- /div最优XPath方案是titles tree.xpath(//div[classhouse-list]/div[classitem]/div[classtitle]/text()) prices tree.xpath(//div[classdetails]/span[classprice]/text())如果遇到更复杂的嵌套可以使用ancestor轴向上查找。比如要获取某个span所在的整条房源信息//span[classprice]/ancestor::div[classitem]7. 性能优化与最佳实践XPath性能其实很高但写法不当会导致效率低下。我的经验是尽量避免使用//开头的全局搜索多用[class]或[id]缩小范围复杂表达式拆分成多个简单查询缓存机制也很重要。对于不变的页面结构可以把解析后的tree对象pickle到本地import pickle # 保存 with open(cached_tree.pkl, wb) as f: pickle.dump(tree, f) # 读取 with open(cached_tree.pkl, rb) as f: tree pickle.load(f)最后分享一个项目经验有次需要抓取10万页面最初单线程跑要20小时。通过以下优化降到2小时使用多线程并发但注意控制并发数复用etree.HTMLParser实例预编译常用XPath表达式设置合理的超时和重试机制