博客导语整合前面所有知识点完成一套「请求解析保存」完整静态爬虫项目适合新手打通爬虫完整流程可直接作为练手作业。一、爬虫流程四步发送网络请求获取网页源码解析网页提取目标数据数据清洗保存本地/数据库二、完整可运行代码import requests from bs4 import BeautifulSoup url https://httpbin.org/html headers { User-Agent:Mozilla/5.0 } # 1. 请求 res requests.get(url, headersheaders) html res.text # 2. 解析 soup BeautifulSoup(html, html.parser) h1_text soup.find(h1).get_text() # 3. 保存 with open(res.txt,w,encodingutf-8) as f: f.write(h1_text) print(爬取成功)三、新手爬虫规范必须加请求头UA伪装必须设置超时时间必须捕获异常防止程序崩溃