当前位置: 首页> 科技> 互联网 > python爬虫之crawlspider爬取全站数据

python爬虫之crawlspider爬取全站数据

时间:2025/7/11 15:19:09来源:https://blog.csdn.net/qq_55829395/article/details/140989578 浏览次数:0次

python爬虫之crawlspider爬取全站数据

CrawlSpider:类,Spider的一个子类
全站数据爬取的方式:
1、基于Spider:手动请求
2、基于CrawlSpider
CrawlSpider的使用:
1、创建一个工程
2、cd xxx
3、创建爬虫文件
scrapy genspider -t crawl xxx www.xxx.com
爬取阳光热线网站:https://wz.sun0769.com/political/index/politicsNewest?id=1&page=1(爬一次就被封了)

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Ruleclass SunSpider(CrawlSpider):name = "sun"# allowed_domains = ["www.xxx.com"]start_urls = ["https://wz.sun0769.com/political/index/politicsNewest?id=1&page=1"]#链接提取器:根据指定规则(allow="正则")进行指定链接的提取link = LinkExtractor(allow=r'id=1&page=\d+')rules = (#规则解析器:将链接提取器提取到的链接进行指定规则(callback)的解析操作Rule(link, callback="parse_item", follow=True),#follow=True:可以将链接提取器 继续作用到 链接提取器提取到的链接 所对应的页面中)def parse_item(self, response):print(response)
关键字:python爬虫之crawlspider爬取全站数据

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: