大家好，我是南枫，今天一起来学习异步爬虫。
文章开始之前，我们先搞清楚为什么要学异步爬虫？我们之后在工作中会遇到爬大量数据，比如百万数据采集，用平常的方法爬取的效率会比较低，所以要学习异步爬虫，具体还有以下的几点原因：
上Ai人工智能：
该解释的都解释了，废话不多说，直接上代码：
我们还是用之前文章的网站——中国水校标识网，因为这个网站的数据有六万多条，比较多，效果也是比较好看出区别的。
老规矩，上代码：
-
我们所导入的两个模块，分别的作用是：a、用于异步发送HTTP请求；b、用于处理异步编程。
-
定义异步函数，接收参数page
-
构造请求的url，page是传入的参数
-
创建对应的对象，作用就是发送http请求
-
使用对应对象去发送get请求，并且要把响应的结果存储到result变量里
-
把响应结果转换为json格式
-
再便利result_list的list字段
-
创建一个空字典
-
可以打印一下，看下数据集是否便利出来
-
定义一个异步函数main
-
创建一个人物列表，里面包含了300个get_detail_data函数的调用，每个调用传入不同的page参数
-
等待所有任务完成
-
运行main函数
大家看完文章之后，一定要自己动手去练习一遍，要不然就完全数据“看”文章了，ok，这个异步爬虫项目，你学会了吗？
