文章目录微信爬虫从公众号文章中找公益项目1、项目背景2、功能介绍3、技术架构4、安装部署5、项目状态6、适用场景微信爬虫从公众号文章中找公益项目wechat-spider 在 GitHub 上有 3,349 Star。这是一个爬取微信公众号文章的爬虫最初是为了帮助贫困户对接公益机构而开发。项目基于 Python 2.7使用 MySQL 存储数据Redis 做消息队列Django 搭建管理后台Selenium 模拟浏览器行为。1、项目背景开发方是一家帮助中国贫困人口与社会公益组织对接的公司。他们通过国家和地方政府的建档立卡系统获取贫困户数据目前有100万左右总数为5000万。为了从微信公众号发布的文章中找出最新的公益项目他们写了这个爬虫。这种找项目的方式当时还在试验阶段。2、功能介绍爬虫的核心功能是批量抓取微信公众号文章。用户在后台配置要爬取的公众号列表和关键字爬虫会自动抓取匹配的文章。管理后台提供以下功能公众号列表管理添加、删除要爬取的公众号关键字配置设置文章筛选条件文章列表查看已爬取的文章文章审核标记文章是否可用进程控制调整爬取并发数3、技术架构项目采用经典的 Web 爬虫架构前端使用 Django 搭建管理界面后端由四个独立进程组成scheduler.py调度器负责分配爬取任务downloader.py下载器负责抓取网页内容extractor.py提取器负责解析页面数据processor.py处理器负责存储和处理数据数据存储使用 MySQL消息队列使用 Redis。爬虫通过 Selenium 模拟浏览器访问可以处理 JavaScript 渲染的页面。4、安装部署项目依赖 Python 2.7 环境。安装步骤如下安装系统依赖yuminstallpython-devel mysql-devel gcc yuminstalllibxslt-devel libxml2-devel yuminstallxorg-x11-server-Xvfb firefox克隆代码并安装 Python 依赖gitclone https://github.com/bowenpay/wechat-spider.gitcdwechat-spider pipinstall-rrequirements.txt创建 MySQL 数据库mysql-eCREATE DATABASE wechatspider CHARACTER SET utf8;配置 local_settings.py 文件填入数据库和 Redis 连接信息。然后初始化数据库python manage.py migrate启动 Web 服务python manage.py runserver0.0.0.0:8001启动爬虫进程python bin/scheduler.py python bin/downloader.py python bin/extractor.py python bin/processor.py5、项目状态搜狗微信在 2019 年 10 月 29 日下线了相关功能导致这个项目已经废弃。项目最后一次更新是在此之前代码不再维护。如果需要类似的公众号文章抓取功能需要寻找其他方案或自行适配当前的微信接口。6、适用场景这个项目适合以下人群学习参考需要了解微信公众号爬虫实现原理的开发者想学习 Selenium 模拟浏览器爬虫技术的人对分布式爬虫架构感兴趣的工程师需要搭建管理后台控制爬虫任务的开发者虽然项目已经无法直接使用但其架构设计和代码实现仍有参考价值。想学习 Selenium 模拟浏览器爬虫技术的人对分布式爬虫架构感兴趣的工程师需要搭建管理后台控制爬虫任务的开发者虽然项目已经无法直接使用但其架构设计和代码实现仍有参考价值。