一套框架跑通五大平台社交媒体数据采集的完整实战指南【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new做竞品调研的小周曾为一组小红书笔记数据熬了三个通宵——手动复制、截图归档第二天又冒出一批新内容。直到他换用 MediaCrawler-new 进行社交媒体数据采集十分钟就把关键词下的帖子、评论和点赞数全部拿齐。它是谁一个替你真人逛平台的开源框架一句话说清楚MediaCrawler-new 是一个基于 Playwright 的社交媒体数据采集框架帮你从小红书、抖音、快手、B站、微博五个平台稳定抓取公开内容、评论、点赞、转发等数据并支持 CSV、JSON、MySQL 等多种落地方式。它要解决的核心麻烦有三个反爬太难——平台有各种门卫验证码、风控、加密参数写个普通脚本根本进不去登录太烦——每次都要处理二维码、手机验证码、Cookie状态还留不住平台太多——五个平台的数据格式天差地别一个个写适配器能把人累垮。这套框架恰好把这三件事都打包处理好了而且全部开源。设计思路为什么假装真人比逆向加密更聪明先回答一个常见疑问为什么不直接用 requests 请求接口因为平台的加密参数是动态生成的逆向那些 JS 加密代码难度极高、维护成本也高。MediaCrawler-new 换了一条路用 Playwright 驱动一个真实浏览器像真人一样打开网页、滑动页面、读取数据。加密参数由浏览器里的 JS 自己算好框架只需在登录后的上下文里执行一段 JS 表达式就能拿到结果。打个比方反爬机制像小区的门卫只认看起来像住户的人。requests 像是一封贴着假名的信件容易被拦下而 Playwright 是直接雇了一个手速极快的真人替你进小区办事门卫自然放行。再往深一层它的结构也很有讲究统一接口五个平台都实现相同的客户端、登录、存储抽象像一个遥控器控制五台电视模块化拆分media_platform/下每个平台独立成包proxy/管代理、store/管存储互不干扰想加新平台照着模板写就行配置驱动几乎所有行为都由config/base_config.py一个文件控制改配置不改代码。跟着走一遍二十分钟跑通你的第一次小红书数据采集理论说完了来点实际的。我们的任务是把小红书上关键词防晒霜的近期热门笔记和评论抓下来。第一步搭好地基四条命令完成环境准备先把仓库克隆到本地并创建虚拟环境git clone https://gitcode.com/GitHub_Trending/me/MediaCrawler-new cd MediaCrawler-new python -m venv venv source venv/bin/activateWindows 用户把激活命令换成venv\Scripts\activate即可。接着安装依赖和浏览器驱动pip install -r requirements.txt playwright installplaywright install会下载 Chromium 内核这一步耗时几分钟属于正常现象。第二步选登录方式二维码登录为什么最省心打开config/base_config.py核心就这几行PLATFORM xhs # xhs | dy | ks | bili | wb KEYWORDS 防晒霜 # 想搜什么就填什么 LOGIN_TYPE qrcode # qrcode | phone | cookie SAVE_DATA_OPTION csv # csv | db | json登录方式有三种第一次用建议选qrcode二维码登录程序弹出浏览器你用手机 App 扫码一秒钟搞定最适合首次上手手机号登录走短信验证码适合长期稳定采集项目里还专门写了docs/手机号登录说明.mdCookie 登录直接把已有 Cookie 贴进配置免去每次扫码的麻烦。更贴心的是默认开启的SAVE_LOGIN_STATE会把登录状态缓存到本地下次启动不用重新登录。第三步下达采集指令一行命令触发关键词搜索配置改完运行这一行python main.py --platform xhs --lt qrcode --type search翻译一下--platform指定平台--lt指定登录方式--type指定采集类型。支持的类型有search按关键词搜索并采集内容我们正在用的detail按 ID 采集指定帖子ID 填在配置里的XHS_SPECIFIED_ID_LISTcreator采集指定创作者主页的全部作品目前小红书支持得最完整video_download批量下载视频目前主要用于 B站。命令执行后浏览器会自动打开并弹出二维码扫码登录后采集就开始跑。想控制采集量在配置里改CRAWLER_MAX_NOTES_COUNT比如设成 20就只抓 20 条。第四步数据落地csv、数据库、json 怎么选数据保存由SAVE_DATA_OPTION决定三种方案各有用武之地方案适合谁数据去哪了csv想用 Excel 快速看结果data/xhs/目录下的表格文件json要交给程序做二次处理data/xhs/目录下的 JSON 文件db数据量大、要做复杂查询MySQL、PgSQL 等关系型数据库还想抓评论把ENABLE_GET_COMMENTS设为True框架会连同评论一起采回来存在store/对应的实现类里。第五步验收结果先看文件再谈优化采集结束去data/xhs/目录下看一眼search_contents_20260819.csv、search_comments_20260819.csv之类命名的文件已经躺在那里。打开表格标题、正文、发布时间、点赞数、评论内容一应俱全。至此你的第一次社交媒体数据采集就完成了。整个过程没有碰任何加密 JS没有手写任何反爬逻辑。实战中遇到的问题与解法代理IP、并发、无头模式采集跑顺了新的问题也会冒出来。下面这些是高频场景对应解法都在项目里。问题一请求一多就被封 IP启用内置代理IP池如果只是少量采集直连没问题但连续高频抓取平台很容易识别出异常流量并封禁你的 IP。解法是开启框架内置的代理IP池。把ENABLE_IP_PROXY设为True再调大IP_PROXY_POOL_COUNT代理池数量。整个流程是这样的简单说就是爬虫启动 → 判断是否开代理 → 从代理商网站拉取一批 IP → 存入 Redis → 构建代理池 → 每次请求从池子里取一个马甲穿上用完换下一个。IP 被封了池子里还有几百个备胎。代理服务商那边先在后台生成 API 链接提取数量、IP 时长、协议类型都能自定义拿到密钥后通过环境变量注入避免把敏感信息写死在代码里export jisu_key你的代理密钥 export jisu_crypto你的加密签名配置逻辑在proxy/proxy_ip_provider.py中对应实现类的代码大致长这样注意代理池依赖 Redis启用前先确认本机 Redis 已启动否则会报连接错误。问题二采集太慢怎么办把并发数调大一点默认并发数是 4如果网络状况好、目标平台不敏感可以调大MAX_CONCURRENCY_NUM。同时注意控制CRAWLER_MAX_NOTES_COUNT别设得太大——并发和数量一起涨容易把平台惹毛。问题三服务器上没有浏览器界面无头模式兜底很多人的爬虫跑在云服务器上没有显示器。把HEADLESS设为True浏览器就会以无头模式运行不弹窗口、不占桌面资源占用更小。但小红书偶尔会触发滑动验证码此时建议临时把HEADLESS改回False打开浏览器手动过一下验证码采完再改回去。问题四换平台要改一堆代码一行切换五个平台共享同一套命令入口想采抖音把--platform dy一换就行python main.py --platform dy --lt qrcode --type search--platform支持xhs小红书、dy抖音、ks快手、biliB站、wb微博。抖音额外支持滑块验证码处理逻辑在tools/slider_util.pyB站则独有视频批量下载能力。各平台的客户端实现统一放在media_platform/下结构几乎一致想深挖某个平台的细节直接看对应目录。除了关键词搜索它还能这样用三个真实场景场景一市场调研与竞品分析假设你是美妆品牌的市场人员想了解小红书用户对粉底液的真实评价。关键词设成粉底液,遮瑕膏,口红开启评论采集跑完就能看到用户高频吐槽点、正面评价关键词甚至能按点赞数排序找出最有影响力的测评帖——这些数据直接决定下一轮产品迭代方向。场景二内容创作选题参考做抖音内容的创作者最怕不知道今天拍什么。用关键词搜一下本领域热门视频把点赞、评论、转发拉出来排个序哪些内容类型容易爆、评论区在聊什么一目了然。选题不再靠感觉靠数据。场景三学术研究与舆情分析研究社交媒体传播模式需要大量真实样本。框架支持按 ID 精确采集指定帖子detail模式也支持整站关键词搜索把一段时间内的公开讨论批量落库后可以轻松做词频统计、传播路径分析为论文提供扎实的数据支撑。新手最容易踩的坑环境、登录与超时这几个问题几乎每个新手都会遇到提前知道能省不少时间报缺少 nodejs 环境Playwright 依赖 Node.js安装 v16.8.0 或更高版本即可playwright 超时或连不上目标平台先检查网络再检查代理设置有时公司网络策略会拦截浏览器请求扫码登录总失败清空对应的浏览器缓存目录形如xhs_user_data_dir后重试缓存异常常导致登录态混乱一直弹验证码把HEADLESS设为False手动过一遍验证码让浏览器记住你是真人打开代理后反而连不上确认 Redis 已启动且jisu_key、jisu_crypto两个环境变量正确设置。遇到更具体的报错项目文档docs/常见问题.md里有完整的问答清单代码结构说明在docs/项目代码结构.md。四条合规红线别让数据采集变了味工具本身是中性的但用的时候要守住底线只采公开数据尊重各平台的用户协议不做绕过登录的恶意抓取不碰个人隐私不采集非公开的个人信息不涉及商业机密控制采集频率合理设置并发和间隔别把平台服务器当自家后花园这也是代理IP 频率控制存在的意义仅用于合法目的学习研究、市场分析、舆情洞察都合理但请勿用于灰产或非法用途。总结你的下一步行动清单回到开头的小周——他现在已经把竞品监测做成了一条流水线每天定时跑一遍数据自动落库报表自动生成。这套框架的价值不在于能爬而在于把社交媒体数据采集这件事的复杂度从逆向大牛专属降到了会敲命令就能上手。给你的行动建议按本文第一步把环境搭好用小红书 二维码登录跑通第一次搜索采集跑顺后打开代理IP池、调并发尝试detail和creator模式最后换到抖音或 B站试试感受一下一行命令切换平台的爽快。记住技术只是工具数据背后的洞察才是价值。合理、合规、克制地使用让数据帮你做更聪明的决策。【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考