CNKI批量下载知网文献完整说明CNKI-download 3步跑通【免费下载链接】CNKI-download:frog: 知网(CNKI)文献下载及文献速览爬虫 (Web Scraper for Extracting Data)项目地址: https://gitcode.com/gh_mirrors/cn/CNKI-downloadCNKI-download是一款基于Python 3的知网文献抓取工具走的是请求包解析路线而非浏览器模拟能按知网高级检索的方式查询把结果页里的题名、作者、摘要等元数据成批提取出来也能顺手把CAJ原文存到本地。几百篇文献的整理工作它替你换成一条命令。 启动前检查三个前提与一条安装命令动手之前先确认三件事。第一你的网络得能按IP直连知网——通常购买过数据库的校园网满足条件普通公网IP可能卡在跳转接口上这是README里明确写过的使用前提。第二本地装有Python 3。第三打算试自动验证码的话需要tesseract引擎没有它就先保持手动模式。拿到项目git clone https://gitcode.com/gh_mirrors/cn/CNKI-download后进入目录装依赖只需一步pip install -r requirements.txt依赖清单不长requests、beautifulsoup4、lxml、xlwt、Pillow等。如果本机没有tesseract可以先装好引擎再执行pip install tesserocr不想装的话把CrackVerifyCode.py的第15、63、64行注释掉再跑安装命令即可。⚙️ Config.ini 里5个开关逐项说明所有行为都由配置文件 Config.ini控制改完无需动任何代码程序每次启动重新读取。开关作用首次运行建议isDownloadFile是否随检索下载CAJ原文0先收集信息isCrackCode是否OCR自动识别验证码0手动更稳isDetailPage是否把详情写进Excel1isDownLoadLinkExcel是否附加下载地址列0stepWaitTime每处理一条文献的停顿秒数校园网3~5公网8~10两条经验写在前面下载文件和抓取详情页不要同时打开两者叠加既拖慢速度又放大风控概率停顿时间别低于3秒。▶️ 第一次运行 main.py交互流程与产物位置python main.py终端会分步引导你先选检索字段主题、关键词、篇名、摘要、全文、被引文献、中图分类号空格分隔可多选逐条填入词第二个及以后的条件还要选逻辑关系并且/或者/不含接着询问是否限定来源期刊最后给出总命中数和预计耗时按每条5秒折算让你决定全量检索还是只取前N条——不满一页时会按整页处理。中途若被验证码拦截程序会弹出验证码图片窗口人工敲入字符后继续。跑完后产物全部落在data目录下且每次启动都会清空旧目录重建所以上一轮打开的Excel没关时可能删除失败。产物内容data/ReferenceList.txt每篇文献的简要信息data/Links.txt每篇文献的下载地址data/Reference_detail.xls详情表题名、作者、单位、关键字、摘要、来源、发表时间、数据库data/CAJs/CAJ原文仅在开启下载后出现 三种典型用法用法一只建文献表不碰原文。保持isDownloadFile0、isDetailPage1。写综述要铺200篇以上背景文献时这种模式把原本三五天的复制粘贴压缩到一次挂机运行产出的Excel直接当文献管理表的底稿。用法二批量拉全文。先用用法一验证检索词命中质量确认无误后把isDownloadFile1重跑一遍相同条件CAJ文件以题名_年份命名直接落入data/CAJs。用法三Excel二次筛选后再下载。配合isDownLoadLink1把地址导进表格按摘要和来源过滤完再对选中条目按需处理。对担心请求过密的人这是节奏最可控的方式。⚠️ 四类高频报错对照现象常见原因处理办法提示远程主机拒绝了访问请求节奏过快被知网风控stepWaitTime调大到8~10秒再次运行报data目录无法删除上一轮打开的Excel或文件未关闭重跑前先关掉data里所有已打开的文件验证码输对了仍反复弹出只抓信息不下载时约1000条量级出现的已知现象换小批量、分批次检索tesserocr安装失败缺少tesseract引擎先装引擎或注释相关代码保持手动模式验证码的两种应对手动输入 vs 自动OCR默认isCrackCode0遇到拦截就保存图片并弹窗人工输入成功率接近100%适合绝大多数场景。改成1后由tesserocr做OCR自动识别全程无需看管但准确率在八成上下识别错就要重来一遍。白天盯屏用手动想挂机跑就切自动、接受偶发重试。使用边界IP、合规与数据保护三条边界值得记住。其一这个工具服务于个人学习与研究下载量控制在合理使用范围内别用于商业分发或二次传播。其二节奏控制不是客气请求过密正是IP被封的主因——被拒后先停一段时间把间隔拉长再继续。其三data目录每轮运行都会被清空重建重要的Excel表和文献文件在运行结束后及时挪到外存或云盘备份。【免费下载链接】CNKI-download:frog: 知网(CNKI)文献下载及文献速览爬虫 (Web Scraper for Extracting Data)项目地址: https://gitcode.com/gh_mirrors/cn/CNKI-download创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考