WebSite-Downloader 上手指南告别404免费把整个网站离线保存到本地【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader如果你正在搜网站离线下载相关的内容多半是踩过坑的要么是存下来的网页样式全丢要么是链接全是死的。WebSite-Downloader 这个用 Python 写的整站下载器把这两件事一次解决——一个单文件、零依赖改一行网址就能把整个网站完整离线保存到本地断网也能正常浏览。没有它之前你收藏的链接其实都不属于你先讲一个可能发生在任何一个人身上的事。周末晚上你想起三年前收藏的一篇技术文章想翻出来重温。点开链接浏览器里弹出一个冷冰冰的404 Not Found。博主迁移了服务器、域名到期没续费、或者平台直接关停——原因有千万种结果只有一种你视为珍宝的内容一夜之间人间蒸发。再想想另一个高频场景高铁过隧道、飞机上、或者回老家信号不稳手机里明明存了一堆待读文章点开却全是加载失败。浏览器书签、收藏夹、截图这些工具只能替你守住一个入口守不住整棵内容大树。页面里那些相互跳转、层层嵌套的结构和资源一个链接失效整片内容跟着瘫痪。一句话说透网页放在别人的服务器上就像租来的房子房东随时可能收房。与其等着被赶走不如趁房子还在把家当完整搬回自己家。同样是存网页它凭什么敢叫整站下载不少人会问浏览器自带另存为网页不也能存吗能存但存的是单页快照和整站下载完全是两个物种。对比维度浏览器另存为WebSite-Downloader覆盖范围只有当前这一页顺着链接爬完整站页面资源图片样式经常丢CSS/JS/图片/字体/PDF/视频全带走链接处理仍指向线上断网露馅改写成本地相对路径离线可逛操作成本一个页面点一次一个网址全部搞定差别就在最后一行前者存的是看过的这一眼后者存的是整个网站本身。入场姿势比想象中轻一个 .py 文件零依赖WebSite-Downloader 整个项目只有一个核心文件只用了 Python 标准库urllib、threading、queue、logging 这些连pip install都省了。要求不高Python 3.6 及以上就能跑。先把代码拿到手git clone https://gitcode.com/gh_mirrors/web/WebSite-Downloader cd WebSite-Downloader不需要装任何第三方库不需要配虚拟环境这可能是你见过的最轻的爬虫类工具了。实测跑通改一个网址三分钟把网站搬回家打开 WebSite-Downloader.py滚动到文件末尾找到if __name__ __main__:下面的两行示例代码把示例网址换成你的目标网站if __name__ __main__: manager Manager(https://www.example.com) # 换成你想离线保存的网址 manager.start()保存后直接运行python WebSite-Downloader.py程序会立刻拉起8 个子线程并发抓取控制台实时打印每一条处理记录Handled表示处理完一个 HTML/CSSDownloaded表示下载完一个资源文件。当所有线程在60 秒内找不到新链接时程序自动收尾还会滴滴滴响铃提醒你完事了。下载完成后当前目录会出现一个以网站域名命名的文件夹比如下载https://www.whsw.net/就会生成whsw-site/www.whsw.net/。双击里面的index.html——一个和线上几乎一模一样的本地网站就这么诞生了拔掉网线也能逛。这套搬家服务到底好在哪四个细节见真章8 个线程同时搬大站点不再干等单线程排队下载大网站可能要跑一整晚。WebSite-Downloader 默认 8 个线程同时从共享队列取链接、各自处理主线程负责收集新链接、去重、再分发像一条高效流水线。几百个页面的中小型网站通常几分钟就能搞定。链接智能改写离线逛站以假乱真这是整个工具最精妙的地方。下载时它会把 HTML 里的href/src、CSS 里的url(...)全部提取出来用顶级域名比对过滤掉外站资源再把自己站内的链接改写成本地文件之间的相对路径。所以在本地双击页面图片、样式、跳转全都正常就像网站自己搬了个家。40 多种格式全识别图片视频文档一个不落代码里内置了一套完整的文件类型白名单网页三件套HTML/CSS/JS、图片jpg/png/gif/svg、字体ttf/woff/eot、媒体mp3/mp4/wav/m3u8/avi、文档pdf/doc/xls/zip/rar……40 多种后缀自动识别下载。遇到视频这类大文件还会把超时时间从 20 秒放宽到 600 秒耐心等你下完。重试与编码兜底老网站也不怕每个链接默认最多尝试 3 次超时会自动重试解码顺序内置了utf-8 → gb2312 → gbk三级兜底中文老网站也不用担心乱码。所有异常都会带时间戳写进当前目录的log.log方便你事后排查。想让它更合身这两行配置改一个数字就行默认 8 线程对大多数场景够用。如果你的带宽富裕、目标服务器也扛得住可以把创建线程那行的range(8)改成range(16)速度直接翻倍。提醒一句线程数不是越大越好8~16 之间通常比较稳妥爬得太猛容易给人家服务器添麻烦。想支持新格式找到Spider.__init__里的other_suffixes集合往里加一个后缀即可比如self.other_suffixes set([ js, jpg, png, gif, svg, json, ... webp, apk # 新增你想支持的格式 ])遇到这几种情况先别急着删掉重下页面全是空白或样式错乱八成是页面内容是 JavaScript 动态渲染的或者引用了外部 CDN 资源。工具抓的是静态 HTML这类站点建议先挑静态内容多的页面测试。下载中断或报错打开log.log看日志绝大多数是目标站点超时或反爬换个时段、重试几次就好。担心硬盘爆掉大型站点动辄几个 GB。建议先小范围测试或只挑重点栏目抓取。重新下载会清空旧目录工具运行时会清掉同名下载目录再重建想保留历史版本记得先改名备份。这几类人最该把整站下载变成日常习惯个人知识库搭建者把技术博客、API 文档下载分类存放配个本地搜索就是你的私人数字图书馆断网也能随时查阅。网站站长与内容备份党自己的博客、企业官网每月做一次整站备份等于给网站上了免费的异地容灾。需要离线演示的职场人产品演示、教学培训最怕现场断网。提前把官网整站下载到笔记本拔掉网线也能从容开讲。SEO 与竞品研究者把竞品网站下载到本地慢慢拆解链接结构和资源加载策略不碰线上服务器不留访问痕迹。现在把重要内容真正留在自己身边在这个信息极易消逝的时代链接是脆弱的但本地文件是永恒的。WebSite-Downloader 用不到 1000 行 Python 代码给了我们一项珍贵的能力——在网络世界里真正拥有属于自己的内容。收藏夹会失效服务器会跑路但下载到自己硬盘里的文件谁也拿不走。动手清单现在就能做克隆项目找一个你常看的静态技术博客作为测试目标把末尾示例网址改成目标站运行python WebSite-Downloader.py下载完成后双击本地index.html确认图片和样式都正常翻一眼log.log了解哪些资源失败、为什么失败根据网站体量调整线程数和文件类型白名单把定期整站下载写进你的内容安全管理清单从此告别信息焦虑。【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考