3步离线下载整个网站WebSite-Downloader 把租来的网页永久搬回家【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader你有没有过这样的崩溃瞬间收藏夹里躺了三年、几乎每天都要打开的技术博客某天点进去突然变成一片刺眼的404 Not Found精心整理的在线教程和项目文档因为一次网站改版就人间蒸发。网页存放在别人的服务器上就像租来的房子房东随时可能收回钥匙。而WebSite-Downloader这个用 Python 编写的网站离线下载工具能在网页消失之前把整个站点连同图片、样式、脚本一起搬回你的硬盘。先别急着跑这份自测清单帮你判断值不值得花5分钟工具再好不适合你的场景也是浪费。往下看之前先花10秒钟对号入座你收藏了大量技术博客、在线文档担心哪天链接失效想离线保存一份你需要把企业官网、产品页做成本地演示版应对无网络环境出差、高铁、客户现场你是站长想定期给网站做整站备份防止服务器故障或误删你想研究竞品网站的目录结构和资源加载方式又不愿给人家服务器添负担你对 Python 一知半解但希望有个不用装任何依赖就能跑的工具。以上任意一条戳中你这个项目就值得往下读。如果你只想保存单个网页、图个快捷那浏览器自带的另存为可能更省事——不过它存不下整站的链接结构和资源。一句话讲透它和保存网页有什么本质区别普通做法是把当前这一页存下来像是用手机拍下书的一页WebSite-Downloader 是把整本书复印下来连目录、插图、排版样式一起打包。它顺着页面里的链接一路爬下去把 HTML、CSS、JS、图片、字体、PDF、视频全部抓到本地再自动把页面里所有链接改写成本地相对路径——这样你离线双击index.html图片能显示、样式不丢、页面之间跳转正常和线上体验几乎一模一样。第一次运行只需要改一行代码这个项目只有一个核心文件WebSite-Downloader.py没有任何第三方依赖只用了 Python 标准库Python 3.6 以上就能跑连pip install都省了。第一步获取代码git clone https://gitcode.com/gh_mirrors/web/WebSite-Downloader cd WebSite-Downloader第二步把示例网址换成你的目标站点打开WebSite-Downloader.py滚动到文件末尾第424-426行你会看到这两行示例代码if __name__ __main__: manager Manager(https://www.example.com) manager.start()把https://www.example.com换成你想下载的网站即可比如manager Manager(https://www.whsw.net/)第三步运行并等待python WebSite-Downloader.py程序会立刻开启8 个线程并发抓取控制台实时打印每一条处理记录。当所有线程在 60 秒内找不到新链接时下载自动结束还会发出滴滴滴的响铃提醒你。完成后打开以网站域名命名的文件夹比如whsw-site/www.whsw.net/双击index.html就能离线浏览了。全程没有配置文件、没有安装步骤这就是改一行代码就能跑的极致体验。深入巧思它凭什么比另存为聪明得多巧思一链接重写——让整站搬家而不散架这是整个工具最精妙的部分。下载时它不只是存文件还会用正则把 HTML 里的href、src和 CSS 里的url(...)全部提取出来逐个判断归属通过顶级域名比对自动过滤外站链接和javascript:之类的伪链接再把这些线上绝对地址改写成本地文件之间的相对路径。简单说它在下文件的同时把文件之间的引用关系也原样重建了一遍所以本地打开页面才不会出现图片全裂、样式全乱的尴尬。巧思二多线程流水线——下载不是排队是分工主线程Manager不亲自下载它负责当调度员从子线程收集新发现的链接、去重、再分发给共享队列8 个Spider子线程则像流水线上的工人各自从队列取链接、处理、上报新链接互不干扰。这种生产者-消费者的设计让几百个页面的中小型网站在几分钟内就能抓完。另外每个链接默认最多重试 3 次max_tries 3遇到超时自动重试下载视频这类大文件时超时时间还会从 20 秒自动放宽到 600 秒耐心等你下完。巧思三三层编码兜底——中文老网站也不怕乱码很多老站点的网页是 GB2312 或 GBK 编码直接用 UTF-8 解析就会得到满屏乱码。这个工具内置了utf-8 → gb2312 → gbk三级解码兜底逐级尝试哪层成功用哪层兼容性大大提升。横向对比和常见方案相比优势在哪里方案能存整站能离线浏览需要安装学习成本适合场景浏览器另存为否仅单页部分图片常丢失无零临时保存一页第三方在线归档服务是部分无低偶尔存档但受服务方限制手动 FTP 打包是否需服务器权限高你自己有服务器WebSite-Downloader是是无零依赖极低一键整站离线下载最直观的差别在于链路完整性别的方案往往存了文件丢链接而它把链接结构一并修复本地打开就是一个活着的网站。新手避坑问答Q1它会顺着外链把整个互联网都下载下来吗不会。它只下载同域名内容通过顶级域名过滤外站资源会被自动跳过链接重写后本地页面依然显示正常。Q2下载中报错怎么办所有错误都会记录在当前目录的log.log文件里带时间戳和链接地址。先看日志再定位绝大多数是目标站点超时或反爬重试几次或换个时段即可。Q3下载完的网站打不开或显示异常八成是三个原因CSS/JS 没下全、页面内容是 JavaScript 动态渲染的、网站引用了外部 CDN。建议先用静态内容多的网站做测试。Q4大网站会把硬盘塞满吗会。大型站点动辄几个 GB。建议先小范围测试或只挑重点栏目比如只下载文档目录进行抓取。Q5会不会有法律风险工具本身是中性的关键看用途。请只下载自己有权存档的内容遵守目标网站的robots.txt别把下载内容商用传播。Q6需要安装什么依赖吗完全不需要。只用 Python 标准库urllib、threading、queue、logging 等克隆下来直接跑。行动收尾链接是脆弱的但本地文件是永恒的。这个不到 1000 行 Python 代码的项目给你的是在网络世界里真正拥有自己内容的能力。现在就可以做这三件事立刻试一次挑一个你常看的静态技术博客用上面 3 步流程跑通首次离线下载验证效果打开本地index.html确认图片、样式、页面跳转全部正常学会看日志翻翻log.log搞清楚哪些资源下载失败、为什么失败下次抓取心里有数。等熟悉之后你还可以按需调优把WebSite-Downloader.py第 88 行的range(8)改成range(16)提高并发注意别给目标服务器太大压力在Spider类的other_suffixes集合里追加新后缀扩展支持的下载格式。把你的重要内容留在身边从今天开始。【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 3步离线下载整个网站：WebSite-Downloader 把“租来的网页“永久搬回家
3步离线下载整个网站WebSite-Downloader 把租来的网页永久搬回家【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader你有没有过这样的崩溃瞬间收藏夹里躺了三年、几乎每天都要打开的技术博客某天点进去突然变成一片刺眼的404 Not Found精心整理的在线教程和项目文档因为一次网站改版就人间蒸发。网页存放在别人的服务器上就像租来的房子房东随时可能收回钥匙。而WebSite-Downloader这个用 Python 编写的网站离线下载工具能在网页消失之前把整个站点连同图片、样式、脚本一起搬回你的硬盘。先别急着跑这份自测清单帮你判断值不值得花5分钟工具再好不适合你的场景也是浪费。往下看之前先花10秒钟对号入座你收藏了大量技术博客、在线文档担心哪天链接失效想离线保存一份你需要把企业官网、产品页做成本地演示版应对无网络环境出差、高铁、客户现场你是站长想定期给网站做整站备份防止服务器故障或误删你想研究竞品网站的目录结构和资源加载方式又不愿给人家服务器添负担你对 Python 一知半解但希望有个不用装任何依赖就能跑的工具。以上任意一条戳中你这个项目就值得往下读。如果你只想保存单个网页、图个快捷那浏览器自带的另存为可能更省事——不过它存不下整站的链接结构和资源。一句话讲透它和保存网页有什么本质区别普通做法是把当前这一页存下来像是用手机拍下书的一页WebSite-Downloader 是把整本书复印下来连目录、插图、排版样式一起打包。它顺着页面里的链接一路爬下去把 HTML、CSS、JS、图片、字体、PDF、视频全部抓到本地再自动把页面里所有链接改写成本地相对路径——这样你离线双击index.html图片能显示、样式不丢、页面之间跳转正常和线上体验几乎一模一样。第一次运行只需要改一行代码这个项目只有一个核心文件WebSite-Downloader.py没有任何第三方依赖只用了 Python 标准库Python 3.6 以上就能跑连pip install都省了。第一步获取代码git clone https://gitcode.com/gh_mirrors/web/WebSite-Downloader cd WebSite-Downloader第二步把示例网址换成你的目标站点打开WebSite-Downloader.py滚动到文件末尾第424-426行你会看到这两行示例代码if __name__ __main__: manager Manager(https://www.example.com) manager.start()把https://www.example.com换成你想下载的网站即可比如manager Manager(https://www.whsw.net/)第三步运行并等待python WebSite-Downloader.py程序会立刻开启8 个线程并发抓取控制台实时打印每一条处理记录。当所有线程在 60 秒内找不到新链接时下载自动结束还会发出滴滴滴的响铃提醒你。完成后打开以网站域名命名的文件夹比如whsw-site/www.whsw.net/双击index.html就能离线浏览了。全程没有配置文件、没有安装步骤这就是改一行代码就能跑的极致体验。深入巧思它凭什么比另存为聪明得多巧思一链接重写——让整站搬家而不散架这是整个工具最精妙的部分。下载时它不只是存文件还会用正则把 HTML 里的href、src和 CSS 里的url(...)全部提取出来逐个判断归属通过顶级域名比对自动过滤外站链接和javascript:之类的伪链接再把这些线上绝对地址改写成本地文件之间的相对路径。简单说它在下文件的同时把文件之间的引用关系也原样重建了一遍所以本地打开页面才不会出现图片全裂、样式全乱的尴尬。巧思二多线程流水线——下载不是排队是分工主线程Manager不亲自下载它负责当调度员从子线程收集新发现的链接、去重、再分发给共享队列8 个Spider子线程则像流水线上的工人各自从队列取链接、处理、上报新链接互不干扰。这种生产者-消费者的设计让几百个页面的中小型网站在几分钟内就能抓完。另外每个链接默认最多重试 3 次max_tries 3遇到超时自动重试下载视频这类大文件时超时时间还会从 20 秒自动放宽到 600 秒耐心等你下完。巧思三三层编码兜底——中文老网站也不怕乱码很多老站点的网页是 GB2312 或 GBK 编码直接用 UTF-8 解析就会得到满屏乱码。这个工具内置了utf-8 → gb2312 → gbk三级解码兜底逐级尝试哪层成功用哪层兼容性大大提升。横向对比和常见方案相比优势在哪里方案能存整站能离线浏览需要安装学习成本适合场景浏览器另存为否仅单页部分图片常丢失无零临时保存一页第三方在线归档服务是部分无低偶尔存档但受服务方限制手动 FTP 打包是否需服务器权限高你自己有服务器WebSite-Downloader是是无零依赖极低一键整站离线下载最直观的差别在于链路完整性别的方案往往存了文件丢链接而它把链接结构一并修复本地打开就是一个活着的网站。新手避坑问答Q1它会顺着外链把整个互联网都下载下来吗不会。它只下载同域名内容通过顶级域名过滤外站资源会被自动跳过链接重写后本地页面依然显示正常。Q2下载中报错怎么办所有错误都会记录在当前目录的log.log文件里带时间戳和链接地址。先看日志再定位绝大多数是目标站点超时或反爬重试几次或换个时段即可。Q3下载完的网站打不开或显示异常八成是三个原因CSS/JS 没下全、页面内容是 JavaScript 动态渲染的、网站引用了外部 CDN。建议先用静态内容多的网站做测试。Q4大网站会把硬盘塞满吗会。大型站点动辄几个 GB。建议先小范围测试或只挑重点栏目比如只下载文档目录进行抓取。Q5会不会有法律风险工具本身是中性的关键看用途。请只下载自己有权存档的内容遵守目标网站的robots.txt别把下载内容商用传播。Q6需要安装什么依赖吗完全不需要。只用 Python 标准库urllib、threading、queue、logging 等克隆下来直接跑。行动收尾链接是脆弱的但本地文件是永恒的。这个不到 1000 行 Python 代码的项目给你的是在网络世界里真正拥有自己内容的能力。现在就可以做这三件事立刻试一次挑一个你常看的静态技术博客用上面 3 步流程跑通首次离线下载验证效果打开本地index.html确认图片、样式、页面跳转全部正常学会看日志翻翻log.log搞清楚哪些资源下载失败、为什么失败下次抓取心里有数。等熟悉之后你还可以按需调优把WebSite-Downloader.py第 88 行的range(8)改成range(16)提高并发注意别给目标服务器太大压力在Spider类的other_suffixes集合里追加新后缀扩展支持的下载格式。把你的重要内容留在身边从今天开始。【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考