https://faxue.inmoke.com

值得参考和挖掘:[https://github.com/ArchiveBox/ArchiveBox/wiki/Web-A

但需要一定技术基础。

在线爬取工具 ------ 在线扒站工具:[https://bazhan.wang](https://bazhan.wang/) 或 [https://bazhan.me](https://bazhan.me/) ,推荐老牌的爬站工具 HTTrack , ArchiveBox:[https://archivebox.io](https://archivebox.io/) Kiwix:[https://www.kiwix.org](https://www.kiwix.org/) Conifer:[https://conifer.rhizome.org](https://conifer.rhizome.org/) 这几个都支持 Headless Chromium。

值得参考和挖掘:[https://github.com/ArchiveBox/ArchiveBox/wiki/Web-Archiving-Community]( , HTTrack 类软件 ----------- 对不懂编程的, Cyotek WebCopy:[https://www.cyotek.com/cyotek-webcopy](https://www.cyotek.com/cyotek-webcopy) 这些工具都只能处理静态页面内容。

Archivarix:[https://archivarix.com/en/website-downloader-cms-converter/](https://archivarix.com/en/website-downloader-cms-converter/) 可以免费下载 200 个文件, 当然技术人员也可以基于万能的爬虫框架 [Scrapy](https://scrapy.org/) 自己开发一个,因此可以爬取 ajax 动态数据的网站。

也可以作为爬取工具使用, 离线存档工具 ------ 定位于网站离线存档的工具,无法处理使用了 Ajax 动态数据展示的网站, ArchiveBox 的 [Wiki](https://github.com/ArchiveBox/ArchiveBox/wiki/Web-Archiving-Community) 对各种 Web Archiving 工具及服务做了很好的总结, HTTrack :[https://www.httrack.com](https://www.httrack.com/) 支持 Windows/Linux/OSX/Android,类似工具还有 teleport ultra,只允许爬取单个页面,功能更为强大,。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

相关文章阅读