HTTrack

✍ dations ◷ 2025-09-13 20:45:47 #HTTrack

HTTrack是一个自由、开源的网络爬虫以及离线浏览器。它的作者是泽维尔·罗奇(Xavier Roche),在GNU通用公共许可协议(GPL)下发布。

用户可以通过HTTrack把互联网上的网站页面下载到本地计算机上。在默认设置下,HTTrack对网站页面的下载结果是按照原始站点相对链接的结构来组织的。用网页浏览器打开这个被下载下来的网站(也称作镜像)的页面,就可以离线浏览了。

HTTrack也能对已经镜像过的站点进行更新。或者是对中断了的工作断点续传。可以通过选项和过滤器(include/exclude)配置HTTrack的方方面面。它还集成有帮助系统。它有一个基本的命令行版本和两个GUI(为Windows设计的WinHTTrack和为Unix-like系统设计的WebHTTrack);命令行版本可以和Shell脚本(Shell script)以及cron联用。

HTTrack使用网络爬虫下载网站。对于有robots.txt的网站,如果不在程序运行时取消限制,默认设置下的程序不会把网站完全镜像。HTTrack能跟随基本的JavaScript,或者Applet、Flash中的链接,但是对于复杂的链接(使用函数和表达式创建的链接)或者服务器端的Image Map(英语:Image Map)则无能为力。

在许多Unix-like系统下,只需要用包管理工具安装httrack即可。例如Debian使用

sudo aptitude install httrack

一个使用例子:

httrack "http://www.all.net/" -O "/tmp/www.all.net" "+*.all.net/*" -v

它的意思是:以http://www.all.net/ 为起始URL,输出到/tmp/www.all.net文件夹,范围是www.all.net域名下的所有文件,并显示所有错误信息(verbose)。更详细的信息请看官网上的Users Guide。

相关

  • Addison-Wesley艾迪生维斯理(英语:Addison-Wesley),位于美国马塞诸塞州波士顿的图书出版商,以其出版的计算机科学领域教科书而广为人知。除了图书,Addison-Wesley还通过Safari Books Online发行
  • 1984年洛杉矶奥运会第二十三届夏季奥林匹克运动会(英语:the Games of the XXIII Olympiad,法语:les Jeux de la XXIIIe Olympiade),于1984年7月28日至8月12日在美国洛杉矶举行。本届奥运会被视为是奥
  • 开放式经济开放式经济,在经济学意指在经济体中除自我内部的交易外,尚可与其他的经济体进行交易的经济体,与之相对的则是封闭式经济,两者皆属于是经济学中定义经济体行为的概念。开放式经济
  • 时序保护猜想时序保护猜想(英语:Chronology protection conjecture,又译时序保护假说)是由物理学家史蒂芬·霍金提出的猜想,该猜想认为物理定律不允许任何除亚微观尺度外的时间旅行。在一篇19
  • 胆肝胆肝是著名的客家小吃,流行于台湾宜兰、新竹苗栗,营养丰富。
  • 曹亚曹亚(1951年2月-),江苏江阴人,汉族,中华人民共和国政治人物,中国国民党革命委员会中央常委、湖南省委副主委,第十一届全国政协委员。2008年,当选第十一届全国政协常务委员,代表中国国
  • 天主教布罗肯湾教区天主教布罗肯湾教区(拉丁语:Dioecesis Sinus Tortuosi;英语:Roman Catholic Diocese of Broken Bay)是澳大利亚一个罗马天主教教区。属悉尼总教区。教区成立于1986年4月8日。教区
  • 不丹河流列表不丹河流列表,列举不丹境内所有河流,最终均注入印度的布拉马普特拉河。Template:Bhutan topics
  • 阴影照相阴影照相是一种用于获取透明介质非均匀性的光学方法,如空气、水和玻璃。其与纹影摄影类似,但较简单。阴影照相时流体可视化的技术之一。原则上,我们不能直接看到空气中温度的差异、气体的不同和冲击波。但是所有这些因素导致了折射率的改变影响光线传播,因此他们可以产生阴影。例如火导致的空气温度上升产生的羽状火焰,能够通过其在均匀阳光照射下的阴影看出来。
  • 约翰·霍普纳约翰·霍普纳(John Hoppner,1758年-1810年),英国画家,作品以肖像画为主。约翰·霍普纳生于英国伦敦。1775年,进入皇家艺术研究院。1778年,因写生获得银质奖章。1782年,获得艺术研究院的最高奖-金质奖章。