HTTrack

✍ dations ◷ 2025-07-19 13:55:58 #HTTrack

HTTrack是一个自由、开源的网络爬虫以及离线浏览器。它的作者是泽维尔·罗奇(Xavier Roche),在GNU通用公共许可协议(GPL)下发布。

用户可以通过HTTrack把互联网上的网站页面下载到本地计算机上。在默认设置下,HTTrack对网站页面的下载结果是按照原始站点相对链接的结构来组织的。用网页浏览器打开这个被下载下来的网站(也称作镜像)的页面,就可以离线浏览了。

HTTrack也能对已经镜像过的站点进行更新。或者是对中断了的工作断点续传。可以通过选项和过滤器(include/exclude)配置HTTrack的方方面面。它还集成有帮助系统。它有一个基本的命令行版本和两个GUI(为Windows设计的WinHTTrack和为Unix-like系统设计的WebHTTrack);命令行版本可以和Shell脚本(Shell script)以及cron联用。

HTTrack使用网络爬虫下载网站。对于有robots.txt的网站,如果不在程序运行时取消限制,默认设置下的程序不会把网站完全镜像。HTTrack能跟随基本的JavaScript,或者Applet、Flash中的链接,但是对于复杂的链接(使用函数和表达式创建的链接)或者服务器端的Image Map(英语:Image Map)则无能为力。

在许多Unix-like系统下,只需要用包管理工具安装httrack即可。例如Debian使用

sudo aptitude install httrack

一个使用例子:

httrack "http://www.all.net/" -O "/tmp/www.all.net" "+*.all.net/*" -v

它的意思是:以http://www.all.net/ 为起始URL,输出到/tmp/www.all.net文件夹,范围是www.all.net域名下的所有文件,并显示所有错误信息(verbose)。更详细的信息请看官网上的Users Guide。

相关

  • 莫斯科大公国莫斯科公国(俄语:Великое Княжество Московское,罗马化:Velikoe Knjažestvo Moskovskoe;英语:Grand Duchy of Moscow),准确翻译为莫斯科大亲王国,是一个
  • 曲阜市坐标:35°35′30.07″N 116°59′03.42″E / 35.5916861°N 116.9842833°E / 35.5916861; 116.9842833曲阜市位于中国山东省南部,是济宁市代管的一个县级市。曲阜是一个古老
  • 疾病潜伏期疾病潜伏期是接触病原体(可以是微生物或者是化学制剂、辐射等)后,症状和体征有明显的表现前所经过的时间。疾病潜伏期可能短至只有几分钟,或者长达几十年(克雅氏病大概为30年)。潜
  • 朱国桢朱国祯(1557年-1632年),字文宁,号平极,斋号虬庵、涌幢亭。浙江乌程(今湖州)人。明朝内阁首辅。生于湖州乌程县南浔镇居马家港河东,万历十六年(1588年)举人,为万历十七年(1589年)己丑科进士
  • 酒井正亲酒井正亲(1521年(永正18年)-1576年8月15日(天正4年7月21日))是从室町时代后期到战国时代武将。松平氏(德川氏)的家臣,在松平清康・广忠・德川家康底下服侍了3世代。父亲是酒井清秀。儿
  • A Walk to Remember《A Walk to Remember》是韩国组合少女时代成员润娥的个人首张韩语特别专辑,由SM娱乐制作,Dreamus(朝鲜语:아이리버)发行,于2019年5月30日公开专辑主打歌〈Summer Night〉MV及专辑
  • 皮埃尔·J·梅杰拉克皮埃尔·J·梅杰拉克(马耳他语:Pierre J Mejlak,1982年-)马耳他作家。梅杰拉克的首部小说集《雨中等你》出版于2009年2月,受到好评。他的第二部短篇小说集《何夜令君言》出版于20
  • 七言绝句七言绝句,简称七绝,为绝句的一种,是出现于六朝成熟于唐代的一种近体诗。四句,每句七个字。七言绝句,仄起式,正格:.mw-parser-output .templatequote{margin-top:0;overflow:hidden}
  • 侧格侧格(缩写:.mw-parser-output .smallcaps-all{font-variant:small-caps;text-transform:lowercase}.mw-parser-output .smallcaps-all>span{font-variant:normal;text-transform:none}apud)用于标记空间上的并列关系,或在某物旁边(如“在房子旁边”)。这个格在采兹语、别日塔语和一些其他东北高加索语系语言中使用。
  • 藤根吉春藤根吉春(日语:藤根 吉春/ふじね よしはる  */?,1865年4月28日-1941年3月5日),日本岩手县人,农学家,曾任北海道厅农商课技手:48、台湾总督府台北农事试验场场长等公职,并将蜘蛛百合、白千层、洛神花、古柯等植物引进台湾。藤根吉春在庆应元年(1865年)和历四月四日出生于陆奥国盛冈藩大泽川原小路(今岩手县盛冈市大泽川原):34,为士族藤根吉受长男。盛冈中学毕业后前往东京,1885年7月4日自横滨赴札幌农学校(今北海道大学)就读,专攻畜牧学,1889年毕业:35。毕业后于真驹内种畜场工作,1