Apache Hadoop

✍ dations ◷ 2025-04-28 20:50:18 #Apache Hadoop

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架,有助于使用许多计算机组成的网络来解决数据、计算密集型的问题。基于MapReduce计算模型,它为大数据的分布式存储与处理提供了一个软件框架。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该由框架自动处理。

Apache Hadoop的核心模块分为存储和计算模块,前者被称为Hadoop分布式文件系统(HDFS),后者即MapReduce计算模型。Hadoop框架先将文件分成数据块并分布式地存储在集群的计算节点中,接着将负责计算任务的代码传送给各节点,让其能够并行地处理数据。这种方法有效利用了数据局部性,令各节点分别处理其能够访问的数据。与传统的超级计算机架构相比,这使得数据集的处理速度更快、效率更高。

Apache Hadoop框架由以下基本模块构成:

一词通常代指其基本模块和子模块以及生态系统,或可以安装在 Hadoop 之上的软件包的集合,例如Apache Pig、Apache Hive、Apache HBase、Apache Phoenix、Apache Spark、Apache ZooKeeper、Cloudera Impala、Apache Flume、Apache Sqoop、Apache Oozie和Apache Storm。

Apache Hadoop的MapReduce和HDFS模块的灵感来源于Google的MapReduce和Google File System论文。

Hadoop 框架本身主要是用Java编程语言编写的,也包括了一些C语言编写的本机代码和Shell脚本编写的命令行实用程序。尽管MapReduce Java代码很常见,但任何编程语言都可以与Hadoop Streaming一起使用来实现用户程序的map和reduce部分。Hadoop 生态系统中的其他项目实现了更为丰富的用户界面。

2008年2月19日,雅虎使用10,000个微处理器核心的Linux计算机集群运行一个Hadoop应用程序。

其他知名用户包括:

昇阳电脑的Sun Grid Engine可以用来调度Hadoop Job。

威斯康辛大学麦迪逊分校的Condor计算机集群软件也可以用作Hadoop Job的调度。

相关

  • 无腔动物门无腔动物亚门(学名:Acoelomorpha)是异无腔动物门下的一个亚门。它们拥有浮浪幼虫样动物的特征,以往被认为是属于后口动物,但有学者将它们成立为一个独立于后口动物的门。经过miRN
  • Moclobemide吗氯贝胺(商品名也作Amira、Aurorix、Clobemix、Depnil或Manerix)是主要用于治疗抑郁症和社交焦虑的单胺氧化酶A(RIMA)药物的可逆抑制剂。它在美国不被允许使用,但在其它西方国家
  • 皂素皂苷(saponin),皂苷是一类化合物尤其是发现于各不同植物品种中。更具体地现象学中它们具有两亲性甙组合(亲水与亲脂),在水溶液中摇动的时候,它们产生肥皂般的泡沫,在结构上通过具
  • 金凤鸟金凤鸟属(学名:Jinfengopteryx)是手盗龙类恐龙的一属,身长约55厘米。属名是以中国神话中的金凤凰来命名。化石是发现于中国河北省的花吉营组(Huajiying Formation)的桥头段,地层年
  • 陈芴陈芴(Chen An-Hu,1924年12月31日-)是一名射击运动员,曾参加1960年夏季奥林匹克运动会射击比赛男子快射手枪项目,以546分的成绩获得第47名。后曾担任联勤二○二兵工厂规划中心总工
  • 山谷 (作家)山谷(1943年-),原名谷传发,出生于江苏南京,中国当代作家,中国作家协会会员,著名小说家、报告文学家、散文家。毕业于南京大学中文系。1943年,山谷出生于江苏南京。1978年,高考恢复以后
  • 禅与摩托车维修艺术《禅与摩托车维修艺术》(英语:,又称父子的世界,万里任禅游),是由罗伯特·梅纳德·波西格(Robert Maynard Pirsig)创作,首次出版于1974年,最初被121家出版商拒绝,吉尼斯世界纪录称其为“
  • 德国驻阿尔巴尼亚大使馆德国驻阿尔巴尼亚大使馆(德语:Deutsche Botschaft Tirana)是德意志联邦共和国设于阿尔巴尼亚共和国的最高级别外交代表机构。现任德国大使为自2013年8月起就职的赫尔穆特·霍夫
  • 华士嶟华士嶟(?-?),字孺抑,一字儆新,浙江湖州府乌程县人,明朝政治人物。万历二十二年(1594年)甲午科浙江乡试举人,二十九年(1601年)辛丑科进士,授福建松溪县知县,县飘绕崇山,盗立堡屯,储如敌国,为仿置鼓团营法,一方有警,则声闻百里,俄顷就擒。又视其出入转运之途,令兵民合一,置寨设堠,纵火焚山,逸出者即擒以闻,屯守甫匝月,盗果穷饿来款,枭渠魁数人,四境帖然。调建宁县,英断严明,锄暴恶,禁赌博,征收有法,一时豪犷垂首。历工部都水司郎中,陈船政十弊,铸钱五利,皆中窾要。及管节慎库,则惩奸吏,严出纳,夙弊一
  • 杭州 (古代)杭州,隋朝时设置的州。隋灭南陈后,始置杭州。治所在钱唐县(唐朝之后改为钱塘县,今浙江省杭州市),今浙江省杭州市由此得名。辖区在今浙江省桐溪、富春江以北和天目山东南,还有杭州湾北岸的海宁市。唐朝开始为大州,丝织业发达。唐朝末年,藩镇割据,最终为钱镠所占。五代十国时,为吴越国辖州,同时吴越国建都杭州,称西府,根据出土墓志吴越后期称杭州为钱唐府。北宋统一吴越后,仍称杭州。宋朝在杭州设市舶司。宋高宗建炎三年(1129年),杭州为行在,改为临安府。元朝改为杭州路。明朝为杭州府。1912年废府为杭县,1927年为杭州