Apache Hadoop

✍ dations ◷ 2025-11-01 20:15:41 #Apache Hadoop

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架,有助于使用许多计算机组成的网络来解决数据、计算密集型的问题。基于MapReduce计算模型,它为大数据的分布式存储与处理提供了一个软件框架。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该由框架自动处理。

Apache Hadoop的核心模块分为存储和计算模块,前者被称为Hadoop分布式文件系统(HDFS),后者即MapReduce计算模型。Hadoop框架先将文件分成数据块并分布式地存储在集群的计算节点中,接着将负责计算任务的代码传送给各节点,让其能够并行地处理数据。这种方法有效利用了数据局部性,令各节点分别处理其能够访问的数据。与传统的超级计算机架构相比,这使得数据集的处理速度更快、效率更高。

Apache Hadoop框架由以下基本模块构成:

一词通常代指其基本模块和子模块以及生态系统,或可以安装在 Hadoop 之上的软件包的集合,例如Apache Pig、Apache Hive、Apache HBase、Apache Phoenix、Apache Spark、Apache ZooKeeper、Cloudera Impala、Apache Flume、Apache Sqoop、Apache Oozie和Apache Storm。

Apache Hadoop的MapReduce和HDFS模块的灵感来源于Google的MapReduce和Google File System论文。

Hadoop 框架本身主要是用Java编程语言编写的,也包括了一些C语言编写的本机代码和Shell脚本编写的命令行实用程序。尽管MapReduce Java代码很常见,但任何编程语言都可以与Hadoop Streaming一起使用来实现用户程序的map和reduce部分。Hadoop 生态系统中的其他项目实现了更为丰富的用户界面。

2008年2月19日,雅虎使用10,000个微处理器核心的Linux计算机集群运行一个Hadoop应用程序。

其他知名用户包括:

昇阳电脑的Sun Grid Engine可以用来调度Hadoop Job。

威斯康辛大学麦迪逊分校的Condor计算机集群软件也可以用作Hadoop Job的调度。

相关

  • 森林翼龙森林翼龙属(学名:Nemicolopterus)是翼龙目翼手龙亚目的一属,化石发现于中国辽宁省的热河群九佛堂组,生存年代为1亿2000万年前。森林翼龙的翼展为25公分,是最小型的翼龙之一。森林
  • 东南亚运动会东南亚运动会(简称东运会,英语:Southeast Asian Games,缩写:SEA Games)是一项两年举办一次的大型综合性地区体育赛事,参赛的国家包括了东南亚地区的11个国家,赛事由国际奥委会和亚洲
  • 外贸协会坐标:25°2′3.23″N 121°33′31.75″E / 25.0342306°N 121.5588194°E / 25.0342306; 121.5588194中华民国对外贸易发展协会(Taiwan External Trade Development Council,简
  • 鹿港民俗文物馆鹿港民俗文物馆位于鹿港大街的后巷(彰化县鹿港镇中山路152号),前身为近代显赫一时的台湾五大家族之鹿港辜家辜显荣宅邸。鹿港地政档案显示,兴建于日本大正三年(1914年),历时五年于
  • 金汉珍金汉珍(1920年8月-2020年2月7日),女,浙江绍兴人,中国儿科学专家。复旦大学附属儿科医院终身教授。1920年8月生于湖北汉口。祖籍浙江绍兴。1945年,毕业于国立上海医学院医学系。1945
  • VOEZ《VOEZ》是由台湾雷亚游戏(Rayark)开发的一款音乐游戏。为一款落下式音乐游戏,游玩过程中须全程连网(除了Switch版)。以炫丽的轨道变换为主打,相较于Deemo中无轨道的表现形式,《VOE
  • 魏特湖坐标:47°40′57.6″N 12°33′40.14″E / 47.682667°N 12.5611500°E / 47.682667; 12.5611500魏特湖(德语:Weitsee),是德国的湖泊,位于该国东南部,由巴伐利亚负责管辖,处于基姆高
  • 理查德·布尔理查德·布尔(英语:Richard Bull,1924年6月26日-2014年2月3日),是一名美国电影、戏剧和电视剧演员。他最著名的表演是《草原小屋》和《海底游记(英语:Voyage to the Bottom of the Sea)》。2014年2月3日,他死于加州卡拉巴萨斯,享年89岁。
  • 玛丽·玛特琳玛丽·贝丝·玛特琳(英语:Marlee Beth Matlin,1965年8月24日-)是一位美国女演员,1987年以电影《失宠于上帝的孩子》拿下第59届奥斯卡金像奖“最佳女角奖”,她不但是奥斯卡史上首位失聪的影后,同时也缔造了最年轻的影后新纪录(21岁7个月6天),33年来这纪录仍尚未被打破。她在电影和电视剧作品中的精湛演技亦为她赢得一座金球奖,另有二次提名,以及四度艾美奖提名。玛特琳也是美国聋人协会的著名成员2016年受邀职业美式足球联盟NFL年度冠军赛,第五十届超级杯开赛仪式中,玛特琳帮演唱美国国歌
  • 舒瓦塞勒舒瓦塞勒(法语:Choisel,法语:.mw-parser-output .IPA{font-family:"Charis SIL","Doulos SIL","Linux Libertine","Segoe UI","Lucida Sans Unicode","Code2000","Gentium","Gentium Alternative","TITUS Cyberbit Basic","Arial Unicode MS","IPAPANNEW","Chrysanthi Unicode","Genti