Apache Hadoop

✍ dations ◷ 2025-11-23 09:28:49 #Apache Hadoop

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架,有助于使用许多计算机组成的网络来解决数据、计算密集型的问题。基于MapReduce计算模型,它为大数据的分布式存储与处理提供了一个软件框架。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该由框架自动处理。

Apache Hadoop的核心模块分为存储和计算模块,前者被称为Hadoop分布式文件系统(HDFS),后者即MapReduce计算模型。Hadoop框架先将文件分成数据块并分布式地存储在集群的计算节点中,接着将负责计算任务的代码传送给各节点,让其能够并行地处理数据。这种方法有效利用了数据局部性,令各节点分别处理其能够访问的数据。与传统的超级计算机架构相比,这使得数据集的处理速度更快、效率更高。

Apache Hadoop框架由以下基本模块构成:

一词通常代指其基本模块和子模块以及生态系统,或可以安装在 Hadoop 之上的软件包的集合,例如Apache Pig、Apache Hive、Apache HBase、Apache Phoenix、Apache Spark、Apache ZooKeeper、Cloudera Impala、Apache Flume、Apache Sqoop、Apache Oozie和Apache Storm。

Apache Hadoop的MapReduce和HDFS模块的灵感来源于Google的MapReduce和Google File System论文。

Hadoop 框架本身主要是用Java编程语言编写的,也包括了一些C语言编写的本机代码和Shell脚本编写的命令行实用程序。尽管MapReduce Java代码很常见,但任何编程语言都可以与Hadoop Streaming一起使用来实现用户程序的map和reduce部分。Hadoop 生态系统中的其他项目实现了更为丰富的用户界面。

2008年2月19日,雅虎使用10,000个微处理器核心的Linux计算机集群运行一个Hadoop应用程序。

其他知名用户包括:

昇阳电脑的Sun Grid Engine可以用来调度Hadoop Job。

威斯康辛大学麦迪逊分校的Condor计算机集群软件也可以用作Hadoop Job的调度。

相关

  • 西门子事件西门子事件(英语:The Siemens Scandal,日语:シーメンス事件)是大正时代初期发生的一宗涉及日本政商界的贿赂丑闻。当时日本海军向英国维克斯船厂(英语:Vickers Limited)(Vickers Limi
  • 陈瑞龙陈瑞龙(1516年-1562年),字体乾,广东潮州府潮阳县县廓都(今棉城)人,明朝政治人物。嘉靖十六年(1537)中举人,嘉靖二十九年(1550年)登进士,授南京户部主事。升工部营缮郎中。嘉靖三十九年(1560
  • 王松 (诗人)王松(1866年12月22日-1930年1月6日),又名王国载,字友竹、寄生,自号沧海遗民。出生于台湾新竹,先祖来自福建晋江。台湾清治时期末期、日治时期诗人。王松清同治期间出生于竹堑(今新竹
  • 黄鸿图黄鸿图(1880年-1940年),谱名至明,字咸和,又字道尔,号樨堂,亦号乃三,又号菜根居士。江西临川人。光绪已科拔员,为李瑞清弟子,与李瑞清、李健为“江西三大书法家”。著有《稚棠论书杂著》
  • 新加坡红十字会新加坡红十字会(英语:The Red Cross Society of the Republic of Singapore,缩写:SRC)起始于1949年9月30日,当时隶属于英国红十字会。1973年4月,新加坡红十字会(SRC)于新加坡国会正式
  • 赌神系列电影角色列表此列表所载的为赌神系列中的角色及其简介,以下所列项目,志在以人物的重要性和出场多少为先。
  • 狸 (消歧义)狸,一般指貉或豹猫。另外,也有一些生物名称中有“狸”,表列如下:
  • 雅库布斯·普林斯雅库布斯·特奥多鲁斯·威廉默斯·“科”·普林斯(荷兰语:Jacobus Theodorus Wilhelmus "Co" Prins,1938年6月5日-1987年9月26日)是一名已故荷兰足球员,他曾在1959年至1966年期间
  • 莲花寺 (德里)印度新德里的灵曦堂,俗称莲花寺(英语:),是一座巴哈伊信仰的灵曦堂,也是该市主要名胜之一。它完成于1986年,作为印度次大陆的总堂。自1986年12月开放到2002年,德里灵曦庙已经吸引了超
  • 陈金揆陈金揆(1864年-1894年),清朝末年江苏宝山县(今上海市宝山区)人,北洋海军都司。光绪元年(1875年),陈金揆考取官费留学美国。光绪七年(1881年),奉召回国,入天津水师学校学习。官至北洋海军都