Apache Hadoop

✍ dations ◷ 2025-09-11 06:57:54 #Apache Hadoop

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架,有助于使用许多计算机组成的网络来解决数据、计算密集型的问题。基于MapReduce计算模型,它为大数据的分布式存储与处理提供了一个软件框架。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该由框架自动处理。

Apache Hadoop的核心模块分为存储和计算模块,前者被称为Hadoop分布式文件系统(HDFS),后者即MapReduce计算模型。Hadoop框架先将文件分成数据块并分布式地存储在集群的计算节点中,接着将负责计算任务的代码传送给各节点,让其能够并行地处理数据。这种方法有效利用了数据局部性,令各节点分别处理其能够访问的数据。与传统的超级计算机架构相比,这使得数据集的处理速度更快、效率更高。

Apache Hadoop框架由以下基本模块构成:

一词通常代指其基本模块和子模块以及生态系统,或可以安装在 Hadoop 之上的软件包的集合,例如Apache Pig、Apache Hive、Apache HBase、Apache Phoenix、Apache Spark、Apache ZooKeeper、Cloudera Impala、Apache Flume、Apache Sqoop、Apache Oozie和Apache Storm。

Apache Hadoop的MapReduce和HDFS模块的灵感来源于Google的MapReduce和Google File System论文。

Hadoop 框架本身主要是用Java编程语言编写的,也包括了一些C语言编写的本机代码和Shell脚本编写的命令行实用程序。尽管MapReduce Java代码很常见,但任何编程语言都可以与Hadoop Streaming一起使用来实现用户程序的map和reduce部分。Hadoop 生态系统中的其他项目实现了更为丰富的用户界面。

2008年2月19日,雅虎使用10,000个微处理器核心的Linux计算机集群运行一个Hadoop应用程序。

其他知名用户包括:

昇阳电脑的Sun Grid Engine可以用来调度Hadoop Job。

威斯康辛大学麦迪逊分校的Condor计算机集群软件也可以用作Hadoop Job的调度。

相关

  • HPV人类乳头瘤病毒(Human Papillomavirus,HPV)是一种DNA病毒,属于乳头瘤病毒科乳头瘤病毒属。该类病毒感染人体的表皮与黏膜组织,目前约有170种类型的HPV被判别出来,有些时候HPV入侵
  • 恩克汗恩克汗(蒙古语:.mw-parser-output .font-mong{font-family:"Menk Hawang Tig","Menk Qagan Tig","Menk Garqag Tig","Menk Har_a Tig","Menk Scnin Tig","Oyun Gurban Ulus Ti
  • 三国遗事《三国遗事》是由高丽时代国师一然(1206年--1289年)所编撰,以新罗、高句丽、百济三国为记述对象的史书。该书由五卷、九篇、一百四十四个条目所构成,九篇的篇目分别为王历、纪异
  • 艾蜜莉·金尼艾蜜莉·金尼(英语:Emily Kinney, 1985年8月15日)是一位美国女演员、歌手、作曲家,她因在AMC的恐怖电视剧《行尸走肉》中饰演Beth Greene(英语:Beth Greene)而闻名。金妮出生在内布
  • 大明俊大明俊,一作大俊明,渤海国宗室大臣。大氏。第十一世渤海王大彝震之子。咸和二年(832年,唐文宗大和六年)正月,大明俊奉父大彝震之命到唐朝朝贡,在麟德殿被唐文宗接见。咸和七年(837年
  • 法布莱斯·姆安巴法布莱斯·姆安巴(英语:Fabrice Muamba,1988年4月6日-)是已退役英格兰足球运动员,司职中场,出身于阿森纳青训系统。姆安巴出生于扎伊尔(现刚果民主共和国)首府金沙萨。1994年,他的父亲
  • 卡尔·斯塔米茨卡尔·菲利普·斯塔米茨(德语:Karl Philipp Stamitz,1745年5月7日-1801年11月9日),捷克裔德国作曲家,小提琴家。约翰·斯塔米茨之子,安东·斯塔米茨之兄。早年从父学习,1762年入曼海
  • 走班制走班制是常见于世界各地学校,特别是大学的一种上课方式。走班制下,学生没有固定班级,或者班级只是一个行政上的划分,没有实质意义。学生上不同的课在不同教室。世界上大多数大学
  • 韩家沱长江大桥韩家沱长江大桥 是中国重庆市涪陵区一座跨越长江的铁路斜拉桥。在此桥建成通车时(2012年),以其432米的主跨位列世界斜拉桥长度前72名。
  • 佩德罗·罗德里格斯·雷德斯马佩德罗-埃利泽·罗德里格斯·雷德斯马(Pedro Eliezer Rodríguez Ledesma,1987年7月28日-),通常称为佩德罗,是一名西班牙足球运动员,司职边锋,亦可担任前锋、辅锋。佩德罗在2008-09赛季开始为一队效力,上场联赛14次,他更在2009年欧洲冠军联赛决赛上场,后备替补伊涅斯塔。在09/10赛季,主教练瓜迪奥拉证实,佩德罗正式成为一队球员。2009年8月16日,佩德罗于西班牙超级杯对阵毕尔巴鄂竞技的赛事中取得第一个一队的竞技进球,协助球队 2-1 获胜。佩德罗也在这个月获得