数据湖

✍ dations ◷ 2025-09-11 15:48:44 #数据管理

数据湖(英语:data Lake),是指使用大型二进制对象或文件这样的自然格式储存数据的系统 。它通常把所有的企业数据统一存储,既包括源系统中的原始副本,也包括转换后的数据,比如那些用于报表, 可视化, 数据分析和机器学习的数据。数据湖可以包括关系数据库的结构化数据(行与列)、半结构化的数据(CSV,日志,XML, JSON),非结构化数据 (电子邮件、文件、PDF)和 二进制数据(图像、音频、视频)。

储存数据湖的方式包括 Apache Hadoop 分布式文件系统, Azure 数据湖 或 亚马逊云 Lake Formation's云存储服务,以及诸如 Alluxio 虚拟数据湖之类的解决方案。

一个 数据沼泽 是一个劣化的数据湖,用户无法访问,或是没什么价值。

据称此术语由James Dixon为了与数据集市对比而提出,当时他是Pentaho的首席技术官。 数据集市相对较小,包含从原始数据提取出来的有价值的属性。 在推广数据湖的时候,他认为,数据集市有几个固有的问题,例如 信息孤岛. 普华永道称,数据湖可以"解决数据孤岛。" 在其数据湖研究中,他们指出,企业"开始使用一个单一的、基于Hadoop的存储库来存放和提取数据。"Hortonworks, 谷歌, Oracle, Microsoft, Zaloni, 天睿动力的技术, Cloudera和 亚马逊 都有数据湖的产品。

许多公司使用 Azure Data Lake 和 亚马逊云服务 Lake Formation 之类的云存储服务,或者 Apache Hadoop 之类的分布式文件系统 学术界对于数据湖的兴趣也正在兴起。比如,Cardiff 大学 的个人数据湖,它定位于管理个人大数据,提供收集,管理和分享个人数据的单一入口. 早期的数据湖(Hadoop 1.0)在批量数据处理方面能力有限,仅有(MapReduce) 这一个数据处理范式。 数据湖的访问者必须具备用Java实现MapReduce的能力,以及掌握一些高层工具,比如 Apache Pig and Apache Hive (他们本身是面向批处理的).

在2015年六月,David Needle 表示"所谓的数据湖"是"一个(相比之下)更具争议性的方法来管理大数据". 普华永道 也在它们的研究中谨慎地指出,并不是所有的数据湖行动都是成功的。 他们引用Sean Martin,剑桥语义的首席技术官的话:

普华永道描述那些在创建数据湖方面获取成功的公司能找出对组织重要的那些数据和元数据,逐步让他们的数据湖趋向成熟。对于数据湖的另一项批评是,这一概念模糊和任意。 它指的是不适合进入传统的 数据仓储 架构的任何工具或数据管理实践。 数据湖已被称为一种特定的技术。 数据湖已被标记为一个原始数据保存库或 ETL 卸载枢纽。 数据湖已被定义为一个自助分析服务的中央枢纽。 数据湖这一概念涵盖了太多意义,因此这个术语的价值存疑。

相关

  • 避孕药避孕药,全称口服避孕药,通常是指一类给女性服用用于生育控制的药物。男用口服避孕药正在研究中,尚未商品化。有两种广泛使用的女用口服避孕药:另外还有事后使用的紧急避孕药:其
  • 交通安全交通安全、运输安全或道路安全,是所有提高道路运输的安全性(包括参加交通的人以及交通工具)的措施的总称。道路安全措施可以大略地分为主动安全措施(防止交通事故发生)和被动措施
  • 普里什蒂纳普里什蒂纳(阿尔巴尼亚语:Prishtina/Prishtinë,塞尔维亚语:Приштина/Priština)是科索沃共和国的首都,位于该国东北部。科索沃独立前属于塞尔维亚共和国,为科索沃自治省的
  • 电讯媒体集团电讯媒体集团(英语:Telegraph Media Group),前称电讯集团(Telegraph Group),是每日电讯报和星期日电讯报的经营者以及报业控股(Press Holdings)的附属公司。2004年,大卫和弗雷德里克·
  • 汤姆·赫兰德托马斯·斯坦利·“汤姆”·赫兰德(英语:Thomas Stanley "Tom" Holland,1996年6月1日- )是一位英国男演员,因于伦敦维多利亚皇宫剧院的著名音乐剧《跳出我天地》中扮演主角比利·
  • 盘点 (资料)盘点区或接地区, 是资料处理过程在萃取/转置/加载(ETL)的中介存储区。此一资料盘点区是位于资料(多个)来源和(多个)目标之间, 通常会是数据仓库, 资料超市, 或其他的资料存
  • 学校运动会学校运动会,是学校教育生活的一部分,是体育教育活动的一种,可分为陆运会和水运会。常每年举行一次,校内运动通常记载时间表之内,获奖成绩印刷于每年校刊之内。在日本,学校运动会(体
  • 1930-31球季英格兰足总杯1930/31球季英格兰足总杯(英语:FA Cup),是第56届英格兰足总杯,今届赛事的冠军是西布朗,他们在决赛以2:1击败伯明翰,夺得冠军。本届赛事继续在旧温布莱球场举行。作为次级联赛球队的
  • 艾曼纽尔·柏普尔艾曼纽尔·艾度基亚耶·柏普尔(Emmanuel Addoquaye Pappoe,1981年3月3日-),加纳足球运动员,司职后卫。2007年夏天,在加盟拉亚拿卡前,他曾在以色列踢了四个球季,包括亚实突(2003-05)和法
  • 约瑟芬·肖·洛厄尔约瑟芬·肖·洛厄尔(Josephine Shaw Lowell)是十九世纪美国进步主义改革领军人物。她于1890年创建美国消费者联盟(英语:New York Consumers League)而闻名。她的传记作者将她描述