数据湖

✍ dations ◷ 2025-11-15 08:07:39 #数据管理

数据湖(英语:data Lake),是指使用大型二进制对象或文件这样的自然格式储存数据的系统 。它通常把所有的企业数据统一存储,既包括源系统中的原始副本,也包括转换后的数据,比如那些用于报表, 可视化, 数据分析和机器学习的数据。数据湖可以包括关系数据库的结构化数据(行与列)、半结构化的数据(CSV,日志,XML, JSON),非结构化数据 (电子邮件、文件、PDF)和 二进制数据(图像、音频、视频)。

储存数据湖的方式包括 Apache Hadoop 分布式文件系统, Azure 数据湖 或 亚马逊云 Lake Formation's云存储服务,以及诸如 Alluxio 虚拟数据湖之类的解决方案。

一个 数据沼泽 是一个劣化的数据湖,用户无法访问,或是没什么价值。

据称此术语由James Dixon为了与数据集市对比而提出,当时他是Pentaho的首席技术官。 数据集市相对较小,包含从原始数据提取出来的有价值的属性。 在推广数据湖的时候,他认为,数据集市有几个固有的问题,例如 信息孤岛. 普华永道称,数据湖可以"解决数据孤岛。" 在其数据湖研究中,他们指出,企业"开始使用一个单一的、基于Hadoop的存储库来存放和提取数据。"Hortonworks, 谷歌, Oracle, Microsoft, Zaloni, 天睿动力的技术, Cloudera和 亚马逊 都有数据湖的产品。

许多公司使用 Azure Data Lake 和 亚马逊云服务 Lake Formation 之类的云存储服务,或者 Apache Hadoop 之类的分布式文件系统 学术界对于数据湖的兴趣也正在兴起。比如,Cardiff 大学 的个人数据湖,它定位于管理个人大数据,提供收集,管理和分享个人数据的单一入口. 早期的数据湖(Hadoop 1.0)在批量数据处理方面能力有限,仅有(MapReduce) 这一个数据处理范式。 数据湖的访问者必须具备用Java实现MapReduce的能力,以及掌握一些高层工具,比如 Apache Pig and Apache Hive (他们本身是面向批处理的).

在2015年六月,David Needle 表示"所谓的数据湖"是"一个(相比之下)更具争议性的方法来管理大数据". 普华永道 也在它们的研究中谨慎地指出,并不是所有的数据湖行动都是成功的。 他们引用Sean Martin,剑桥语义的首席技术官的话:

普华永道描述那些在创建数据湖方面获取成功的公司能找出对组织重要的那些数据和元数据,逐步让他们的数据湖趋向成熟。对于数据湖的另一项批评是,这一概念模糊和任意。 它指的是不适合进入传统的 数据仓储 架构的任何工具或数据管理实践。 数据湖已被称为一种特定的技术。 数据湖已被标记为一个原始数据保存库或 ETL 卸载枢纽。 数据湖已被定义为一个自助分析服务的中央枢纽。 数据湖这一概念涵盖了太多意义,因此这个术语的价值存疑。

相关

  • 解偶联蛋白解偶联蛋白(英语:uncoupling protein,缩写为UCP)是一种线粒体内膜蛋白。这种蛋白质能消除线粒体内膜两侧的跨膜质子浓度差,令利用质子浓度差驱动的氧化磷酸化过程减慢,阻碍了三磷
  • 跳鼠跳鼠科(学名:Dipodidae),哺乳纲啮齿目的一科,包括以下各属:沙漠生态系—跳鼠沙漠中雨量非常的稀少,动物为了因应这种特殊的环境而有一些特殊的适应。 典型的沙漠哺乳类在体型上、构
  • irritable bowel syndrome大肠激躁症(英语:Irritable bowel syndrome),又称为大肠躁郁症、肠躁症、躁性大肠征候群、肠易激综合征,主要为没有任何肠胃道疾病损伤下出现腹痛及排便型态改变的症状。这些症状
  • 平顶山学院平顶山学院坐落在中国河南省平顶山市新城区白龟湖畔,前身是1959年10月经河南省教育厅批准成立的平顶山师范学校。1961年9月平顶山师范学校停办,1973年7月恢复办学,定名为平顶山
  • 硫酸镉硫酸镉,化学式CdSO4,常为水合物 3CdSO4·8H2O 的形式。无色无气味单斜结晶,溶于水,不溶于乙醇、乙醚和乙酸。易风化。剧毒!1、金属镉、蒸馏水和硫酸在反应器中,30%过氧化氢存在下进
  • 最后的武士《最后的武士》(英语:The Last Samurai)是一部于2003年上映的电影,主要描述日本传统的武士道精神,以1876年-1877年中的西南战争和明治维新作为背景。故事描述一个前美国军人,到日本
  • 珀耳塞福涅珀耳塞福涅(希腊语:Περσεφόνη、拉丁语:Persephone),又译为普西芬妮、泊瑟芬。她是希腊神话中冥界的王后,主神宙斯和农业之神得墨忒耳的女儿,冥界之神黑帝斯的妻子。珀耳塞
  • 葛木葛木(?-?),字仁甫,浙江绍兴府上虞县人,民籍,明朝政治人物、进士出身。正德十二年,登进士第二甲第七十九名。嘉靖八年(1529年)任淮安府知府。曾祖父葛文玉;祖父葛用声,曾任封知府;父亲葛浩,曾
  • 葛征奇葛征奇(?-1645年),字无奇,号介龛,浙江杭州海宁县(今浙江海宁市)人。明朝政治人物、画家。崇祯元年(1628年)考取进士。授中书舍人。选监察御史。历官光禄寺少卿。清军破南京,葛征奇自尽殉
  • 文华图书馆学专科学校文华图书馆学专科学校,是由中国图书馆学家、“中国图书馆学教育之父”沈祖荣创办的中国第一所独立的图书馆学高等学府。现代图书馆教育由此而引入中国。并开创了中国近现代档