数据湖

✍ dations ◷ 2025-06-11 10:30:30 #数据管理

数据湖(英语:data Lake),是指使用大型二进制对象或文件这样的自然格式储存数据的系统 。它通常把所有的企业数据统一存储,既包括源系统中的原始副本,也包括转换后的数据,比如那些用于报表, 可视化, 数据分析和机器学习的数据。数据湖可以包括关系数据库的结构化数据(行与列)、半结构化的数据(CSV,日志,XML, JSON),非结构化数据 (电子邮件、文件、PDF)和 二进制数据(图像、音频、视频)。

储存数据湖的方式包括 Apache Hadoop 分布式文件系统, Azure 数据湖 或 亚马逊云 Lake Formation's云存储服务,以及诸如 Alluxio 虚拟数据湖之类的解决方案。

一个 数据沼泽 是一个劣化的数据湖,用户无法访问,或是没什么价值。

据称此术语由James Dixon为了与数据集市对比而提出,当时他是Pentaho的首席技术官。 数据集市相对较小,包含从原始数据提取出来的有价值的属性。 在推广数据湖的时候,他认为,数据集市有几个固有的问题,例如 信息孤岛. 普华永道称,数据湖可以"解决数据孤岛。" 在其数据湖研究中,他们指出,企业"开始使用一个单一的、基于Hadoop的存储库来存放和提取数据。"Hortonworks, 谷歌, Oracle, Microsoft, Zaloni, 天睿动力的技术, Cloudera和 亚马逊 都有数据湖的产品。

许多公司使用 Azure Data Lake 和 亚马逊云服务 Lake Formation 之类的云存储服务,或者 Apache Hadoop 之类的分布式文件系统 学术界对于数据湖的兴趣也正在兴起。比如,Cardiff 大学 的个人数据湖,它定位于管理个人大数据,提供收集,管理和分享个人数据的单一入口. 早期的数据湖(Hadoop 1.0)在批量数据处理方面能力有限,仅有(MapReduce) 这一个数据处理范式。 数据湖的访问者必须具备用Java实现MapReduce的能力,以及掌握一些高层工具,比如 Apache Pig and Apache Hive (他们本身是面向批处理的).

在2015年六月,David Needle 表示"所谓的数据湖"是"一个(相比之下)更具争议性的方法来管理大数据". 普华永道 也在它们的研究中谨慎地指出,并不是所有的数据湖行动都是成功的。 他们引用Sean Martin,剑桥语义的首席技术官的话:

普华永道描述那些在创建数据湖方面获取成功的公司能找出对组织重要的那些数据和元数据,逐步让他们的数据湖趋向成熟。对于数据湖的另一项批评是,这一概念模糊和任意。 它指的是不适合进入传统的 数据仓储 架构的任何工具或数据管理实践。 数据湖已被称为一种特定的技术。 数据湖已被标记为一个原始数据保存库或 ETL 卸载枢纽。 数据湖已被定义为一个自助分析服务的中央枢纽。 数据湖这一概念涵盖了太多意义,因此这个术语的价值存疑。

相关

  • 大碰撞说大碰撞说(英语:Giant impact hypothesis),是一种解释月球形成原因及过程的假说,也可用于探讨金星及火星等类地行星的卫星生成。该假说认为在大约45亿年前(或太阳系形成后约2,000万
  • 意大利国家电力意大利国家电力公司(意大利语:Enel S.p.A.,原称Ente nazionale per l'energia elettrica)是总部位于意大利罗马的一家能源公司,主营发电、送电及天然气配送,于财富世界500强排名第
  • 异硫氰酸酯异硫氰酸酯(Isothiocyanate)是一类通式为R-N=C=S的有机化合物,可看作是由异氰酸酯中的氧原子被硫替换后形成。异硫氰酸盐是硫氰酸根(SCN−)用氮原子配位时生成的化合物(M-N=C=S)。
  • 麦克斯韦-玻尔兹曼统计麦克斯韦—玻尔兹曼统计是描述独立定域粒子体系分布状况的统计规律。所谓独立定域粒子体系指的是这样一个体系:粒子间相互没有任何作用,互不影响,并且各个不同的粒子之间都是可
  • 何育杰何育杰(1882年-1939年1月19日),中国最早期的物理学家,也是教育家。字吟苜,浙江宁波人。1882年,生于慈溪(今宁波市慈城镇)。其父何麟祥,光绪二年(1876年)中举人,先后任江西省新喻知县,贵溪
  • 江界江界市(朝鲜语:강계시/江界市 Kanggye si */?)是朝鲜慈江道的道政府所在地。 近年到处兴建大大小小的水电站,盖起了新式住房。生产砖瓦、涂料、高丽药、葡萄酒、纺织等数百种慈
  • 绿岛乡坐标:22°39′36.99″N 121°29′22.43″E / 22.6602750°N 121.4895639°E / 22.6602750; 121.4895639绿岛(阿美语:Sanasay、卑南语:Sanasan、达悟语:Jitanasey、巴赛语:Sanasai)
  • 苍坪站苍坪站(韩语:창평역)是朝鲜民主主义人民共和国咸镜北道富宁郡苍坪里的一个铁路车站,属于咸北线。咸北线
  • 亨利·尼古拉斯·里德利亨利·尼古拉斯·里德利(Henry Nicholas Ridley,1855年12月10日-1956年10月24日)为英国植物学家和地质学家。亨利·尼古拉斯·里德利出生于英国诺福克。1888年至1911年,他为新加
  • 黄统黄统(1888年-1952年10月7日),字天行,号少亮,谱名显世。陕西省白河县东坝老爷湾人。民国37年(1948年)在陕西省第二选区当选第一届立法委员。