Presto (SQL查询引擎)

✍ dations ◷ 2025-02-24 01:40:58 #SQL,自由系统软件,Hadoop,云端平台

Presto是一种用于大数据的高性能分布式SQL查询引擎。其架构允许用户查询各种数据源,如Hadoop、AWS S3、Alluxio、MySQL、Cassandra、Kafka和MongoDB。甚至可以在单个查询中查询来自多个数据源的数据。Presto是Apache许可证下发布的社区驱动的开源软件。

Presto最初是Facebook为数据分析师设计和开发的,用于在Apache Hadoop中的大型数据仓库上运行交互式查询。在Presto诞生之前,Facebook的数据分析师依靠Apache Hive在他们PB级的数据仓库上运行SQL分析。Hive不适合Facebook的规模,而Presto是为了填补快速查询这块的差距而发明的。最初的开发始于2012年,并于当年晚些时候部署在Facebook上。2013年11月,Facebook宣布将其开源。 2014年,Netflix透露他们使用Presto存储在Amazon Simple Storage Service (S3)中的10 PB数据。 2019年1月,Presto软件基金会 页面存档备份,存于互联网档案馆宣布成立。该基金会是一个致力于推进Presto开源分布式SQL查询引擎的非营利组织。由Facebook主导的PrestoDB的开发与由Presto基金会主导的PrestoSQL的开发各自独立进行,有时会有一些代码交错。

Presto的架构非常类似于使用集群计算(MPP)的传统数据库管理系统。它可以视为一个协调器节点,与多个工作节点同步工作。客户端提交已解析和计划的SQL语句,然后将并行任务安排给工作机。工作机一同处理来自数据源的行并生成返回给客户端的结果。与在每个查询上使用Hadoop的MapReduce机制的原始Apache Hive执行模型相比,Presto不会将中间结果写入磁盘,从而显着提高速度。Presto是用Java语言编写的。单个Presto查询可以组合来自多个源的数据。Presto提供数据源的连接器,包括Alluxio、Hadoop分布式文件系统、Amazon S3中的文件、MySQL、PostgreSQL、Microsoft SQL Server、Amazon Redshift、Apache Kudu、Apache Phoenix、Apache Kafka、Apache Cassandra、Apache Accumulo、MongoDB和Redis。与其他只支持Hadoop特定发行版的工具(如Cloudera Impala)不同,Presto可以使用任何风格的Hadoop,也可以不用Hadoop。Presto支持计算和存储的分离,可以在本地和云中部署。

相关

  • 空军美国空军(英语:United States Air Force,缩写:USAF)是美国军队中的空军军种。其任务是“通过空中、外太空和网络空间中的武力保护美国及其利益”,它于1947年9月18日正式成立。美国
  • 加拿大原住民加拿大原住民,他们是在1982年宪政法案第25和35节中所认定的原住民族群,分别是第一民族、因纽特人以及梅蒂人。根据2006年的人口普查,加拿大总人口超过33,570,000人,其中包含3.8%
  • 吉姆·莫里森主要: 歌唱 偶尔:詹姆斯·道格拉斯·“吉姆”·莫里森(英语:James Douglas "Jim" Morrison,1943年12月8日-1971年7月3日),是一位美国创作歌手和诗人,其最出
  • 南开管理评论《南开管理评论》,前身是创刊于1992年的《国际经贸研究》,1998年更名为《南开管理评论》,是国家教育部主管、南开大学商学院主办的大型管理类学术理论刊物,现任主编为天津财经大
  • 楠塔基特楠塔基特(英语:Nantucket)是美国马萨诸塞州南部的一个岛屿,与塔克纳克岛(Tuckernuck Island)和木斯基格岛(Muskeget Island)组成楠塔基特镇(其范围与楠塔基特县同,且为县治所在)。面积2
  • 对流可用位能对流可用位能(英语:Convective available potential energy)是大气科学当中使用的名词,为评估垂直大气是否稳定、对流是否容易发展的指标之一。近地面的空气块受垂直风切扰动或
  • 骆耕漠骆耕漠(1908年10月18日-2008年9月12日),原名丁士通,曾用名李政、李百蒙,浙江临安(原于潜县)人,中国经济学家,中国科学院哲学社会科学学部委员、中国社会科学院荣誉学部委员。骆耕漠出
  • 欧仁·米歇尔·安东尼亚第欧仁·米歇尔·安东尼亚第(法语:Eugène Michel Antoniadi、希腊语:Ευγένιος Μιχαήλ Αντωνιάδης,1870年3月1日-1944年2月10日)是一位希腊天文学家,出生在
  • 康古鲁康古鲁(满语:ᡴᠠᠩᡤᡡᡵᡠ,穆麟德:;?-1588年),一作康古六,哈达那拉氏,哈达万汗王台私生子,先与其兄扈尔干争夺国主之位,后联合叶赫、幼弟孟格布禄与其侄岱善争斗,最终三分哈达而有其一
  • 吉布斯-亥姆霍兹方程吉布斯─亥姆霍兹方程,是对计算系统的吉布斯自由能变化的有用热力学公式。为一温度函数。此方程式以约西亚·吉布斯与赫尔曼·冯·亥姆霍兹来命名:其中: 在定压