Presto (SQL查询引擎)

✍ dations ◷ 2025-08-03 00:16:12 #SQL,自由系统软件,Hadoop,云端平台

Presto是一种用于大数据的高性能分布式SQL查询引擎。其架构允许用户查询各种数据源,如Hadoop、AWS S3、Alluxio、MySQL、Cassandra、Kafka和MongoDB。甚至可以在单个查询中查询来自多个数据源的数据。Presto是Apache许可证下发布的社区驱动的开源软件。

Presto最初是Facebook为数据分析师设计和开发的,用于在Apache Hadoop中的大型数据仓库上运行交互式查询。在Presto诞生之前,Facebook的数据分析师依靠Apache Hive在他们PB级的数据仓库上运行SQL分析。Hive不适合Facebook的规模,而Presto是为了填补快速查询这块的差距而发明的。最初的开发始于2012年,并于当年晚些时候部署在Facebook上。2013年11月,Facebook宣布将其开源。 2014年,Netflix透露他们使用Presto存储在Amazon Simple Storage Service (S3)中的10 PB数据。 2019年1月,Presto软件基金会 页面存档备份,存于互联网档案馆宣布成立。该基金会是一个致力于推进Presto开源分布式SQL查询引擎的非营利组织。由Facebook主导的PrestoDB的开发与由Presto基金会主导的PrestoSQL的开发各自独立进行,有时会有一些代码交错。

Presto的架构非常类似于使用集群计算(MPP)的传统数据库管理系统。它可以视为一个协调器节点,与多个工作节点同步工作。客户端提交已解析和计划的SQL语句,然后将并行任务安排给工作机。工作机一同处理来自数据源的行并生成返回给客户端的结果。与在每个查询上使用Hadoop的MapReduce机制的原始Apache Hive执行模型相比,Presto不会将中间结果写入磁盘,从而显着提高速度。Presto是用Java语言编写的。单个Presto查询可以组合来自多个源的数据。Presto提供数据源的连接器,包括Alluxio、Hadoop分布式文件系统、Amazon S3中的文件、MySQL、PostgreSQL、Microsoft SQL Server、Amazon Redshift、Apache Kudu、Apache Phoenix、Apache Kafka、Apache Cassandra、Apache Accumulo、MongoDB和Redis。与其他只支持Hadoop特定发行版的工具(如Cloudera Impala)不同,Presto可以使用任何风格的Hadoop,也可以不用Hadoop。Presto支持计算和存储的分离,可以在本地和云中部署。

相关

  • 西罗马帝国西罗马帝国是罗马帝国于286年被戴克里先分为两部分后把政权一分为二建立四帝共治制从而开始有的东西两部的概念,位处西部的部分即是最后分裂的西罗马帝国;而东部最后则成为东
  • 百花文艺出版社百花文艺出版社,即百花文艺出版社(天津)有限公司,是一家位于中华人民共和国天津市的出版社,现为天津出版传媒集团有限公司的全资子公司。百花文艺出版社成立于1958年8月1日,社名由
  • 詹姆斯卡麦隆詹姆斯·弗朗西斯·卡梅隆(英语:James Francis Cameron, CC,1954年8月16日-)是一位加拿大电影导演,擅长以极高的预算拍摄动作片以及科幻电影,主题往往试图探讨人和科技之间的关系。
  • 南人南人,为元朝统治者在其辖境内划分的四等人制之一,泛指长江淮河以南的原南宋王朝统治之下的华南各地汉族和苗壮等西南方少数民族人民。又称南家歹、囊家歹等。传统说法认为,元朝
  • 5d1 6s2 2, 8, 18, 18, 9, 2蒸气压 第一:538.1 kJ·mol−1 第二:1067 kJ·mol−1 主条目:镧的同位素 镧,是一种化学元素,元素符号为La,原子序数为57。是一种柔软、具有韧性、
  • 理查德·赫克理查德·弗雷德·赫克(英语:Richard Fred Heck,1931年8月15日-2015年10月10日),美国化学家,因在“有机合成中的钯催化交叉偶联反应”方面做出贡献而与根岸英一、铃木章共同获2010年
  • 冈田启介冈田启介(1868年2月13日-1952年10月17日)是一名日本海军军人及政治家。冈田于1889年自日本海军兵校毕业,是第15届毕业生。曾参与中日甲午战争(丰岛海战、黄海海战)、日俄战争(日本
  • 拗九粥拗九粥(闽东语:.mw-parser-output .sans-serif{font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Lato,"Helvetica Neue",Helvetica,Arial,sans-serif}Â-gā
  • 王元春王元春(?-?),字孟和,号图南,浙江绍兴府山阴县人,明朝政治人物。浙江乡试第四十九名举人。嘉靖二十九年(1550年)中式庚戌科三甲第一百六十一名进士,授南昌府推官,擢户科给事中,历江西参政,官
  • 鹿港粉碎洗涤盐工厂鹿港粉碎洗涤盐工厂是台湾日治时期由总督府专卖局在昭和十一年(1936年)5月兴建的精盐厂,位在今彰化县鹿港镇一带,预定年产量是5000公吨(1940年与1941年的实际产量是4250公吨与750