Presto (SQL查询引擎)

✍ dations ◷ 2025-12-02 22:58:17 #SQL,自由系统软件,Hadoop,云端平台

Presto是一种用于大数据的高性能分布式SQL查询引擎。其架构允许用户查询各种数据源,如Hadoop、AWS S3、Alluxio、MySQL、Cassandra、Kafka和MongoDB。甚至可以在单个查询中查询来自多个数据源的数据。Presto是Apache许可证下发布的社区驱动的开源软件。

Presto最初是Facebook为数据分析师设计和开发的,用于在Apache Hadoop中的大型数据仓库上运行交互式查询。在Presto诞生之前,Facebook的数据分析师依靠Apache Hive在他们PB级的数据仓库上运行SQL分析。Hive不适合Facebook的规模,而Presto是为了填补快速查询这块的差距而发明的。最初的开发始于2012年,并于当年晚些时候部署在Facebook上。2013年11月,Facebook宣布将其开源。 2014年,Netflix透露他们使用Presto存储在Amazon Simple Storage Service (S3)中的10 PB数据。 2019年1月,Presto软件基金会 页面存档备份,存于互联网档案馆宣布成立。该基金会是一个致力于推进Presto开源分布式SQL查询引擎的非营利组织。由Facebook主导的PrestoDB的开发与由Presto基金会主导的PrestoSQL的开发各自独立进行,有时会有一些代码交错。

Presto的架构非常类似于使用集群计算(MPP)的传统数据库管理系统。它可以视为一个协调器节点,与多个工作节点同步工作。客户端提交已解析和计划的SQL语句,然后将并行任务安排给工作机。工作机一同处理来自数据源的行并生成返回给客户端的结果。与在每个查询上使用Hadoop的MapReduce机制的原始Apache Hive执行模型相比,Presto不会将中间结果写入磁盘,从而显着提高速度。Presto是用Java语言编写的。单个Presto查询可以组合来自多个源的数据。Presto提供数据源的连接器,包括Alluxio、Hadoop分布式文件系统、Amazon S3中的文件、MySQL、PostgreSQL、Microsoft SQL Server、Amazon Redshift、Apache Kudu、Apache Phoenix、Apache Kafka、Apache Cassandra、Apache Accumulo、MongoDB和Redis。与其他只支持Hadoop特定发行版的工具(如Cloudera Impala)不同,Presto可以使用任何风格的Hadoop,也可以不用Hadoop。Presto支持计算和存储的分离,可以在本地和云中部署。

相关

  • 红粄红龟粿,又称红龟糕。客家语称之为红粄或红印粄。为闽南人、潮州人、客家人、广东人等节庆祭祀之糯米制食品,流行于福建、广东、台湾与南洋的印尼、马来西亚、新加坡等地区,状貌
  • 出草出草(布农语:kanasan,鲁凯语:waulri,太鲁阁语:mtkrang,赛夏语:malakem,阿美语:militafad,噶哈巫语:Atama Taukan,泰雅语:mgaya,赛德克语: lmaqi,噶玛兰语:sataban,邹语:ozomʉ,拉阿鲁哇语: maruv
  • 滕尼斯斐迪南·滕尼斯(德语:Ferdinand Tönnies,1855年7月26日-1936年4月9日),德国社会学家,著作有《共同体与社会》、《新时代精神》。
  • 广东第1位广东省各地级市地区生产总值列表收录各主要年份广东省地级行政区(仅有地级市)的地区生产总值(GDP)总量和人均GDP指标,当年数据参考次年下半年出版的《中国统计年鉴》和《广东统计
  • 臭獾属臭獾属(学名Mydaus),属于食肉目臭鼬科,包括臭獾(Mydaus marchei)和巽他臭獾(Mydaus javanensis)两种,生活在东南亚的菲律宾和爪哇岛。
  • 威廉·维克里威廉·斯宾塞·维克里(William Spencer Vickrey,1914年6月21日-1996年10月11日),加拿大经济学家、诺贝尔奖得主。维克里与詹姆斯·莫理斯一起,以他们对于不对称信息条件下的经济激
  • 一硫化铈一硫化铈是铈的硫化物之一,化学式为CeS。一硫化铈可以通过三硫化二铈和二氢化铈的还原反应制得:一硫化铈对金属有着浸润(wetting)作用,它对除了铂以外的金属都比较稳定。它可以和
  • 国民议会 (奥地利) 政治主题国民议会(德语:Nationalrat)是奥地利议会的下议院,根据宪法,国民议会和联邦议会(上议院)是平等的,但国民议会拥有更大权力,包括可以选举奥地利总理和组成联合政府,联合政府需
  • 水飞蓟素水飞蓟素(英语:Silibinin (INN))是种抗氧化剂和药物,从一种名为乳蓟(Milk Thistle)的植物提炼而成,是该植物的主要活性成分之一。本药获批准用于治疗肝中毒、慢性肝炎及肝硬化,但其
  • 乔·赫克乔·赫克(Joseph John “Joe” Heck;1961年10月30日-)是美国的一位政治人物。赫克曾经在美国军队服役。自2011年开始,赫克出任内华达州第三选举区选出的美国众议院议员。他的党籍