Presto (SQL查询引擎)

✍ dations ◷ 2025-06-07 21:50:06 #SQL,自由系统软件,Hadoop,云端平台

Presto是一种用于大数据的高性能分布式SQL查询引擎。其架构允许用户查询各种数据源,如Hadoop、AWS S3、Alluxio、MySQL、Cassandra、Kafka和MongoDB。甚至可以在单个查询中查询来自多个数据源的数据。Presto是Apache许可证下发布的社区驱动的开源软件。

Presto最初是Facebook为数据分析师设计和开发的,用于在Apache Hadoop中的大型数据仓库上运行交互式查询。在Presto诞生之前,Facebook的数据分析师依靠Apache Hive在他们PB级的数据仓库上运行SQL分析。Hive不适合Facebook的规模,而Presto是为了填补快速查询这块的差距而发明的。最初的开发始于2012年,并于当年晚些时候部署在Facebook上。2013年11月,Facebook宣布将其开源。 2014年,Netflix透露他们使用Presto存储在Amazon Simple Storage Service (S3)中的10 PB数据。 2019年1月,Presto软件基金会 页面存档备份,存于互联网档案馆宣布成立。该基金会是一个致力于推进Presto开源分布式SQL查询引擎的非营利组织。由Facebook主导的PrestoDB的开发与由Presto基金会主导的PrestoSQL的开发各自独立进行,有时会有一些代码交错。

Presto的架构非常类似于使用集群计算(MPP)的传统数据库管理系统。它可以视为一个协调器节点,与多个工作节点同步工作。客户端提交已解析和计划的SQL语句,然后将并行任务安排给工作机。工作机一同处理来自数据源的行并生成返回给客户端的结果。与在每个查询上使用Hadoop的MapReduce机制的原始Apache Hive执行模型相比,Presto不会将中间结果写入磁盘,从而显着提高速度。Presto是用Java语言编写的。单个Presto查询可以组合来自多个源的数据。Presto提供数据源的连接器,包括Alluxio、Hadoop分布式文件系统、Amazon S3中的文件、MySQL、PostgreSQL、Microsoft SQL Server、Amazon Redshift、Apache Kudu、Apache Phoenix、Apache Kafka、Apache Cassandra、Apache Accumulo、MongoDB和Redis。与其他只支持Hadoop特定发行版的工具(如Cloudera Impala)不同,Presto可以使用任何风格的Hadoop,也可以不用Hadoop。Presto支持计算和存储的分离,可以在本地和云中部署。

相关

  • 沙棘沙棘(学名:Hippophae rhamnoides),或作海沙棘,是沙棘属的一种带有棘刺的落叶灌木,原产于亚洲和欧洲的温带、寒温带地区。沙棘可防风固沙,其果实可以食用或用来制作饮料,此外沙棘果在
  • 大自流盆地大自流盆地(英语:Great Artesian Basin)澳大利亚大陆中部偏东,面积约为177万平方公里,为世界第三大盆地,中心的艾尔湖为澳洲海拔最低点。在澳大利亚岩层上,覆盖着不透水层,东部多雨,
  • 山东水文山东水资源包括山东境内的降水量、地表水资源量、地下水资源量、水资源总量、蓄水动态、供水用量、耗水量、水质概况等多个方面。其中,地表水资源量指天然河川径流量;地下水资
  • 莫桑石莫桑石(英语:moissanite)或称摩星石,是天然碳化硅晶体的别称,因1893年由法国化学家亨利·莫瓦桑(Henri Moissan,1852~1907)最先发现而得名。天然碳化硅在地球的自然界中极其罕见,只在
  • 芒德尔·罗威詹姆斯·芒德尔·罗威(英语:James Mundell Lowe,1922年4月21日-2017年12月2日),也称芒德尔·罗威(Mundell Lowe),是一名美国爵士乐吉他手,出生于密西西比州树荫镇。1975年,娶歌手贝蒂·
  • 加里·约翰逊加里·厄尔·约翰逊(Gary Earl Johnson,1953年1月1日-)是美国的政治人物和商人。在1995年至2003年期间,他曾经担任新墨西哥州州长。他是自由意志党在2012年和2016年美国总统选举
  • 候文候文,是日本语在中世纪至近代期间使用的一种文语体(文言文),属变体汉文(変体漢文)。因其在句末使用丁宁助动词“候”(そうろう、そろ,历史假名遣作“サウラフ”),故而得名。“候”(古代
  • 欧拉函数 (复变函数)在数学上,欧拉函数的定义如下此函数得名由莱昂哈德·欧拉。欧拉函数是典型的q级数及模形式函数,也是描述组合数学及复分析之间关系的典型范例。欧拉函数的的倒数
  • 威廉·凯姆勒威廉·凯姆勒(William Kemmler,1860年5月19日-1890年8月6日),美国纽约水牛城出身,是历史上第一个被以电椅进行死刑处决的人。凯姆勒在1889年3月29日以短柄斧杀害自己的情妇泰莉·
  • 赛门·阿姆斯特尔赛门·马可·阿姆斯特尔(英语:Simon Marc Amstell,1979年11月29日-)是一名英格兰男演员、喜剧演员、电视节目主持人、编剧和导演,知名作品如自编自导的BBC仿纪录片《大屠杀:吞噬过