Presto (SQL查询引擎)

✍ dations ◷ 2025-08-23 16:12:18 #SQL,自由系统软件,Hadoop,云端平台

Presto是一种用于大数据的高性能分布式SQL查询引擎。其架构允许用户查询各种数据源,如Hadoop、AWS S3、Alluxio、MySQL、Cassandra、Kafka和MongoDB。甚至可以在单个查询中查询来自多个数据源的数据。Presto是Apache许可证下发布的社区驱动的开源软件。

Presto最初是Facebook为数据分析师设计和开发的,用于在Apache Hadoop中的大型数据仓库上运行交互式查询。在Presto诞生之前,Facebook的数据分析师依靠Apache Hive在他们PB级的数据仓库上运行SQL分析。Hive不适合Facebook的规模,而Presto是为了填补快速查询这块的差距而发明的。最初的开发始于2012年,并于当年晚些时候部署在Facebook上。2013年11月,Facebook宣布将其开源。 2014年,Netflix透露他们使用Presto存储在Amazon Simple Storage Service (S3)中的10 PB数据。 2019年1月,Presto软件基金会 页面存档备份,存于互联网档案馆宣布成立。该基金会是一个致力于推进Presto开源分布式SQL查询引擎的非营利组织。由Facebook主导的PrestoDB的开发与由Presto基金会主导的PrestoSQL的开发各自独立进行,有时会有一些代码交错。

Presto的架构非常类似于使用集群计算(MPP)的传统数据库管理系统。它可以视为一个协调器节点,与多个工作节点同步工作。客户端提交已解析和计划的SQL语句,然后将并行任务安排给工作机。工作机一同处理来自数据源的行并生成返回给客户端的结果。与在每个查询上使用Hadoop的MapReduce机制的原始Apache Hive执行模型相比,Presto不会将中间结果写入磁盘,从而显着提高速度。Presto是用Java语言编写的。单个Presto查询可以组合来自多个源的数据。Presto提供数据源的连接器,包括Alluxio、Hadoop分布式文件系统、Amazon S3中的文件、MySQL、PostgreSQL、Microsoft SQL Server、Amazon Redshift、Apache Kudu、Apache Phoenix、Apache Kafka、Apache Cassandra、Apache Accumulo、MongoDB和Redis。与其他只支持Hadoop特定发行版的工具(如Cloudera Impala)不同,Presto可以使用任何风格的Hadoop,也可以不用Hadoop。Presto支持计算和存储的分离,可以在本地和云中部署。

相关

  • 土库曼人土库曼斯坦:4,150,000  伊拉克:1,500,000  伊朗:2,000,000  阿富汗:500,000土库曼族(土库曼语:Türkmenler Түркменлер)是一个中亚突厥语民族,土库曼斯坦主要民族,也
  • 科曼多尔群岛坐标:55°N 167°E / 55°N 167°E / 55; 167科曼多尔群岛(俄语:Командорские острова)是俄罗斯在太平洋沿岸的一个火山岛群,位于堪察加半岛以东200公里的太
  • 古丈县古丈县是中华人民共和国湖南省湘西土家族苗族自治州下辖的一个县,辖域面积1297.45平方公里,国内生产总值39,071万元(公元2004年),总人口为137,637人(公元2004年),少数民族人口117,06
  • 塞拉国家森林塞拉国家森林(英语:Sierra National Forest)是美国一座国家森林,位于加利福尼亚州境内、内华达山脉中部的西坡上。该森林最出名的是其山景,以及充沛的自然资源。森林的管理办公室
  • 安提利亚安提利亚(Antillia)是中世纪晚期欧洲人虚构出来的一个幽灵群岛。构想中,安提利亚位于西班牙以西的大西洋,西非加那利群岛及亚洲的中间,更曾有人绘出虚构的地图标识它的位置。亚里
  • 普伊特科格尔山坐标:46°58′53″N 10°54′05″E / 46.98139°N 10.90139°E / 46.98139; 10.90139普伊特科格尔山(德语:Puitkogel),是奥地利的山峰,位于该国西部,由蒂罗尔州负责管辖,属于奥兹塔
  • 里斯·伯克里斯·伯克(英语:Reece Burke,1996年9月2日-)是一名英格兰足球运动员,现时效力英冠俱乐部赫尔城,司职后卫。里斯·伯克曾效力于英格兰18岁以下足球代表队。虽然他主要位置中后卫,但
  • 尼古拉·谢苗诺维奇·戈洛瓦诺夫尼古拉·谢苗诺维奇·戈洛瓦诺夫(俄语:Николай Семёнович Голованов,1891年1月21日-1953年8月28日)是苏联指挥家,苏联人民艺术家。1891年1月21日(儒略历1
  • 耶稣会纪念广场耶稣会纪念广场(葡萄牙语:Largo da Companhia de Jesus)是位于澳门大三巴牌坊前的广场,连接大三巴街、大三巴巷、大三巴斜巷、大三巴右街。该广场为纪念到澳门建立了圣保禄学院
  • 目标导向设计目标导向设计(goal-directed design)是面向行为的设计,旨在处理并满足用户的目标和动机。数字产品直接与人交互,设计时除了需要注重形式和美学规则,更要关注通过恰当设计的行为