Presto (SQL查询引擎)

✍ dations ◷ 2025-10-22 21:37:31 #SQL,自由系统软件,Hadoop,云端平台

Presto是一种用于大数据的高性能分布式SQL查询引擎。其架构允许用户查询各种数据源,如Hadoop、AWS S3、Alluxio、MySQL、Cassandra、Kafka和MongoDB。甚至可以在单个查询中查询来自多个数据源的数据。Presto是Apache许可证下发布的社区驱动的开源软件。

Presto最初是Facebook为数据分析师设计和开发的,用于在Apache Hadoop中的大型数据仓库上运行交互式查询。在Presto诞生之前,Facebook的数据分析师依靠Apache Hive在他们PB级的数据仓库上运行SQL分析。Hive不适合Facebook的规模,而Presto是为了填补快速查询这块的差距而发明的。最初的开发始于2012年,并于当年晚些时候部署在Facebook上。2013年11月,Facebook宣布将其开源。 2014年,Netflix透露他们使用Presto存储在Amazon Simple Storage Service (S3)中的10 PB数据。 2019年1月,Presto软件基金会 页面存档备份,存于互联网档案馆宣布成立。该基金会是一个致力于推进Presto开源分布式SQL查询引擎的非营利组织。由Facebook主导的PrestoDB的开发与由Presto基金会主导的PrestoSQL的开发各自独立进行,有时会有一些代码交错。

Presto的架构非常类似于使用集群计算(MPP)的传统数据库管理系统。它可以视为一个协调器节点,与多个工作节点同步工作。客户端提交已解析和计划的SQL语句,然后将并行任务安排给工作机。工作机一同处理来自数据源的行并生成返回给客户端的结果。与在每个查询上使用Hadoop的MapReduce机制的原始Apache Hive执行模型相比,Presto不会将中间结果写入磁盘,从而显着提高速度。Presto是用Java语言编写的。单个Presto查询可以组合来自多个源的数据。Presto提供数据源的连接器,包括Alluxio、Hadoop分布式文件系统、Amazon S3中的文件、MySQL、PostgreSQL、Microsoft SQL Server、Amazon Redshift、Apache Kudu、Apache Phoenix、Apache Kafka、Apache Cassandra、Apache Accumulo、MongoDB和Redis。与其他只支持Hadoop特定发行版的工具(如Cloudera Impala)不同,Presto可以使用任何风格的Hadoop,也可以不用Hadoop。Presto支持计算和存储的分离,可以在本地和云中部署。

相关

  • 咖啡替代品咖啡代用品是指非咖啡,但因为外观、口味类似咖啡,因此用来代替咖啡的产品,多半也不含咖啡因。咖啡代用品的使用可能是因为医药上、经济上或是信仰上的原因,也有可能只是因为无法
  • 客家电视台客家电视台(Hakka Television Station,缩写为Hakka TV),简称客家台、客台、客视,于2003年7月1日开播,是专属客家、全程使用台湾客家语(四县腔、海陆腔、大埔腔、诏安腔、饶平腔)发音
  • 路易维尔路易维尔(Louisville,i/ˈluːiːvɪl/,当地 i/ˈluːəvəl/ 或 i/ˈlʌvəl/)是肯塔基州的最大城市。根据不同的计算方法,路易维尔为美国第十六或第二十七大城市。该市由乔治·
  • 土桑图森(英语:Tucson,又译杜桑或图森),位于美国亚利桑那州南部皮马县,是该州南部第一大城市,全州第二大城市(凤凰城为第一大)、美国第32大城市和第52大都会区。根据2010年人口普查,图森市
  • 阿佛洛狄忒阿佛洛狄忒(希腊语:Αφροδίτη、拉丁语:Aphrodite)是希腊神话中是代表爱情、美丽与性爱的女神。拉丁语族的“金星”和“星期五”等字符都来源于她的罗马名字:在罗马神话中
  • 氯化镨氯化镨(III)是一种无机化合物,化学式为PrCl3。它是蓝绿色的固体,在潮湿空气中迅速吸水,转变为亮绿色的七水合物。氯化镨由金属镨和氯化氢反应得到:它通常通过真空升华法提纯氯
  • 剑桥大学沃尔森学院剑桥大学沃尔森学院(英语:Wolfson College, Cambridge) 是剑桥大学的一个成员学院。沃尔森学院为本科生和研究生提供住宿,同时也负责安排本科生录取,并为大学的研究人员提供资金
  • 梅谦次郎梅 谦次郎(うめ けんじろう;1860年7月24日-1910年8月26日)是日本明治时代的法学家,专长为民法,有“日本民法之父”之称号。梅谦次郎曾任东京帝国大学法律系教授、法科大学长;他不仅
  • 坦噶尼克花生计划坦噶尼克花生计划,是英国政府尝试在坦噶尼克(现代坦桑尼亚)种植花生的失败企图。在第二次世界大战后,由首相艾德礼执政时推行。该项目因成本不菲终于在1951年被遗弃。事实上,该地
  • 非战公约《非战公约》,全称《关于废弃战争作为国家政策工具的普遍公约》,亦称《巴黎非战公约》(Pact of Paris)或《凯洛格—白里安公约》(Kellogg-Briand Pact),是1928年8月27日在巴黎签署