Presto (SQL查询引擎)

✍ dations ◷ 2025-05-16 08:45:18 #SQL,自由系统软件,Hadoop,云端平台

Presto是一种用于大数据的高性能分布式SQL查询引擎。其架构允许用户查询各种数据源,如Hadoop、AWS S3、Alluxio、MySQL、Cassandra、Kafka和MongoDB。甚至可以在单个查询中查询来自多个数据源的数据。Presto是Apache许可证下发布的社区驱动的开源软件。

Presto最初是Facebook为数据分析师设计和开发的,用于在Apache Hadoop中的大型数据仓库上运行交互式查询。在Presto诞生之前,Facebook的数据分析师依靠Apache Hive在他们PB级的数据仓库上运行SQL分析。Hive不适合Facebook的规模,而Presto是为了填补快速查询这块的差距而发明的。最初的开发始于2012年,并于当年晚些时候部署在Facebook上。2013年11月,Facebook宣布将其开源。 2014年,Netflix透露他们使用Presto存储在Amazon Simple Storage Service (S3)中的10 PB数据。 2019年1月,Presto软件基金会 页面存档备份,存于互联网档案馆宣布成立。该基金会是一个致力于推进Presto开源分布式SQL查询引擎的非营利组织。由Facebook主导的PrestoDB的开发与由Presto基金会主导的PrestoSQL的开发各自独立进行,有时会有一些代码交错。

Presto的架构非常类似于使用集群计算(MPP)的传统数据库管理系统。它可以视为一个协调器节点,与多个工作节点同步工作。客户端提交已解析和计划的SQL语句,然后将并行任务安排给工作机。工作机一同处理来自数据源的行并生成返回给客户端的结果。与在每个查询上使用Hadoop的MapReduce机制的原始Apache Hive执行模型相比,Presto不会将中间结果写入磁盘,从而显着提高速度。Presto是用Java语言编写的。单个Presto查询可以组合来自多个源的数据。Presto提供数据源的连接器,包括Alluxio、Hadoop分布式文件系统、Amazon S3中的文件、MySQL、PostgreSQL、Microsoft SQL Server、Amazon Redshift、Apache Kudu、Apache Phoenix、Apache Kafka、Apache Cassandra、Apache Accumulo、MongoDB和Redis。与其他只支持Hadoop特定发行版的工具(如Cloudera Impala)不同,Presto可以使用任何风格的Hadoop,也可以不用Hadoop。Presto支持计算和存储的分离,可以在本地和云中部署。

相关

  • 原结原结是脊椎动物在囊胚于原肠形成所留下的,又可以称为汉森结/亨生结,因为由Victory Hensen所发现;而两生类则被称为史培曼/史佩曼组织,因为是由Han Spemman所发现(在1924年与Mangold
  • 卡哈尔体卡哈尔体(英语:Cajal body,或译柯浩体),是存在于细胞核里的细胞器。卡哈尔体是相当具保留性的核细胞器。到目前为止,在脊椎动物、果蝇、酵母菌,以及植物中均发现存在卡哈尔体。尽管
  • 卡方检验卡方检验(Chi-Squared Test或 χ 2 {\displaystyle \chi ^{2}} Test)
  • 弥浓东门楼弥浓东门楼,位于今台湾高雄市美浓区,是清代弥浓庄的东门,面临美浓溪。乾隆20年(1755年),基于防卫的需要,弥浓庄东栅门加建门楼,是弥浓庄四个栅门中唯一的城门楼。光绪二十一年(1895年
  • 沙耆沙耆(1914年-2005年2月15日),原名引年,又名贤菖,字吉留,中国当代著名油画家。浙江鄞县人。被誉为“中国的梵高”。沙耆于1914年生于浙江宁波鄞县沙村(今属宁波市鄞州区),字吉留名引年,
  • 紫椴紫椴(学名:Tilia amurensis)是椴树科椴树属的植物。分布在朝鲜以及中国大陆的吉林、黑龙江等地,生长于海拔50米至500米的地区,多生长于山坡杂木林中、山坡及针阔混交林中,并非由人
  • 哈斯利峡谷哈斯利峡谷(英语:Hasley Canyon)是位于美国加利福尼亚州洛杉矶县的一个人口普查指定地区。哈斯利峡谷的座标为34°28′54″N 118°40′00″W / 34.48167°N 118.66667°W / 34.
  • 智辩家智辩家(希腊语:σοφιστής, )是古希腊公元前5世纪至4世纪时的一种类型的教师。他们中的许多善于哲学和修辞学,但也有人教授音乐、体育和数学。他们通常声称自己传授Arete(
  • 基尔霍夫衍射公式在光学里,菲涅耳-基尔霍夫衍射公式(Fresnel-Kirchoff's diffraction formula)可以应用于光波传播的理论分析模型或数值分析模型。从菲涅耳-基尔霍夫衍射公式,可以推导出惠更斯-菲
  • 吉打级护卫舰彭亨号(KD Pahang F-172) 霹雳号(KD Perak F-173) 登嘉楼号(KD Terengganu F-174) 吉兰丹号(KD Kelatan F-175) 雪兰莪号(KD Selangor F-176)马来西亚:Boustead造船(英语:Boustead Naval