Presto (SQL查询引擎)

✍ dations ◷ 2024-09-20 13:41:16 #SQL,自由系统软件,Hadoop,云端平台

Presto是一种用于大数据的高性能分布式SQL查询引擎。其架构允许用户查询各种数据源,如Hadoop、AWS S3、Alluxio、MySQL、Cassandra、Kafka和MongoDB。甚至可以在单个查询中查询来自多个数据源的数据。Presto是Apache许可证下发布的社区驱动的开源软件。

Presto最初是Facebook为数据分析师设计和开发的,用于在Apache Hadoop中的大型数据仓库上运行交互式查询。在Presto诞生之前,Facebook的数据分析师依靠Apache Hive在他们PB级的数据仓库上运行SQL分析。Hive不适合Facebook的规模,而Presto是为了填补快速查询这块的差距而发明的。最初的开发始于2012年,并于当年晚些时候部署在Facebook上。2013年11月,Facebook宣布将其开源。 2014年,Netflix透露他们使用Presto存储在Amazon Simple Storage Service (S3)中的10 PB数据。 2019年1月,Presto软件基金会 页面存档备份,存于互联网档案馆宣布成立。该基金会是一个致力于推进Presto开源分布式SQL查询引擎的非营利组织。由Facebook主导的PrestoDB的开发与由Presto基金会主导的PrestoSQL的开发各自独立进行,有时会有一些代码交错。

Presto的架构非常类似于使用集群计算(MPP)的传统数据库管理系统。它可以视为一个协调器节点,与多个工作节点同步工作。客户端提交已解析和计划的SQL语句,然后将并行任务安排给工作机。工作机一同处理来自数据源的行并生成返回给客户端的结果。与在每个查询上使用Hadoop的MapReduce机制的原始Apache Hive执行模型相比,Presto不会将中间结果写入磁盘,从而显着提高速度。Presto是用Java语言编写的。单个Presto查询可以组合来自多个源的数据。Presto提供数据源的连接器,包括Alluxio、Hadoop分布式文件系统、Amazon S3中的文件、MySQL、PostgreSQL、Microsoft SQL Server、Amazon Redshift、Apache Kudu、Apache Phoenix、Apache Kafka、Apache Cassandra、Apache Accumulo、MongoDB和Redis。与其他只支持Hadoop特定发行版的工具(如Cloudera Impala)不同,Presto可以使用任何风格的Hadoop,也可以不用Hadoop。Presto支持计算和存储的分离,可以在本地和云中部署。

相关

  • 10国际疾病伤害及死因分类标准第十版(英语:The International Statistical Classification of Diseases and Related Health Problems 10th Revision,ICD-10)是世界卫生组织依据疾
  • 巨人巨人,是神话或传说或童话中常见的生物,几乎全世界的都有他们的踪迹,由希腊神话、印欧语系神话,到中东、亚洲及美洲地区的神话及圣经内的故事都有他们的痕迹。而现在的社会中,巨人
  • 水银灯水银灯亦称汞灯,是一种内部含有汞蒸气的灯,以气体放电的方式产生亮光。灯管用耐热玻璃制成,两端装有电极;制造时抽去空气,充入水银和少量氩气;通电后水银蒸发,受电子激发而发光。目
  • 弗兰茨·卡尔大公弗兰茨·卡尔大公(Archduke Franz Karl of Austria)(1802年12月17日-1878年3月8日),奥地利皇帝斐迪南一世之弟,是奥地利皇帝弗朗茨·约瑟夫一世的生父,也是末代皇帝卡尔一世的曾祖父
  • 正常重力位正常重力位(英语:Normal gravity potential)是大地测量学中用于对地球的真实重力位进行近似的数学工具,是一个规则的、较为简单的重力位函数。:190正常重力是正常重力位的梯度。
  • 今井麻美今井麻美(日语:今井麻美/いまい あさみ,1977年5月16日-),是日本的女性声优、歌手、舞台剧演员。生于东京都涩谷区,长于山口县德山市、且出身于此。隶属于EARLY WING。代表作有《偶
  • 安迪·伯纳姆安迪·默里·伯纳姆(英语:Andy Murray Burnham,1970年1月7日-)是英国工党的一位政治人物,自2001年至2017年,任利选区的下议院议员。现任大曼彻斯特市长(英语:Mayor of Greater Manche
  • 栗永禄栗永禄(?-?),字士学,山西潞安府长治县人,民籍,明朝政治人物。嘉靖十九年(1540年)庚子科山西乡试第一名举人。嘉靖二十三年(1544年),登第三甲第八十三名进士。授寿州知州,擢苏州府同知,历任陕
  • 喇嘛达尔扎达尔札(蒙古语:.mw-parser-output .font-mong{font-family:"Menk Hawang Tig","Menk Qagan Tig","Menk Garqag Tig","Menk Har_a Tig","Menk Scnin Tig","Oyun Gurban Ulus Ti
  • 9月1日9月1日是阳历年的第244天(闰年是245天),离一年的结束还有121天。