Presto (SQL查询引擎)

✍ dations ◷ 2024-12-22 20:56:02 #SQL,自由系统软件,Hadoop,云端平台

Presto是一种用于大数据的高性能分布式SQL查询引擎。其架构允许用户查询各种数据源,如Hadoop、AWS S3、Alluxio、MySQL、Cassandra、Kafka和MongoDB。甚至可以在单个查询中查询来自多个数据源的数据。Presto是Apache许可证下发布的社区驱动的开源软件。

Presto最初是Facebook为数据分析师设计和开发的,用于在Apache Hadoop中的大型数据仓库上运行交互式查询。在Presto诞生之前,Facebook的数据分析师依靠Apache Hive在他们PB级的数据仓库上运行SQL分析。Hive不适合Facebook的规模,而Presto是为了填补快速查询这块的差距而发明的。最初的开发始于2012年,并于当年晚些时候部署在Facebook上。2013年11月,Facebook宣布将其开源。 2014年,Netflix透露他们使用Presto存储在Amazon Simple Storage Service (S3)中的10 PB数据。 2019年1月,Presto软件基金会 页面存档备份,存于互联网档案馆宣布成立。该基金会是一个致力于推进Presto开源分布式SQL查询引擎的非营利组织。由Facebook主导的PrestoDB的开发与由Presto基金会主导的PrestoSQL的开发各自独立进行,有时会有一些代码交错。

Presto的架构非常类似于使用集群计算(MPP)的传统数据库管理系统。它可以视为一个协调器节点,与多个工作节点同步工作。客户端提交已解析和计划的SQL语句,然后将并行任务安排给工作机。工作机一同处理来自数据源的行并生成返回给客户端的结果。与在每个查询上使用Hadoop的MapReduce机制的原始Apache Hive执行模型相比,Presto不会将中间结果写入磁盘,从而显着提高速度。Presto是用Java语言编写的。单个Presto查询可以组合来自多个源的数据。Presto提供数据源的连接器,包括Alluxio、Hadoop分布式文件系统、Amazon S3中的文件、MySQL、PostgreSQL、Microsoft SQL Server、Amazon Redshift、Apache Kudu、Apache Phoenix、Apache Kafka、Apache Cassandra、Apache Accumulo、MongoDB和Redis。与其他只支持Hadoop特定发行版的工具(如Cloudera Impala)不同,Presto可以使用任何风格的Hadoop,也可以不用Hadoop。Presto支持计算和存储的分离,可以在本地和云中部署。

相关

  • 所见即所得所见即所得(英语:What You See Is What You Get,缩写:WYSIWYG)是由菲利普·威尔逊(Flip Wilson)所提出的一种电脑文本编辑器方面的技术,使得编辑文字时在屏幕上直接呈现最终显示效果
  • 猫叫综合征猫叫综合征(英语:Cri du chat syndrome),也称猫哭症、猫啼症、5号染色体短臂缺失综合征(chromosome 5p deletion syndrome),是一种由于第五号染色体短臂缺损而引起的罕见基因异常病
  • 丰原医院卫生福利部丰原医院,简称丰原医院或部丰,是一所位于台中市丰原区的卫生福利部所属医院,为大丰原地区之主要医院。提供疼痛科之外所有专科医疗服务,为中市山线地区(亦包括苗栗县南
  • 富单那富单那(梵语、巴利语:bhūtana或bhūta、bhūtaḥ,印地语:bhūt,藏语:'byung po,义为已生的、存在、众生、鬼等;一说作pūtana、pūtanaḥ,藏语:srul po,义为臭秽、热臭、臭者),又作布单
  • 崔存璘崔存璘(1909年-1980年)系中华民国资深外交家,曾长期派驻美国。浙江鄞县人。1909年(清宣统元年),生于大清浙江省宁波府。早年赴上海就学,毕业于上海沪江大学,获得文学学士学位。毕业后
  • 闹剧闹剧,是一种为舞台或电影所编写的喜剧。其目的在于用夸张的手段娱乐观众,通常是情境上的夸张,扮演替身与身份上的错置,以及观众熟悉的幽默笑话,包括双关俏皮话、或甚至黄色性笑话
  • 第3届国际智力运动联盟智力运动精英赛第3届国际智力运动联盟(IMSA)智力运动精英赛将于2019年5月14-18日在中国河北衡水举行。3人、冠军奖金为60万欧元。2人、冠军奖金为25万欧元。1队、冠军奖金为12万欧元。
  • 水户学四配 颜回 · 孟子 · 曾参 · 孔伋日本 藤原惺窝 · 林罗山 · 室鸠巢 新井白石 · 雨森芳洲朝鲜 薛聪 · 权近 · 吉再 · 安珦 · 李穑 李滉 · 王仁 · 李
  • 范维唐范维唐(1935年7月18日-),为中国采矿工程技术专家,中国工程院院士。北京市人。1956年,毕业于北京钢铁学院(现北京科技大学)采矿系。1963年,获苏联莫斯科矿业学院技术科学副博士学位。1
  • 温德姆·霍尔斯韦勒温德姆·霍尔斯威尔(英语:Wyndham Halswelle,1882年5月30日-1915年3月31日),英国男子田径运动员。他在1908年夏季奥运会田径比赛男子400米比赛的重赛中不战而胜,获得金牌。除此之外