Kafka

✍ dations ◷ 2025-06-30 21:22:55 #2011年软件,面向消息的中间件,面向服务架构的相关产品,企业应用集成,自由软件,Scala平台软件,Java平台

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。此外,Kafka可以通过Kafka Connect连接到外部系统(用于数据输入/输出),并提供了Kafka Streams——一个Java流式处理库。

该设计受事务日志(英语:Transaction log)的影响较大。

Kafka最初是由领英开发,并随后于2011年初开源,并于2012年10月23日由Apache Incubator孵化出站。2014年11月,几个曾在领英为Kafka工作的工程师,创建了名为Confluent的新公司,,并着眼于Kafka。根据2014年Quora的帖子,Jay Kreps似乎已经将它以作家弗朗茨·卡夫卡命名。Kreps选择将该系统以一个作家命名是因为,它是“一个用于优化写作的系统”,而且他很喜欢卡夫卡的作品。

Kafka存储的消息来自任意多被称为“生产者”(Producer)的进程。数据从而可以被分配到不同的“分区”(Partition)、不同的“Topic”下。在一个分区内,这些消息被索引并连同时间戳存储在一起。其它被称为“消费者”(Consumer)的进程可以从分区查询消息。Kafka运行在一个由一台或多台服务器组成的集群上,并且分区可以跨集群结点分布。

Kafka高效地处理实时流式数据,可以实现与Storm、HBase和Spark的集成。作为聚类部署到多台服务器上,Kafka处理它所有的发布和订阅消息系统使用了四个API,即生产者API、消费者API、Stream API和Connector API。它能够传递大规模流式消息,自带容错功能,已经取代了一些传统消息系统,如JMS、AMQP等。

Kafka架构的主要术语包括Topic、Record和Broker。Topic由Record组成,Record持有不同的信息,而Broker则负责复制消息。Kafka有四个主要API:

由于其广泛集成到企业级基础设施中,监测Kafka在规模运行中的性能成为一个日益重要的问题。监测端到端性能,要求跟踪所有指标,包括Broker、消费者和生产者。除此之外还要监测ZooKeeper,Kafka用它来协调各个消费者。目前有一些监测平台可以追踪Kafka的性能,有开源的,如领英的Burrow;也有付费的,如Datadog(英语:Datadog)。除了这些平台之外,收集Kafka的数据也可以使用工具来进行,这些工具一般需要Java,包括JConsole。

00000000000000000000.index00000000000000000000.log00000000000000000000.timeindex00000000000000782248.snapshotleader-epoch-checkpoint

下面的列表是曾经或正在使用Kafka的知名企业:

相关

  • 酸碱理论酸碱理论指阐述酸、碱及酸碱反应本质的各种理论。在历史上曾有多种酸碱理论,其中重要的包括:拉瓦锡是最早提出酸碱概念的人。他在1776年左右提出一套酸碱理论。在那时,强酸主要
  • 游标卡尺游标卡尺,又称为游标尺子或直游标尺子,是一种测量长度的仪器。由主尺子和附在主尺子上能的部分滑动的游标两部分构成。主尺子一般以毫米为单位。根据分格的不同,游标卡尺可分为
  • 口径口径(英文: caliber)常用在表示管状火器与弹药,或者是其他圆柱形武器,譬如火箭或者是导弹的直径大小上。口径大小的差异往往也代表武器或者是弹药的重量与能够产生的威力。口径
  • 1096年重要事件及趋势重要人物
  • 上海古籍出版社上海古籍出版社,前身为古典文学出版社,成立于1956年11月,1958年6月改组为中华书局上海编辑所,1978年1月改为现名。上海古籍出版社以出版并整理中国古典文学、哲学、历史等的古籍
  • 兽脚类兽脚亚目(学名:Theropoda)通常归类于蜥臀目,尽管2017年的论文已将他们作为鸟臀目的最近亲属放置在拟议的鸟腿龙类(英语:Ornithoscelida)中。是群双足恐龙。虽然它们主要是肉食性动
  • 秀策流秀策流布局,也称135布局,是日本的一个围棋流派,大约产生在日本江户时代晚期,其代表人物为本因坊秀策,重视实利和求坚实反击是秀策流的特色,其布局拿黑子时先占角下小目待对手以小
  • 刘岩 (科学家)刘岩,中国南极研究科学家,北京师范大学全球变化与地球系统科学研究院(GCESS)以及北京师范大学极地研究中心地理副教授,主要研究方向为冰山崩解(英语:Ice calving)。刘岩于2003在武汉
  • 鲛岛员规鲛岛员规(さめしま かずのり、弘化2年旧暦5月10日(1845年6月14日) - 明治43年(1910年)10月14日),日本的海军军人。海军大将军衔。勲等(日语:勲等)为勲一等。功级(日语:功级)为功二级。爵
  • 温州蜜柑温州蜜柑(学名:、英语:Satsuma orange)是芸香科柑橘属的一种常绿灌木。蜜柑原产于中国,唐代作为贡品,宋韩世忠与梁红玉之子韩彦直曾于瑞安府任上,著《橘录校注》(又称《永嘉橘录》或