Kafka

✍ dations ◷ 2025-06-08 08:40:07 #2011年软件,面向消息的中间件,面向服务架构的相关产品,企业应用集成,自由软件,Scala平台软件,Java平台

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。此外,Kafka可以通过Kafka Connect连接到外部系统(用于数据输入/输出),并提供了Kafka Streams——一个Java流式处理库。

该设计受事务日志(英语:Transaction log)的影响较大。

Kafka最初是由领英开发,并随后于2011年初开源,并于2012年10月23日由Apache Incubator孵化出站。2014年11月,几个曾在领英为Kafka工作的工程师,创建了名为Confluent的新公司,,并着眼于Kafka。根据2014年Quora的帖子,Jay Kreps似乎已经将它以作家弗朗茨·卡夫卡命名。Kreps选择将该系统以一个作家命名是因为,它是“一个用于优化写作的系统”,而且他很喜欢卡夫卡的作品。

Kafka存储的消息来自任意多被称为“生产者”(Producer)的进程。数据从而可以被分配到不同的“分区”(Partition)、不同的“Topic”下。在一个分区内,这些消息被索引并连同时间戳存储在一起。其它被称为“消费者”(Consumer)的进程可以从分区查询消息。Kafka运行在一个由一台或多台服务器组成的集群上,并且分区可以跨集群结点分布。

Kafka高效地处理实时流式数据,可以实现与Storm、HBase和Spark的集成。作为聚类部署到多台服务器上,Kafka处理它所有的发布和订阅消息系统使用了四个API,即生产者API、消费者API、Stream API和Connector API。它能够传递大规模流式消息,自带容错功能,已经取代了一些传统消息系统,如JMS、AMQP等。

Kafka架构的主要术语包括Topic、Record和Broker。Topic由Record组成,Record持有不同的信息,而Broker则负责复制消息。Kafka有四个主要API:

由于其广泛集成到企业级基础设施中,监测Kafka在规模运行中的性能成为一个日益重要的问题。监测端到端性能,要求跟踪所有指标,包括Broker、消费者和生产者。除此之外还要监测ZooKeeper,Kafka用它来协调各个消费者。目前有一些监测平台可以追踪Kafka的性能,有开源的,如领英的Burrow;也有付费的,如Datadog(英语:Datadog)。除了这些平台之外,收集Kafka的数据也可以使用工具来进行,这些工具一般需要Java,包括JConsole。

00000000000000000000.index00000000000000000000.log00000000000000000000.timeindex00000000000000782248.snapshotleader-epoch-checkpoint

下面的列表是曾经或正在使用Kafka的知名企业:

相关

  • 重庆温泉重庆市北温泉风景区位于重庆市北碚区嘉陵江小三峡温汤峡畔,缙云山麓。是中国开发利用最早、至今仍在使用的温泉之一。1982年被中国国务院批准定为中国首批国家级风景名胜区之
  • S-腺苷基蛋氨酸S-腺苷甲硫氨酸(又名S-腺苷蛋氨酸,英语:S-adenosyl methionine,缩写为SAM)带有一个活化了的甲基(右图标注),是一种参与甲基转移反应的辅酶,存在于所有的真核细胞中。在失去该活化甲基
  • 戏剧史朝鲜戏剧是朝鲜文化的一部分,发源于史前宗教仪式。三国时期,中国和西域乐传入朝鲜半岛,朝鲜戏剧在自身本土文化的基础上,吸收外来戏剧成分从而形成独特的民族戏剧:3-4。朝鲜传统
  • 全国性报纸这是一份英国报刊列表。英国报章可分为两类,一类是严肃报章:由于版面较大,被称为大报,比如《每日电讯报》,这些报章有时被统称为“优质报章 ”;另一类报章严肃性较低,他们更多地报
  • 瓯剧瓯剧,为中国戏曲剧种之一,又称作温州乱弹,流行于温州及其周边地区。舞台语言为温州官话,丑角则用温州方言。主要伴奏乐器有笛子、板胡等。代表剧目有《佛灵寺》、《贩马记》、《
  • 李世李世�(594年-669年12月31日),原名徐世�,或作世绩,字懋功,亦作茂功。唐高祖李渊赐其姓李,后避唐太宗李世民讳改名为李�。曹州离狐(今山东菏泽东明县东南)人,唐初名将,曾破东突厥、高句丽,与李
  • 赫库兰尼姆古城赫库兰尼姆古城(Herculaneum)位于今埃尔科拉诺,面向那不勒斯湾。她是一座于公元79年被南意大利维苏威火山爆发所造成的火山碎屑流所摧毁的古城。火山爆发令此城与附近的庞贝城
  • 初美理音初美理音(日语:初美 りおん,1989年3月25日-),出生于日本神奈川。
  • f轨道在化学与原子物理学中,f轨道(英语:f orbital)是一种原子轨道,其角量子数为3,其磁量子数可以为0、±1、±2、±3,且每个壳层里中有七个f轨道,fz3、fxz2、fyz2、fxyz、fz(x2-y2)、fx(x
  • 马尔科·明格蒂马尔科·明格蒂(Marco Minghetti) (1818年11月18日-1886年12月10日) 意大利经济学家和政治家。明格蒂出生在博洛尼亚,属于教皇国。1846年签署了请愿书,要求教皇选举自由,被任命