标签归档:Kafka

Spring Boot + Kafka的使用[转]

一、快速了解Kafka

在把Kafka集成到spring之前,我们首先要了解Kafka是什么?由什么东西组成?主要的使用场景是哪些?

Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。

Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)称为broker。

无论是kafka集群,还是consumer都依赖于zookeeper集群保存一些meta信息,来保证系统可用性。

简单架构理解图

详细架构图

  • 1)Producer :消息生产者,就是向kafka
发表在 大数据 | 标签为 | Spring Boot + Kafka的使用[转]已关闭评论

Kafka消费者:从Kafka中读取数据[转]

https://blog.csdn.net/shmily_lsl/article/details/81877447

本系列文章为对《Kafka:The Definitive Guide》的学习整理,希望能够帮助到大家

应用从Kafka中读取数据需要使用KafkaConsumer订阅主题,然后接收这些主题的消息。在我们深入这些API之前,先来看下几个比较重要的概念。

Kafka消费者相关的概念

消费者与消费组

假设这么个场景:我们从Kafka中读取消息,并且进行检查,最后产生结果数据。我们可以创建一个消费者实例去做这件事情,但如果生产者写入消息的速度比消费者读取的速度快怎么办呢?这样随着时间增长,消息堆积越来越严重。对于这种场景,我们需要增加多个消费者来进行水平扩展。

Kafka消费者是消费组

发表在 大数据 | 标签为 , | Kafka消费者:从Kafka中读取数据[转]已关闭评论