Docker版Kafka、Zookeeper安装

本文参考《Apache Kafka实战》中1.1章节，以docker的形式安装

1 Kafka快速安装及测试

1.1 Docker版快速安装

# 搜索有哪些kafka的镜像
docker search kafka
# 随便挑一个，拉下来
docker pull wurstmeister/kafka 
# 搜索有哪些zookeeper的镜像（kafka需要依赖zookeeper）
docker search zookeeper
# 随便挑一个，拉下来
docker pull wurstmeister/zookeeper

1.2 启动服务器

 # 启动zookeeper
 docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
 # 启动kafka
 docker run -d --name kafka0 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=<zookeeper IP>:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://<宿主机IP>:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

1.3 创建topic

# 查看启动的容器
docker ps
# 进入kafka容器内部
docker exec -it 上一步看到的容器id /bin/bash
# 找到kafka的bin目录
cd /opt/kafka/bin
# 没找到的话可以搜索kafka,根据搜索到的kafka路径看看有没有bin
find / -name kafka
# 创建topic partitions后为分区数，replication-factor为副本数
kafka-topics.sh --create --zookeeper IP:2181 --topic topic的名字 --partitions 1 --replication-factor 1
# 查看topic状态
kafka-topics.sh --describe --zookeeper zookeeperIp:2181 --topic topic的名字

以下为状态信息

1.4 发送消息

# 发送消息,按回车，之后按行向kafka发送消息 ctrl+C 退出
kafka-console-producer.sh --broker-list kafkaIp:9092 --topic topic的名字

1.5 消费消息

这里采用SpringBoot集成kafka的方式消费消息

1. 创建SpringBoot项目
2. pom文件里添加kafka依赖

<dependency>
	    <groupId>org.springframework.kafka</groupId>
        <artifactId>spring-kafka</artifactId>
</dependency>
<dependency>
	   <groupId>org.springframework.boot</groupId>
	   <artifactId>spring-boot-starter</artifactId>
</dependency>

3. 在application.properties里添加kafka配置，需要将spring.kafka.bootstrap-servers更改为kafka的ip

# 应用名称
spring.application.name=consumer
###########【Kafka集群】###########
spring.kafka.bootstrap-servers=kafka的IP:9092
###########【初始化生产者配置】###########
# 重试次数
spring.kafka.producer.retries=0
# 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选0、1、all/-1)
spring.kafka.producer.acks=1
# 批量大小
spring.kafka.producer.batch-size=16384
# 提交延时
spring.kafka.producer.properties.linger.ms=0
# 当生产端积累的消息达到batch-size或接收到消息linger.ms后,生产者就会将消息提交给kafka
# linger.ms为0表示每接收到一条消息就提交给kafka,这时候batch-size其实就没用了
​
# 生产端缓冲区大小
spring.kafka.producer.buffer-memory = 33554432
# Kafka提供的序列化和反序列化类
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
# 自定义分区器
# spring.kafka.producer.properties.partitioner.class=com.felix.kafka.producer.CustomizePartitioner
​
###########【初始化消费者配置】###########
# 默认的消费组ID
spring.kafka.consumer.properties.group.id=defaultConsumerGroup
# 是否自动提交offset
spring.kafka.consumer.enable-auto-commit=true
# 提交offset延时(接收到消息后多久提交offset)
spring.kafka.consumer.auto.commit.interval.ms=1000
# 当kafka中没有初始offset或offset超出范围时将自动重置offset
# earliest:重置为分区中最小的offset;
# latest:重置为分区中最新的offset(消费分区中新产生的数据);
# none:只要有一个分区不存在已提交的offset,就抛出异常;
spring.kafka.consumer.auto-offset-reset=latest
# 消费会话超时时间(超过这个时间consumer没有发送心跳,就会触发rebalance操作)
spring.kafka.consumer.properties.session.timeout.ms=120000
# 消费请求超时时间
spring.kafka.consumer.properties.request.timeout.ms=180000
# Kafka提供的序列化和反序列化类
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
# 消费端监听的topic不存在时，项目启动会报错(关掉)
spring.kafka.listener.missing-topics-fatal=false
# 设置批量消费
# spring.kafka.listener.type=batch
# 批量消费每次最多消费多少条消息
# spring.kafka.consumer.max-poll-records=50

4. 创建消费bean

@Component
public class KafkaConsumer {
    // 消费监听
    @KafkaListener(topics = {"test147"})
    public void onMessage2(ConsumerRecord<?, ?> record){
        // 消费的哪个topic、partition的消息,打印出消息内容
        System.out.println("简单消费topic147："+record.topic()+"-"+record.partition()+"-"+record.value());
    }
}

5. 启动项目，在1.4节发送消息，就可以在控制台看到发送的消息
   

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dreambyday/article/details/120254649