Kafka急速入门

原创于 2024-11-01 22:56:22 发布 · 915 阅读

本内容遵循CC 4.0 BY-SA版权协议

Kafka概述

消息中间件对比

特性	ActiveMQ	RabbitMQ	RocketMQ	★Kafka
开发语言	java	erlang	java	scala
单机吞吐量	万级	万级	10万级	100万级
时效性	ms	us	ms	ms级以内
可用性	高（主从）	高（主从）	非常高（分布式）	非常高（分布式）
功能特性	成熟的产品、较全的文档、各种协议支持好	并发能力强、性能好、延迟低	MQ功能比较完善，扩展性佳	只支持主要的MQ功能，主要应用于大数据领域

选择建议

消息中间件	建议
★Kafka	追求高吞吐量，适合产生大量数据的互联网服务的数据收集业务
RocketMQ	可靠性要求很高的金融互联网领域,稳定性高，经历了多次阿里双11考验
RabbitMQ	性能较好，社区活跃度高，数据量没有那么大，优先选择功能比较完备的RabbitMQ

kafka介绍

Kafka 是一个分布式流媒体平台，类似于消息队列或企业消息传递系统。

kafka官网：Apache Kafka

名词解释

producer：发布消息的对象称之为主题生产者（Kafka topic producer）
topic：Kafka将消息分门别类，每一类的消息称之为一个主题（Topic）
consumer：订阅消息并处理发布的消息的对象称之为主题消费者（consumers）
broker：已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器都是一个代理（Broker）。消费者可以订阅一个或多个主题（topic），并从Broker拉数据，从而消费这些已发布的消息。

kafka安装和配置

kafka入门

kafka入门案例

生产者发送消息，多个消费者只能有一个消费者接收到消息
生产者发送消息，多个消费者都可以接收到消息

生产者发送消息

1：导入kafka客户端依赖

2：编写消息生产者类ProducerQuickstart

①.设置kafka的配置信息

②.创建生产者对象

③.发送消息

④.关闭消息通道

package com.itcam.sample;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

/**
 * @author : Cammy.Wu
 * Description : 生产者
 */

public class ProducerQuickStart {
    public static void main(String[] args) {
        // 1.kafka连接配置信息
        Properties prop = new Properties();
        // 连接配置
        prop.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.200.130:9092");
        // key和value的序列化器
        prop.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        prop.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        // 2.创建kafka生产者对象
        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(prop);

        // 3.发送消息
        /*
            ProducerRecord
                第一个参数：topic
                第二个参数：消息的key
                第三个参数：消息的value
         */
        ProducerRecord<String, String> producerRecord = new ProducerRecord<>("topic_first", "key_001", "hello kafka");
        producer.send(producerRecord);

        // 4.关闭消息通道——必须要关闭，否则消息发送不成功
        producer.close();
    }
}

消费者接收消息

创建ConsumerQuickStart消费者类

①：设置kafka的配置信息

②：创建消费者对象

③：订阅主题

④：获取消息

package com.itcam.sample;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.producer.ProducerConfig;

import java.time.Duration;
import java.util.Collection;
import java.util.Collections;
import java.util.Properties;

/**
 * @author : Cammy.Wu
 * Description : 消费者
 */

public class ConsumerQuickStart {
    public static void main(String[] args) {
        // 1.设置kafka的配置信息
        Properties prop = new Properties();
        // 连接信息
        prop.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.200.130:9092");
        // 指定消费者组
        prop.put(ConsumerConfig.GROUP_ID_CONFIG, "group001");
        // 反序列化的key和value
        prop.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        prop.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        // 2.创建消费者对象
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(prop);

        // 3.订阅主题
        consumer.subscribe(Collections.singleton("topic_first"));

        // 4.获取消息
        while (true) {
            ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofMillis(1000));
            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                System.out.println(consumerRecord.key());
                System.out.println(consumerRecord.value());
            }
        }
    }
}

生产者发送消息，多个消费者订阅同一个主题，只能有一个消费者收到消息（一对一）

生产者发送消息，多个消费者订阅同一个主题，所有消费者都能收到消息（一对多）

分区机制

Kafka 中的分区机制指的是将每个主题划分成多个分区（Partition）

可以处理更多的消息，不受单台服务器的限制，可以不受限的处理更多的数据

topic剖析

每一个分区都是一个顺序的、不可变的消息队列，并且可以持续的添加。分区中的消息都被分了一个序列号，称之为偏移量(offset)，在每个分区中此偏移量都是唯一的。

package com.itcam.sample;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.producer.ProducerConfig;

import java.time.Duration;
import java.util.Collection;
import java.util.Collections;
import java.util.Properties;

/**
 * @author : Cammy.Wu
 * Description : 消费者
 */

public class ConsumerQuickStart {
    public static void main(String[] args) {
        // 1.设置kafka的配置信息
        Properties prop = new Properties();
        // 连接信息
        prop.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.200.130:9092");
        // 指定消费者组
        prop.put(ConsumerConfig.GROUP_ID_CONFIG, "group001");
        // 反序列化的key和value
        prop.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        prop.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        // 2.创建消费者对象
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(prop);

        // 3.订阅主题
        consumer.subscribe(Collections.singleton("topic_first"));

        // 4.获取消息
        while (true) {
            ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofMillis(1000));
            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                System.out.println(consumerRecord.key());
                System.out.println(consumerRecord.value());
                System.out.println(consumerRecord.partition());
            }
        }
    }
}

分区策略

分区策略	说明
轮询策略	按顺序轮流将每条数据分配到每个分区中
随机策略	每次都随机地将消息分配到每个分区
按键保存策略	生产者发送数据的时候，可以指定一个key，计算这个key的hashCode值，按照hashCode的值对不同消息进行存储

Kafka高可用设计

集群

Kafka 的服务器端由被称为 Broker 的服务进程构成，即一个 Kafka 集群由多个 Broker 组成
这样如果集群中某一台机器宕机，其他机器上的 Broker 也依然能够对外提供服务。这其实就是 Kafka 提供高可用的手段之一

备份机制(Replication）

Kafka 中消息的备份又叫做副本（Replica）

Kafka 定义了两类副本：

领导者副本（Leader Replica）
追随者副本（Follower Replica）

同步方式

ISR（in-sync replica）需要同步复制保存的follower

如果leader失效后，需要选出新的leader，选举的原则如下：

第一：选举时优先从ISR中选定，因为这个列表中follower的数据是与leader同步的

第二：如果ISR列表中的follower都不行了，就只能从其他follower中选取

极端情况，就是所有副本都失效了，这时有两种方案

第一：等待ISR中的一个活过来，选为Leader，数据可靠，但活过来的时间不确定

第二：选择第一个活过来的Replication，不一定是ISR中的，选为leader，以最快速度恢复可用性，但数据不一定完整

package com.itcam.sample;

import org.apache.kafka.clients.producer.*;

import java.util.Properties;
import java.util.concurrent.ExecutionException;

/**
 * @author : Cammy.Wu
 * Description : 生产者
 */

public class ProducerQuickStart {
    public static void main(String[] args) throws ExecutionException, InterruptedException {
        // 1.kafka连接配置信息
        Properties prop = new Properties();
        // 连接配置
        prop.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.200.130:9092");
        // key和value的序列化器
        prop.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        prop.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        // 2.创建kafka生产者对象
        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(prop);

        // 3.发送消息
        /*
            ProducerRecord
                第一个参数：topic
                第二个参数：消息的key
                第三个参数：消息的value
         */
        ProducerRecord<String, String> producerRecord = new ProducerRecord<>("topic_first", "hello kafka");
        // 发送同步消息
        // RecordMetadata recordMetadata = producer.send(producerRecord).get();
        // System.out.println(recordMetadata.offset());

        // 发送异步消息
        producer.send(producerRecord, new Callback() {
            @Override
            public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                if (e != null) {
                    System.out.println("记录异常信息到日志表中");
                }
                System.out.println(recordMetadata.offset());
            }
        });

        // 4.关闭消息通道——必须要关闭，否则消息发送不成功
        producer.close();
    }
}

kafka生产者详解

发送类型

同步发送

使用send()方法发送，它会返回一个Future对象，调用get()方法进行等待，就可以知道消息是否发送成功

异步发送

调用send()方法，并指定一个回调函数，服务器在返回响应时调用函数

ACK

确认机制	说明
acks=0	生产者在成功写入消息之前不会等待任何来自服务器的响应,消息有丢失的风险，但是速度最快
acks=1（默认值）	只要集群首领节点收到消息，生产者就会收到一个来自服务器的成功响应
acks=all	只有当所有参与赋值的节点全部收到消息时，生产者才会收到一个来自服务器的成功响应

// ack——消息确认机制
prop.put(ProducerConfig.ACKS_CONFIG, "all");

Retries

// 重试次数
prop.put(ProducerConfig.RETRIES_CONFIG, 3);

生产者从服务器收到的错误有可能是临时性错误，在这种情况下，retries参数的值决定了生产者可以重发消息的次数，如果达到这个次数，生产者会放弃重试返回错误，默认情况下，生产者会在每次重试之间等待100ms

消息压缩

默认情况下，消息发送时不会被压缩。

压缩算法	说明
snappy	占用较少的 CPU，却能提供较好的性能和相当可观的压缩比，如果看重性能和网络带宽，建议采用
lz4	占用较少的 CPU，压缩和解压缩速度较快，压缩比也很客观
gzip	占用较多的 CPU，但会提供更高的压缩比，网络带宽有限，可以使用这种算法

使用压缩可以降低网络传输开销和存储开销，而这往往是向 Kafka 发送消息的瓶颈所在。

// 消息压缩
prop.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "snappy");

完整生产者代码

package com.itcam.sample;

import org.apache.kafka.clients.producer.*;

import java.util.Properties;
import java.util.concurrent.ExecutionException;

/**
 * @author : Cammy.Wu
 * Description : 生产者
 */

public class ProducerQuickStart {
    public static void main(String[] args) throws ExecutionException, InterruptedException {
        // 1.kafka连接配置信息
        Properties prop = new Properties();
        // 连接配置
        prop.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.200.130:9092");
        // key和value的序列化器
        prop.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        prop.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        // ack——消息确认机制
        prop.put(ProducerConfig.ACKS_CONFIG, "all");

        // 重试次数
        prop.put(ProducerConfig.RETRIES_CONFIG, 3);

        // 消息压缩
        prop.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "snappy");

        // 2.创建kafka生产者对象
        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(prop);

        // 3.发送消息
        /*
            ProducerRecord
                第一个参数：topic
                第二个参数：消息的key
                第三个参数：消息的value
         */
        ProducerRecord<String, String> producerRecord = new ProducerRecord<>("topic_first", "hello kafka");
        // 发送同步消息
        // RecordMetadata recordMetadata = producer.send(producerRecord).get();
        // System.out.println(recordMetadata.offset());

        // 发送异步消息
        producer.send(producerRecord, new Callback() {
            @Override
            public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                if (e != null) {
                    System.out.println("记录异常信息到日志表中");
                }
                System.out.println(recordMetadata.offset());
            }
        });

        // 4.关闭消息通道——必须要关闭，否则消息发送不成功
        producer.close();
    }
}

kafka消费者详解

消费者组

消费者组（Consumer Group）：指的就是由一个或多个消费者组成的群体
一个发布在Topic上消息被分发给此消费者组中的一个消费者
- 所有的消费者都在一个组中，那么这就变成了queue模型
- 所有的消费者都在不同的组中，那么就完全变成了发布-订阅模型

消息有序性

应用场景：

即时消息中的单对单聊天和群聊，保证发送方消息发送顺序与接收方的顺序一致
充值转账两个渠道在同一个时间进行余额变更，短信通知必须要有顺序
……

kafka集群托管4个分区（P0-P3），2个消费者组，消费组A有2个消费者，消费组B有4个

topic分区中消息只能由消费者组中的唯一一个消费者处理，所以消息肯定是按照先后顺序进行处理的。但是它也仅仅是保证Topic的一个分区顺序处理，不能保证跨分区的消息先后处理顺序。所以，如果你想要顺序的处理Topic的所有消息，那就只提供一个分区。

提交和偏移量(RabbitMQ有确认机制)

kafka不会像其他JMS队列那样需要得到消费者的确认，消费者可以使用kafka来追踪消息在分区的位置（偏移量）

消费者会往一个叫做_consumer_offset的特殊主题发送消息，消息里包含了每个分区的偏移量。如果消费者发生崩溃或有新的消费者加入群组，就会触发再均衡

偏移量

如果提交偏移量小于客户端处理的最后一个消息的偏移量，那么处于两个偏移量之间的消息就会被重复处理。

如果提交的偏移量大于客户端的最后一个消息的偏移量，那么处于两个偏移量之间的消息将会丢失。

偏移量提交方式

提交偏移量的方式有两种，分别是自动提交偏移量和手动提交

自动提交偏移量

当enable.auto.commit被设置为true，提交方式就是让消费者自动提交偏移量，每隔5秒消费者会自动把从poll()方法接收的最大偏移量提交上去

手动提交

当enable.auto.commit被设置为false可以有以下三种提交方式

- <font style="color:black;">提交当前偏移量（同步提交）</font>
- <font style="color:black;">异步提交</font>
- <font style="color:black;">同步和异步组合提交</font>

提交当前偏移量（同步提交）

package com.itcam.sample;

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.common.TopicPartition;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.time.Duration;
import java.util.Collections;
import java.util.Map;
import java.util.Properties;

/**
 * @author : Cammy.Wu
 * Description : 消费者
 */

public class ConsumerQuickStart {
    private static final Logger log = LoggerFactory.getLogger(ConsumerQuickStart.class);

    public static void main(String[] args) {
        // 1.设置kafka的配置信息
        Properties prop = new Properties();
        // 连接信息
        prop.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.200.130:9092");
        // 指定消费者组
        prop.put(ConsumerConfig.GROUP_ID_CONFIG, "group001");
        // 反序列化的key和value
        prop.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        prop.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        // 手动提交偏移量
        prop.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);

        // 2.创建消费者对象
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(prop);

        // 3.订阅主题
        consumer.subscribe(Collections.singleton("topic_first"));

        // 4.获取消息
        while (true) {
            ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofMillis(1000));
            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                System.out.println(consumerRecord.key());
                System.out.println(consumerRecord.value());
                System.out.println(consumerRecord.partition());
                System.out.println(consumerRecord.offset());

                try {
                    // 同步提交偏移量
                    consumer.commitSync();
                } catch (CommitFailedException e) {
                    log.error("记录提交失败的异常:{}", e);
                }
             }

         }
    }


}

异步提交

package com.itcam.sample;

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.common.TopicPartition;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.time.Duration;
import java.util.Collections;
import java.util.Map;
import java.util.Properties;

/**
 * @author : Cammy.Wu
 * Description : 消费者
 */

public class ConsumerQuickStart {
    private static final Logger log = LoggerFactory.getLogger(ConsumerQuickStart.class);

    public static void main(String[] args) {
        // 1.设置kafka的配置信息
        Properties prop = new Properties();
        // 连接信息
        prop.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.200.130:9092");
        // 指定消费者组
        prop.put(ConsumerConfig.GROUP_ID_CONFIG, "group001");
        // 反序列化的key和value
        prop.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        prop.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        // 手动提交偏移量
        prop.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);

        // 2.创建消费者对象
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(prop);

        // 3.订阅主题
        consumer.subscribe(Collections.singleton("topic_first"));

        // 4.获取消息
        while (true) {
            ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofMillis(1000));
            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                System.out.println(consumerRecord.key());
                System.out.println(consumerRecord.value());
                System.out.println(consumerRecord.partition());
                System.out.println(consumerRecord.offset());
            }

        // 异步的方式提交偏移量
        consumer.commitAsync(new OffsetCommitCallback() {
                @Override
                public void onComplete(Map<TopicPartition, OffsetAndMetadata> map, Exception e) {
                    if (null != e) {
                        System.out.println("记录提交失败的异常" + map + ",异常信息为：" + e);
                    }
                }
            });

         }
    }


}

同步和异步组合提交

package com.itcam.sample;

import org.apache.kafka.clients.consumer.*;
import org.apache.kafka.common.TopicPartition;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.time.Duration;
import java.util.Collections;
import java.util.Map;
import java.util.Properties;

/**
 * @author : Cammy.Wu
 * Description : 消费者
 */

public class ConsumerQuickStart {
    private static final Logger log = LoggerFactory.getLogger(ConsumerQuickStart.class);

    public static void main(String[] args) {
        // 1.设置kafka的配置信息
        Properties prop = new Properties();
        // 连接信息
        prop.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.200.130:9092");
        // 指定消费者组
        prop.put(ConsumerConfig.GROUP_ID_CONFIG, "group001");
        // 反序列化的key和value
        prop.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        prop.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        // 手动提交偏移量
        prop.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);

        // 2.创建消费者对象
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(prop);

        // 3.订阅主题
        consumer.subscribe(Collections.singleton("topic_first"));

        // 4.获取消息
        // 同步和异步组合提交偏移量
        try {
            while (true) {
                ConsumerRecords<String, String> consumerRecords = consumer.poll(Duration.ofMillis(1000));
                for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                    System.out.println(consumerRecord.key());
                    System.out.println(consumerRecord.value());
                    System.out.println(consumerRecord.partition());
                    System.out.println(consumerRecord.offset());
                }

                // 异步提交偏移量
                consumer.commitAsync();
            }
        } catch (Exception e) {
            e.printStackTrace();
            System.out.println("记录提交失败的异常" + e);
        }finally {
            // 同步提交偏移量
            consumer.commitSync();
        }

    }


}

SpringBoot集成kafka收发消息

spring boot集成kafka收发消息

1.导入spring-kafka依赖信息

<!-- 引入 Apache Kafka 客户端依赖 -->
<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka-clients</artifactId>
</dependency>

<!-- 引入 Spring Kafka 依赖，用于集成 Spring 和 Kafka -->
<dependency>
  <groupId>org.springframework.kafka</groupId>
  <artifactId>spring-kafka</artifactId>
</dependency>

<!-- 阿里巴巴的 Fastjson库 -->
<dependency>
  <groupId>com.alibaba</groupId>
  <artifactId>fastjson</artifactId>
</dependency>

<!-- 该依赖项引入了Spring Boot Web模块，用于创建基于Spring Boot的Web应用程序 -->
<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-web</artifactId>
</dependency>

2.在resources下创建文件application.yml

server:
  port: 9991
spring:
  application:
    name: kafka-demo
  kafka:
    bootstrap-servers: 192.168.200.130:9092
    # 配置生产者
    producer:
      retries: 10
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    # 配置消费者
    consumer:
      group-id: ${spring.application.name}-test
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

3.消息生产者

package com.itcam.controller;

import com.alibaba.fastjson.JSON;
import com.itcam.pojo.User;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * @author : Cammy.Wu
 */

@RestController
public class KafkaDemoController {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    @GetMapping("/kafka")
    public String kafka() {
        kafkaTemplate.send("itcam_topic", "i am a loser");
        return "ok";
    }
}

4.消息消费者

package com.itcam.listener;

import com.alibaba.fastjson.JSON;
import com.itcam.pojo.User;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;
import org.springframework.util.StringUtils;

/**
 * @author : Cammy.Wu
 */

@Component
public class KafkaDemoListener {

    @KafkaListener(topics = "itcam_topic")
    public void listen(String message) {
        if (!StringUtils.isEmpty(message)) {
            System.out.println("接收到消息：" + message);
        }
    }
}

传递消息为对象

目前springboot整合后的kafka，因为序列化器是StringSerializer，这个时候如果需要传递对象可以有两种方式

方式一：可以自定义序列化器，对象类型众多，这种方式通用性不强，本章节不介绍

方式二：可以把要传递的对象进行转json字符串，接收消息后再转为对象即可，本项目采用这种方式

发送消息

接收消息

代码实现

package com.itcam.pojo;

/**
 * @author : Cammy.Wu
 */

public class User {

    private String name;
    private Integer age;

    public Integer getAge() {
        return age;
    }

    public void setAge(Integer age) {
        this.age = age;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    @Override
    public String toString() {
        return "User{" +
        "name='" + name + '\'' +
        ", age=" + age +
        '}';
    }
}

package com.itcam.controller;

import com.alibaba.fastjson.JSON;
import com.itcam.pojo.User;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * @author : Cammy.Wu
 */

@RestController
public class KafkaDemoController {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    @GetMapping("/kafka-user")
    public String kafka() {

        User user = new User();
        user.setName("Cammy");
        user.setAge(18);

        kafkaTemplate.send("user_topic", JSON.toJSONString(user));

        return "ok";
    }
}

package com.itcam.listener;

import com.alibaba.fastjson.JSON;
import com.itcam.pojo.User;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;
import org.springframework.util.StringUtils;

/**
 * @author : Cammy.Wu
 */

@Component
public class KafkaDemoListener {

    @KafkaListener(topics = "user_topic")
    public void listenUser(String message) {
        if (!StringUtils.isEmpty(message)) {
            User user = JSON.parseObject(message, User.class);
            System.out.println("接收到消息：" + user.getName() + "---" + user.getAge());
        }
    }
}

标签

#kafka #linq #分布式 #java #后端