kafka读书笔记-消费者-多线程实现及消费者参数配置

KafkaProducer是线程安全的，可以多线程共用一个实例，而KafkaConsumer是非线程安全的，这点我对比了下KafkaProducer和KafkaConsumer中的成员变量。KafkaConsumer非线程安全的原因应该在于下面这个成员变量:

private boolean cachedSubscriptionHashAllFetchPositions;

cachedSubscriptionHashAllFetchPositions在每回poll方法调用时都会去判断订阅分区位移是否有效，有效为true，无效则在poll的指定时间内重置分区offset，这个参数多线程条件下修改是不安全的。

KafkaConsumer除了wakeUp()的其它公共方法调用时都会进行一次acquire()检测，类似于乐观锁的机制，判断是否被不同线程调用。acquire方法如下:

private void acquire() {
        long threadId = Thread.currentThread().getId();
        if (threadId != currentThread.get() && !currentThread.compareAndSet(NO_CURRENT_THREAD, threadId))
            throw new ConcurrentModificationException("KafkaConsumer is not safe for multi-threaded access");
        refcount.incrementAndGet();
    }

通过本地维护一个原子变量currentThread来判断当前调用的线程id是否与之前存入的原子变量中的currentThread一致，若不一致则抛出异常。

消息消费多线程方式有以下几种：
1.线程封闭：每个线程实例化一个KafkaConsumer对象，每个KafkaConsumer实例可以消费一个或多个分区中的消息。由于之前介绍的默认情况下一个分区最多只能被一个消费者消费的关系，这种方式KafkaConsumer最多不能超过分区的数量，超过分区数量的消费者线程就会处于空闲状态。
2.assign、seek自定义消费流程。通过assign和seek方法可以打破消费线程不能超过分区数的限制，提高消费能力，但多个消费者消费同一分区时的位移提交和顺序处理会变得异常复杂，不推荐使用。
3.分离消息拉取与业务处理逻辑。采用A线程拉取消息，拉取到的消息丢入线程B或者线程池B进行处理，线程池B进行处理时需注意offsets读写需加锁，避免并发问题。同时考虑到会出现线程池消费数据0～99时异常未能提交offsets，但是消费数据100~199时正常提交offsets就会出现offsets覆盖的问题，所以滑动窗口的概念，就是说窗口中总共有0～99、100～199、200～299三组消息，三组消息同时在线程池B中进行业务逻辑处理，采用startOffset记录0～99所在位置数据，endOffsets记录200～299所在位置数据，只有当startOffset所在位置数据处理完之后，整个滑动窗口才能后移一格，如果100～199先处理完，那么需要等待0～199处理完之后整个窗口才能后移两格。为了避免startOffset所在窗口异常数据无法处理造成的停顿，还可以加上超时时间的设置。

上面几种多线程实现方式1是最简单的，3易于横向扩展消费能力的，并且减少了TCP连接，2逻辑处理麻烦，基本没啥用。

下表记录一些消费者端参数：