本文参考文章:
http://www.cnblogs.com/likehua/p/3999538.html
简介
kafka集群有多个实例组成,每个实例称为broker。
broker,producer和consumer都依赖zookeeper保存meta信息。
每个topic都有多个partition分区,每个分区保存在不同的server上
分区上每个消息都有一个offset(分区上消息是顺序的)
新消息时append到每个分区后面的
pull模式,非push模式(发布订阅)
生产者通过random,hash等模式把消息均衡发送到多个partition里面
每个分区又被分为多个segmentfile,名字为最小offset.kafka。
每个分区同一时刻只允许一个consumer连接,一个consumer同时可以连接多个分区。
broker,producer和consumer都依赖zookeeper保存meta信息。
每个topic都有多个partition分区,每个分区保存在不同的server上
分区上每个消息都有一个offset(分区上消息是顺序的)
新消息时append到每个分区后面的
pull模式,非push模式(发布订阅)
生产者通过random,hash等模式把消息均衡发送到多个partition里面
每个分区又被分为多个segmentfile,名字为最小offset.kafka。
每个分区同一时刻只允许一个consumer连接,一个consumer同时可以连接多个分区。
复制备份
kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没

本文介绍了Kafka作为一款强大的消息中间件,其特性包括无限的横向扩展能力,通过复制备份确保数据可靠性,并依赖Zookeeper进行集群协调。详细讲述了消费者启动的步骤,是理解Kafka工作原理的重要参考资料。

1234

被折叠的 条评论
为什么被折叠?



