Kafka学习笔记

Kafka学习笔记

为什么需要使用消息队列？

1、使用同步的通信方式来解决多个服务之间的通信

同步方式存在的问题：造成系统的开销、响应时间是比较大的。

在同步的过程中，都要保证每个服务都要执行完，整个链路才能执行完，因为网络等问题，整个链路执行成功率会受到影响。

同步的通信方式会存在性能和稳定性的问题。

2、使用异步的通信方式：

500ms发一条消息，就能搞定。

下流拿到消息就去处理，也认为是500ms。

异步的优势：明显提升了系统的吞吐量。

即使某个服务失败了，我们可以通过分布式事务解决方案来保证最终执行成功。

针对同步的通信方式来说，异步的方式，可以让上游快速成功，极大提高了系统的吞吐量，而且在分布式系统中，通过下游多个服务的分布式事务的保障，也能保障业务执行之后的最终一致性。

消息队列具体解决的是什么问题？——通信问题。

什么是MQ?

消息队列中间件MQ，MQ通过将消息的发送和接收分离来实现应用程序的异步和解耦，这给人的感觉MQ是异步的，用来解耦的，但这只是MQ的效果，不是目的，MQ真正的目的是为了通讯，屏蔽底层复杂的通讯协议，定义了一套应用层、更加简单的通讯协议。

一个分布式系统中两个模块之间的通信要么是HTTP，要么是TCP，但这两种协议其实都是原始的协议，HTTP协议很难实现两端通信。TCP就更加原始了。

MQ所要做的就是在这些协议之上构建一个简单的“协议”——生产者/消费者模型。

MQ带给我们的“协议”，不是具体的通讯协议，而是更高层次的通讯模型，它定义了两个对象，发送数据的生产者；接收数据的叫消费者，提供了一个SDK，让我们可以定义自己的生产者和消费者实现消息通讯而无视底层通讯协议。

消息队列的流派：

目前消息队列的中间件选型有很多种：

rabbitMQ：

rocketMQ：

Kafka：

ZeroMQ：

这些消息队列中间件有什么区别？

有Broker的MQ：

通常有一台服务器作为broker，所有的消息都通过它转发，生产者把消息发送给它就结束自己的任务了，Broker则主动把消息推送给消费者。

重Topic：

Kafka、JMS（ActiveMQ），生产者会发送key和数据到broker，由Broker比较key之后决定给哪个消费者，这是我们最常见的模式，是我们对MQ最多的印象。topic某种意义上就是queue。

Broker定义了三个队列，key1、key2、key3，生产者发送数据的时候就会发送key1和data，Broker在推送数据的时候则推送data（也可能把key带上）。

这种类型的MQ只有Kafka一种备选方案。

轻Topic：

RabbitMQ：生产者发送key和数据，消费者定义订阅的队列，Broker收到数据之后会通过一定的逻辑计算出key对应的队列，然后把数据交给队列。

RocketMQ：阿里内部员工根据Kafka内部执行原理，手写的一个消息队列中间件。

无Broker的MQ：

ZeroMQ：MQ是更高级的Socket，它是解决通讯问题的。所以ZeroMQ被设计成一个库，而不是中间件。这种实现也可以达到没有Broker的目的。

ZeroMQ做的事情就是封装出一套类似于Socket的API可以完成发送数据，读取数据。

网络安全学习资源分享:

给大家分享一份全套的网络安全学习资料，给那些想学习 网络安全的小伙伴们一点帮助！

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

因篇幅有限，仅展示部分资料，朋友们如果有需要全套《网络安全入门+进阶学习资源包》，需要点击下方链接即可前往获取

读者福利 | CSDN大礼包：《网络安全入门&进阶学习资源包》免费分享 （安全链接，放心点击）

👉1.成长路线图&学习规划👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

👉2.网安入门到进阶视频教程👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，其中一共有21个章节，每个章节都是当前板块的精华浓缩。（全套教程文末领取哈）

👉3.SRC&黑客文档👈

大家最喜欢也是最关心的SRC技术文籍&黑客技术也有收录

SRC技术文籍：

黑客资料由于是敏感资源，这里不能直接展示哦！（全套教程文末领取哈）

👉4.护网行动资料👈

其中关于HW护网行动，也准备了对应的资料，这些内容可相当于比赛的金手指！

👉5.黑客必读书单👈

👉6.网络安全岗面试题合集👈

当你自学到这里，你就要开始思考找工作的事情了，而工作绕不开的就是真题和面试题。

所有资料共282G，朋友们如果有需要全套《网络安全入门+进阶学习资源包》，可以扫描下方二维码或链接免费领取~

读者福利 | CSDN大礼包：《网络安全入门&进阶学习资源包》免费分享 （安全链接，放心点击）