Spark大数据分与实践笔记（第六章 Kafka分布式发布订阅消息系统-02）

第六章 Kafka分布式发布订阅消息系统

6.3 Kafka 集群部署与测试

6.3.1 安装Kafka

Kafka集群部署依赖于Java环境和Zookeeper服务，在本书第二章搭建Spark HA小节，我们已经完成了上述环境和Zookeeper集群的配置。下面通过4个步骤讲解Kafka集群的安装流程。

6.3.1.1 下载、解压安装包

Kafka集群安装很简单，访问Kafka 官方网站http://kafka.apache.org/downloads.html下载安装包，由于后续章节会与Spark框架整合使用，因此在选择Kafka的版本时要与Scala版本保持一致， 本书选择当前最新稳定版本kafka_2.11-2.0.0.tgz 。
下载完成后，将安装包上传至hadoop01节点中的/export/software目录下，使用以下命令解压安装包:

tar -zxvf kafka_2.11-2.0.0.tgz -C /export/servers/

6.3.1.2 修改配置文件。

进入Kafka文件夹下的/export/servers/kafka_2.11-2.0.0/config目录,修改server.properties配置文件(vi server.properties), 修改后的内容如文件所示。
文件6-1 server.properties

#broker的全局唯一编号， 不能重复
broker.id=0
#用来监听链接的端口，producer或consumer将在此端 ]建立连接
por t=9092
#处理网络请求的线程数量
num. network.threads=3
#用来处理磁盘I0的现成数量
num.io.thread