kafka2.x版本配置SSL进行加密和身份验证

原创

已于 2024-04-04 23:08:55 修改 · 4.2k 阅读

标签

#ssl #kafka

于 2024-03-19 11:50:50 首次发布

本文围绕Apache Kafka的SSL安全机制展开，介绍了预备知识keytool和openssl。详细阐述了为Kafka代理生成SSL密钥和证书、创建CA、对证书签名、配置Kafka代理和客户端等步骤，还提及了配置过程中遇到的报错情况及处理思路。

背景：找了一圈资料，都是东讲讲西讲讲，最后我还没搞好，最终决定参考官网说明。

官网指导手册地址：Apache Kafka

需要预备的知识，keytool和openssl

关于keytool的参考：keytool的使用-CSDN博客

关于openssl的参考：openssl常用命令大全_openssl命令参数大全-CSDN博客

先只看SSL安全机制方式。

Apache Kafka 允许客户端通过 SSL 进行连接。默认情况下，SSL 处于禁用状态，但可以根据需要打开。

1为每个 Kafka 代理生成 SSL 密钥和证书

部署一个或多个支持 SSL 的代理的第一步是为集群中的每台计算机生成密钥和证书。您可以使用 Java 的 keytool 实用程序来完成此任务。我们最初会将密钥生成到临时密钥库中，以便稍后使用 CA 导出和签名。

keytool -keystore server.keystore.jks -alias localhost -validity 700 -genkey -keyalg RSA

您需要在上面的命令中指定两个参数：

密钥库：存储证书的密钥库文件。密钥库文件包含证书的私钥;因此，它需要安全保存。这里是server.keystore.jks
有效期：证书的有效时间，单位为天。这里是700天。

可以看到，目录下生成了对应文件

之后可以运行以下命令来验证生成的证书的内容：

keytool -list -v -keystore server.keystore.jks

2创建您自己的 CA

完成第一步后，群集中的每台计算机都有一个公钥-私钥对，以及一个用于标识计算机的证书。但是，该证书是未签名的，这意味着攻击者可以创建此类证书来伪装成任何计算机。

因此，通过为群集中的每台计算机对证书进行签名来防止伪造证书非常重要。证书颁发机构（CA）负责对证书进行签名。CA的工作方式类似于签发护照的政府——政府在每本护照上盖章（签名），使护照变得难以伪造。其他政府会验证印章以确保护照的真实性。同样，CA 对证书进行签名，而加密技术保证签名证书在计算上难以伪造。因此，只要 CA 是真实且受信任的颁发机构，客户端就可以高度保证它们连接到真实的计算机。

openssl req -new -x509 -keyout ca-key -out ca-cert -days 365

生成的 CA 只是一个公钥-私钥对和证书，它旨在对其他证书进行签名。
下一步是将生成的 CA 添加到客户端的信任库中，以便客户端可以信任此 CA：

keytool -keystore server.truststore.jks -alias CARoot -import -file ca-cert

与步骤 1 中存储每台机器自己的身份的密钥库不同，客户机的信任库存储客户机应信任的所有证书。将证书导入到信任库中还意味着信任由该证书签名的所有证书。如上所述，信任政府（CA）也意味着信任它签发的所有护照（证书）。此属性称为信任链，在大型 Kafka 集群上部署 SSL 时特别有用。您可以使用单个 CA 对集群中的所有证书进行签名，并让所有计算机共享信任该 CA 的同一信任库。这样，所有计算机都可以对所有其他计算机进行身份验证。

3对证书进行签名

下一步是使用步骤 2 中生成的 CA 对步骤 1 生成的所有证书进行签名。首先，您需要从密钥库中导出证书：

keytool -密钥库 client.truststore.jks -alias CARoot -import -file ca-cert

keytool -keystore server.keystore.jks -alias localhost -certreq -file cert-file

然后与 CA 一起签名：

openssl x509 -req -CA ca-cert -CAkey ca-key -in cert-file -out cert-signed -days 700 -CAcreateserial -passin pass:{ca-password}

最后，您需要将 CA 的证书和签名的证书都导入到密钥库中：

keytool -keystore server.keystore.jks -alias CARoot -import -file ca-cert

keytool -keystore server.keystore.jks -alias localhost -import -file cert-signed

参数的定义如下：

密钥库：密钥库的位置
ca-cert：CA的证书
ca-key：CA的私钥
ca-password：CA的密码
cert-file：导出的服务器未签名证书
cert-signed：服务器的签名证书

4配置 Kafka 代理

Kafka Broker 支持侦听多个端口上的连接。我们需要在 server.properties 中配置以下属性，该属性必须具有一个或多个逗号分隔值：

如果未为代理间通信启用 SSL（请参阅下文了解如何启用它），则需要 PLAINTEXT 和 SSL 端口。

listeners=PLAINTEXT://localhost:9092,SSL://localhost:9092

代理端需要以下 SSL 配置

ssl.keystore.location=/home/lighthouse/server.keystore.jks

ssl.keystore.password=test1234

ssl.key.password=test1234

ssl.truststore.location=/home/lighthouse/server.truststore.jks

ssl.truststore.password=测试1234

注意：ssl.truststore.password 在技术上是可选的，但强烈建议使用。如果未设置密