1. 环境准备:你的第一块基石
想玩转实时数据处理,Confluent Platform 社区版绝对是个宝藏。它把 Apache Kafka 以及周边一系列好用的工具,比如 KSQL、Schema Registry、Kafka Connect 都打包好了,让你开箱即用。对于想快速搭建实时数据管道、做流处理的开发团队来说,这能省下大量自己拼装组件的麻烦。今天,我就带你从零开始,一步步把它部署起来,并用 KSQL 写几个实用的流处理查询,让你亲手感受一下数据“流”起来的魅力。
在动手之前,咱们得先把地基打牢。环境检查这一步千万不能省,我见过不少朋友因为环境问题卡了半天,最后发现是 Java 版本不对,非常影响体验。
首先,操作系统。官方明确说了,Confluent Platform 目前不正式支持 Windows。如果你用的是 Windows,虽然也能下载 ZIP 或 TAR 包,但只能直接运行 JAR 文件,很多便捷的脚本用起来会不方便。所以,我强烈建议你在 Linux 或 macOS 环境下进行。我自己的实验环境是 Ubuntu 20.04,过程会很顺畅。
其次,Java 环境。这是重中之重。从 Confluent Platform 5.0 开始,最低要求是 JDK 8,并且不再支持 Java 7 了。注意,是完整的 JDK(Java Development Kit),不是 JRE(Java Runtime Environment)。因为运行过程中可能需要编译之类的操作。Oracle JDK 和 OpenJDK 都可以,我用的是 OpenJDK 8。你可以用 java -version 命令来检查。确保输出类似 openjdk version "1.8.0_352"。如果你的版本是 11 也行,但根据我的经验,8 的兼容性最广,社区资料也最多。
最后,关于版本匹配。Confluent Platform 是一个包含多个组件的套件,每个组件都有自己的版本。虽然社区版安装包已经帮你匹配好了,但了解一下有好处。比如,Confluent Platform 5.4.x 内置的是 Kafka 2.4.x,对应的 KSQL 版本也是 5.4.x,而它依赖的 ZooKeeper 版本是 3.5.6。你不需要手动去凑这些版本,安装包已经解决了。但如果你未来需要升级某个单独组件,就需要查一下官方的兼容性矩阵,避免出现“拉链对不上”的问题。
2. 安装与启动:让服务跑起来
环境检查无误,咱们就开始安装。Confluent 提供了多种安装方式,包括用包管理器(如 apt、yum)、Docker 以及下载压缩包。为了让你更清楚里面的结构,我选择最“原始”也最通用的方式:下载 TAR 包手动安装。这样你能看到所有文件和目录,对理解整个平台更有帮助。
第一步,下载安装包。 你可以直接去 Confluent 官网的下载页面,找到社区版(Community)的 TAR 包。或者,更极客一点,在终端里用 wget 命令直接拉取。比如,我想下载 5.5.1 版本(你可以替换成当时最新的社区版),可以这样做:
wget -P /tmp https://packages.confluent.io/archive/5.5/confluent-5.5.1-2.12.tar.gz
这里 -P /tmp 是指定下载到 /tmp 目录。下载完成后,我们把它解压到合适的安装目录,比如 /opt:
sudo tar -xzf /tmp/confluent-5.5.1-2.12.tar.gz -C /opt
解压后,/opt 目录下会有一个 confluent-5.5.1 的文件夹。为了方便,我通常会创建一个软链接:
sudo ln -s /opt/confluent-5.5.1 /opt/confluent
这样,无论以后升级到哪个版本,我只需要让 /opt/confluent 这个链接指向


180

被折叠的 条评论
为什么被折叠?



