Clickhouse笔记（二） 集群搭建

最新推荐文章于 2026-05-21 21:51:50 发布
原创 最新推荐文章于 2026-05-21 21:51:50 发布 · 3k 阅读 · 14 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#clickhouse

0.集群规划

操作系统使用ubuntu2204server，8C8G100G。

节点分片部署
192.168.50.5分片1副本1clickhouse-server/clickhouse-client/keeper
192.168.50.6分片1副本2clickhouse-server/clickhouse-client/keeper
192.168.60.7分片2副本1clickhouse-server/clickhouse-client/keeper
192.168.50.25分片2副本2clickhouse-server/clickhouse-client

四台主机都作为数据分片，每个数据分片有两个副本。keeper 部署到三个节点上，奇数节点用于实现 ClickHouse Keeper 中要求的票选数。

1.准备节点

  • 准备操作系统 ubuntu 或centos，尽量和你生产环境的操作系统版本一致
  • 统一时区，配置NTP（测试环境可以简略，只要节点的时区统一即可）
  • 配置ssh免密登录（可选）
1.1 使用指定的版本

根据实际情况安装指定版本的clickhouse.使用命令curl https://clickhouse.com/ | sh安装的clickhouse默认是最新版本的，但是有时我们需要安装指定的稳定版本，登录 https://packages.clickhouse.com/ 可以找到clickhouse为不同linux发行版本准备的各个版本的.

1.2 使用第三方版本

也可以使用Altinity的稳定版本 https://builds.altinity.cloud/

sudo apt update
sudo apt install -y curl gnupg2 apt-transport-https ca-certificates dialog
sudo sh -c 'mkdir -p /usr/share/keyrings && curl -s https://builds.altinity.cloud/apt-repo/pubkey.gpg | gpg --dearmor > /usr/share/keyrings/altinity-archive-keyring.gpg'
sudo sh -c 'echo "deb [signed-by=/usr/share/keyrings/altinity-archive-keyring.gpg] https://builds.altinity.cloud/apt-repo stable main" > /etc/apt/sources.list.d/altinity.list'
sudo apt update
sudo apt install -y clickhouse-server clickhouse-client

v24.4.1.2088-stable

🖊 上面两种安装方式任选一种，在每台服务器上安装clickhouse。

安装完成后使用下面的命令启动clickhouse.

sudo -u alfiy clickhouse server

也可以以服务的方式启动

sudo service clickhouse-server start

2.配置集群

注意，ClickHouse 要求每个分片的每个副本必须配置在单独的实例上，也就是说在整个集群范围内，一共有多少个副本，就需要创建多少个 ClickHouse 实例。最佳实践是3分片2副本6实例。

2.0 修改hosts

如果在clickhouse的配置中，使用了域名配置而不是IP地址，除非你的域名真实存在，否则需要修改本机的hosts文件。由于我同时测试了使用域名和IP两种配置方式，所以在本例中需要同时修改四个节点的hosts文件。

打开/etc/hosts文件，添加以下内容。

192.168.50.5 node1
192.168.50.6 node2
192.168.50.7 node3
192.168.50.25 node4

修改完成后，可以使用ping node1命令查看hosts是否生效，如果生效就能够ping的通。

2.1修改node1的配置

在node2的/etc/clickhouse-server/config.xml文件的标签中添加以下内容。

    <!-- 添加以下条目以允许通过网络接口进行外部通信。 -->
    <listen_host>0.0.0.0</listen_host>

    <!-- 指定实例启用 ClickHouse Keeper。更新每台服务器的＜server_id＞设置，node1为1、node2为2、node3为3。-->
    <keeper_server>
        <tcp_port>9181</tcp_port>
        <server_id>1</server_id>
        <log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path>
        <snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>

        <coordination_settings>
            <operation_timeout_ms>10000</operation_timeout_ms>
            <session_timeout_ms>30000</session_timeout_ms>
            <raft_logs_level>warning</raft_logs_level>
        </coordination_settings>

        <raft_configuration>
            <server>
                <id>1</id>
                <hostname>192.168.50.5</hostname>
                <port>9234</port>
            </server>
            <server>
                <id>2</id>
                <hostname>192.168.50.6</hostname>
                <port>9234</port>
            </server>
            <server>
                <id>3</id>
                <hostname>192.168.50.7</hostname>
                <port>9234</port>
            </server>
        </raft_configuration>
    </keeper_server>

    <!-- 指定实例所使用的 ClickHouse Keeper，可以使用域名也可以使用IP地址 -->
    <zookeeper>
        <node>
            <host>192.168.50.5</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.50.6</host>
            <port>9181</port>
        </node>
        <node>
            <host>192.168.60.7</host>
            <port>9181</port>
        </node>
    </zookeeper>

    <remote_servers>
        <!-- cluster_2S_2R 标签为集群名称，可以自定义但集群中的节点保持一致 -->
        <cluster_2S_2R>
            <shard>
                <replica>
                    <host>192.168.50.5</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>your_password</password>
                </replica>
                <replica>
                    <host>192.168.50.6</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>your_password</password>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>192.168.50.7</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>your_password</password>
                </replica>
                <replica>
                    <host>192.168.50.25</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>your_password</password>
                </replica>
            </shard>
        </cluster_2S_2R>
    </remote_servers>
    <macros>
        <!-- shard标签为分片数，replica为副本数 -->
        <shard>01</shard>
        <replica>01</replica>
    </macros>

🖊 <server_id>1</server_id> 对应node1 <server_id>2</server_id>对应node2<server_id>3</server_id>对应node3

2.2 修改node2的配置

在node2的/etc/clickhouse-server/config.xml文件的标签中添加以下内容。

    <!-- 添加以下条目以允许通过网络接口进行外部通信。 -->
    <listen_host>0.0.0.0</listen_host>

    
    <keeper_server>
        <tcp_port>9181</tcp_port>
        <server_id>2</server_id>
        <log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path>
        <snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>

        <coordination_settings>
            <operation_timeout_ms>10000</operation_timeout_ms>
            <session_timeout_ms>30000</session_timeout_ms>
            <raft_logs_level>warning</raft_logs_level>
        </coordination_settings>

        <!-- 指定实例启用 ClickHouse Keeper。更新每台服务器的＜server_id＞设置，node1为1、node2为2、node3为3。-->
        <raft_configuration>
            <server>
                <id>1</id>
                <hostname>node1</hostname>
                <port>9234</port>
            </server>
            <server>
                <id>2</id>
                <hostname>node2</hostname>
                <port>9234</port>
            </server>
            <server>
                <id>3</id>
                <hostname>node3</hostname>
                <port>9234</port>
            </server>
        </raft_configuration>
    </keeper_server>

    <!-- 指定实例所使用的 ClickHouse Keeper 可以使用IP也可以使用域名，或者在hosts文件中配置域名 -->
    <zookeeper>
        <node>
            <host>node1</host>
            <port>9181</port>
        </node>
        <node>
            <host>node2</host>
            <port>9181</port>
        </node>
        <node>
            <host>node3</host>
            <port>9181</port>
        </node>
    </zookeeper>

    <remote_servers>
        <cluster_2S_2R>
            <shard>
                <replica>
                    <host>node1</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>your_password</password>
                </replica>
                <replica>
                    <host>node2</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>your_password</password>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>node3</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>your_password</password>
                </replica>
                <replica>
                    <host>node4</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>your_password</password>
                </replica>
            </shard>
        </cluster_2S_2R>
    </remote_servers>
    <macros>
        <shard>01</shard>
        <replica>02</replica>
    </macros>
2.3 修改node3的配置

在node3的/etc/clickhouse-server/config.xml文件的标签中添加以下内容。

    <!-- 添加以下条目以允许通过网络接口进行外部通信。 -->
    <listen_host>0.0.0.0</listen_host>
    
    <keeper_server>
        <tcp_port>9181</tcp_port>
        <server_id>2</server_id>
        <log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path>
        <snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>

        <coordination_settings>
            <operation_timeout_ms>10000</operation_timeout_ms>
            <session_timeout_ms>30000</session_timeout_ms>
            <raft_logs_level>warning</raft_logs_level>
        </coordination_settings>

        <!-- 指定实例启用 ClickHouse Keeper。更新每台服务器的＜server_id＞设置，node1为1、node2为2、node3为3。-->
        <raft_configuration>
            <server>
                <id>1</id>
                <hostname>node1</hostname>
                <port>9234</port>
            </server>
            <server>
                <id>2</id>
                <hostname>node2</hostname>
                <port>9234</port>
            </server>
            <server>
                <id>3</id>
                <hostname>node3</hostname>
                <port>9234</port>
            </server>
        </raft_configuration>
    </keeper_server>

    <!-- 指定实例所使用的 ClickHouse Keeper 可以使用IP也可以使用域名，或者在hosts文件中配置域名 -->
    <zookeeper>
        <node>
            <host>node1</host>
            <port>9181</port>
        </node>
        <node>
            <host>node2</host>
            <port>9181</port>
        </node>
        <node>
            <host>node3</host>
            <port>9181</port>
        </node>
    </zookeeper>

    <remote_servers>
        <cluster_2S_2R>
            <shard>
                <replica>
                    <host>node1</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>your_password</password>
                </replica>
                <replica>
                    <host>node2</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>your_password</password>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>node3</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>your_password</password>
                </replica>
                <replica>
                    <host>node4</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>your_password</password>
                </replica>
            </shard>
        </cluster_2S_2R>
    </remote_servers>
    <macros>
        <shard>02</shard>
        <replica>01</replica>
    </macros>

从以上配置文件中可以看出，node1,node2,node3的区别只是<macros></macros>标签中的区别。

2.4 修改node4的配置

在node4的/etc/clickhouse-server/config.xml文件的标签中添加以下内容。

<!-- 添加以下条目以允许通过网络接口进行外部通信。 -->
<listen_host>0.0.0.0</listen_host>

<!-- 指定实例所使用的 ClickHouse Keeper -->
<zookeeper>
    <node>
        <host>node1</host>
        <port>9181</port>
    </node>
    <node>
        <host>node2</host>
        <port>9181</port>
    </node>
    <node>
        <host>node3</host>
        <port>9181</port>
    </node>
</zookeeper>

<remote_servers>
    <cluster_2S_2R>
        <shard>
            <replica>
                <host>node1</host>
                <port>9000</port>
                <user>default</user>
                <password>your_password</password>
            </replica>
            <replica>
                <host>node2</host>
                <port>9000</port>
                <user>default</user>
                <password>your_password</password>
            </replica>
        </shard>
        <shard>
            <replica>
                <host>node3</host>
                <port>9000</port>
                <user>default</user>
                <password>your_password</password>
            </replica>
            <replica>
                <host>node4</host>
                <port>9000</port>
                <user>default</user>
                <password>your_password</password>
            </replica>
        </shard>
    </cluster_2S_2R>
</remote_servers>
<macros>
    <shard>02</shard>
    <replica>02</replica>
</macros>

3.查看集群

集群启动后，可以使用clickhouse client登录客户端，使用以下命令查看集群的相关信息。

SHOW CLUSTERS;

SELECT *
FROM system.zookeeper
WHERE path IN ('/', '/clickhouse');

这个查询时间有点长

SELECT
    cluster,
    shard_num,
    replica_num,
    host_name,
    is_local,
    user,
    database_shard_name,
    database_replica_name
FROM system.clusters;

在这里插入图片描述

在这里插入图片描述

ClickHouse集群安装与部署
wanjialin的博客
06-06 4302
ClickHouse是Yandex于2016年开源的列式存储数据库(DBMS)，主要用于在线分析处理查询(OLAP)，能够使用SQL查询实时生成分析数据报告。从名字就能了解ch代表clickhouse，proxy为代理，即专为clickhouse使用的代理。在clickhouse集群中，每一台机器都是单独的实例，我们可以使用其中的一台作为查询机器。此时如何更好的完成负载均衡是我们所关注的，chproxy即是这么一个工具。选择一台服务器安装该程序即可。
ClickHouse集群配置及分布式简单使用
qq_27376155的博客
02-01 5389
ClickHouse集群（Cluster） 在物理构成上，ClickHouse集群是由多个ClickHouse Server实例组成的分布式数据库。这些ClickHouse Server根据购买规格的不同而可能包含1个或多个副本（Replica）、1个或多个分片（Shard）。在逻辑构成上，一个ClickHouse集群可以包含多个数据库（Database）对象。
小公司ClickHouse集群版完整部署指南（实战版）
最新发布
b826604005的博客
05-21 355
据我多年做全链路分析系统的经验来看，大部分公司数据体量，用单机版基本足够了。像Clickhouse这种OLAP 实时分析型数据库，在大量数据插入和查询方面都特别猛，一次插入几万条数据跟玩似的。但是更新和删除的时候都比较拉胯了，不过正常情况下，也没人专门更新或者删除一条日志啊，所以中小公司用单机版加个备份脚本就可以了。但是集群有集群的好处，它容错率高啊，在高可用场景下很有必要，今天我们就来介绍一个低成本的clickhouse集群。我们也做了一套。
clickhouse集群详细部署流程
yujianbujianqwe的博客
08-07 6515
shard>，分片配置，一个 ClickHouse 集群可以分多个分片，每个分片可以存储数据，这里分片可以理解为 ClickHouse 机器中的每个节点，1个分片只能对应1个服务节点。如下图，假设ClickHouse的N个节点组成了一个集群，在集群的各个节点上，都有一张结构相同的数据表Y。如果它们的数据完全相同，则它们互为副本（红色部分）。大约在配置文件的1037行，<shard>表示分片号，因为集群就一个分片，所以3个节点的分片号都是01，<replica>表示副本名称，三个节点的副本名称不能一样。
ClickHouse集群搭建总结
csdncjh的博客
06-02 2797
ClickHouse是俄罗斯最大的搜素引擎Yandex于2016年开源的列式数据库管理系统，使用C++ 语言编写, 主要应用于OLAP场景。使用理由在大数据量的情况下，能以很低的延迟返回查询结果。笔者注： 在单机亿级数据量的场景下可以达到毫秒级的查询性能，单机能处理百亿的数据量， 聚合、计数、求和等统计操作的性能是MySQL的100倍。
clickhouse 集群搭建
The_OneRS的博客
10-27 5169
clickhouse 集群
ClickHouse集群搭建教程
zcs2312852665的博客
04-02 5192
本文介绍了CKman的部署和ClickHouse集群的搭建过程，包括准备环境、安装依赖、配置集群免密登录、部署CKman和ClickHouse等步骤。还介绍了如何使用Prometheus、Node Exporter监控工具以及Zookeeper等组件，并提供了MySQL和JDK的安装方法。最后，详细说明了在CKman中创建集群并进行监控配置的操作步骤。端口描述8808ckman管理平台端口2181zookeeper 客户端连接端口，用于客户端与Zookeeper集群进行通信的TCP/IP连接。
clickhouse集群搭建实战
wrfc_hgy的博客
05-12 1915
修改 config.xml 文件，将末尾的以下配置删掉，因为目前clickhouse镜像服务启动都是使用主机模式，需要手动配置 tcp_port、http_port、interserver_http_port，如果未删除掉，启动的时候会有端口异常报错。分区键，大多数情况下，不需要分区键，如果确实需要分区，通常不需要比按月更细粒度的分区，按月分区，使用 toYYYYMM(data_column)：联机分析处理，是数据仓库的核心部分，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
ClickHouse集群搭建部署
热门推荐
u013332124的专栏
01-27 1万+
文章目录一、单机版安装和启停二、集群部署搭建1、手动搭建clickhouse集群2、使用docker-compose快速搭建clickhouse集群三、集群扩容如何保证扩容后的数据均匀分布？四、集群缩容docker-compose 中的一些文件 一、单机版安装和启停 单机版的安装相对简单，官网介绍了好几种办法： https://clickhouse.com/docs/zh/getting-started/install/ 这里提一下tgz安装包的方式，目前官网的文档有点问题(不知道将来会不会更新)。从21
ClickHouse03-小白如何快速搭建ClickHouse集群
c_zyer的博客
03-25 2910
普通测试通常使用ClickHouse单节点就可以了，但是生产环境不免需要考虑多活、负载等高可用问题，集群就成了基础需求两种选择均可。ZooKeeper方式搭建CK集群，docker-compose部署，ClickHouse-Keeper方式搭建CK集群
【Clickhouse】Clickhouse集群概念+可用性测试
大锅霍皮久的博客
06-23 4242
Clickhouse集群概念+可用性测试集群部署核心概念：集群分布式分布式集群Clickhouse分布式集群规划个人观点常用命令 集群部署 核心概念： 集群 简单的理解，集群就是把多台计算机（服务器）拼凑在一起，它们相互合作和组合，在物理上构成了一个整体。 分布式 分布式的概念是相对于单个任务而言的，一个大任务或者复杂任务，将其按照一定的逻辑拆分成多个小任务，每个小任务单独处理，然后合并每个小结果成一个大结果。下面是一个简单的分布式架构示例： 分布式集群 分布式集群兼以上三个特点而有之，能够处理大型任务
clickhouse集群搭建
jianm_liu的博客
01-15 2634
clickhouse集群部署
Clickhouse学习之路（五）-- 集群方案研究
BIackMamba的博客
08-16 2372
方案一：MergeTree + Distributed 架构图 架构解析： MergeTree + Distributed的分布式架构方案，利用的是Distributed表的特性+MergeTree表的特性，分布式表不存储数据，数据来自本地表，将分布式表的数据分为3个shard，每台节点存储三分之一的数据，用户查询的时候是从分布式表所在的节点聚合从Ck1，CK2，CK3的查询结果，然后返回用户，写入数据可以写入分布式表，当然这样的写入方式问题很多，一般是禁止写入分布式表的，那么选择写入本地表的化，需要将数
Clickhouse 3分片2副本 集群搭建方法 附基本原理概念和详细搭建步骤 (单节点多实例部署方法)
知行合一
06-27 4238
本文档描述了 Clickhouse 集群在三台物理主机上的 “3分片2副本” 的配置及搭建方法。 使用该方法进行 Clickhouse 的集群搭建，即可在保障充分并行利用 3 台机器算例的同时，对每个 shard 进行跨主机的备份，为 Clickhouse 服务高可用和错误恢复机制提供了底层技术支撑。
ClickHouse集群模式总结
chensonga的专栏
01-12 7044
ClickHouse 集群 模式 分类
[SQL系列]从零开始学Clickhouse——集群篇
u013379032的博客
04-29 2502
在上一篇中，我们通过Docker构建了一个简单的单点Clickhouse，但是如果要做大数据的处理的话，Clickhouse集群是必不可少的，今天我们先用Docker简单地搭建一个Clickhouse集群。
Clickhouse 集群部署安装
爱摄影的小章同学的博客
07-20 3392
clickhouse 集群搭建部署
ClickHouse介绍及安装(含集群方式)和使用
Yore - Home
11-15 1万+
本文比较详细的介绍了 ClickHouse，包括其名字的来由、使用场景、不使用场景、特点，为了后面的部署和使用有重点介绍了 ClickHouse 的架构。当然核心的 ClickHouse 的引擎也对其做了介绍，数据类型。接着详细介绍了ClickHouse 的部署，包括集群方式部署，分布式表的使用，通过几个示例的使用让大家对 ClickHouse 有一个整体完整的认识。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

alfiy

请博主喝瓶矿泉水吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值