clickhouse-copier操作指南

前言

ClickHouse作为目前最炙手可热的OLAP引擎，早已被国内外大厂纷纷“翻牌子”。其优秀的性能早已被大家首肯。
不过clickhouse也存在一些不足，其中之一就是本身没有提供数据再平衡的能力。这在集群扩缩容方面成为一项棘手的问题。
好在clickhouse提供了一项十分有用的工具：clickhouse-copier。下面就来介绍一下。

一、clickhouse-copier介绍

clickhouse-copier工具是标准发布的clickhouse server的一部分：

1. 可以在完全并行的模式下工作，zookeeper负责协调同步各处理进程
2. 以最有效的方式在集群内或集群间迁移数据
3. 为了减少网络拥塞，建议在源数据所在的服务器上运行clickhouse-copier

二、clickhouse-copier命令参数简介

在使用clickhouse-copier时，可以指定具体的参数。

标★的比较重要，通常情况只需指定config-file和task-path，其他参数采用默认即可。

三、使用clickhouse-copier

1.确认源数据

1. 创建分布式表
   ch_sit是3分片1副本的集群

CREATE TABLE hy_db.test_copier_all ON CLUSTER ch_sit
(
    ID String,
    URL String,
    EventTime Date
)
ENGINE = Distributed(ch_sit, hy_db, test_copier_local,rand());

2. 创建分片表

create table hy_db.test_copier_local on cluster ch_sit
(
    ID String,
    URL String,
    EventTime Date
) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{layer}/{shard}/test_copier_local','{replica}')
partition by toYYYYMM(EventTime)
ORDER BY ID;

3. 插入一些数据

insert into hy_db.test_copier_all values
('H001','www.baidu.com','2019-03-09'),
('H002','www.sina.com','2020-4-18'),
('H003','www.baidu.com','2019-03-19'),
('H003','www.tencent.com','2019-03-20');

2.创建目的表

1. 创建待迁移的集群的分布式表
   rep_sit是一个1分片3副本的集群

CREATE TABLE test_replic.dis_copier_all ON CLUSTER rep_sit
(
    ID String,
    URL String,
    EventTime Date
)
ENGINE = Distributed(rep_sit, test_replic, dis_copier_local,rand());

2. 创建待迁移的集群的本地表

create table test_replic.dis_copier_local on cluster rep_sit
(
    ID String,
    URL String