Ceph 增加和删除 osd

Ceph 增加和删除 osd

增加 osd

在新节点安装 ceph

在新节点上安装 ceph 软件包，保证和 ceph 集群的软件版本一致

ceph-deploy install [host-name] --release luminous

上面是通用做法，在离线环境下，需要准备好rpm包，然后修改本地ceph的yum，然后在每个节点分别执行

yum instal -y ceph-deploy
yum instal -y ceph

列出新节点上所有可用磁盘

ceph-deploy disk list [host-name]

发送配置文件

将配置文件和管理秘钥发送到新的节点

(此操作要在安装目录中执行，例如：/usr/local/ceph-cluster)

ceph-deploy admin [host-name]

添加 osd

注意： 此方式适合于使用裸盘进行添加，如果要在LVM卷上创建 osd，则参数 --data 必须是 volume_group/lv_name，而不是卷的块设备的路径。

(此操作要在安装目录中执行，例如：/usr/local/ceph-cluster)

ceph-deploy osd create --data /dev/sdb [host-name]

观察平衡过程

当新的节点加入集群，ceph 集群开始将部分现有的数据重新平衡到新加入的 osd 上，用下面的命令可用观察平衡过程。

ceph -w
watch ceph -s
watch ceph health

检查集群的存储容量

rados df

查看新加入的 osd

ceph osd tree

注意： 在生产环境中，一般不会再新节点加入 ceph 集群后，立即开始数据回填，这样会影响集群性能。所以我们需要设置一些标志位，来完成这个目的。

ceph osd set noin
ceph osd set nobackfill

在用户访问的非高峰时，取消这些标志位，集群开始在平衡任务。

ceph osd unset noin
ceph osd unset nobackfill

删除 osd

进入要删除 osd 的主机

将 osd 的权重标记为 0

ceph osd crush reweight osd.{osd-num} 0

注: osd-num 通过 ceph osd tree 查看

观察数据迁移

ceph -w
watch ceph -s

注: 待集群状态正常后再进行下一步操作