openEuler 通过手工方式安装 ceph 步骤

原创

已于 2022-12-02 09:15:52 修改 · 3.7k 阅读

标签

#ceph #python #分布式存储

于 2022-12-01 14:58:02 首次发布

ceph集群在openEuler手工安装过程

openEuler手工安装ceph 安装步骤

openEuler手工安装ceph 安装步骤

Cephadm无法应用到openEuler 提醒不支持

前置要求

1.openEuler版本

建议使用此版本 openEuler 22.03 LTS
22.09版本有个python3.10.2的bug, 在下面python3里有写
openEuler有ceph的包 ceph-16.2.7 这个版本
https://repo.openeuler.org/openEuler-22.09/everything/x86_64/Packages/ 在这里面可以搜索到

openEuler 的snappy版本换成 1.1.8, 以x86架构为例, 1.1.9 禁用RTTI ,会导致集群报警告, 后面内容会有详细说明

 sudo rpm -Uvh --oldpackage https://repo.huaweicloud.com/openeuler/openEuler-20.03-LTS-SP3/everything/x86_64/Packages/snappy-1.1.8-1.oe1.x86_64.rpm

2. Python 3

openEuler 已经默认就是python3
这里面暂时不要使用用openEuler 22.09版本, 此版本使用的python是3.10.2 有个bug, 会报错
Error EINVAL: SystemError: PY_SSIZE_T_CLEAN macro must be defined for ‘#’ formats
这个错误是python 从3.9升到3.10的初期阶段产生的, 在 3.10.6版本修复了, 但是 openEuler 22.09没有升到 3.10.6以上版本, 所以使用 openEuler 22.03 LTS 版本 , 此版本使用的python 是3.9.9

3. Systemd

openEuler上面已经有的 systemctl命令

4. Time synchronization (such as chrony or NTP)

时间同步安装

通过命令 timedatectl 检查可以看到openEuler已经安装好这些配置了

Local time: Thu 2022-12-01 09:05:37 CST
Universal time: Thu 2022-12-01 01:05:37 UTC
RTC time: Thu 2022-12-01 01:05:37
Time zone: Asia/Shanghai (CST, +0800)
System clock synchronized: yes
NTP service: active
RTC in local TZ: no

5. LVM2 for provisioning storage devices

openEuler 已经有了, 没有的可以使用命令安装

 yum -y install lvm2

安装

1. 创建用户ceph

这一步骤不执行也行, 不创建用户的话无法进入ceph用户
这里面创建ceph用户也是考虑到在生产环境一般拿到不到root用户

创建用户ceph
useradd ceph
passwd ceph
输入密码 ********

每个节点上添加ceph用户免密执行root权限
echo "ceph    ALL=(ALL)       NOPASSWD: ALL" >>  /etc/sudoers

后面的操作都在ceph用户下进行, 进入ceph用户空间

su - ceph

2. 安装 ceph

sudo yum install -y ceph

3. 生成配置项

3.1 机器及组件规划列表

节点类型	主机IP	主机名	系统盘	数据盘1	数据盘2
mgr节点	192.168.0.14	njoffice04	sda	sdb	sdc
mon节点	192.168.0.14	njoffice04	sda	sdb	sdc
mon节点	192.168.0.15	njoffice05	sda	sdb	sdc
mon节点	192.168.0.16	njoffice06	sda	sdb	sdc
osd节点	192.168.0.14	njoffice04	sda	sdb	sdc
osd节点	192.168.0.15	njoffice05	sda	sdb	sdc
osd节点	192.168.0.16	njoffice06	sda	sdb	sdc

最好配置一下互信, 方便将生成好的配置文件从一台机器copy到其它机器

在14上面执行,然后拷贝到 15,16服务器
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub ceph@192.168.0.15
ssh-copy-id -i ~/.ssh/id_rsa.pub ceph@192.168.0.16

3.2 ceph.conf

ceph 代表集群名, 如果你想换别的名字, 也不是不行,就是在后面的配置中容易写错导致集群无法启动, 简单的做法就是参考官方给的ceph名字启动启来

通过 uuidgen 命令产生 fsid
根据 3.1的规划在 14 写入文件 sudo vi /etc/ceph/ceph.conf
注意这里面变量名 mon_initial_members mon_host, 是带下划线的, 官方文档给的不带
不带下划线导致ceph -s卡住(好像是这样的,带了下划线就顺畅多了!)
这里面我仅使用最简单配置,其它乱七八糟搞不清楚的配置暂时不加, 等理解清楚再加上去