使用Cephadm安装Ceph笔记

最新推荐文章于 2026-03-29 09:46:45 发布

原创

最新推荐文章于 2026-03-29 09:46:45 发布 · 3.6k 阅读

标签

#ceph #笔记

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看

一、基础环境

1、Linux OS

ubuntu-22.04.4-live-server-amd64.iso

2、VMware Workstation

3、虚机配置

创建三台虚机，虚机名字为ceph01/ceph02/ceph03
每台虚机都配置两个网卡：

网卡1：接入VMnet3，VMnet3配置为主机模式，网段为192.168.1.0/24，三台虚机静态配置IP地址分别为192.168.1.136、192.168.1.137、192.168.1.138

网卡2：配置为NAT模式，接入VMnet8，三台虚机dhcp获得地址，能通过网卡2和互联网连通。

每台虚机都配置3个硬盘。
每台虚机配置为：

如果自己电脑内存紧张，内存可以调整为4G。

4、虚机安装ubuntu

根据虚机配置，创建三台虚机安装ubuntu，系统hostname分别命名为：lxhcep01、lxhcep02、lxhceph03。

可以参考相关文档。

5、注意事项

在 Ubuntu 中，默认情况下 root 帐户是被禁用的，因为它的密码没有设置。这是为了提高系统的安全性，因为 root 帐户具有对整个系统的完全控制权，如果被滥用可能会造成严重的后果。

为了执行需要 root 权限的操作，通常最好使用具有管理员权限的用户，并通过 sudo 命令临时获取 root 权限。这种方式可以更加安全地进行系统管理和维护操作，因为它在需要时才临时提升权限，而不是一直以 root 身份登录系统。

在安装Ubuntu（或类似的Linux发行版）时，你创建的第一个用户帐户通常会被设置为具有sudo权限（即可以执行管理员任务的权限）。通过使用sudo命令，这个用户可以在需要时临时获取root权限执行特权操作，而不必始终以root身份登录。

但在ceph安装时，由于设备之间相互ssh操作默认使用root账号，所以在实验环境中，可以考虑启用root账号，方便操作。

lxhub@lxhceph01:/etc/apt$ sudo passwd root
New password: 
Retype new password: 
passwd: password updated successfully

还需要允许远程使用root账号ssh连接本机：

lxhub@lxhceph01:~$ sudo vi /etc/ssh/sshd_config
#PermitRootLogin prohibit-password
PermitRootLogin yes  <---新增配置
lxhub@lxhceph01:~$
lxhub@lxhceph01:~$ sudo /etc/init.d/ssh stop  <---修改完成后，对服务重启
[sudo] password for lxhub: 
Stopping ssh (via systemctl): ssh.service.
lxhub@lxhceph01:~$ 
lxhub@lxhceph01:~$ sudo /etc/init.d/ssh start
Starting ssh (via systemctl): ssh.service.
lxhub@lxhceph01:~$ sudo service ssh restart
lxhub@lxhceph01:~$ 

lxhceph02、lxhceph03类似操作。

这样SecureCRT等登录工具直接用root登录。

二、基础配置

三台虚机安装ubuntu完成后，进行相关设置。

1、IP地址

在 Ubuntu 22.04 中修改 IP 地址通常需要编辑网络配置文件vi /etc/netplan/00-installer-config.yaml，运行netplan apply来应用更改。

root@lxhceph01:/etc/ceph# cat /etc/netplan/00-installer-config.yaml 
# This is the network config written by 'subiquity'
network:
  ethernets:
    ens33:
      dhcp4: false
      addresses:
        - 192.168.1.136/24
    ens34:
      dhcp4: true
  version: 2
root@lxhceph01:/etc/ceph# 


root@lxhceph02:~# cat /etc/netplan/00-installer-config.yaml
# This is the network config written by 'subiquity'
network:
  ethernets:
    ens33:
      dhcp4: false
      addresses: 
        - 192.168.1.137/24
    ens34:
      dhcp4: true
  version: 2
root@lxhceph02:~# 

root@lxhceph03:~# cat /etc/netplan/00-installer-config.yaml
# This is the network config written by 'subiquity'
network:
  ethernets:
    ens33:
      dhcp4: false
      addresses:
        - 192.168.1.138/24
    ens34:
      dhcp4: true
  version: 2
root@lxhceph03:~#

2、hosts

三台虚机编辑/etc/hosts，这里以lxhceph01为例。

root@lxhceph01:/etc/ceph# cat /etc/hosts
127.0.0.1 localhost
127.0.1.1 lxhceph01

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

192.168.1.136 lxhceph01  <-新增配置
192.168.1.137 lxhceph02  <-新增配置
192.168.1.138 lxhceph03  <-新增配置

3、APT软件源

用了系统自带的源，未作修改。

4、配置SSH互信

这样要注意一点，对自己主机的密钥互信也要配，不是只配其它两台而已。

lxhceph01配置：

root@lxhceph01:~# ssh-keygen -t rsa
root@lxhceph01:~# ssh-copy-id 192.168.1.137
root@lxhceph01:~# ssh-copy-id 192.168.1.138
root@lxhceph01:~# ssh-copy-id 192.168.1.136

验证：
root@lxhceph01:~# ssh lxhceph01 date
Sun Apr 28 10:45:23 PM CST 2024
root@lxhceph01:~# ssh lxhceph02 date
Sun Apr 28 10:45:30 PM CST 2024
root@lxhceph01:~# ssh lxhceph03 date
Sun Apr 28 10:45:37 PM CST 2024
root@lxhceph01:~# 

lxhceph02、lxhceph03类似。

5、时间同步

采用Chrony进行时间同步。Chrony 是一个用于时间同步的软件，旨在提供高精度和稳定性的系统时钟同步。它用于在计算机网络中同步系统时钟，确保各个计算机上的时间保持一致，从而确保计算机系统正常运行和协调工作。

与其他时间同步软件（如 NTP，Network Time Protocol）相比，Chrony 提供了更精确的时间同步，并且对网络延迟和不稳定性有更好的适应性。它使用一种称为“相位校准”的算法，能够在网络延迟和不稳定性较大的情况下，仍然保持高精度的时钟同步。

检查时间同步方式：

root@lxhceph01:~# systemctl status systemd-timesyncd
○ systemd-timesyncd.service
     Loaded: masked (Reason: Unit systemd-timesyncd.service is masked.)
     Active: inactive (dead)
root@lxhceph01:~# systemctl status ntp
Unit ntp.service could not be found.
root@lxhceph01:~# systemctl status chronyd
● chrony.service - chrony, an NTP client/server
     Loaded: loaded (/lib/systemd/system/chrony.service; enabled; vendor preset: enabled)
     Active: active (running) since Mon 2024-04-29 06:05:29 CST; 56min ago
       Docs: man:chronyd(8)
             man:chronyc(1)
             man:chrony.conf(5)
    Process: 997 ExecStart=/usr/lib/systemd/scripts/chronyd-starter.sh $DAEMON_OPTS (code=exited, status=0/SUCCESS)
   Main PID: 1024 (chronyd)
      Tasks: 2 (limit: 9346)
     Memory: 2.0M
        CPU: 126ms
     CGroup: /system.slice/chrony.service
             ├─1024 /usr/sbin/chronyd -F 1
             └─1046 /usr/sbin/chronyd -F 1

Apr 29 06:05:29 lxhceph01 systemd[1]: Starting chrony, an NTP client/server...
Apr 29 06:05:29 lxhceph01 chronyd[1024]: chronyd version 4.2 starting (+CMDMON +NTP +REFCLOCK +RTC +PRIVDROP +SCFILTER +SIGND +ASYNCDNS +NTS +SECHASH +IPV6 -DEBUG)
Apr 29 06:05:29 lxhceph01 chronyd[1024]: Frequency -15.731 +/- 0.192 ppm read from /var/lib/chrony/chrony.drift
Apr 29 06:05:29 lxhceph01 chronyd[1024]: Timezone right/Asia/Shanghai failed leap second check, ignoring
Apr 29 06:05:29 lxhceph01 chronyd[1024]: Loaded seccomp filter (level 1)
Apr 29 06:05:29 lxhceph01 systemd[1]: Started chrony, an NTP client/server.
Apr 29 06:05:35 lxhceph01 chronyd[1024]: Selected source 95.111.202.5 (2.ubuntu.pool.ntp.org)
Apr 29 06:05:35 lxhceph01 chronyd[1024]: Selected source 84.16.67.12 (0.ubuntu.pool.ntp.org)
Apr 29 06:05:37 lxhceph01 chronyd[1024]: Source 95.111.202.5 replaced with 108.59.2.24 (2.ubuntu.pool.ntp.org)
root@lxhceph01:~#

chrony只是修改了时区为Asia/Shanhai:

root@lxhceph01:~# timedatectl list-timezones | grep Asia/Shanghai
Asia/Shanghai

root@lxhceph01:~# timedatectl set-timezone Asia/Shanghai

root@lxhceph01:~# cat /etc/chrony/chrony.conf  <---编辑此文件
...
# Get TAI-UTC offset and leap seconds from the system tz database.
# This directive must be commented out when using time sources serving
# leap-smeared time.
leapsectz right/Asia/Shanghai <---修改时区信息
...

root@lxhceph01:~# systemctl restart chrony

root@lxhceph01:~# chronyc sources
MS Name/IP address         Stratum Poll Reach LastRx Last sample               
===============================================================================
^- alphyn.canonical.com          2  10   375   801  -4618us[-3217us] +/-  138ms
^- prod-ntp-5.ntp4.ps5.cano>     2  10   377   27m    -26ms[  -24ms] +/-  134ms
^- prod-ntp-3.ntp4.ps5.cano>     2  10   337   714  -1453us[  -4

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看