最详细得ceph 部署手册

基本概念：

Ceph monitors(MON)： Ceph monitor负责监控整个集群的健康状况。 它们以守护进程的形式存在，这些守护进程通过存储集群的关键信息来维护集群成员状态、对等节点状态， 以及集群配置信息。Ceph monitor通过维护整个集群状态的主副本来完成它的任务。集群map包括monitor、OSD、PG、CRUSH和MDS map。

Ceph 对象存储设备(OSD)： 一旦应用程序向 Ceph 集群发出写操作，数据就以对象

的形式存储在 OSD 中。 这是 Ceph 集群中存储实际用户数据的惟一组件，通常，一个 OSD 守护进程绑定到 集群中的一个物理磁盘。因此，通常来说，Ceph 集群中物理磁盘的总数与在每个物理磁盘 上存储用户数据的 OSD 守护进程的总数相同。

Ceph metadata server (MDS): MDS 跟踪文件层次结构，仅为 Ceph FS 文件系统存储

元数据

? RADOS: RADOS 对象存储负责存储这些对象，而不管它们的数据类型如何。RADOS

层确保数据始终保持一致 ，它执行数据复制、故障检测和恢复，以及跨集群节点的数据迁移和再平衡

Librados: librados 库是一种访问 RADOS 的方便方法，支持 PHP、Ruby、Java、Python、

C 和 c++编程语言。它为 Ceph 存储集群(RADOS)提供了本机接口，并为其他服务提供了基 础，如 RBD、RGW 和 CephFS，这些服务构建在 librados 之上。librados 还支持从应用程序 直接访问 RADOS，没有 HTTP 开销。

RBD：提供持久块存储，它是瘦配置的、可调整大小的，并在多个 osd 上存储数据条

带。RBD 服务被构建为一个在 librados 之上的本机接口。

? RGW：RGW 提供对象存储服务。它使用 librgw (Rados 网关库)和 librados，允许应用

程序与 Ceph 对象存储建立连接。RGW 提供了与 Amazon S3 和 OpenStack Swift 兼容的

RESTful api 接口。

? CephFS: Ceph 文件系统提供了一个符合 posix 标准的文件系统，它使用 Ceph 存储集

群在文件系统上存储用户数据。与 RBD 和 RGW 一样，CephFS 服务也作为 librados 的本机 接口实现。

Ceph manager: Ceph manager 守护进程(Ceph -mgr)是在 Kraken 版本中引入的，它

与 monitor 守护进程一起运行，为外部监视和管理系统提供额外的监视和接口。

——————————————end 基本概念———————————————

环境准备：

操作系统：CentOS 7.5 , 每台配置50G数据盘

Ceph-node1: 172.16.10.2 : ceph-deploy , ceph-mon , RAG ,OSD mds

ceph-node2: 172.16.10.4 : ceph-mon , RAG ,OSD

Ceph-ndoe3: 172.16.10.7 : ceph-mon , RAG ,OSD

1. 命名统一： hostnamectl set-hostname ceph-node1 , ceph-node2 , ceph-node3

2. 配置host： /etc/hosts

3. 配置NTP服务

yum -y install ntpdate ntp

ntpdate ntp1.aliyun.com

systemctl restart ntpd ntpdate && systemctl enable ntpd ntpdate

查看ntp 是否同步：ntpq -p -n

说明： ntpq -p查看时间同步情况时报localhost: timed out, nothing ，使用ntpq -4p（即指定通过ipv4 地址获取返回值），如果正常显示，但是使用ntpq -6p(即指定通过ipv4 地址获取返回值)异常，则说明时因为开启了Ipv6 ，默认ntpq 先走Ipv6的通道，而ECS linux 默认无法直接访问ipv6地址，因此会访问超时 ， 可以禁用接口的IPv6，然后就会正确，方法如下：/etc/sysctl.conf 文件尾添加如下参数重启网络

# 禁用整个系统所有接口的IPv6

net.ipv6.conf.all.disable_ipv6 = 1

# 禁用某一个指定接口的IPv6(例如：eth0, eth1)

net.ipv6.conf.eth1.disable_ipv6 = 1

net.ipv6.conf.eth0.disable_ipv6 = 1

4. 关闭selinux

/etc/selinux/config= disabled

setenforce 0

5 删除默认的源，配置国内base源和epel源

# yum clean all # mkdir /mnt/bak # mv /etc/yum.repos.d/* /mnt/bak/

# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

添加ceph源

# vim /etc/yum.repos.d/ceph.repo

[ceph]

name=ceph

baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/

gpgcheck=0

priority =1

[ceph-noarch]

name=cephnoarch

baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/

gpgcheck=0

priority =1

[ceph-source]

name=Ceph source packages

baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS

gpgcheck=0

priority=1

5. 免密钥登录：ssh-keygen ssh-copy-id -i /root/.ssh/id_rsa.pub ceph-node1/ceph-node2/ceph-node3

6 准备磁盘： mkfs.xfs /dev/vdb ,所有磁盘

——————————————end 基础环境准备完毕———————————————

1 开始安装ceph-deploy ： yum update -y && sudo yum install ceph-deploy -y

2 创建创建cluster目录 ：mkdir cluster cd cluster

3 创建集群 (monit节点的主机名，这里monit节点和管理节点是同一台机器) : ceph-deploy new ceph-node1

4 修改ceph.conf文件（注意：mon_host必须和public network 网络是同网段内！）

[cephuser@ceph-admin cluster]$ vim ceph.conf #添加下面两行配置内容

public network = 192.16.10.2/24

osd pool default size = 3 （指的初始osd 个数）

5 执行安装：ceph-deploy install ceph-admin ceph-node1 ceph-node2 ceph-node3 （管理节点ceph-node1 ） ： 需要等待的时间比较长

6. 初始化mon节点，并收集密钥：

[cephuser@ceph-node1 cluster]$ ceph-deploy mon create-initial

[cephuser@ceph-node1 cluster]$ ceph-deploy gatherkeys ceph-admin

7 把配置信息拷贝到各节点：ceph-deploy admin ceph-node1 ceph-node2 ceph-node3

(用ceph-deploy把配置文件和ceph-node1 管理节点密钥拷贝到管理节点和Ceph节点，这样你每次执行Ceph命令行时就无需指定monit节点地址 )

添加OSD 到集群：

8.检查OSD节点上所有可用的磁盘

[cephuser@ceph-admin cluster]$ ceph-deploy disk list ceph-node1 ceph-node2 ceph-node3

使用zap选项删除所有osd节点上的分区

[cephuser@ceph-node1 cluster]$ceph-deploy disk zap ceph-node1:/dev/vdb ceph-node2:/dev/vdb ceph-node3:/dev/vdb

准备OSD（使用prepare命令）

[cephuser@ceph-node1 cluster]$ceph-deploy osd prepare ceph-node1:/dev/vdb ceph-node2:/dev/vdb ceph-node3:/dev/vdb

激活OSD

[cephuser@ceph-node1 cluster]$ ceph-deploy osd activate ceph-node1:/dev/vdb1 ceph-node2:/dev/vdb1 ceph-node3:/dev/vdb1

所有的磁盘加入集群都需要执行一遍

9. 查看osd :

[cephuser@ceph-node1 cluster]$ ceph-deploy disk list ceph-node1 ceph-node2 ceph-node3

[ceph-node1][DEBUG ] /dev/vdb2 ceph journal, for /dev/vdb1 #如下显示这两个分区，则表示成功了

[ceph-node1][DEBUG ] /dev/vdb1 ceph data, active, cluster ceph, osd.0, journal /dev/vdb2

查看osd的目录树： [root@ceph-node1 my-cluster]# ceph osd tree

查看ceph osd运行状态 ：[root@ceph-node1 my-cluster]# ceph osd stat

查看monit监控节点的服务情况：systemctl status ceph-mon@ceph-node1

分别查看下ceph-node1、ceph-node2、ceph-node3三个节点的osd服务情况systemctl status ceph-osd@1.service

10. 创建MDS

先查看管理节点状态，默认是没有管理节点的。

[root@ceph-node1 my-cluster]# ceph mds stat

e1:

创建管理节点 ceph-deploy mds create ceph-node1

再次查看管理节点状态

[root@ceph-node1 my-cluster]# ceph mds stat

e2:, 1 up:standby

systemctl status ceph-mds@ceph-node1

11 pool

查看pool:

[root@ceph-node1 my-cluster]# ceph osd lspools

0 rbd

创建pool: ceph osd pool create zgycloud 20 #后面的数字是PG的数量

12 查看ceph 集群的端口：lsof -i:6789

此外，小编这里还有很多ceph 学习得资料，关注我私信分享