ceph安装配置说明
Ceph094安装手册
Ceph094.6安装-2016一、安装环境4台虚拟机，1台deploy，1台mon，2台osd，操作系统rhel71Ceph-adm 192.168.16.180Ceph-mon 192.168.16.181Ceph-osd1 192.168.16.182Ceph-osd2 192.168.16.183二、安装预环境1、配置主机名/ip地址（所有主机单独执行）hostnamectl set-hostname 主机名修改/etc/sysconfig/network-scripts/ifcfg-eno*IPADDR/NETMASK/GATEWAY2、adm节点上生成节点列表,/etc/ceph/cephlist.txt192.168.16.180192.168.16.181192.168.16.182192.168.16.1833、在adm上编辑/etc/hosts4、adm利用脚本同步所有节点的/etc/hosts[root@ceph-adm ceph]# cat /etc/ceph/rsync_hosts.shWorkDir=/etc/cephfor ip in $(cat ${WorkDir}/cephlist.txt);do echo -----$ip-----;rsync -avp --delete /etc/hosts $ip:/etc/;done5、所有主机生成ssh-key，并所有主机都执行id的copyssh-keygen -t rsassh-copy-id root@ceph-admssh-copy-id root@ceph-monssh-copy-id root@ceph-osd1ssh-copy-id root@ceph-osd26、adm上执行A、同步创建/etc/ceph目录[root@ceph-adm ceph]# cat mkdir_workdir.shWorkDir=/etc/cephfor ip in $(cat ${WorkDir}/cephlist.txt);do echo -----$ip-----;ssh root@$ip mkdir -p /etc/ceph ;doneb、同步关闭防火墙[root@ceph-adm ceph]# cat close_firewall.sh#!/bin/shset -xWorkDir=/etc/cephfor ip in $(cat ${WorkDir}/cephlist.txt)do echo -----$ip-----ssh root@$ip "sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config"ssh root@$ip setenforce 0ssh root@$ip "firewall-cmd --zone=public --add-port=6789/tcp --permanent"ssh root@$ip "firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent"ssh root@$ip "firewall-cmd --reload"donec、所有脚本执行系统优化，打开文件限制[root@ceph-adm ceph]# cat system_optimization.sh#!/bin/shset -xWorkDir=/etc/cephfor ip in $(cat ${WorkDir}/cephlist.txt)do echo -----$ip-----ssh root@$ip "sed -i 's/4096/102400/' /etc/security/limits.d/20-nproc.conf"ssh root@$ip "cat /etc/rc.local | grep "ulimit -SHn 102400" || echo "ulimit -SHn 102400" >>/etc/rc.local"doned、编辑wty_project.repo和wty_rhel7.repo文件，并同步到所有节点[root@ceph-adm ceph]# cat rsync_repo.shWorkDir=/etc/cephfor ip in $(cat ${WorkDir}/cephlist.txt);do echo -----$ip-----;rsync -avp --delete /etc/ceph/*.repo$ip:/etc/yum.repos.d/;donee、安装ceph以及必要的rpm包[root@ceph-adm ceph]# cat ceph_install.sh#!/bin/shset -xWorkDir=/etc/cephfor ip in $(cat ${WorkDir}/cephlist.txt)do echo -----$ip-----ssh root@$ip "yum install redhat-lsb -y"ssh root@$ip "yum install ceph -y"done三、deploy安装，在adm节点1、deploy安装cd /etc/ceph/yum install ceph-deploy -y2、初始化集群[root@ceph-adm ceph]# ceph-deploy new ceph-mon3、安装集群ceph软件包（与二e的那一步有点重复，但是还是有需要的包要安装例如fcgi/ceph-radosgw）Ceph-deploy Install ceph-adm ceph-mon ceph-osd1 ceph-osd24、添加初始monitor节点和收集秘钥[root@ceph-adm ceph]# ceph-deploy mon create-initial5、osd节点操作A、osd1/osd2各增加2块100G硬盘B、adm节点操作ceph-deploy disk zap ceph-osd1:sdb ceph-osd1:sdc ceph-osd2:sdb ceph-osd2:sdcceph-deploy osd create ceph-osd1:sdb ceph-osd1:sdc ceph-osd2:sdb ceph-osd2:sdcceph –sceph osd tree检测正常*disk zap操作对硬盘进行zero操作，*osd create操作合并了osd prepare/osd activate操作，但是挂载目录不能指定/var/lib/ceph/osd/ceph-X6、将所有节点加为admin，使节点可以运行ceph的所有命令Ceph-deploy admin ceph-adm ceph-mon ceph-osd1 ceph-osd2。
Ceph iSCSI Gateway Demo安装配置
1）支持的传输协议较少； 2）对 SCSI 协议支持比较简单，一些 cluster 中的特性比如 PR 等都不支持，所以基于 stgt 的方案不能在 cluster 中使用； 3）由于是用户态框架，性能问题较差，根据网上的相关数据， tgt 在使用本地存储的 情况下，性能相比后面会提到的 SCST、 LIO 等是有一定差距的。
4.1.4 安装 scstadmin
拷贝 scstadmin-3.0.1.tar.bz2 到 iscsi gateway 节点上，执行以下命令： tar -jxvf scstadmin-3.0.1.tar.bz2 cd scstadmin-3.0.1 make make install
4.1.5 启动 iscst target
Client（linux）包括 multpath 和 iscsi initiator，initiator 使用 open-iscsi，每 个 initiator 可以连接到多个 Iscsi target。对于多个 target 后端对应的同一个 image， 则使用多路径软件聚合成一个块设备后提供给用户使用。这样可以解决网络故障或者 gateway 故障后，通过另一条链路能够继续提供服务。
由于我们的 Demo 是把多路径接入 ceph，把 ceph 通过 scsi target 软件映射到主机上使 用，因此我们多路径软件选择的是 linux 开源软件通用多路径 multipath 和 windows server 的 MPIO
3 总体概述
Ceph iSCSI Gateway Demo 整体框架包括三个部分，ceph cluster、iscsi gateway 和 client。
ceph使用方法
ceph使用方法摘要：1.Ceph简介2.Ceph组件及其作用3.安装Ceph4.Ceph使用方法5.Ceph的日常维护与管理6.Ceph性能优化7.常见问题与解决方案正文：Ceph是一款开源的分布式存储系统，具有高性能、可靠性高、可扩展性强等特点。
它主要由以下几个组件构成：1.Ceph Monitor（CMS）：负责维护整个Ceph集群的元数据信息，包括监控各个节点的状态、集群映射关系等。
2.Ceph OSD：负责存储数据，包括数据存储和数据恢复。
OSD节点之间通过CRUSH算法实现数据分布和平衡。
3.Ceph Metadata Server：为Ceph客户端提供元数据服务，包括存储卷配置、快照、克隆等。
接下来，我们来了解一下如何安装和配置Ceph。
1.安装Ceph：首先，确保操作系统为CentOS 7及以上版本。
然后，按照官方文档的指引，依次安装Ceph Monitor、OSD和Metadata Server组件。
2.配置Ceph：安装完成后，需要对Ceph进行配置。
编辑Ceph配置文件（/etc/ceph/ceph.conf），设置相关参数，如：osd pool默认配置、monitor 选举算法等。
3.初始化Ceph：使用ceph-init命令初始化Ceph，之后启动Ceph相关服务。
4.创建存储池：使用ceph-volume命令创建存储池，为存储池分配OSD 节点。
5.创建卷：使用ceph-volume命令创建卷，并将卷挂载到客户端节点。
6.扩容存储池：当存储池空间不足时，可以通过添加OSD节点或调整pool参数进行扩容。
7.维护与管理：定期检查Ceph集群状态，使用ceph命令监控性能指标，如：osd tree、health monitor等。
8.性能优化：根据实际需求，调整Ceph配置文件中的相关参数，如：调整osd的osd_cache_size、osd_timeout等。
9.常见问题与解决方案：遇到问题时，可通过查询官方文档、社区论坛等途径寻求解决方案。
ceph安装手册(实验版)20220118
Ceph原生安装手册（实验版）1.环境列表Ceph版本：ceph version 13.2.10主机名主机IP 磁盘配比角色node1 public-ip：192.168.110.121cluster-ip：192.168.1.121Sda（系统盘）sdb/sdc （数据盘）ceph-deploy,monitor,mgr,osdnode2 public-ip：192.168.110.122cluster-ip：192.168.1.122Sda（系统盘）sdb/sdc （数据盘）monitor,osdnode3 public-ip：192.168.110.123cluster-ip：192.168.1.123Sda（系统盘）sdb/sdc （数据盘）monitor,osd2.部署前系统配置2.1 修改/etc/hosts文件（各节点执行）Vi /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.1.121 ceph01192.168.1.122 ceph02192.168.1.123 ceph032.2关闭防火墙（各节点执行）systemctl stop firewalldsystemctl disable firewalldiptables -F(flush 清除所有的已定规则)setenforce 0vi /etc/selinux/configSELINUX =disabled2.3节点设置ssh免密（各节点执行）[root@ceph02 ~]# ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa):Created directory '/root/.ssh'.Enter passphrase (empty for no passphrase):Enter same passphrase again:Your identification has been saved in /root/.ssh/id_rsa.Your public key has been saved in /root/.ssh/id_rsa.pub.The key fingerprint is:SHA256:RZxC7W733+iZCG9EPcnGye5li4ZCvTYqDFnhdcsjIz8 root@ceph02The key's randomart image is:+---[RSA 2048]----+| ..o.. || ..o+. || . oo+ .= o || + +.+. X || o S.+..o . || o Eo.o . o|| o ..oooo.o.|| o . B.+o=.|| ..+.=.=.o|+----[SHA256]-----+[root@ceph02 ~]# ssh-copy-id root@ceph01/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"The authenticity of host 'ceph01 (192.168.1.121)' can't beestablished.ECDSA key fingerprint is SHA256:0TJBpy/sIxnagPsU62jCRfo3u/FRb4roi7+Qup 7tRx0.ECDSA key fingerprint isMD5:ca:14:e6:a5:3c:72:fa:a2:62:0a:46:dd:fd:05:17:af.Are you sure you want to continue connecting (yes/no)? yes/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s),to filter out any that are already installed/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keysroot@ceph01's password:Number of key(s) added: 1Now try logging into the machine, with: "ssh 'root@ceph01'"and check to make sure that only the key(s) you wanted were added.[root@ceph02 ~]# ssh-copy-id root@ceph02/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/. ssh/id_rsa.pub"The authenticity of host 'ceph02 (192.168.1.122)' can't beestablished.ECDSA key fingerprint is SHA256:7nRC3lyJyxliOolJgRNTvqKQzjX2zlEn5+xadg 0DTFk.ECDSA key fingerprint isMD5:9b:71:f5:ca:b0:bc:db:7c:96:3c:09:02:a7:c8:0e:e1.Are you sure you want to continue connecting (yes/no)? yes/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keysroot@ceph02's password:Number of key(s) added: 1Now try logging into the machine, with: "ssh 'root@ceph02'"and check to make sure that only the key(s) you wanted were added.[root@ceph02 ~]# ssh-copy-id root@ceph03/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/. ssh/id_rsa.pub"The authenticity of host 'ceph03 (192.168.1.123)' can't beestablished.ECDSA key fingerprint is SHA256:MbLYNIWonbVIyPpbbFw1tE99s9LS68TezGU8Mw +BOO8.ECDSA key fingerprint isMD5:3f:62:0b:1a:1c:13:8c:09:66:9c:c8:3a:e6:eb:12:89.Are you sure you want to continue connecting (yes/no)? yes/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keysroot@ceph03's password:Number of key(s) added: 1Now try logging into the machine, with: "ssh 'root@ceph03'"and check to make sure that only the key(s) you wanted were added.2.4 配置yum源（各节点执行）//安装wget命令，方便下载新的yum源。
ceph运维手册
ceph运维手册一、介绍Ceph是一个分布式存储系统，具有高性能、高可靠性和高可扩展性的特点。
在大规模数据存储领域，Ceph已经成为一种非常流行的解决方案。
本文将深入探讨Ceph的运维手册，包括必要的配置、监控、故障处理等方面。
二、环境准备在进行Ceph的运维工作之前，需要准备以下环境：1.硬件设备：Ceph要求至少3台服务器，并且每台服务器要有足够的计算和存储资源。
2.操作系统：推荐使用Linux操作系统，例如CentOS、Ubuntu等。
3.网络配置：确保服务器之间能够正常通信，并且网络带宽要足够支持存储系统的数据传输。
三、Ceph集群部署3.1 安装Ceph软件包在每台服务器上执行以下命令，安装Ceph软件包：$ sudo apt-get install ceph -y3.2 配置Ceph集群1.创建一个用于存储Ceph配置文件的目录：$ sudo mkdir /etc/ceph2.在主节点上执行以下命令，生成配置文件：$ sudo ceph-deploy new <主节点>3.编辑生成的Ceph配置文件，添加以下内容：osd pool default size = 2osd crush chooseleaf type = 14.在主节点上执行以下命令，部署配置文件到所有节点：$ sudo ceph-deploy --overwrite-conf config push <所有节点>3.3 启动Ceph集群在主节点上执行以下命令，启动Ceph集群：$ sudo ceph-deploy mon create-initial四、Ceph监控Ceph提供了一套监控工具，可以用于实时监控集群的状态和性能。
4.1 安装和配置监控工具在主节点上执行以下命令，安装和配置监控工具：$ sudo apt-get install ceph-mgr ceph-mgr-dashboard -y4.2 访问监控面板通过浏览器访问主节点的IP地址和监控面板端口，例如：主节点IP地址>:7000。
ceph接口使用方法
ceph接口使用方法Ceph接口使用方法Ceph是一个开源的分布式存储系统，拥有强大的可扩展性和高可靠性。
它通过将数据分布在多个节点上，实现了数据冗余和负载均衡的功能。
Ceph提供了一系列的接口，让开发者可以轻松地使用其功能。
本文将介绍Ceph接口的使用方法，包括安装和配置Ceph、使用Ceph 接口进行数据操作等。
通过本文的指导，读者可以快速上手并深入了解Ceph接口的使用。
第一步：安装Ceph在开始使用Ceph接口之前，首先需要在集群中安装和配置Ceph。
Ceph 可以在Linux系统上运行，支持多种发行版。
以下是在Ubuntu上安装Ceph的步骤：1. 更新系统软件包：使用以下命令更新系统软件包以获取最新的软件包列表和安全修复程序。
sudo apt-get updatesudo apt-get upgrade2. 安装Ceph软件包：使用以下命令安装Ceph软件包。
sudo apt-get install ceph ceph-deploy3. 配置Ceph集群：使用Ceph提供的命令行工具ceph-deploy来配置Ceph集群。
首先需要创建一个新的目录作为Ceph集群的工作目录。
mkdir my-clustercd my-cluster然后，在此目录下，运行以下命令来初始化Ceph集群。
ceph-deploy new <MON节点>这将在当前目录下创建一个名为ceph.conf的配置文件，其中包含了集群的基本配置信息。
接下来，使用以下命令将Ceph软件包安装到集群的所有节点。
ceph-deploy install <所有节点>最后，使用以下命令来为集群添加MON节点。
ceph-deploy mon create-initial第二步：配置Ceph存储池一旦Ceph集群安装和配置完成，下一步是创建一个或多个存储池，以供存储数据。
存储池是Ceph中最基本的单元，用于管理数据的存储和分发。
ceph工作原理和安装
ceph工作原理和安装Ceph是一个开源的分布式存储系统，它提供了高可用性、高性能和可扩展性的存储解决方案。
本文将介绍Ceph的工作原理和安装过程，以帮助读者更好地理解和使用这个强大的存储系统。
一、Ceph的工作原理Ceph的核心是一个分布式对象存储系统，它将数据分散存储在多个节点上，通过复制和故障转移来保证数据的可靠性和高可用性。
Ceph采用了RADOS （Reliable Autonomic Distributed Object Store）作为底层存储引擎，它将数据划分为多个对象，并将这些对象分布在不同的存储设备上。
Ceph的工作原理可以简单描述为以下几个步骤：1. 客户端发送请求：当客户端需要读取或写入数据时，它会向Ceph集群发送请求。
这个请求包含了数据的标识符和操作类型。
2. CRUSH算法计算数据位置：Ceph集群中的OSD（Object Storage Device）使用CRUSH算法计算出数据存储的位置。
CRUSH算法基于一致性哈希和散列函数，可以将数据均匀地分布在不同的OSD上。
3. 数据访问和传输：一旦找到了数据存储的位置，客户端就可以直接与对应的OSD进行数据的读取和写入。
Ceph使用了RADOS协议来实现数据的传输和访问。
4. 数据复制和故障转移：Ceph通过数据的复制和故障转移来保证数据的可靠性和高可用性。
它使用了副本和恢复机制来处理节点故障和数据损坏的情况。
5. 数据一致性和完整性：Ceph使用了一致性哈希和版本控制等技术来保证数据的一致性和完整性。
它可以检测和修复数据的错误，并提供了数据的校验和功能。
二、Ceph的安装Ceph的安装过程相对复杂，但是通过正确的步骤和配置，可以顺利地搭建一个稳定可靠的存储系统。
下面是一个简要的安装过程：1. 准备环境：首先，需要准备一组服务器作为Ceph集群的节点。
这些服务器应该满足一定的硬件要求，并且已经安装了适当的操作系统。
2. 安装Ceph软件包：在每个节点上，需要安装Ceph软件包。
ceph安装配置说明
ceph安装配置说明一、环境说明：注：在配置系统环境时，需要指定各结点的机器名，关闭iptables、关闭selinux（重要）。
相关软件包：ceph-0.61.2.tar.tarlibedit0-3.0-1.20090722cvs.el6.x86_64.rpmlibedit-devel-3.0-1.20090722cvs.el6.x86_64.rpmsnappy-1.0.5-1.el6.rf.x86_64.rpmsnappy-devel-1.0.5-1.el6.rf.x86_64.rpmleveldb-1.7.0-2.el6.x86_64.rpmleveldb-devel-1.7.0-2.el6.x86_64.rpmbtrfs-progs-0.19.11.tar.bz2$src为安装包存放目录二、内核编译及配置：cp /boot/config-2.6.32-279.el6.x86_64 /usr/src/linux-2.6.34.2/.config make menuconfig #选择把ceph编译成模块和加载btrfs文件系统make all #若是多核处理器，则可以使用make -j8命令，以多线程方式加速构建内核makemodules_installmake install修改/etc/grub.conf文件，把新编译的linux-2.6.34.2版本内核做为默认启动内核。
三、Ceph安装配置：先安装相关依赖包：rpm -ivh libedit0-3.0-1.20090722cvs.el6.x86_64.rpm --forcerpm -ivh libedit-devel-3.0-1.20090722cvs.el6.x86_64.rpmrpm -ivh snappy-1.0.5-1.el6.rf.x86_64.rpmrpm -ivh snappy-devel-1.0.5-1.el6.rf.x86_64.rpmrpm -ivh leveldb-1.7.0-2.el6.x86_64.rpmrpm -ivh leveldb-devel-1.7.0-2.el6.x86_64.rpm编译安装ceph：./autogen.sh./configure --without-tcmalloc --without-libatomic-opsmakemake install配置ceph：cp $src/ceph-0.61.2/src/sample.ceph.conf /usr/local/etc/ceph/ceph.confcp $src/ceph-0.61.2/src/init-ceph /etc/init.d/cephmkdir /var/log/ceph #建立存放ceph日志目录。
ceph 集群配置iscsi的操作步骤 -回复
ceph 集群配置iscsi的操作步骤-回复Ceph是一种分布式存储系统，它能够提供高性能和高可靠性的存储解决方案。
同时，Ceph还支持ISCSI（Internet Small Computer System Interface），这意味着可以将Ceph集群用作ISCSI存储，为用户提供块级存储服务。
下面将一步一步介绍如何配置Ceph集群以使用ISCSI。
步骤一：安装和配置Ceph集群1. 首先，安装Ceph软件包。
在Ceph官方网站上可以找到相应的软件包和下载链接。
2. 在所有Ceph节点上配置和启动Ceph集群。
这包括创建Ceph配置文件（如ceph.conf）和密钥环文件（如ceph.client.admin.keyring）。
3. 创建Ceph存储池（pool）用于存储ISCSI镜像。
可以使用命令"ceph osd pool create"来创建一个新的pool。
步骤二：配置ISCSI Gateway1. 在其中一个Ceph节点上配置ISCSI Gateway。
ISCSI Gateway将充当ISCSI目标，为客户端提供ISCSI卷。
2. 在Ceph配置文件（ceph.conf）中添加ISCSI Gateway的配置选项，如以下示例所示：[client.iscsigw]keyring = /etc/ceph/iscsi-gateway.keyringclient_mount_uid = 0client_mount_gid = 0pool = iscsi-pool这些选项定义了ISCSI Gateway使用的密钥环文件、ceph用户权限的UID和GID，以及存储ISCSI镜像的池（pool）。
3. 创建并导入ISCSI Gateway所需的密钥环文件。
可使用以下命令创建密钥环文件：ceph auth get-or-create client.iscsigw mon 'profile rbd' osd'profile rbd pool=iscsi-pool'这将生成一个密钥环文件，其中包含ISCSI Gateway所需的权限。
ceph的云盘操作流程
ceph的云盘操作流程Ceph 是一个分布式存储系统，它提供了云盘（RBD - RADOS Block Device）作为一种存储方式，允许用户在分布式存储集群上创建块设备。
以下是在 Ceph 中使用云盘的一般操作流程：Ceph 环境准备：安装和配置Ceph 集群：搭建一个Ceph 存储集群，包括Monitor、OSD（Object Storage Daemon）等组件。
配置 Ceph Block Device：确保 RBD（RADOS Block Device）服务可用，通常在 Ceph Monitor 节点上启动 RBD 服务。
创建 Ceph Pool：在 Ceph 集群中创建一个存储池（pool）用于存放块设备。
可以使用 ceph osd pool create 命令来创建。
bashCopy codeceph osd pool create {pool_name} {pg_num} [{pgp_num}]创建 Ceph 块设备（云盘）：使用 rbd create 命令创建一个块设备。
bashCopy coderbd create {pool_name}/{image_name} --size {image_size} 映射块设备到本地主机：使用 rbd map 命令将块设备映射到本地主机。
bashCopy coderbd map {pool_name}/{image_name}分区和格式化块设备：在本地主机上，使用 fdisk 或其他分区工具对映射的块设备进行分区。
格式化分区，例如使用 mkfs 命令。
挂载块设备：使用 mount 命令将格式化后的块设备挂载到本地文件系统。
bashCopy codemount /dev/rbd/{pool_name}/{image_name} {mount_point}使用云盘：现在，块设备已经成功映射、分区、格式化和挂载到本地主机，你可以像使用普通硬盘一样在本地文件系统中使用这个块设备。
Ceph集群配置说明书
Ceph集群配置说明书◆预备知识：✓需要创建6台虚拟机，每台的硬盘占用10G就ok。
✓命名分别是：✓各自对应的IP是：（这几个IP已经被我用了，请配置未被使用的IP）◆开始配置ceph集群：↓1.在mon00上使用这个镜像创建虚拟机（帐户名随便，密码最好用admin123）2.开通root登录：sudo passwd三次都输入admin1233.重启：sudo reboot启动的时候就可以用root登录4.配置IP:vim /etc/network/interfaces152这个ip被我用了，请用未被使用的。
5.修改主机名：vim /etc/hostname6.再次重启reboot以便激活新的主机名和IP。
7.更新一下，并且安装opssh-server以便用这个软件来远程。
sudo apt-get update && sudo apt-get install openssh-server8.为了能远程root帐户，请再修改一下：vim /etc/ssh/sshd_config将这一行改成截图的样子。
（原来是without-password）9.重启，关掉控制台，我们去远程它。
记住ip是192.168.0.15210.修改hosts:vim /etc/hosts11.安装cephwget -q -O-'https:///git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add -enter echo deb /debian $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list enter sudo apt-get update && sudo apt-get install ceph -yenter 以上步骤就是ubuntu14.04+ceph 的模版了，关掉mon00虚拟机的电源，将mon00的模版替换掉里面的其他5台虚拟机的配置。
ceph安装部署
ceph安装部署ceph简介不管你是想为云平台提供Ceph 对象存储和/或 Ceph 块设备，还是想部署⼀个 Ceph ⽂件系统或者把 Ceph 作为他⽤，所有 Ceph 存储集群的部署都始于部署⼀个个 Ceph 节点、⽹络和 Ceph 存储集群。
Ceph 存储集群⾄少需要⼀个 Ceph Monitor 和两个 OSD 守护进程。
⽽运⾏ Ceph ⽂件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。
Ceph OSDs: Ceph OSD 守护进程（ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD 守护进程的⼼跳来向 Ceph Monitors 提供⼀些监控信息。
当 Ceph 存储集群设定为有2个副本时，⾄少需要2个 OSD 守护进程，集群才能达到 active+clean 状态（ Ceph 默认有3个副本，但你可以调整副本数）。
Monitors: Ceph Monitor维护着展⽰集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。
Ceph 保存着发⽣在Monitors 、 OSD 和 PG上的每⼀次状态变更的历史信息（称为 epoch ）。
MDSs: Ceph 元数据服务器（ MDS ）为 Ceph ⽂件系统存储元数据（也就是说，Ceph 块设备和 Ceph 对象存储不使⽤MDS ）。
元数据服务器使得 POSIX ⽂件系统的⽤户们，可以在不对 Ceph 存储集群造成负担的前提下，执⾏诸如 ls、find 等基本命令Ceph组件:osdOSD 守护进程,⾄少两个⽤于存储数据、处理数据拷贝、恢复、回滚、均衡通过⼼跳程序向monitor提供部分监控信息⼀个ceph集群中⾄少需要两个OSD守护进程Ceph组件：mon维护集群的状态映射信息包括monitor、OSD、placement Group(PG)还维护了monitor、OSD和PG的状态改变历史信息Ceph组件：mgr（新功能）负责ceph集群管理，如pg map对外提供集群性能指标（如cpeh -s 下IO信息）具有web界⾯的监控系统（dashboard）ceph逻辑结构数据通过ceph的object存储到PG,PG在存储到osd daemon，osd对应diskobject只能对应⼀个pg⼀个raid可以对应⼀个osd⼀整块硬盘可以对应⼀个osd⼀个分区可以对应⼀个osdmonitor：奇数个 osd : ⼏⼗到上万，osd越多性能越好pg概念副本数crush规则(pg怎么找到osd acting set)⽤户及权限epoach：单调递增的版本号acting set: osd列表，第⼀个为primary osd，replicated osdup set :acting set过去的版本pg tmp:临时pg组osd状态：默认每2秒汇报⾃⼰给mon(同时监控组内osd，如300秒没有给mon汇报状态，则会把这个osd踢出pg组) up 可以提供iodown 挂掉了in 有数据out 没数据了ceph应⽤场景：通过tgt⽀持iscsi挂载公司内部⽂件共享海量⽂件，⼤流量，⾼并发需要⾼可⽤、⾼性能⽂件系统传统单服务器及NAS共享难以满⾜需求，如存储容量，⾼可⽤ceph⽣产环境推荐存储集群采⽤全万兆⽹络集群⽹络(不对外)与公共⽹络分离(使⽤不同⽹卡)mon、mds与osd分离部署在不同机器上journal推荐使⽤PCI SSD,⼀般企业级IOPS可达40万以上OSD使⽤SATA亦可根据容量规划集群⾄强E5 2620 V3或以上cpu,64GB或更⾼内存最后，集群主机分散部署，避免机柜故障(电源、⽹络)ceph安装环境由于机器较少，使⽤3台机器，充当mon与osd，⽣产环境不建议，⽣产环境⾄少3个mon独⽴主机IP⾓⾊配置ceph-0eth0:192.168.0.150(Public)eth1:172.16.1.100(Cluster)mon、osd、mgrDISK 0 15G(OS)DISK 110G(Journal)DISK 2 10G(OSD)DISK 3 10G(OSD)ceph-1eth0:192.168.0.151(Public)eth1:172.16.1.101(Cluster)mon、osd、mgrDISK 0 15G(OS)DISK 110G(Journal)DISK 2 10G(OSD)DISK 3 10G(OSD)ceph-2eth0:192.168.0.152(Public)eth1:172.16.1.102(Cluster)mon、osd、mgrDISK 0 15G(OS)DISK 110G(Journal)DISK 2 10G(OSD)DISK 3 10G(OSD)⼀、系统设置1.绑定主机名由于后续安装及配置都涉及到主机名，故此需先绑定依次在三个节点上执⾏以下命令完成hosts绑定[root@ceph-node0 ~]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.0.150 ceph-node0192.168.0.151 ceph-node1192.168.0.152 ceph-node22.ssh-keygen信任3. 每台关闭防⽕墙systemctl stop firewalld4.时间同步yum install -y ntpdate//ntpdate 5.安装epel源与ceph-deploy本步骤要在每⼀个节点上执⾏安装epel源wget -O /etc/yum.repos.d/epel.repo /repo/epel-7.repo安装ceph-deployrpm -ivh https:///ceph/rpm-luminous/el7/noarch/ceph-release-1-1.el7.noarch.rpm 替换 ceph.repo 服务器sed -i 's#htt.*://#https:///ceph#g' /etc/yum.repos.d/ceph.repo 或直接复制下⽅⽂本内容替换 /etc/yum.repos.d/ceph.repo[Ceph]name=Ceph packages for $basearchbaseurl=https:///ceph/rpm-luminous/el7/$basearchenabled=1gpgcheck=1type=rpm-mdgpgkey=https:///ceph/keys/release.asc[Ceph-noarch]name=Ceph noarch packagesbaseurl=https:///ceph/rpm-luminous/el7/noarchenabled=1gpgcheck=1type=rpm-mdgpgkey=https:///ceph/keys/release.asc[ceph-source]name=Ceph source packagesbaseurl=https:///ceph/rpm-luminous/el7/SRPMSenabled=1gpgcheck=1type=rpm-mdgpgkey=https:///ceph/keys/release.asc6.安装ceph使⽤ yum 安装 ceph-deploy[root@ceph-node0 ~]# yum install -y ceph-deploy创建 ceph-install ⽬录并进⼊，安装时产⽣的⽂件都将在这个⽬录[root@ceph-node0 ~]# mkdir ceph-install && cd ceph-install[root@ceph-node0 ceph-install]#⼆、准备硬盘1.Journal磁盘本步骤要在每⼀个节点上执⾏在每个节点上为Journal磁盘分区, 分别为 sdb1, sdb2, 各⾃对应本机的2个OSD, journal磁盘对应osd的⼤⼩为25%使⽤ parted 命令进⾏创建分区操作[root@ceph-node0 ~]# parted /dev/sdbmklabel gptmkpart primary xfs 0% 50%mkpart primary xfs 50% 100%q2.OSD磁盘对于OSD磁盘我们不做处理，交由ceph-deploy进⾏操作三、安装ceph1.使⽤ceph-deploy安装ceph,以下步骤只在ceph-depoly管理节点执⾏创建⼀个ceph集群，也就是Mon,三台都充当mon[root@ceph-node0 ceph-install]# ceph-deploy new ceph-node0 ceph-node1 ceph-node2在全部节点上安装ceph[root@ceph-node0 ceph-install]# ceph-deploy install ceph-node0 ceph-node1 ceph-node2或在每个节点上⼿动执⾏ yum install -y ceph创建和初始化监控节点并收集所有的秘钥[root@ceph-node0 ceph-install]# ceph-deploy mon create-initial此时可以在osd节点查看mon端⼝创建OSD存储节点[root@ceph-node0 ceph-install]# ceph-deploy osd create ceph-node0 --data /dev/sdc --journal /dev/sdb1[root@ceph-node0 ceph-install]# ceph-deploy osd create ceph-node0 --data /dev/sdd --journal /dev/sdb2[root@ceph-node0 ceph-install]# ceph-deploy osd create ceph-node1 --data /dev/sdc --journal /dev/sdb1[root@ceph-node0 ceph-install]# ceph-deploy osd create ceph-node1 --data /dev/sdd --journal /dev/sdb2[root@ceph-node0 ceph-install]# ceph-deploy osd create ceph-node2 --data /dev/sdc --journal /dev/sdb1[root@ceph-node0 ceph-install]# ceph-deploy osd create ceph-node2 --data /dev/sdd --journal /dev/sdb2把配置⽂件和admin 秘钥到管理节点和ceph节点[root@ceph-0 ceph-install]# ceph-deploy --overwrite-conf admin ceph-node0 ceph-node1 ceph-node2使⽤ ceph -s 命令查看集群状态[root@ceph-node0 ceph-install]# ceph -scluster:id: e103fb71-c0a9-488e-ba42-98746a55778ahealth: HEALTH_WARNno active mgrservices:mon: 3 daemons, quorum ceph-node0,ceph-node1,ceph-node2mgr: no daemons activeosd: 6 osds: 6 up, 6indata:pools: 0 pools, 0 pgsobjects: 0 objects, 0Busage: 0B used, 0B / 0B availpgs:如集群正常则显⽰ health HEALTH_OK如OSD未全部启动，则使⽤下⽅命令重启相应节点, @ 后⾯为 OSD IDsystemctl start ceph-osd@02. 部署mgrluminous 版本需要启动 mgr, 否则 ceph -s 会有 no active mgr 提⽰官⽅⽂档建议在每个 monitor 上都启动⼀个 mgr[root@ceph-node0 ceph-install]# ceph-deploy mgr create ceph-node0:ceph-node0 ceph-node1:ceph-node1 ceph-node2:ceph-node2再次查看ceph状态[root@ceph-node0 ceph-install]# ceph -scluster:id: e103fb71-c0a9-488e-ba42-98746a55778ahealth: HEALTH_OKservices:mon: 3 daemons, quorum ceph-node0,ceph-node1,ceph-node2mgr: ceph-node0(active), standbys: ceph-node1, ceph-node2osd: 6 osds: 6 up, 6 indata:pools: 0 pools, 0 pgsobjects: 0 objects, 0Busage: 6.02GiB used, 54.0GiB / 60.0GiB availpgs:3.清除操作安装过程中如遇到奇怪的错误，可以通过以下步骤清除操作从头再来[root@ceph-node0 ceph-install]# ceph-deploy purge ceph-node0 ceph-node1 ceph-node2[root@ceph-node0 ceph-install]# ceph-deploy purgedata ceph-node0 ceph-node1 ceph-node2[root@ceph-node0 ceph-install]# ceph-deploy forgetkeys四、配置1. 为何要分离⽹络性能OSD 为客户端处理数据复制，复制多份时 OSD 间的⽹络负载势必会影响到客户端和 ceph 集群的通讯，包括延时增加、产⽣性能问题;恢复和重均衡也会显著增加公共⽹延时。
ceph0.87安装使用手册资料
Ceph0.87安装使用手册（v0.1）2015年3月28日目录第一部分：环境准备...................................................................................................................- 1 -一、准备.......................................................................................................................- 1 -二、在admin节点上安装ceph-deploy......................................................................- 1 -三、在每个机器上安装ntp ........................................................................................- 2 -四、在每个机器上安装openssh-server .....................................................................- 2 -五、在每个机器上创建user并给予sudo权限 ........................................................- 2 -六、设置从admin节点到其他三个节点的免密码登录...........................................- 3 -七、一些注意事项.......................................................................................................- 5 -第二部分：安装...........................................................................................................................- 5 -一、在wx-ceph-admin节点上创建目录....................................................................- 5 -二、清空配置(purge configuration) ............................................................................- 5 -三、安装.......................................................................................................................- 6 -四、配置OSD（目录做OSD）...................................................................................- 7 -五、配置OSD（硬盘做OSD）...................................................................................- 8 -六、配置文件拷贝.......................................................................................................- 9 -七、安装MDS........................................................................................................... - 10 -八、Ceph运行 .......................................................................................................... - 10 -第三部分：使用........................................................................................................................ - 11 -一、集群监控............................................................................................................ - 11 -二、用户管理............................................................................................................ - 14 -三、Pool(池)管理 ...................................................................................................... - 15 -第四部分：Cephfs..................................................................................................................... - 15 -一、创建ceph文件系统.......................................................................................... - 15 -二、挂载(mount) ceph文件系统............................................................................. - 16 -第一部分：环境准备一、准备预备1：修改每个机器里边的/etc/hosts文件，添加这些机器的ip例如：在wx-ceph-admin机器的/etc/hosts文件中，添加：172.16.100.46 wx-ceph-admin172.16.100.42 wx-ceph01172.16.100.44 wx-ceph02172.16.100.45 wx-ceph03二、在admin节点上安装ceph-deploy1、Add the release key:执行：wget -q -O- 'https:///git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add –2、Add the Ceph packages to your repository. Replace {ceph-stable-release} with a stable Ceph release (e.g., cuttlefish, dumpling, emperor, firefly, etc.). For example:echo deb /debian-{ceph-stable-release}/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list执行：echo deb /debian-giant/ $(lsb_release -sc) main | sudo tee/etc/apt/sources.list.d/ceph.list3、Update your repository and install ceph-deploy:执行：sudo apt-get update && sudo apt-get install ceph-deployNote：You can also use the EU mirror for downloading your packages. Simply replace / by /三、在每个机器上安装ntpWe recommend installing NTP on Ceph nodes (especially on Ceph Monitor nodes) to prevent issues arising from clock drift.On Debian / Ubuntu, 执行:sudo apt-get install ntp四、在每个机器上安装openssh-serversudo apt-get install openssh-server五、在每个机器上创建user并给予sudo权限1、在每个机器上创建user格式：ssh user@ceph-serversudo useradd -d /home/{username} -m {username}sudo passwd {username}实际操作：登录到每台机器，然后执行：sudo useradd -d /home/ceph -m cephsudo passwd ceph2、For the user you added to each Ceph node, ensure that the user has sudo privileges.格式：echo "{username} ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/{username}sudo chmod 0440 /etc/sudoers.d/{username}实际操作：登录到每台机器，然后执行：echo "ceph ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephsudo chmod 0440 /etc/sudoers.d/ceph六、设置从admin节点到其他三个节点的免密码登录1、以新创建的用户登录到admin节点在admin节点上执行：su ceph2、执行ssh-keygen，一路回车。
ceph详细安装部署教程（多监控节点）
ceph详细安装部署教程（多监控节点）1、安装环境系统centos-6.5设备：1台admin-node (ceph-ploy) 1台 monistor 2台 osd2、关闭所有节点的防火墙及关闭selinux，重启机器。
service iptables stopsed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config chkconfig iptables off3、编辑admin-node节点的ceph yum仓库vi /etc/yum.repos.d/ceph.repo[ceph-noarch]name=Ceph noarch packagesbaseurl=/rpm/el6/noarch/enabled=1gpgcheck=1type=rpm-mdgpgkey=https:///git/?p=ceph.git;a=blob_plain;f=keys/relea se.asc4、安装搜狐的epel仓库rpm -ivh /fedora-epel/6/x86_64/epel-release-6-8.noarch.rpm5、更新admin-node节点的yum源yum clean allyum update -y6、在admin-node节点上建立一个ceph集群目录mkdir /cephcd /ceph7、在admin-node节点上安装ceph部署工具yum install ceph-deploy -y8、配置admin-node节点的hosts文件vi /etc/hosts10.240.240.210 admin-node10.240.240.211 node110.240.240.212 node210.240.240.213 node3二、配置ceph-deploy部署的无密码登录每个ceph节点1、在每个Ceph节点上安装一个SSH服务器[ceph@node3 ~]$ yum install openssh-server -y2、配置您的admin-node管理节点与每个Ceph节点无密码的SSH访问。
Ceph iSCSI Gateway Demo安装配置
拷贝 scstadmin-3.0.1.tar.bz2 到 iscsi gateway 节点上，执行以下命令： tar -jxvf scstadmin-3.0.1.tar.bz2 cd scstadmin-3.0.1 make make install
4.1.5 启动 iscst target
1.故障的切换和恢复 2.IO 流量的负载均衡 3.磁盘的虚拟化
由于多路径软件是需要和存储在一起配合使用的，不同的厂商基于不同的操作系统，都 提供了不同的版本。并且有的厂商，软件和硬件也不是一起卖的，如果要使用多路径软件的 话，可能还需要向厂商购买 license 才行。 业界比较常见的多路径功能软件有 EMC 的 PowerPath， IBM 的 SDD，日立的 Hitachi Dynamic Link Manager 和广泛使用的 linux 开源 软件 multipath 和 windows server 的 MPIO。
1）简单，方便使用和维护； 2）另外已经有 ceph 的 target driver，只是需要做性能优化； 3）因为工作在用户态，所以即使挂掉了，也不会对其他运行的程序产生影响； 它的缺点是：
1）支持的传输协议较少； 2）对 SCSI 协议支持比较简单，一些 cluster 中的特性比如 PR 等都不支持，所以基于 stgt 的方案不能在 cluster 中使用； 3）由于是用户态框架，性能问题较差，根据网上的相关数据， tgt 在使用本地存储的 情况下，性能相比后面会提到的 SCST、 LIO 等是有一定差距的。
图 2 Ceph iSCSI Gateway Demo 架构
4. Ceph iSCSI Gateway Demo 安装
ceph yum安装
Ceph yum 安装一、环境配置及安装：Centos7_x86_64系统，ceph版本Hammer，3节点，一个mon节点（主机名：node1，192.168.72.101），两个osd节点（主机名：node2，192.168.72.102；node3，192.168.72.103），分别配置好主机名host解析及ntp服务。
分别安装配置epel源和ceph 源。
使用命令安装ceph：yum install ceph若安装过程中出现依赖不全，无法安装的情况，可以使用ceph-9.2.0.tar.gz源码包中的install-deps.sh来安装相关依赖后，再执行此命令安装ceph。
二、集群配置：配置mon节点：手动配置ceph.conf配置文件：vim /etc/ceph/ceph.conf[global]fsid = 91fb2fd6-9b80-4c08-8904-c74d1c299c12 #使用uuidgen命令生成mon initial members = node1 #mon节点主机名mon host = 192.168.72.101 #mon节点主机ippublic network = 192.168.72.0/24 #mon节点网段auth cluster required = cephxauth service required = cephxauth client required = cephxosd journal size = 1024filestore xattr use omap = trueosd pool default size = 2osd pool default min size = 1osd pool default pg num = 333osd pool default pgp num = 333osd crush chooseleaf type = 1为此集群创建密钥环、并生成监视器密钥：ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'生成管理员密钥环，生成client.admin 用户并加入密钥环：ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow'把client.admin 密钥加入ceph.mon.keyring：ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring用规划好的主机名、对应IP 地址、和FSID 生成一个监视器图，并保存为/tmp/monmap：monmaptool --create --add {hostname} {ip-address} --fsid {uuid} /tmp/monmapmonmaptool --create --add node1 192.168.72.101 --fsid 91fb2fd6-9b80-4c08-8904-c74d1c299c12 /tmp/monmap在监视器主机上分别创建数据目录：mkdir /var/lib/ceph/mon/{cluster-name}-{hostname}mkdir /var/lib/ceph/mon/ceph-node1用监视器图和密钥环组装守护进程所需的初始数据：ceph-mon [--cluster {cluster-name}] --mkfs -i {hostname} --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyringceph-mon --cluster ceph --mkfs -i node1 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring建一个空文件done ，表示监视器已创建、可以启动了:touch /var/lib/ceph/mon/ceph-monnode/donetouch /var/lib/ceph/mon/ceph-monnode/sysvinit #官网部署说明中没有此步，若没有执行此步会报错启动监视器：/etc/init.d/ceph start mon.node1 #或service ceph start mon.node1#使用ceph –s查看集群状态配置osd节点：从mon节点分别将ceph.conf和ceph.client.admin.keyring拷贝到osd节点/etc/ceph/目录。
ceph操作手册
ceph操作手册Ceph是一种分布式存储系统，提供了高性能、高可用性和可扩展性的存储服务。
以下是Ceph操作手册，以帮助您快速上手使用Ceph。
一、概述Ceph是一个开源的分布式存储系统，具有高性能、高可用性和可扩展性，广泛应用于存储大规模数据。
Ceph提供了块存储、文件存储和对象存储三种服务，可以根据实际需求选择合适的存储类型。
二、安装与部署1.安装前准备：确保服务器硬件满足Ceph的要求，包括CPU、内存、磁盘和网络等。
同时，需要准备Ceph软件包和安装工具。
2.安装Ceph：根据您的操作系统和需求，选择合适的Ceph版本，并按照官方文档的指引进行安装。
3.配置Ceph：编辑Ceph的配置文件，设置集群名称、监控组件、存储组件等参数。
4.启动Ceph：启动Ceph的各个组件，包括监视器、存储节点等。
5.测试Ceph：通过创建对象、文件或块设备，测试Ceph 是否正常工作。
三、管理维护1.监控Ceph：使用Ceph命令行工具或图形化界面，监控集群状态、性能指标和故障排除等。
2.维护Ceph：定期进行Ceph的维护操作，如更新配置、修复故障和升级版本等。
3.数据备份与恢复：定期备份Ceph中的数据，以防止数据丢失。
同时，需要制定数据恢复计划，以便在数据损坏或丢失时快速恢复。
4.安全防护：确保Ceph集群的安全性，采取措施防止未经授权的访问和数据泄露。
四、性能优化1.调整配置：根据实际需求和硬件性能，调整Ceph的配置参数，提高存储性能。
2使用SSD：使用SSD可以提高I/O性能和数据可靠性。
3.多路径I/O：配置多路径I/O可以增加数据传输带宽和可靠性。
4.压缩与去重：启用数据压缩和去重功能可以减少存储空间占用和网络带宽消耗。
五、常见问题与解决方案1.Ceph集群无法启动：检查硬件和网络连接是否正常，查看日志文件查找故障原因。
2.数据损坏或丢失：检查数据备份和恢复计划是否完善，及时采取恢复措施。
ceph安装部署手册1.0
Ceph安装部署手册1.需求1.1硬件环境3台PC机，安装操作系统centos7；分别创建一个主分区/dev/sda4 IP分别设置为192.168.0.2,192.168.0.3,192.168.0.4注：MON、OSD节点可以不再同一节点上1.2软件环境安装包：centos、ceph、ceph-deploy2.准备2.1关闭防火墙（所有节点）1. systemctl stop firewalldsystemctl disable firewalld2. vi /etc/sysconfig/selinux => SELINUX=disabled2.2主机配置（所有节点）[root@node1 ~]# vi /etc/hosts2.3软件安装1.安装vsftp:[root@node1 ~]# rpm -ivh/var/ftp/centos/Packages/vsftpd-3.0.2-9.el7.x86_6 4.rpm2.配置yumcentos、ceph、ceph-deploy3.启动vsftp4.安装（所有节点）分别安装ceph、ceph-deploy注：建议把NTP 服务安装到所有Ceph 节点上（特别是Ceph 监视器节点），以免因时钟漂移导致故障。
# yum install ntp# yum install ceph ceph-deploy3.搭建ceph1.进入/etc/ceph目录，确保下面所有操作都在此目录下：[root@node1 ~]# cd /etc/ceph/2.Create the cluster.（创建集群）[root@node1 ceph]# ceph-deploy new node13. create the monitor.（创建一个mon）[root@node1 ceph]# ceph-deploy mon create node1 4. gather the keys.（取得秘钥）[root@node1 ceph]# ceph-deploy gatherkeys node1 5.Verify that the monitor is running.（检查）3.1adding monitors在node1执行：1.Configuration（在/etc/ceph下面配置ceph.conf，保证fsid和上图标注部分一致）[global]fsid =e23ed29d-abb3-4050-bd40-ed2a07e70a7dmon initial members = node1,node2,node32.从node1分别拷贝证书和配置文件到node2,node33.Add two Ceph Monitors to the cluster.（添加两个monitor）4.Verify（检查）3.2adding osds（所有节点）1.Generate a UUID for the OSD.（获得UUID）[root@node1 ~]# uuidgen2.Create the OSD.[root@node1 ~]# ceph osd createf898402c-e395-4f57-9e33-89c6dd57edf63.Create the default directory on your new OSD.[root@node1 ~]# mkdir /var/lib/ceph/osd/ceph-0 4.Prepare a device for use with Ceph, and mount it to the directory you just create.[root@node1 ~]# mkfs -t xfs -f /dev/sda4[root@node1 ~]# mount /dev/sda4/var/lib/ceph/osd/ceph-0/5.Initialize the OSD data directory.[root@node1 ~]# ceph-osd -i 0 --mkfs --mkkey--osd-uuid f898402c-e395-4f57-9e33-89c6dd57edf66.Register the OSD authentication key.[root@node1 ~]# ceph auth add osd.0 osd 'allow *' mon 'allow rwx' -i /var/lib/ceph/osd/ceph-0/keyring7.Add the Ceph Node to the CRUSH map.[root@node1 ~]# ceph osd crush add-bucket node1host8.Place the Ceph Node under the root default.[root@node1 ~]# ceph osd crush move node1root=default9. Add the device as an item in the host, assign it a weight, recompile it and set it.[root@node1 ~]# ceph osd crush add osd.0 1.0host=node1只在一个节点执行:10.Configuration（在/etc/ceph/ceph.conf中添加以下内容，并且同步到node2，node3）# vi /etc/ceph/ceph.conf[osd]osd mkfs type = xfs[osd.0]host = node1devs = /dev/sda4[osd.1]host = node2devs = /dev/sda4[osd.2]host = node3devs = /dev/sda4#scp /etc/ceph/ceph.conf ************.0.12:/etc/ceph/# scp /etc/ceph/ceph.conf ************.0.13:/etc/ceph/ 11.Start the new OSD[root@node1 ~]# /etc/init.d/ceph start osd.012.Verify（检查）View the osd tree:。
CEPH本地yum源安装
CEPH本地yum源安装一、服务器环境配置1. 服务器基本信息：2. 配置网络在每个节点上按照上面的表配置好IP地址。
3. 禁用防火墙在每个节点上执行：[root@ceph-admin /]# systemctl stopfirewalld.service–立即关闭，再一次启动时失效[root@ceph-admin /]# systemctl disable firewalld.service–使重启后防火墙依旧关闭4. 修改主机名[root@ceph-admin /]#vi /etc/hostname –每个节点上都需要修改，因为默认是localhost.domain5. 设置selinux为disabled[root@ceph-admin /]#vi /etc/selinux/config–设置SELINUX=disabled6. 创建一个安装ceph的用户，这里测试使用dgb，并且授权用户“dgb”拥有sudo权限[root@ceph-admin /]#echo "dgb ALL =(root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/dgb[root@ceph-admin /]#sudo chmod 0440/etc/sudoers.d/dgb7. 搭建NTP时钟服务将ceph-admin作为ntp服务器，在服务器ceph-admin上操作。
查看是否安装了NTP：[root@ceph-admin /]# rpm –qa | grep ntp如果没有安装，那么先安装上ntp，然后编辑ntp.conf文件。
[root@ceph-admin /]#vi /etc/ntp.conf以下是ntp.conf文件的一部分。
将原先为：# Please consider joining the pool(/join.html).server iburstserver iburstserver iburstserver iburst修改为：# Please consider joining the pool(/join.html).#server iburst#server iburst#server iburst#server iburstserver 127.127.1.0fudge 127.127.1.0 stratum 10因为这里需要将ceph-admin作为ntp服务器，所以server就是其本身，需要注意的是体现本机的IP是：127.127.1.0，而不是127.0.0.1；stratum 10指的就是顶级了，并没有更上一级的主机。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ceph安装配置说明
一、环境说明：
注：在配置系统环境时，需要指定各结点的机器名，关闭iptables、关闭selinux（重要）。
相关软件包：
ceph-0.61.2.tar.tar
libedit0-3.0-1.20090722cvs.el6.x86_64.rpm
libedit-devel-3.0-1.20090722cvs.el6.x86_64.rpm
snappy-1.0.5-1.el6.rf.x86_64.rpm
snappy-devel-1.0.5-1.el6.rf.x86_64.rpm
leveldb-1.7.0-2.el6.x86_64.rpm
leveldb-devel-1.7.0-2.el6.x86_64.rpm
btrfs-progs-0.19.11.tar.bz2
$src为安装包存放目录
二、内核编译及配置：
cp /boot/config-2.6.32-279.el6.x86_64 /usr/src/linux-2.6.34.2/.config make menuconfig #选择把ceph编译成模块和加载btrfs文件系统
make all #若是多核处理器，则可以使用make -j8命令，以多线程方式加速构建内核makemodules_install
make install
修改/etc/grub.conf文件，把新编译的linux-2.6.34.2版本内核做为默认启动内核。
三、Ceph安装配置：
先安装相关依赖包：
rpm -ivh libedit0-3.0-1.20090722cvs.el6.x86_64.rpm --force
rpm -ivh libedit-devel-3.0-1.20090722cvs.el6.x86_64.rpm
rpm -ivh snappy-1.0.5-1.el6.rf.x86_64.rpm
rpm -ivh snappy-devel-1.0.5-1.el6.rf.x86_64.rpm
rpm -ivh leveldb-1.7.0-2.el6.x86_64.rpm
rpm -ivh leveldb-devel-1.7.0-2.el6.x86_64.rpm
编译安装ceph：
./autogen.sh
./configure --without-tcmalloc --without-libatomic-ops
make
make install
配置ceph：
cp $src/ceph-0.61.2/src/sample.ceph.conf /usr/local/etc/ceph/ceph.conf
cp $src/ceph-0.61.2/src/init-ceph /etc/init.d/ceph
mkdir /var/log/ceph #建立存放ceph日志目录。
修改ceph配置文件，除客户端外，其它的节点都需一个配置文件ceph.conf，并需要是完全一样的。
这个文件要位于/etc/ceph下面，如果在./configure时没有修改prefix的话，则应该是在/usr/local/etc/ceph下：
vimceph.conf
[global]
max open files = 131072
log file = /var/log/ceph/$name.log
pid file = /var/run/ceph/$name.pid
keyring = /etc/ceph/keyring.admin
auth supported = none #取消挂载时的认证
auth cluster required = none #取消挂载时的认证
auth service required = none #取消挂载时的认证
auth client required = none #取消挂载时的认证
[mon]
mon data = /data/$name
[mon.0]
host = mm
monaddr = 1.1.1.12:6789
[mds]
keyring = /data/keyring.$name
[mds.0]
host = mm
[osd]
osd data = /data/$name
osd journal = /data/$name/journal
osd journal size = 1000 ; journal size, in megabytes
keyring = /data/keyring.$name
osdmkfs type = btrfs
osd mount options btrfs = rw,noatime
; working with ext4
;filestorexattr use omap = true
; solve rbd data corruption
;filestorefiemap = false
[osd.0]
host = osd0
devs = /dev/sda5
[osd.1]
host = osd1
devs = /dev/sda5
注：配置时加入取消挂载时的认证，否则启动ceph时会提示“ERROR: missing keyring, cannot use cephx for authentication”的错误。
Ceph有两种认证模式：一种是none模式，允许任意用户不需要认证就可访问数据；另一种是cephx模式，ceph需要类似于kerberos的用户认证。
对象存储结点（osd）上，除了要加载btrfs模块，还要安装btrfs-progs，这样才有mkfs.btrfs 命令。
另外就是要在osd节点上创建分区或逻辑卷供ceph使用：可以是磁盘分区（如
/dev/sda2），也可以是逻辑卷（如/dev/mapper/VolGroup-lv_ceph），只要与配置文件ceph.conf中写的一致即可。
修改各节点的hostname，使能够通过hostname来互相访问，并且各节点能够ssh互相访问而不输入密码。
建立配置文件中指定的相关结点目录：
mkdir /etc/ceph #元数据结点和对象存储结点建立
mkdir -p /data/mon.0 #元数据结点建立
mkdir–p /data/osd.0 #元数据结点和对象存储结点建立
mkdir–p /data/osd.1 #元数据结点和对象存储结点建立
osd结点上格式化分区并挂载：
mkfs.btrfs /dev/sda5
mount /dev/sda5 /data/osd.0 #osd0
mount /dev/sda5 /data/osd.1 #osd1
拷贝配置文件到各结点：
scp /usr/local/etc/ceph/ceph.conf root@osd0:/usr/local/etc/ceph/ceph.conf
scp /usr/local/etc/ceph/ceph.conf root@osd0:/etc/ceph/ceph.conf
scp /usr/local/etc/ceph/ceph.conf root@osd1:/usr/local/etc/ceph/ceph.conf
scp /usr/local/etc/ceph/ceph.conf root@osd1:/etc/ceph/ceph.conf
创建ceph文件系统:
元数据结点执行：
mkcephfs -a -c /usr/local/etc/ceph/ceph.conf -k /etc/ceph/keyring.admin
启动ceph并查看ceph状态：
/etc/init.d/ceph–a start
health HEALTH_OK
monmap e1: 1 mons at {0=1.1.1.12:6789/0}, election epoch 2, quorum 0 0
osdmap e5: 2 osds: 2 up, 2 in
pgmap v21: 576 pgs: 576 active+clean; 9518 bytes data, 2010 MB used, 99930 MB / 103 GB avail mdsmap e4: 1/1/1 up {0=0=up:active}
客户端挂载：
客户端安装完ceph后使用命令挂载分区：
mount.cephmm:/ /mnt/ceph
四、总结：
ceph是对象存贮，文件服务是通过cephfs转换完成的，但此部件稳定性不佳，查阅资料表明不建议使用，只能用于实验与研究环境。
但是ceph block storage相对较稳定，可以用于生产系统。