CEPH分布式存储部署要点

CEPH分布式存储部署

PS：本文的所有操作均在mon节点的主机进行，如有变动另有注释

作者：网络技术部徐志权

日期：2014年2月10日

VERSION 1.0 更新历史：

2014.2.10:首次完成ceph部署文档，块设备及对象存储的配置随后添加。

一、部署前网络规划

1.1 环境部署

主机名公网IP（eth0）私网IP（eth1）操作系统运行服务node1 192.168.100.101 172.16.100.101 CentOS6.5 mon、mds node2 192.168.100.102 172.16.100.102 CentOS6.5 osd

node3 192.168.100.103 172.16.100.103 CentOS6.5 osd

◆操作系统使用CentOS6.5，因为系统已经包含xfs的支持可以直接使用不需要再次

编译。

◆由于CentOS6.5系统的内核为2.6.32，因此要关闭硬盘的写入缓存，若高于此版本

不需要关闭。

#hdparm -W 0 /dev/sdb 0

◆本次部署一共有一个监控节点、一个元数据节点、两个数据节点，每个数据节点拥

有两个硬盘作为数据盘。

1.2 网络拓扑

1.3 配置服务器、安装ceph

●添加ceph的rpm库key

#rpm --import

'https:///git/?p=ceph.git;a=blob_plain;f=keys/release.asc'

#rpm --import

'https:///git/?p=ceph.git;a=blob_plain;f=keys/autobuild.asc'

●添加ceph-extras库

#vi /etc/yum.repos.d/ceph-extras

[ceph-extras]

name=Ceph Extras Packages

baseurl=/packages/ceph-extras/rpm/centos6/$basearch

enabled=1

priority=2

gpgcheck=1

type=rpm-md

gpgkey=https:///git/?p=ceph.git;a=blob_plain;f=keys/release.asc

[ceph-extras-noarch]

name=Ceph Extras noarch

baseurl=/packages/ceph-extras/rpm/centos6/noarch

enabled=1

priority=2

gpgcheck=1

type=rpm-md

gpgkey=https:///git/?p=ceph.git;a=blob_plain;f=keys/release.asc

[ceph-extras-source]

name=Ceph Extras Sources

baseurl=/packages/ceph-extras/rpm/centos6/SRPMS

enabled=1

priority=2

gpgcheck=1

type=rpm-md

gpgkey=https:///git/?p=ceph.git;a=blob_plain;f=keys/release.asc

●添加ceph库

#rpm -Uvh /rpms/el6/noarch/ceph-release-1-0.el6.noarch.rpm

●添加epel库

#rpm -Uvh

/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

●安装ceph

#yum update -y && yum install ceph -y

二、部署ceph

2.1创建一个集群

创建一个集群，集群名为ceph，在mon节点，这里是主机node1，执行以下操作

2.1.1获取一个uuid

#uuidgen

2.1.2编辑配置文件

#vi /etc/ceph/ceph.conf

[global]

auth_service_required = cephx

#filestore_xattr_use_omap = true #该选项只针对ext4文件系统格式auth_client_required = cephx

auth_cluster_required = cephx

auth supported = none

fsid = a500528d-fc02-464e-b944-bddacbb5c3d1 #填入刚才获取到的uuid public network = 192.168.100.0/24

cluster network = 172.16.100.0/24

osd pool default size = 2

osd pool default min size = 1

max open files = 65535

mon osd full ratio = .95

mon osd nearfull ratio = .85

[mon]

mon data = /data/$cluster-$id

[osd]

osd journal size = 1024

osd journal = /data/$name/journal

osd data = /data/$name