openstack使用手册(v1.0)

目录
其他环境虚拟机导入openstack (2)
hyper-v平台虚拟机导入 (2)
Openstack虚拟机导出到其他环境 (4)
在线迁移 (4)
离线迁移 (4)
Ceph速度调优 (5)
读写测试常用命令 (5)
硬件调优 (5)
软件调优 (6)
副本调优 (7)
基于镜像类型调整 (7)
Fuel Openstack常用命令 (7)
Fuel常用命令 (7)
Openstack常用命令 (7)
Ceph常用命令 (8)
常见问题及解答 (8)
开机顺序 (8)
上传镜像报错 (9)
创建云主机报错 (9)
Instance无法获取IP地址 (9)
Failed to connect to server code1006 (11)
无法限制租户cpu核心，内存等配额 ............................................ 错误!未定义书签。

使用建议 (14)
其他环境虚拟机导入openstack
hyper-v平台虚拟机导入
原理：VHD-→KVM→OPENSTACK
一、实施说明
如果有快照的话注意要将原来的虚拟机快照进行合并成一个vhd文件
二、实施步骤
跑hyperV的源机器叫H，跑kvm的目标机器叫做K
1.在H上将要迁移的的hyperV虚拟机的静态IP改成自动获取，然后关机，将vhd硬盘通过scp或者其他方式拷贝到目标机器K上。

2.获取virtio的windows驱动【该驱动主要用于windows的网卡和硬盘】
cd /var/lib/libvirt/image
wget
https:///pub/alt/virtiowin/latest/images/bin/virtio-win-0.1-81. iso
3.在目标机器K上进行映像格式转换,并建立一个新的磁盘文件【该磁盘文件主要用于windows通过识别新硬盘来安装新的virtio驱动，否则内置只有普通IDE驱动无法进行新的驱动安装】
qemu-img convert -O qcow2 /root/hyperv.vhd /mnt/storage/kvm.qcow2#将vhd 格式转换成qcow2格式
qemu-img create /mnt/storage/disk.img 1G #建立一个新的磁盘
4.使用virt-manager或virt-install进行镜像导入，并将驱动镜像放入cdrom建议使用virt-install
virt-install --name win2012 --ram 512 --os-type=windows --vcpus 1 --disk
path=/mnt/storage/kvm.qcow2,device=disk,bus=ide,format=qcow2 --disk
path=/mnt/storage/disk.img,format=qcow2,bus=virtio --disk
path=/home/leom/Openstack/virtio-win-0.1.126.iso,device=cdrom --network bridge=br0,model=virtio --graphics vnc --noautoconsole --import --noreboot
--debug –force
5.启动虚拟机进入windows，通过cdrom的镜像安装网卡和硬盘驱动，装好后关闭虚拟机。

6.通过virt-manager或者修改kvm虚拟机的/etc/libvirt/qemu/server.xml文件，将新建的磁盘删除，将原有的硬盘bus模式改成virtio，xml方式修改如下：
<disk type='block' device='disk'>
<driver name='server' type='qcow'/>
<source dev='/mnt/storage/kvm.qcow2'/>
<target dev='vda' bus='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
</disk>
7.启动虚拟机进行ip的配置，验证IP连通性，完成迁移。

Openstack虚拟机导出到其他环境
在线迁移
原理：利用vmware convert+vmware workstation，将openstack目的主机远程转换成vmdx文件，并导入vm workstation虚拟机。

1.下载并安装VMware Converter 5.5.0
2.在一台服务器上部署vmware 10虚拟化环境
3.关闭待迁移服务器上的业务服务（iis，sql，防火墙等）
4.点击”convert machine”，选择”powered-on machine”,”A remote machine”，输入用户名
密码
5.选择”automatically uninstall the files when import successds”，系统将自动在远程客户机上安
装代理服务。

6.点击启动迁移
离线迁移
1.查看ceph中一个compute pool里的所有镜像
[root@node-44 ~]# rbd ls compute
2.导出镜像
[root@node-44 ~]# rbd export -p images --image 74cb427c-cee9-47d0-b467-af217a67e60a /root/aaa.qcow2
3.导出云硬盘
[root@node-44~]#
rbd export -p volumes --image volume-470fee37-b950-4eef-a595-d7def334a5d6 /var/lib/glance/ceph-pool/volumes/Message-JiaoBenJi-10.40.212.24
4.在kvm环境下转换格式，并导入kvm虚拟机
Ceph速度调优
读写测试常用命令
写测试：
rados bench -p rbd 10 write --no-cleanup
顺序读测试：
Rados bench –p rbd 10 seq
随机读测试:
Rados bench –p rbd 10 rand
硬盘性能测试:
Hdparm –Tt /dev/sda
备注：在测试前请使用sync命令清除磁盘缓存，这次测试数据更准
硬件调优
1.交换机开启大帧模式(变化不大，放弃)
备注：fuel最大支持9000，测试发现设置成9600，网卡mtu反而没变2.Bios关闭节能
备注：78:2b:cb:48:82:0e（R710）读写缓慢，为异常
3.RAID
两块磁盘做raid1单独装系统，其他各驱动器单独做raid0作osd节点。

1.Fuel使用LACP绑定模式
1.1交换机配置：
配置动态聚合组
<SwitchA> system-view
[SwitchA] interface bridge-aggregation 1
[SwitchA-Bridge-Aggregation1] link-aggregation mode dynamic 将以太网端口GigabitEthernet1/0/1加入聚合组1。

[SwitchA] interface GigabitEthernet 1/0/1
[SwitchA-GigabitEthernet1/0/1] port link-aggregation group 1 配置trunk
[Switch-Ethernet1/0/1] interface Bridge-Aggregation1
port link-type trunk
port trunk permit vlan all
1.2fuel设置
1.3MTU设置为9000
2.LinuxOS
2.1 控制节点：echo 4194303 > /proc/sys/kernel/pid_max
基于镜像类型调整
获取当前副本数:
ceph osd pool get size
设置pool的冗余副本数量为1:
ceph osd pool set test-pool size 1
备注：pg_num，pgp_num均只能调大，不能调小，调整改参数切记！
Fuel Openstack常用命令
Fuel常用命令
查看节点：fuel node
Openstack常用命令
上传镜像（在controller上操作）：
1. scp ./2008r
2.img *********.9.8:~[上传镜像文件到服务器]
2. source openrc [更新令牌]
3. openstack image create "centos" --file Cent0S7.2.qcow2 --disk-format qcow2 –public [上传镜像到glance]
正确的：openstack image create "centos7" --file /tmp/CentOS7.2.qcow2
--disk-format qcow2 --public
注意：上传镜像到glance结束后，注意删除源文件，节约ceph存储空间Ceph常用命令
常见问题及解答
开机顺序
关机
1. 计算节点
2. 控制节点
3. 存储节点
4. 其他
开机
1. 存储节点
2. 控制节点
3. 计算节点
上传镜像报错
控制节点：
openstack image create "centos7" --file /tmp/CentOS7.2.qcow2 --disk-format qcow2 --public
创建云主机报错
解决方法：
/etc/nova/nova.conf编辑
vif_plugging_is_fatal = False
vif_plugging_timeout = 0
service nova-compute restart
instance无法获取IP
禁用交换机dhcp snooping
无法限制租户cpu，内存等限额
勾选“计算服务”--- “nova quotas”
Ceph节点离线后无法再次加入集群（pcs status 显示3控制节点offline）
正常现象，不要操作此服务，特别是pacemaker和corosync，
经测试，重启改服务后，offline状态没有改变，反而引起整个集群节点各种down并且无法再加入（ceph，compute）
浏览器无法上传镜像
客户端无法通过ssh直接连接openstack各节点
1.vi /etc/iptables/rules.v4
2.ipatbles-save
3.vi /etc/ssh/sshd_config
4.service iptables-persistent restart ; service ssh restart
5.关闭和设置ubuntu防火墙
sudo ufw enable|disable
Failed to connect to server code1006
Ceph节点重启后显示down状态，无法恢复
Balance-rr ，单边绑定，交换机不能做bonding（交换机做静态聚合会导致多网卡节点服务及网络不稳定，时down时up）
Lacp ，双边绑定，注意要使用动态lacp协议（交换机上一开始显示端口unselect状态是正常的，这是因为系统未装，服务器上的网卡没有设置lacp，未能与交换机端匹配）
错误的绑定方式会导致网络的不稳定，进而导致服务的不稳定。

此问题的根本原因是bonding模式选择错误：应该选择动态LACP绑定（静态会出现osd 重启后down问题），并且hash策略应该选择“二层和三层”。

参考资料：https:///doc/Documentation/networking/bonding.txt https:///wiki/Manual:Interface/Bonding#802.3ad
开放了3389、22端口，但依然无法远程或ssh主机通过后台在web管理页面，进入主机关机防火墙。

Windows系统还要单独再在主机开远程服务。

性能
创建虚拟机
单台虚拟机写速度
单台虚拟机读速度
10台虚拟机同时写
使用建议
1.尽量使用qcow2镜像格式（支持快照，其他镜像格式不支持）
2.命令行效率比图形界面高,速度更快
3.按用户分配专用openstack帐号，静止登录admin帐号
4.注意登记使用问题及待优化点（见云库“异常处理”---“故障登记”）推广
附：各节点IP、密码
统一用户名密码：root / r00tme
[controller]
10.5.34.14 10.5.34.16 10.5.34.19
[compute]
10.5.34.15 10.5.34.13
[ceph]
10.5.34.15 10.5.34.13 10.5.34.17 10.5.34.18 10.5.34.22 10.5.34.21 10.5.34.20 10.5.34.12。