《KVM实战：原理、进阶与性能调优》学习笔记

《KVM实战：原理、进阶与性能调优》学习笔记
虚拟化的定义
虚拟化是⼀种资源管理技术，它将计算机的各种实体资源（CPU、内存、存储、⽹络等）予以抽象和转化出来，并提供分割、重新组合，以达到最⼤化利⽤物理资源的⽬的。

为了达到虚拟化，需要引⼊⼀个层：VMM（Virtual Machine Monitor）虚拟机监控器，也称为Hypervisor层。

它向下掌控实际的物理资源（相当于原本的操作系统）；向上呈现给虚拟机N份逻辑的资源。

虚拟化技术的实现⽅式
主要有软件虚拟化和硬件虚拟化两种。

软件虚拟化，顾名思义，就是通过软件模拟来实现VMM层，通过纯软件的环境来模拟执⾏客户机⾥的指令。

最纯粹的软件虚拟化实现当属QEMU。

硬件虚拟化技术就是指计算机硬件本⾝提供能⼒让客户机指令独⽴执⾏，⽽不需要（严格来说是不完全需要）VMM截获重定向。

Intel从2005年就开始在其x86 CPU中加⼊硬件虚拟化的⽀持——IntelVirtualization Technology，简称Intel VT。

半虚拟化和全虚拟化
让客户机意识到⾃⼰是运⾏在虚拟化环境⾥，并做相应修改以配合VMM，这就是半虚拟化（Para-Virtualization）。

⼀⽅⾯，可以提升性能和简化VMM软件复杂度；另⼀⽅⾯，也不需要太依赖硬件虚拟化的⽀持。

与半虚拟化相反的，对于全虚拟化（Full Virtualization），客户机操作系统完全不需要改动，所有软件都能在虚拟机中运⾏。

因此，全虚拟化需要模拟出完整的、和物理平台⼀模⼀样的平台给客户机，这在达到了第⼀个⽬标的同时也增加了虚拟化层（VMM）的复杂度。

Type1和Type2虚拟化
从软件框架的⾓度上，根据虚拟化层是直接位于硬件之上还是在⼀个宿主操作系统之上，将虚拟化划分为Typel和Type2。

Type1（类型1）Hypervisor也叫native或bare-metal Hypervisor。

这类虚拟化层直接运⾏在硬件之上，没有所谓的宿主机操作系统。

它们直接控制硬件资源以及客户机。

典型地如Xen和VMware ESX。

Type2（类型2）Hypervisor运⾏在⼀个宿主机操作系统之上，如VMwareWorkstation；或系统⾥，如KVM。

这类Hypervisor通常就是宿主机操作系统的⼀个应⽤程序，像其他应⽤程序⼀样受宿主机操作系统的管理。

KVM简介
KVM全称是Kernel-based Virtual Machine，即基于内核的虚拟机，是采⽤硬件虚拟化技术的全虚拟化解决⽅案。

它以内核模块的形式加载之后，就将Linux内核变成了⼀个Hypervisor，但硬件管理等还是通过Linuxkernel来完成的，所以它是⼀个典型的Type 2 Hypervisor。

⼀个KVM客户机对应于⼀个Linux进程，每个vCPU则是这个进程下的⼀个线程，还有单独的处理IO的线程，也在⼀个线程组内。

KVM的功能特性
1.内存管理
⼀个KVM客户机就是⼀个普通的Linux进程，所以，客户机的“物理内存”就是宿主机内核管理的普通进程的虚拟内存。

2.存储和客户机镜像的格式
严格来说，这是QEMU的功能特性。

KVM能够使⽤Linux⽀持的任何存储来存储虚拟机镜像，包括具有IDE、SCSI和SATA的本地磁盘，⽹络附加存储（NAS）（包括NFS和SAMBA/CIFS），或者⽀持iSCSI和光线通道的SAN。

3.实时迁移
KVM⽀持实时迁移，这提供了在宿主机之间转移正在运⾏的客户机⽽不中断服务的能⼒，实时迁移对⽤户是透明的。

4.设备驱动程序
KVM⽀持混合虚拟化，其中半虚拟化的驱动程序安装在客户机操作系统中，允许虚拟机使⽤优化的I/O接⼝⽽不使⽤模拟的设备，从⽽为⽹络和块设备提供⾼性能的I/O。

5.性能和可伸缩性
KVM继承了Linux的性能和可伸缩性。

KVM在CPU、内存、⽹络、磁盘等虚拟化性能上表现出⾊，⼤多都在原⽣系统的95%以上。

KVM的伸缩性也⾮常好，⽀持拥有多达288个vCPU和4TB RAM的客户机，对于宿主机上可以同时运⾏的客户机数量，软件上⽆上限。

KVM的现状
得益于与Linux天然⼀体以及Redhat的倾⼒打造，KVM已经成为Openstack⽤户选择的最主流的Hypervisor（因为KVM是Openstack的默认Hypervisor）。

来⾃Openstack的调查显⽰，KVM占到87%以上的部署份额，并且（笔者认为）还会继续增⼤。

可以说，KVM已经主宰了公有云部署的Hypervisor市场。

KVM的展望
（1）⼤规模部署尚有挑战。

（2）实时性（Realtime）。

（3）安全是永恒的主题/话题。

（4）性能调优。

KVM架构概述
硬件虚拟化技术包括对CPU、内存、I/O等硬件的虚拟化，KVM就是在硬件辅助虚拟化技术之上构建起来的虚拟机监控器。

当然，并⾮要所有这些硬件虚拟化都⽀持才能运⾏KVM虚拟化，KVM对硬件最低的依赖是CPU的硬件虚拟化⽀持，⽽其他的内存和I/O的硬件虚拟化⽀持，会让整个KVM虚拟化下的性能得到更多的提升。

KVM虚拟化的核⼼主要由以下两个模块组成：
1）KVM内核模块，它属于标准Linux内核的⼀部分，是⼀个专门提供虚拟化功能的模块，主要负责CPU和内存的虚拟化，包括：客户机的创建、虚拟内存的分配、CPU执⾏模式的切换、vCPU寄存器的访问、vCPU的执⾏。

2）QEMU⽤户态⼯具，它是⼀个普通的Linux进程，为客户机提供设备模拟的功能，包括模拟BIOS、PCI/PCIE总线、磁盘、⽹卡、显卡、声卡、键盘、⿏标等。

同时它通过ioctl系统调⽤与内核态的KVM模块进⾏交互。

在KVM虚拟化架构下，每个客户机就是⼀个QEMU进程，在⼀个宿主机上有多少个虚拟机就会有多少个QEMU进程；客户机中的每⼀个虚拟CPU对应QEMU进程中的⼀个执⾏线程；⼀个宿主机中只有⼀个KVM内核模块，所有客户机都与这个内核模块进⾏交互。

KVM内核模块
KVM内核模块是标准Linux内核的⼀部分，由于KVM的存在让Linux本⾝就变成了⼀个Hypervisor，可以原⽣地⽀持虚拟化功能。

KVM内核模块由两部分组成：
1. ⼀个是处理器架构⽆关的部分，⽤lsmod命令中可以看到，叫作kvm模块；
2. 另⼀个是处理器架构相关的部分，在Intel平台上就是kvm_intel这个内核模块。

KVM的主要功能是初始化CPU硬件，打开虚拟化模式，然后将虚拟客户机运⾏在虚拟机模式下，并对虚拟客户机的运⾏提供⼀定的⽀持。

最后，KVM模块创建特殊设备⽂件/dev/kvm并等待来⾃⽤户空间的命令。

接下来，虚拟机的创建和运⾏将是⼀个⽤户空间的应⽤程序（QEMU）和KVM模块相互配合的过程。

/dev/kvm这个设备可以被当作⼀个标准的字符设备，KVM模块与⽤户空间QEMU的通信接⼝主要是⼀系列针对这个特殊设备⽂件的loctl调⽤。

针对/dev/kvm⽂件的最重要的loctl调⽤就是“创建虚拟机”；针对虚拟处理器的最重要的loctl调⽤就是“执⾏虚拟处理器”。

⼀般来说，只有对性能要求⽐较⾼的虚拟设备才会由KVM内核模块来直接负责，⽐如虚拟中断控制器和虚拟时钟，这样可以⼤量减少处理器模式切换的开销。

⽽⼤部分的输⼊输出设备交给⽤户态程序QEMU来负责。

QEMU⽤户态⼯具
QEMU原本就是⼀个著名的开源虚拟机软件项⽬，⽽不是KVM虚拟化软件的⼀部分。

与KVM不同，QEMU最初实现的虚拟机是⼀个纯软件的实现，通过⼆进制翻译来实现虚拟化客户机中的CPU指令模拟，所以性能⽐较低。

但是，其优点是跨平台。

作为⼀个存在已久的虚拟机监控器软件，QEMU的代码中有完整的虚拟机实现，包括处理器虚拟化、内存虚拟化，以及KVM也会⽤到的虚拟设备模拟（⽐如⽹卡、显卡、存储控制器和硬盘等）。

通过与KVM的密切结合，让虚拟化的性能提升得⾮常⾼，在真实的企业级虚拟化场景中发挥重要作⽤，所以我们通常提及KVM虚拟化时就会说“QEMU/KVM”这样的软件栈。

与QEMU/KVM结合的组件
1.vhost-net
vhost-net是Linux内核中的⼀个模块，它⽤于替代QEMU中的virtio-net⽤户态的virtio⽹络的后端实现。

使⽤vhost-net时，还⽀持⽹卡的多队列，整体来说会让⽹络性能得到较⼤提⾼。

2.Open vSwitch
Open vSwitch是⼀个⾼质量的、多层虚拟交换机，使⽤开源Apache2.0许可协议，主要⽤可移植性强的C语⾔编写的。

在KVM虚拟化中，要实现软件定义⽹络（SDN），那么Open vSwitch是⼀个⾮常好的开源选择。

3.DPDK
DPDK全称是Data Plane Development Kit。

它专注于⽹络应⽤中数据包的⾼性能处理。

具体体现在DPDK应⽤程序是运⾏在⽤户空间上，利⽤⾃⾝提供的数据平⾯库来收发数据包，绕过了Linux内核协议栈对数据包处理过程。

在KVM架构中，为了达到⾮常⾼的⽹络处理能⼒（特别是⼩包处理能⼒），可以选择DPDK与QEMU中的vhost-user结合起来使⽤。

4.SPDK
SPDK全称是Storage Performance Development Kit，它可为编写⾼性能、可扩展的、⽤户模式的存储程序提供⼀系列⼯具及开发库。

它与DPDK⾮常类似，其主要特点是：将驱动放到⽤户态从⽽实现零拷贝、⽤轮询模式替代传统的中断模式、在所有的I/O链路上实现⽆锁设计，这些设计会使其性能⽐较⾼。

在KVM中需要⾮常⾼的存储I/O性能时，可以将QEMU与SPDK结合使⽤。

5.Ceph
Ceph是Linux上⼀个著名的分布式存储系统，能够在维护POSIX兼容性的同时加⼊复制和容错功能。

在OpenStack的云平台解决⽅案
中，Ceph是⼀个⾮常常⽤的存储后端。

6.libguestfs
libguestfs是⽤于访问和修改虚拟机的磁盘镜像的⼀组⼯具集合。

是管理KVM磁盘镜像的⾸选⼯具。

KVM上层管理⼯具
1.libvirt
libvirt是使⽤最⼴泛的对KVM虚拟化进⾏管理的⼯具和应⽤程序接⼝，已经是事实上的虚拟化接⼝标准，作为通⽤的虚拟化API，libvirt不但能管理KVM，还能管理VMware、Hyper-V、Xen、VirtualBox等其他虚拟化⽅案。

2.virsh
virsh是⼀个常⽤的管理KVM虚拟化的命令⾏⼯具，对于系统管理员在单个宿主机上进⾏运维操作，virsh命令⾏可能是最佳选择。

virsh是⽤C语⾔编写的⼀个使⽤libvirt API的虚拟化管理⼯具，其源代码也是在libvirt这个开源项⽬中的。

3.virt-manager
virt-manager是专门针对虚拟机的图形化管理软件，底层与虚拟化交互的部分仍然是调⽤libvirt API来操作的。

在管理的机器数量规模较⼩时，virt-manager是很好的选择。

因其图形化操作的易⽤性，成为新⼿⼊门学习虚拟化操作的⾸选管理软件。

4.OpenStack
OpenStack是⼀个开源的基础架构即服务（IaaS）云计算管理平台，可⽤于构建共有云和私有云服务的基础设施。

OpenStack仍然使⽤libvirt API来完成对底层虚拟化的管理。