数据中心基础知识
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
存储网络
高速缓存
为减少完成主机I/O请求所需时间，数据被暂存在缓存中
后端
提供了缓存和物理磁盘之间的接口
前端
物理磁盘
连接到后端上，可以永久的保持数据
缓存
后端
磁盘
分级存储的存储方式
存储方式 描述 举例
电视台的在线存储：用于存储即将用于制作、 线存储（On-line storage) 数据存放在磁盘系统上。在线存储一 编辑、播出的视音频素材。并随时保持可实 般采用高端存储系统和技术如：SAN、 时快速访问的状态。在这类应用中，在线存 点对点直连技术、S2A。存取速度快， 储设备一般采用SCSI磁盘阵列、光纤磁盘阵 价格昂贵 列等， 电视台的离线存储：平时没有连接在编辑/播 离线存储（Offline Storage) 数据备份到磁带、磁带库或光盘库 上 。访问速度低，但能实现海量存 储，同时价格低廉。 出系统，在需要时临时性地装载或连接到编 辑/播出系统。可以将总的存储做得很大。括
主机系统架构和厂商
基于CISC（复杂指令集）X86体系架构 1、采用AMD Opteron （皓龙） 、Intel Xeon、ARM微处理器等处 理芯片； 2、通用开放的架构，主要支持标准的Windows和Linux操作系统。 3、也可支持流行的SCO Unix、Solaris For X86、FreeBSD等Unix操 作系统。 4、代表厂商：HP、DELL、Lenovo（IBM）、华为、浪潮、曙光、 宝德 基于专有的64位RISC（精简指令集）芯片体系架构 1、各厂商自己开发芯片和操作系统，各家产品互不兼容，也不兼 容大量x86平台上的软件； 2、一般采用UNIX操作系统，称为小型机。 3、代表厂商：IBM、HP、Oracle(SUN)、Fujitsu、SGI
主要存储厂商
• • • • • • • • • • • • EMC即易安信，行业大哥，产品与方案全面，市场营销做得好，全球排名第一的外部存储系统提供商； IBM：在全球存储市场一直比较稳定地排第3位，连续四年夺得大中华地区外部磁盘存储市场第一。特 别在国内金融行业占有统治性地位。 HP：存储产品线完整，硬件规格齐全，软件功能丰富，由互相兼容的硬件和应用管理软件，可以组合 成多种灵活的存储解决方案。 Dell：最早OEM EMC,最近几年加大对存储投入，收购存储品牌，中低端存储市场的主要厂商之一； HDS：从产品和技术上最有能力与EMC全面抗衡的存储厂商。但国内销售不温不火，日系厂商特点。 NetApp：以网络存储中的NAS领域为基础，向前融合SAN解决方案，达成其涵盖边缘和核心数据存储需 求的整体解决方案提供能力。 Oracle/SUN:对存储产品的传统策略精简为：仍以主机系统为主，加大存储力度。SUN对存储产品线一 直在宣传上保持低调，未单独将存储产品作为独立的重要产品线来运作。 Fujitsu：产品定位怪异，很有特色。但市场做得一般。 联想：OEM HDS和LSI，主要依靠服务器和PC带动销售； 浪潮：OEM EMC和DELL、与联想有些类似。 同有：自有品牌( OEM Infotrend)低端阵列，代理多家知名品牌存储产品。 台湾厂商：普安（Infotrend）、豪威、建联、技嘉、捷讯。
每一个虚拟机都与同在一个服务器 上的其他虚拟机相隔离
封装
……… …. ……… .. …… …. ……… .. …… …. .. ……
硬件独立
虚拟机将整个系统，包括硬件配置、 操作系以及应用等封装在文件里
可以在其他服务器上不加修改的 运行虚拟机
虚拟化主要厂商：VMware vSphere、Microsoft Hyper-v、Citrix XenServer、 Redhat KVM
在Linux下运行的应用软件也相对较少，所以其暂不具有大众性， 多用在一些高端的小型网络环境。
Windows系列 Windows server 2008\2012
安全性、可靠性稍差； 操作界面的易用性、通用性、易开发性方面较好，应用软件丰富。
PC-Server内部结构
• • • • • • • • • 处理器CPU 内存 阵列卡 硬盘 网卡 电源 风扇 主板 PCI插槽
Fabric-Attached Storage 网络存储（FAS） Storage Area Network 存储区域网络（SAN）
DAS/SAN/NAS组网示意图
DAS（Direct Attachment Storage）
直接连接存储：存储设备是通过电缆（通常是SCSI接口电缆）直接
连到服务器的。 I/O请求直接发送到存储设备
制作年代较远的新闻片、专题片等。
近线存储介于在线存储和离线存储之间，既 可以做到较大的存储容量，又可以获得较快 的存取速度。近线存储设备一般采用自动化 的数据流磁带或者光盘塔。近线存储设备用 于存储和在线设备发生频繁读写交换的数据， 包括近段时间采集的视音频素材或近段时间 制作的新闻片、专题片等。
近线存储
应用 服务器
Block I/O SCSI协议
Storage
DAS
33
DAS分析
DAS优势
▬
DAS劣势
▬
连接简单
有限的扩展性 专属的连接
集成在服务器内部；点到点的连接；距
SCSI总线的距离最大25米；最多15个设备
▬
离短；
▬
安装技术要求不高 低成本需求 SCSI总线成本低 较好的性能
▬ ▬
空间资源无法与其他服务器共享
存储基础知识
什么是存储？
• 存储就是根据不同的应用环境通过 采取合理、安全、有效的方式将数 据保存到某些介质上并能保证有效 的访问。 • 包含两个方面的含义：1、它是数 据 临时或长期驻留的物理媒介；2、 它是保证数据完整安全存放的方式 或行为。 • 存储就是把这两个方面结合起来， 向客户提供一套数据存放解决方案。
缓存
是硬盘控制器上的一块内存芯片，具有几块 的存取速度，是硬盘内部盘片和外部接口之 间的缓冲区
MTBF
Mean Time Between Failure，平均无故障时 间
硬盘类型及接口
ATA/IDE、SCSI、FC、SATA、SAS等
存储系统的物理组成
主机
前端
提供存储系统与主机之间的接口
操作系统的分类和比较
Linux系列 SUSE Mandrake
红旗
Linux是一种类Unix系统,具有许多Unix系统的功能和特点，能够 兼容Unix。由芬兰赫尔辛基大学的一个学生首次编写。 最大特点是免费的、开放源代码的软件，可自由修改操作系统的 内核程序。在安全性和稳定性方面也很有特色。
应用程序 操作系统 应用程序 操作系统
虚拟化操作系统
x86 体系结构
软件必须与硬件相结合 每台机器上只有单一的操作系 统镜像 • 每个操作系统只有一个应用程 序负载
• •
Βιβλιοθήκη Baidu
CPU
内存
NIC
磁盘
• •
每台机器上有多个负载 软件相对于硬件独立
虚拟化的关键特征
兼容性 隔离
虚拟机完全兼容标准的X86操作系统，以 及在这些操作系统之上建立的硬件驱动和 应用
LAN
主/备服务器
双机软件
心跳线
双机软件
备/主服务器
磁盘阵列
服务器高可用技术—Cluster技术
LAN
从节点 主控节点
• • • • •
磁盘阵列
主控节点负责任务调配； 从节点共同执行任务； 节点之间负载均衡和故障接管； 专用的集群文件系统； 对存储系统的并发处理能力有较 高要求。
服务器虚拟化
服务器虚拟化将硬件、操作系统和应用程序一同装入一个可迁移 的虚拟机包中 虚拟化后 虚拟化前
光纤线缆 FC HBA Card FC磁盘阵列
iSCSI和FC协议层次比较
iSCSI协议的分层结构
FC协议的分层结构
存储结构分类
封闭系统的存储
内置存储
开放系统的存储 外挂存储 Direct-Attached Storage 直接式存储（DAS） Network-Attached Storage 网络接入存储（NAS）
存储介质分类
光学介质 -- 光盘
一次写，多次读
磁性介质 --磁带
成本低，容量大， 性能差，管理不便
磁性介质 -- 磁盘驱动器
容量大，支持快 速随机访问
固态介质 -- 闪存卡&闪存盘
速度极快，容量 小，价格高
硬盘的主要指标
容量
指硬盘能存储的数据量大小，一字节为基础 单位。
转速
即主轴马达转动速度，单位为RPM（Round Per Minute）
大多数iSCSI HBA卡都具有TOE（TCP/IP Offload Engine） 功能；
接口类型与以太网原有接口完全相同。
服务器高可用技术—双机技术
双机热备=主机+备机 LAN
主服务器
双机软件
心跳线
双机软件
备份服务器
磁盘阵列
服务器高可用技术—双机技术
双机热备援=主机（备机）+备机（主机）
不经常用到，数据的访问量不大的数 据存放在性能较低的存储设备上，同 时对这些设备的要求是寻址迅速、传 输率高。
传输通道
存储传输的硬件通道有三种：
通过以太网线连接 通过SCSI线缆连接 通过光纤线缆连接
GE Card iSCSI HBA Card
以太网线
iSCSI 磁盘阵列
主机
SCSI线缆 SCSI HBA Card SCSI 磁盘阵列
X86服务器处理器分类
Intel至强处理器： • 2路服务器：E5-2600 V3 • 4路服务器：E5-4600 V2、E7-4800 V2 • 8路服务器：E7-4800 AMD处理器： • AMD Opteron 6300
系统连接设备—交换机
光纤交换机：FC SAN • 将整个光纤通道SAN中的服务器和存储设 备连接起来； • 内部为Fabric拓扑，每端口独占带宽； • 目前主流端口为8Gb，主机上需要配置专 业HBA卡； • 主要厂商：Brocade、Cisco 以太网交换机：IP SAN • 通过网线将服务器与存储连接起来。 • 采用ISCSI协议，目前主机大部分支持 ISCSI，可以与主机网卡共用端口，不需要 另配置专用卡； • 目前主流端口为1Gb、10Gb； • 主要厂商：Cisco、华为、H3C
操作系统的分类和比较
UNIX系列 AIX HP-UNIX
IRIX
世界上应用最为广泛的一种多用户多任务操作系统。 Unix操作系统拥有很高的安全性、可靠性和专用服务器的高速 运算能力； Solaris是Sun和FUJITSU的主机操作系统； HP-UNIX用于HP公司的主机； IBM是AIX, SGI公司的是IRIX； 其它还有SCO UNIX、FreeBSD等系统。
系统连接设备-FC HBA卡
FC HBA卡：光纤通道主机总线适配器的缩写，用于主机与FC设备的连接。
主要厂商：
FC HBA卡使用的传输介质光缆和铜缆两种。
连接类型
波长
最大距离
铜缆
光缆 光缆
N/A
短波多模 长波单模
30米
500米 10公里
系统连接设备—iSCSI HBA
iSCSI主机总线适配器，将硬件iSCSI initiator集成到板卡 上，利用TCP/IP卸载引擎在适配卡上完成数据包处理。 作用在于减轻主机CPU负载，也提供了高可用环境下硬件多 通道功能和服务器远程引导功能；
数据中心基础知识
目录
1
2 3
IT基础架构
架构基础知识 存储基础知识
IT基础架构
数据中心IT架构
客户面临的多重选择
1、数据库系统
2、操作系统
3、主机设备
4、系统连接设备
6、备份设备 7、备份软件
5、存储设备
架构基础知识
常见的数据库系统
Oracle在数据库领域一直处于领先地位，已成为世界 上使用最广泛的关系数据系统。（Oracle数据库10g、11g） DB2是IBM公司的产品。 Sybase1986年成立,立足于在开放系统平台上研制具有 Client/Server体系结构的数据库系统软件产品, 2010年5 月13日,SAP并购sybase. SQL Server是Microsoft公司的一个关系数据库管理系 统，只在Windows上运行，Microsoft这种专有策略的目标 是将客户锁定到Windows环境中。(SQL Server 2008\SQL Server 2012). MySQL是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，目前属于Oracle 公司, MySQL 是开源的，不 需要支付额外的费用. DB2
高速缓存
为减少完成主机I/O请求所需时间，数据被暂存在缓存中
后端
提供了缓存和物理磁盘之间的接口
前端
物理磁盘
连接到后端上，可以永久的保持数据
缓存
后端
磁盘
分级存储的存储方式
存储方式 描述 举例
电视台的在线存储：用于存储即将用于制作、 线存储（On-line storage) 数据存放在磁盘系统上。在线存储一 编辑、播出的视音频素材。并随时保持可实 般采用高端存储系统和技术如：SAN、 时快速访问的状态。在这类应用中，在线存 点对点直连技术、S2A。存取速度快， 储设备一般采用SCSI磁盘阵列、光纤磁盘阵 价格昂贵 列等， 电视台的离线存储：平时没有连接在编辑/播 离线存储（Offline Storage) 数据备份到磁带、磁带库或光盘库 上 。访问速度低，但能实现海量存 储，同时价格低廉。 出系统，在需要时临时性地装载或连接到编 辑/播出系统。可以将总的存储做得很大。括
主机系统架构和厂商
基于CISC（复杂指令集）X86体系架构 1、采用AMD Opteron （皓龙） 、Intel Xeon、ARM微处理器等处 理芯片； 2、通用开放的架构，主要支持标准的Windows和Linux操作系统。 3、也可支持流行的SCO Unix、Solaris For X86、FreeBSD等Unix操 作系统。 4、代表厂商：HP、DELL、Lenovo（IBM）、华为、浪潮、曙光、 宝德 基于专有的64位RISC（精简指令集）芯片体系架构 1、各厂商自己开发芯片和操作系统，各家产品互不兼容，也不兼 容大量x86平台上的软件； 2、一般采用UNIX操作系统，称为小型机。 3、代表厂商：IBM、HP、Oracle(SUN)、Fujitsu、SGI
主要存储厂商
• • • • • • • • • • • • EMC即易安信，行业大哥，产品与方案全面，市场营销做得好，全球排名第一的外部存储系统提供商； IBM：在全球存储市场一直比较稳定地排第3位，连续四年夺得大中华地区外部磁盘存储市场第一。特 别在国内金融行业占有统治性地位。 HP：存储产品线完整，硬件规格齐全，软件功能丰富，由互相兼容的硬件和应用管理软件，可以组合 成多种灵活的存储解决方案。 Dell：最早OEM EMC,最近几年加大对存储投入，收购存储品牌，中低端存储市场的主要厂商之一； HDS：从产品和技术上最有能力与EMC全面抗衡的存储厂商。但国内销售不温不火，日系厂商特点。 NetApp：以网络存储中的NAS领域为基础，向前融合SAN解决方案，达成其涵盖边缘和核心数据存储需 求的整体解决方案提供能力。 Oracle/SUN:对存储产品的传统策略精简为：仍以主机系统为主，加大存储力度。SUN对存储产品线一 直在宣传上保持低调，未单独将存储产品作为独立的重要产品线来运作。 Fujitsu：产品定位怪异，很有特色。但市场做得一般。 联想：OEM HDS和LSI，主要依靠服务器和PC带动销售； 浪潮：OEM EMC和DELL、与联想有些类似。 同有：自有品牌( OEM Infotrend)低端阵列，代理多家知名品牌存储产品。 台湾厂商：普安（Infotrend）、豪威、建联、技嘉、捷讯。
每一个虚拟机都与同在一个服务器 上的其他虚拟机相隔离
封装
……… …. ……… .. …… …. ……… .. …… …. .. ……
硬件独立
虚拟机将整个系统，包括硬件配置、 操作系以及应用等封装在文件里
可以在其他服务器上不加修改的 运行虚拟机
虚拟化主要厂商：VMware vSphere、Microsoft Hyper-v、Citrix XenServer、 Redhat KVM
在Linux下运行的应用软件也相对较少，所以其暂不具有大众性， 多用在一些高端的小型网络环境。
Windows系列 Windows server 2008\2012
安全性、可靠性稍差； 操作界面的易用性、通用性、易开发性方面较好，应用软件丰富。
PC-Server内部结构
• • • • • • • • • 处理器CPU 内存 阵列卡 硬盘 网卡 电源 风扇 主板 PCI插槽
Fabric-Attached Storage 网络存储（FAS） Storage Area Network 存储区域网络（SAN）
DAS/SAN/NAS组网示意图
DAS（Direct Attachment Storage）
直接连接存储：存储设备是通过电缆（通常是SCSI接口电缆）直接
连到服务器的。 I/O请求直接发送到存储设备
制作年代较远的新闻片、专题片等。
近线存储介于在线存储和离线存储之间，既 可以做到较大的存储容量，又可以获得较快 的存取速度。近线存储设备一般采用自动化 的数据流磁带或者光盘塔。近线存储设备用 于存储和在线设备发生频繁读写交换的数据， 包括近段时间采集的视音频素材或近段时间 制作的新闻片、专题片等。
近线存储
应用 服务器
Block I/O SCSI协议
Storage
DAS
33
DAS分析
DAS优势
▬
DAS劣势
▬
连接简单
有限的扩展性 专属的连接
集成在服务器内部；点到点的连接；距
SCSI总线的距离最大25米；最多15个设备
▬
离短；
▬
安装技术要求不高 低成本需求 SCSI总线成本低 较好的性能
▬ ▬
空间资源无法与其他服务器共享
存储基础知识
什么是存储？
• 存储就是根据不同的应用环境通过 采取合理、安全、有效的方式将数 据保存到某些介质上并能保证有效 的访问。 • 包含两个方面的含义：1、它是数 据 临时或长期驻留的物理媒介；2、 它是保证数据完整安全存放的方式 或行为。 • 存储就是把这两个方面结合起来， 向客户提供一套数据存放解决方案。
缓存
是硬盘控制器上的一块内存芯片，具有几块 的存取速度，是硬盘内部盘片和外部接口之 间的缓冲区
MTBF
Mean Time Between Failure，平均无故障时 间
硬盘类型及接口
ATA/IDE、SCSI、FC、SATA、SAS等
存储系统的物理组成
主机
前端
提供存储系统与主机之间的接口
操作系统的分类和比较
Linux系列 SUSE Mandrake
红旗
Linux是一种类Unix系统,具有许多Unix系统的功能和特点，能够 兼容Unix。由芬兰赫尔辛基大学的一个学生首次编写。 最大特点是免费的、开放源代码的软件，可自由修改操作系统的 内核程序。在安全性和稳定性方面也很有特色。
应用程序 操作系统 应用程序 操作系统
虚拟化操作系统
x86 体系结构
软件必须与硬件相结合 每台机器上只有单一的操作系 统镜像 • 每个操作系统只有一个应用程 序负载
• •
Βιβλιοθήκη Baidu
CPU
内存
NIC
磁盘
• •
每台机器上有多个负载 软件相对于硬件独立
虚拟化的关键特征
兼容性 隔离
虚拟机完全兼容标准的X86操作系统，以 及在这些操作系统之上建立的硬件驱动和 应用
LAN
主/备服务器
双机软件
心跳线
双机软件
备/主服务器
磁盘阵列
服务器高可用技术—Cluster技术
LAN
从节点 主控节点
• • • • •
磁盘阵列
主控节点负责任务调配； 从节点共同执行任务； 节点之间负载均衡和故障接管； 专用的集群文件系统； 对存储系统的并发处理能力有较 高要求。
服务器虚拟化
服务器虚拟化将硬件、操作系统和应用程序一同装入一个可迁移 的虚拟机包中 虚拟化后 虚拟化前
光纤线缆 FC HBA Card FC磁盘阵列
iSCSI和FC协议层次比较
iSCSI协议的分层结构
FC协议的分层结构
存储结构分类
封闭系统的存储
内置存储
开放系统的存储 外挂存储 Direct-Attached Storage 直接式存储（DAS） Network-Attached Storage 网络接入存储（NAS）
存储介质分类
光学介质 -- 光盘
一次写，多次读
磁性介质 --磁带
成本低，容量大， 性能差，管理不便
磁性介质 -- 磁盘驱动器
容量大，支持快 速随机访问
固态介质 -- 闪存卡&闪存盘
速度极快，容量 小，价格高
硬盘的主要指标
容量
指硬盘能存储的数据量大小，一字节为基础 单位。
转速
即主轴马达转动速度，单位为RPM（Round Per Minute）
大多数iSCSI HBA卡都具有TOE（TCP/IP Offload Engine） 功能；
接口类型与以太网原有接口完全相同。
服务器高可用技术—双机技术
双机热备=主机+备机 LAN
主服务器
双机软件
心跳线
双机软件
备份服务器
磁盘阵列
服务器高可用技术—双机技术
双机热备援=主机（备机）+备机（主机）
不经常用到，数据的访问量不大的数 据存放在性能较低的存储设备上，同 时对这些设备的要求是寻址迅速、传 输率高。
传输通道
存储传输的硬件通道有三种：
通过以太网线连接 通过SCSI线缆连接 通过光纤线缆连接
GE Card iSCSI HBA Card
以太网线
iSCSI 磁盘阵列
主机
SCSI线缆 SCSI HBA Card SCSI 磁盘阵列
X86服务器处理器分类
Intel至强处理器： • 2路服务器：E5-2600 V3 • 4路服务器：E5-4600 V2、E7-4800 V2 • 8路服务器：E7-4800 AMD处理器： • AMD Opteron 6300
系统连接设备—交换机
光纤交换机：FC SAN • 将整个光纤通道SAN中的服务器和存储设 备连接起来； • 内部为Fabric拓扑，每端口独占带宽； • 目前主流端口为8Gb，主机上需要配置专 业HBA卡； • 主要厂商：Brocade、Cisco 以太网交换机：IP SAN • 通过网线将服务器与存储连接起来。 • 采用ISCSI协议，目前主机大部分支持 ISCSI，可以与主机网卡共用端口，不需要 另配置专用卡； • 目前主流端口为1Gb、10Gb； • 主要厂商：Cisco、华为、H3C
操作系统的分类和比较
UNIX系列 AIX HP-UNIX
IRIX
世界上应用最为广泛的一种多用户多任务操作系统。 Unix操作系统拥有很高的安全性、可靠性和专用服务器的高速 运算能力； Solaris是Sun和FUJITSU的主机操作系统； HP-UNIX用于HP公司的主机； IBM是AIX, SGI公司的是IRIX； 其它还有SCO UNIX、FreeBSD等系统。
系统连接设备-FC HBA卡
FC HBA卡：光纤通道主机总线适配器的缩写，用于主机与FC设备的连接。
主要厂商：
FC HBA卡使用的传输介质光缆和铜缆两种。
连接类型
波长
最大距离
铜缆
光缆 光缆
N/A
短波多模 长波单模
30米
500米 10公里
系统连接设备—iSCSI HBA
iSCSI主机总线适配器，将硬件iSCSI initiator集成到板卡 上，利用TCP/IP卸载引擎在适配卡上完成数据包处理。 作用在于减轻主机CPU负载，也提供了高可用环境下硬件多 通道功能和服务器远程引导功能；
数据中心基础知识
目录
1
2 3
IT基础架构
架构基础知识 存储基础知识
IT基础架构
数据中心IT架构
客户面临的多重选择
1、数据库系统
2、操作系统
3、主机设备
4、系统连接设备
6、备份设备 7、备份软件
5、存储设备
架构基础知识
常见的数据库系统
Oracle在数据库领域一直处于领先地位，已成为世界 上使用最广泛的关系数据系统。（Oracle数据库10g、11g） DB2是IBM公司的产品。 Sybase1986年成立,立足于在开放系统平台上研制具有 Client/Server体系结构的数据库系统软件产品, 2010年5 月13日,SAP并购sybase. SQL Server是Microsoft公司的一个关系数据库管理系 统，只在Windows上运行，Microsoft这种专有策略的目标 是将客户锁定到Windows环境中。(SQL Server 2008\SQL Server 2012). MySQL是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，目前属于Oracle 公司, MySQL 是开源的，不 需要支付额外的费用. DB2