云计算数据中心网络的关键技术

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
b) 计算资源的整合。 如果只对同类的计算资源进 行整合,那么工作会相对简单;但是如果整合涉及到异 构计算平台的迁移, 则会比较复杂, 会涉及到操作系
14 2011/10/DTPT
黄大川 本期关注
云计算数据中心网络的关键技术 Monthly Focus
统、数据库等兼容性问题。 在云的计算模式下,通过应 用的解耦合, 可以尽可能地将应用整合到统一的计算 平台上。从目前的业界发展趋势来看,这个统一的计算 平台就是基于 x86 架构的计算平台, 现在互联网运营 商 就 很 好 地 实 现 了 基 于 单 一 x86 平 台 的 多 种 业 务 承 载。
摘 要: 简要介绍了云计算对数据中心基础架构尤其是数据中心网络的技术要求,着 重介绍了云计算数据中心网络的一些关键技术,以及如何以这些技术构建分 布式虚拟化的数据中心网络。
关键词: 云计算;面向服务的架构;虚拟化;数据中心以太网 中 图 分 类 号 :TP 3 9 3 文 献 标 识 码 :A 文章编号:1007- 3043(2011)10- 0014- 05
本期关注 黄大川
Monthly Focus 云计算数据中心网络的关键技术
云计算数据中心网络的关键技术
The Key Technologies on Cloud Computing Data Center
黄大川(思科大中华区数据中心事业部,北京 100022) Huang Dachuan(Cisco Systems,Inc.,Beijing 100022,China)
传统的数据中心主要以处理结构化数据为主,关 系型数据库被大量用于数据处理, 传统的关系型数据 库采用垂直扩展(Scale Up)的方式来扩展数据的处理 能力,通常来说处理的数据是 TB 级别的,数据的块比 较小,但 I/O 要求较高。 如果数据量过大,出于性能的 考虑可以在数据库层面分成不同的库。 互联网上的大 量 数 据 是 网 页 、E-mail、 图 像 等 非 结 构 化 数 据 , 数 据 量 至少也是 PB 级别的, 传统垂直扩展的方式处理这样 的数据比较费劲。 所以目前大型的互联网数据中心采 用基于 map reduce 编程模式,实现海量数据的并行处 理。 在 map reduce 的框架下,开发人员可以将计算任 务分布到超大规模的计算集群(多达 20 000 个计算节 点)上来并行处理,在这样的计算集群内部,服务器和 服务器之间有大量的数据交互,数据块大,数据流的吞 吐量也很大。 这就要求承载这一计算集群的网络要能 够提供支撑超大规模计算节点无阻塞交换的能力。 传 统的二层网络,由于采用生成树协议,无法提供等价多 路 径 (ECMP)的 能 力 ,也 就 无 法 提 供 超 大 规 模 计 算 集 群无阻塞交互的带宽。 所以互联网数据中心通常采用 三层交换机作为接入交换机,以利用三层的 ECMP 的 支持能力。 但这种模式把数据中心网络分成了很多小 块的二层网,在部署虚拟化应用时,有很大的局限性, 因为很多基于虚拟化的应用, 如 VMotion、LPAR Mobility 等都需要一个二层网络的支撑。 因此云计算数据 中心的网络需要在二层上提供超大规模的网络扩展能 力。 vPC(Virtual Port-Channel)是一种扩展技术,它通 过整合 2 个交换机的转发平面, 采用 Port-Channel 实 现接入设备同时上联 2 个汇聚交换机, 实现双倍的聚 合带宽。 采用板卡延伸技术和 vPC 技术,可以有效扩 展网络规模,同时减少生成树对网络的影响。
Keywords:
Cloud com puting; SOA; Virtualization; DCB
0 前言
自动化是实现云计算环境管理的重要一步,当数 据中心资源虚拟化以后, 可以通过面向服务的方式, 采用策略推送的方法实现数据中心的自动化部署、性 能监控、资源的自动部署和回收、计算和存储能力的 自动迁移以及数据的自动备份和容灾,从而真正实现 云计算环境的自动化。
数据中心实现整合之后, 数据中心的虚拟化就成 为可能。 数据中心虚拟化的步骤通常是先实现网络的 虚拟化,然后是计算资源的虚拟化,进一步实现存储的 虚拟化。 这样的一个演进路径与系统的要求和技术成 熟度有关。 数据中心的虚拟化要求实现端到端的虚拟 化,而不是隔离的各个组件的虚拟化,网络作为数据中 心的连接器,在虚拟化中具有举足轻重的作用。在虚拟 化的数据中心里, 不光要求网络本身能够作为虚拟化 的资源池实现灵活分配, 同时还要求网络能够感知到 计算资源和存储资源的虚拟化, 真正实现数据中心端 到端的虚拟化。 计算的虚拟化由来已久, 尤其是最近 10 年,在 x86 和 RISC 平台上都取得了长足的进步,大 量的业务应用已经在虚拟化计算平台上实现。 存储的 虚拟化的历史相对短一些, 到现在也已经超过 10 年。 存储的虚拟化可以在相关的各个层面上完成,如 LUN 一级的虚拟化、 逻辑卷一级的虚拟化和文件系统级别 的虚拟化。 通过存储的虚拟化能够实现更广泛的存储 数据的放置,提供给云计算平台更高的 I/O 性能,同时 提供在线数据迁移以及跨数据中心的数据并发访问的 能力。通过以上 3 个方面的虚拟化,数据中心基础架构 就形成了三位一体的端到端的虚拟资源池。
c) 数据中心网络的整合关系到数据中心整合的 方方面面。 从前端来看关系到客户端和服务器端的网 络整合, 从后端来看关系到服务器端和存储端的网络 整合。 在云的计算模式下还需要关注服务器和服务器 之间的数据交互, 这种流量模型与传统的客户机到服 务器的流量模型有很大的不同。传统的模型下,应用的 时延是被重点关注的因素,网络上的流量并不是很大, 而在一个应用系统中, 对时延影响最大的是后端磁盘 的响应时间和应用软件的优化程度, 合理的网络收敛 比是可以被广泛接受的。在基于云的计算模型下,服务 器和服务器之间交互的带宽需求非常大, 也就意味着 不仅需要关注网络的时延,同时需要关注网络收敛比, 如何构建一个无阻塞的网络, 就成为了必须面对的话 题。 另外前后端双网(LAN 和 SAN)的融合也是必须要 解决的。
通过虚拟交换机技术,可以使对安全要求高、原来 必须运行在独立网络中的业务在统一的网络资源池上 运行,实现网络资源的灵活调度,以及数据安全和节能 减排。整合主要放在数据中心网络的汇聚层和核心层, 整合的方式包括水平整合、垂直整合等。 2.2 交换机板卡延伸技术
云计算的数据分布处理模型改变了现有的计算模 式,在处理互联网数据的数据中心里,一个服务器集群 就可以有 5 000~6 000 个计算节点, 大一些的集群甚 至可以有 20 000 个计算节点。 如果这么多的计算节点 放在同一个二层网络里, 会形成一个包含 100 个以上 接入交换机的生成树网络, 这样大的生成树网络的收 敛时间会相应加长,同时会给网络带来不稳定因素,而 且也非常不利于故障的分析和诊断。 即使采用三层连 接,由于应用负载分担的要求,无 法 通 过 配 置 area 的 方式来实现路由总结, 也会给网络带来大的负载和不 稳定性。 新一代的数据中心接入交换机采用了板卡延 伸技术,这一技术通过 IEEE 802.1qbh 协议的实现,将 原本互联在一起的多个 TOR 交换单元的控制平面和 转发平面融合在一起, 形成了多个交换机组合成一个 交换机的状态,原有的分布在各个机架的 TOR 接入交 换机就成为新交换机的远程板卡。 在这个架构下,TOR
a) 数据/存储整合是数据中心整合的第一步,也是 非常关键的一步。 数据/存储整合一般是整合业务支撑 的关键数据,通常也是最重要的结构化数据。 数据/存 储整合为应用系统的整合和数据容灾备份提供了可能 性。 由于结构化数据对 I/O 的要求很高,且通常以裸设 备的方式来放置,一般会采用容量大、性能好的存储设 备(FC/FCoE)来整合。 对于系统中更多的对 I/O 要求相 对较低, 但数据量巨大的非结构化数据, 可以采用 NAS 或分布式文件系统(如 HDFS)来整合。
1 数据中心网络的技术要求
数据中心整合是云计算之路上需要迈出的第一 步,只有完成了数据中心的基础资源整合,才能在整 合资源的基础上实现资源的重复使用。 资源的整合也 — —— —— —— —— —— —— —— —— —— 收 稿 日 期 :2011-08-25
为系统由紧耦合转向松耦合的模式提供了必要的条 件。 数据中心的整合通常包括数据/存储的整合、计算 资源的整合、数据中心网络的整合 3 个方面。
邮电设计技术/2011/10 15
本期关注 黄大川
Monthly Focus 云计算数据中心网络的关键技术
交换机不是单独存在的网元管理点, 也不是用二层的 生成树或三层的路由协议来维护的网络拓扑。 现有技 术已经可以将多达 32 个 TOR 交换单元的控Βιβλιοθήκη Baidu平面融 合在一起, 从而大大减少了网络节点, 简化了网络拓 扑,提高了网络的可管理性和可维护性。这一技术综合 了 TOR 方式在布线上的优势和 EOR 方式管理节点少 的优势。 2.3 支持超大规模扩展的网络技术
vPC 技术能够实现 2 个交换机的聚合, 实现链路 的双上联且同时活动。 这一技术能支持一个相当大规 模 的 网 络 扩 展 性 , 但 和 采 用 三 层 路 由 协 议 的 16 路 ECMP 来 比 较 , 所 能 支 撑 的 无 阻 塞 网 络 规 模 还 是 偏
小。 为了支持更大规模的无阻塞的二层网络,并且减 少大规模网络中生成树的影响, 业界提出了 FabricPath 这一在二层上实现多路径的协议。 FabricPath 的 指导思想就是保留二层即插即用的好处, 以及对于应 用编程的简便, 同时将转发平面和控制平面分离以实 现更大规模的网络扩展和扁平化。 FabricPath 给每个 交换机一个 48 位的 switch ID 作为标识, 通过 ISIS 协 议来构建 FabricPath 的控制平面, 形成基于 switch ID 的路由表。 采用 FabricPath 技术之后,网络里的交换机 上会有 2 张转发表, 边缘交换机上会同时有 MAC 的 转 发 表 和 基 于 switch ID 的 转 发 表 ,FabricPath 核 心 的 交换机则维护 switch ID 的转发表。 由于在二层网络上 采用了 ISIS 这样基于连接状态的路由协议,FabricPath 的网络可以支持到 16 路的等价多路径,将网络的扩展 性在 vPC 的基础上又提高了 8 倍。 FabricPath 可以降 低网络拓扑改变时的收敛时间, 提高全网的性能和可 靠性。 同时 FabricPath 完全兼容原有的生成树和 vPC 技术,也就是说在一个典型的二层网络环境下,原有的 采用生成树和 vPC 的部分可以无缝地接入 FabricPath 网络。在超大规模的虚拟化数据中心里,网络设备会面 临很大的 MAC 地址表爆炸的压力。 FabricPath 技术创 新地通过基于会话的 MAC 地址学习机制, 有效地减 小了边缘交换机 MAC 地址表的压力。 通过 FabricPath 技术可以构建一个非常扁平高效的超大规模数据中心 网络, 可以说 FabricPath 技术彻底改变了现有网络的 架构, 是今天大规模虚拟化数据中心最重要的技术之 一。 2.4 虚拟化 I/O
Abstract:
It briefly introduces the technical requirem ents about building infras tructure and netw ork for cloud oriented data center. It focus es on the key technologies of data center netw ork and how to build dis tributed virtualized data center netw ork us ing thes e technologies .
2 云计算数据中心网络的关键技术
2.1 虚拟交换机技术 一个典型的云计算环境,无论公有云、私有云,还
是虚拟私有云,都具有典型的多租户特点。不同用户的 不同业务在同一套物理系统上运行, 这就要求网络层 面必须具有优异的隔离能力, 只有实现了真正的安全 隔离,才能够实现多种业务整合在同一个网络系统上。 传统的网络技术在多个层面实现了逻辑隔离, 比如采 用 VLAN、PVLAN、VSAN 等 实 现 数 据 链 路 层 的 隔 离 , 采用 VRF、VPN 实现网络层的安全隔离, 但这些技术 在实现时是基于同一个进程的。 现在数据中心的核心 交换机上又提供了更进一步的隔离技术 (虚拟交换机 VDC)。 通过虚拟交换机技术,1 个交换机可以在逻辑 上分为多个虚拟交换机。 这些虚拟交换机之间是彻底 隔离的, 它们有各自独立的二层和三层的协议栈和进 程,有各自独立的管理员,虚拟交换机之间是无法通过 逻辑配置实现联通的。同时,由于它们的软件进程是完 全独立的,当某个虚拟交换机出现问题的时候,不会影 响到别的虚拟交换机,实现了完善的故障隔离。
相关文档
最新文档