数据中心网络架构

网络专题讲座课程——计算机网络研究
问题与挑战：其他亟待解决的问题
问题与挑战：其他亟待解决的问题 4. 交换模式 电路交换？包交换？ 问题与挑战：其他亟待解决的问题 5. 性能保证 1）重配置开销 2）无丢包 3）延时有界 问题与挑战：其他亟待解决的问题 6. 可生存性 未受充分关注：底层部件故障快速恢复 问题与挑战：其他亟待解决的问题 7. 成本优化 未受充分关注 问题与挑战：其他亟待解决的问题 8. 设计灵活性 未受充分关注
数据中心多级交换结构
数据中心：云服务的业务支撑平台
由多个服务器机架组成
Core交换器（或交换器网络） ToR（Top-of-Rack）交换器
通过交换网络交换数据
Core（核心）交换器
0
1
m -1
0 服 务 器
1
r -1
n
n
n
ToR交换器或汇集交换器
数据中心典型结构示意图
Fat-Tree（胖树）交换网络
第 7 页
课题背景
网络专题讲座课程——计算机网络研究
问题与挑战：可扩展性的制约因素
1. 环境因素 1）放置场地 2）电力供应 3）系统冷却
2. 电交换器
1）电子瓶颈
2）连接复杂
3）功耗过大
3. 交换架构
传统Fat-Tree对Core交换器数量的限制
科学问题一：可超大规模扩展的核心机制
第 8 页
课题背景
IDC最新研究报告： 改变人类信息服务方式和内容
云服务 1）2012年中国数据中心总量达510,530个 传 统 网 络 服 务
基础设施 即服务
数据中心
超级计算
推动着网络功能和形态的演进
应用与需求 技术与概念
并行计算 分布式计算
2）市场总规模达119.3亿美元
信息利用：刺激需求、改变方式、形成习惯
m -1
传输
百度文库0 1
调度 累积
r -1
时间
n
n
Fat-Tree（胖树）
n
A
A+H
2A+H
3A+H
ToR交换器或汇集交换器
包延时上界=3A+H
第 12 页
研究内容
网络专题讲座课程——计算机网络研究
多级交换结构下性能保证的批量调度包交换 高效调度算法研究
1 2 阶 段 问题 提高调度效率 内容 流量矩阵高效分解 交换有效期 重配置开销 0 流水线技术 4 3 2 1 交换 保证无丢包 核心（Core）交换器 1
3）预测未来五年保持两位数增长
网络形态：IP层次结构 → 扁平化结构
网络功能：面向连接 → 面向内容与服务 网络建设：基础设施建设 → 业务与应用开发
平台 即服务 软件 即服务
4 ) 2017年市场总规模达190.3亿美元
网络技术 快速发展
提供有力的支持
第 3 页
课题背景
网络专题讲座课程——计算机网络研究
2
特点 无需增加硬件 始终保证交换性能 灵活、低成本 抗多个交换器故障
缓存量
汇集交换器
第 16 页
研究内容
网络专题讲座课程——计算机网络研究
超大规模嵌入式数据中心交换网络可生存性设计 内部连接故障恢复
传统光网络： 故障快速检测 m-trail、m-cycle 链路快速保护 p-cycle，CFP
m -1
传输
0 1
调度 累积
r -1
时间
n
n
Fat-Tree（胖树）
n
A
A+H
2A+H
3A+H
ToR交换器或汇集交换器
包延时上界=3A+H
第 13 页
研究内容
网络专题讲座课程——计算机网络研究
数据包延时与Core交换器数量折中设计与成本优化 折中设计数学建模
1 2 目标 摆脱Fat-Tree对Core交换器数量的约束 机制 多路径并行交换 Core交换器数量
第 20 页
特色创新
网络专题讲座课程——计算机网络研究
特色创新 特色
超大规模数据中心及其交换架构
分布式嵌入骨干网络 利用波分复用简化连接 性能和分布式程度可控
“网络即数据中心” “网络即交换架构”
融合
保证交换性能 摆脱Core交换器数量限制 抵抗底层部件故障
创新
1）在Fat-Tree中引入批量调度包交换 2）延时与Core交换器数量的折中设计 3）灵活高效的交换网络可生存性设计 4）面向云服务的嵌入架构和资源优化
∝ 1/延时
0
1
多路径并行交换
m -1
0
1
r -1
n
交换配置矩阵
n
Fat-Tree（胖树）
n
第 14 页
研究内容
网络专题讲座课程——计算机网络研究
数据包延时与Core交换器数量折中设计与成本优化 交换网络成本优化
1 问题 最小化交换网络成本 途径 极值点分析 内容 硬件成本最优化：
2
3
给定延时要求
电交换器 交换架构 环境因素
骨干网络嵌入式数据中心
光交换器：交换性能更难以保证 突破限制：必须适应包交换模式 分布式部署 第 2 页
单个光交换器 不能解决问题
课题背景
网络专题讲座课程——计算机网络研究
云服务的发展及其与数据中心的关系
大数据处理 海量存储
网络搜索
在线地图
社交网络
协同办公
计算资源要求高
国内外研究现状
研究的技术点
1 2 3 4 5 6 高速高性能光交换器 系统重配置开销问题 多级交换网络的结构 交换调度与性能保证 节能设计与可扩展性 存在的问题 存在加速比的问题 交换性能保证难 Core交换器数量受限制 现有算法不能应用于多级交换 环境因素的限制 底层快速恢复尚待研究
系统容错与可生存性
1
2 场景 多个数据中心嵌入骨干网络 目标 可靠云服务的架构与资源优化
数据中心个数？
Any-cast 位置如何配置？ 服务容量大小？ P-cycle 用户路由代价 （外部传输代价） 备份容量大小？ 路由保护方案？ 用户数据流量分布 成本是否最低？
第 19 页
科学问题
网络专题讲座课程——计算机网络研究
部 署 在 不 同 节 点 上 的 组 件
分布式嵌入
数据中心
第 10 页
研究内容
网络专题讲座课程——计算机网络研究
主要研究内容及其相互关联性
骨 干 网 络 嵌 入 式 数 据 中 心 超 大 规 模 全 光 交 换 架 构 验证平台：全光交换器及基于Fat-Tree的exascale可扩展多级交换结构 多级交换结构下性能保证 的批量调度包交换 数据包延时与Core交换器 数量折中设计与成本优化 超大规模嵌入式数据中心 交换网络可生存性设计 交换调度方案研究 高效调度算法研究 折中设计数学建模 交换网络成本优化 光交换器故障恢复 内部连接故障恢复 网络嵌入架构优化 云服务资源优化
第 4 页
课题背景
网络专题讲座课程——计算机网络研究
国内外研究现状
第 5 页
课题背景
网络专题讲座课程——计算机网络研究
技术可行性
光通信和光交换技术的发展
优化理论及工具软件的发展
矩阵分解理论及图论的支持 云技术和数据中心工程积累
第 6 页
课题背景
网络专题讲座课程——计算机网络研究
综合成本最优化： 延时折算为代价
Minimize
Core交换器数量
Minimize
Core交换器数量 + 折算因子 * 延时
第 15 页
研究内容
网络专题讲座课程——计算机网络研究
超大规模嵌入式数据中心交换网络可生存性设计 光交换器故障恢复
1 机制 软切换保护 延 时 数 据 流
?
Fat-Tree 核心光交换器
2 核心制约因素
电交换器 交换架构 环境因素
嵌 入 网 解决：核心制约因素带来的问题 络 实现：可超大规模扩展的整体方案
6
集 组 中 围绕：数据中心可超大规模扩展的迫切需求 件 式 1 2 0 优 数 化 据 提出：骨干网络嵌入式数据中心全光交换架构 分 中 组 心 4 5 3
7
8
9
3 可见技术途径
组件规模大小？ 选取多少节点？ 放在那个片区？
组件节点匹配？
控制组件分布式程度 控制组件规模大小
联合优化
1 2
场景 一个数据中心嵌入骨干网络 目标 满足全网服务需求 网络嵌入代价最小
第 18 页
研究内容
网络专题讲座课程——计算机网络研究
面向云服务的数据中心交换架构与网络资源优化 云服务资源优化
科学问题二：面向可靠云服务的交换性能保证及架构与资源优化
第 9 页
研究内容
网络专题讲座课程——计算机网络研究
基本架构
客户端
Optical network & Internet
组件分组优化
分布式嵌入
分布式程度可控 兼容当前数据中心 带宽扩展容易 利用骨干网可生存性技术 骨干网络波分复用技术
拟解决的关键科学问题
科学问题一： 数据中心及其内部交换网络可超大规模扩展的核心机制
科学问题二： 面向可靠云服务的数据中心交换性能保证及架构与资源优化
研究目标：
通过深入的理论研究、系统仿真与实验验证，提出一套高效节能、可超大规 模扩展、交换性能保证、可生存性强、设计灵活、结构简化、成本最优的“骨干 网络嵌入式数据中心”全光交换新架构，形成超大规模数据中心交换网络设计的 一套全新的理论体系，并建立相应的设计模型、方法和算法库，为支持新型云应 用的下一代高性能超大规模数据中心提供一套高效的整体解决方案。
嵌入 网络
联合 优化
面向云服务的数据中心交
换架构与网络资源优化
第 11 页
研究内容
网络专题讲座课程——计算机网络研究
多级交换结构下性能保证的批量调度包交换 交换调度方案研究
1 2 阶 段 0 流水线技术 4 3 2 1 交换 问题 Fat-Tree：电路交换 数据中心：包交换 保证延时有界 核心（Core）交换器 1 内容 将批量调度包交换引入Fat-Tree
其他设计要素
联合优化
快速保护方案
第 17 页
研究内容
网络专题讲座课程——计算机网络研究
面向云服务的数据中心交换架构与网络资源优化 网络嵌入架构优化
骨干网络拓扑结构 用户云的服务需求 网络嵌入代价因子 可扩展性代价函数 性能保证 折中设计 可生存性 网络嵌入架构优化 哪些机架同组？ 划分多少组件？ 组件划分 嵌入网络
面向云服务的整体架构优化
第 21 页
网络专题讲座课程——计算机网络研究
谢 谢！
网络专题讲座课程——计算机网络研究
骨干网络嵌入式数据中心
超大规模全光交换架构
张钦宇 2010年7月15日 吴 斌 天津大学计算机科学与技术学院 Email: binwu.tju@gmail.com
课题概览
1 重大需求背景
网络专题讲座课程——计算机网络研究
课题概览
云服务快速发展，迫切要求数据中心可超大规模扩展