数据中心网络高效数据汇聚传输算法_陆菲菲

合集下载

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

９期
陆菲菲等：数据中心网络高效数据汇聚传输算法
１７５１
ｉｎｎｅｔｗｏｒｋａｒｅａｔｉｏｎｆｏｒａｓｓｏｃｉａｔｅｄｔｒａｆｆｉｃａｎｄａｒａｌｌｅｌｉｚｅｔｈｅｓｈｕｆｆｌｅａｎｄｒｅｄｕｃｅｈａｓｅｓ．Ｉｔｃａｎ－ｇｇｇｐｐ，ｓｉｎｉｆｉｃａｎｔｌｒｅｄｕｃｅｃｏｎｓｕｍｉｎｔｈｅｒａｒｅｅａｓｔｅｓｔｎｅｔｗｏｒｋｒｅｓｏｕｒｃｅａｎｄａｖｏｉｄｌｏｎｌａｔｅｎｃｔｉｍｅ－ｗｇｙｇｇｙｈａｓｅｏｂｓ．ＩＲＳ－ｒｏｏｓｅｄｒｏｄｕｃｅｄｂｔｈｅｓｈｕｆｆｌｅｉｎＭａＲｅｄｕｃｅｂａｓｅｄａｌｏｒｉｔｈｍｃｕｒｒｅｎｔｌｈａｓｐｊｐｐｐｙｐｇｙ，ｌｉｍｉｔａｔｉｏｎｓ．Ｔｏｓｏｌｖｅｔｈｉｓｅｆｉｒｓｔｂｕｉｌｔａｍｏｄｅｌｆｏｒｉｎｃａｓｔｍｉｎｉｍａｌｔｒｅｅｗｉｔｈｃｅｒｔａｉｎｒｏｂｌｅｍｗｐ，，ｒｏｏｓＢＣｕｂｅａｒｅｒｅｓｅｎｔａｔｉｖｅｓｅｒｖｅｒｃｅｎｔｒｉｃｎｅｔｗｏｒｋｉｎｓｔｒｕｃｔｕｒｅｆｏｒｆｕｔｕｒｅｄａｔａｃｅｎｔｅｒｓａｎｄｐ－ｐｐｅｇ，，ｔｗｏａｒｏｘｉｍａｔｅｉｎｃａｓｔｔｒｅｅｃｏｎｓｔｒｕｃｔｉｏｎｍｅｔｈｏｄｓｎａｍｅｄＭＩＢｂａｓｅｄａｎｄＭＣｂａｓｅｄｒｅｓｅｃｔｉｖｅｌ－－ｐｐｐｙｓｏｌｅｌｂａｓｅｄｏｎｔｈｅｌａｂｅｌｓｓｅｎｄｅｒｓａｎｄｔｈｅｄａｔａｃｅｎｔｅｒｔｏｏｌｏ．ＭＩＢｂａｓｅｄｍｅｔｈｏｄｉｓａｌｉｅｄｔｏ－ｙｐｇｙｐｐｔｈｅｃａｓｅｏｆｈｉｈｌｃｏｒｒｅｌａｔｉｖｅｓｅｎｄｅｒｓ．Ｉｔｃａｎｂｕｉｌｄａｎｉｎｃａｓｔｍｉｎｉｍａｌｔｒｅｅｂｍａｋｉｎａｎｅｎｄｅａｖｏｒｇｙｙｇａｒｅａｔｅｔｈｅｈｉｈｌｅｖｅｌｓｅｎｄｅｒｓｔｏｌｏｗｌｅｖｅｌｓｅｎｄｅｒｓ．ＭＣｂａｓｅｄｍｅｔｈｏｄｉｓａｌｉｅｄｔｏｔｈｅｃａｓｅｔｏ－－－ｇｇｇｇｐｐｏｆｌｏｏｓｅａｓｓｏｃｉａｔｉｖｅｓｅｎｄｅｒｓ．Ｉｔｃａｎｂｕｉｌｄａｎｉｎｃａｓｔｍｉｎｉｍａｌｔｒｅｅｂａｒｅａｔｉｎｎｏｄｅｓａｓｆａｒａｓｙｇｇｇｇａｎｄｉｎｃｒｅａｓｉｎｔｈｅｌｅａｓｔｎｏｄｅｓ．ＴｈｅｎｗｅｃｏｍｂｉｎｅｄｔｗｏｍｅｔｈｏｄｓａｎｄｆｕｒｔｈｅｒｒｏｏｓｅｄｏｓｓｉｂｌｅｇｐｐｐＭ２ｂａｓｅｄｍｅｔｈｏｄｆｏｒａｎｃａｓｅ．Ｉｔｒｏｖｅｄｔｈａｔｔｈｅｍｅｔｈｏｄｗｅｒｏｏｓｅｄｃａｎｍｅｅｔｔｈｅｄｅｍａｎｄｏｆ－ｙｐｐｐｔｈｅｉｎｃａｓｔｔｒｅｅｏｎｌｉｎｅｂｃａｌｃｕｌａｔｉｎｔｈｅｔｉｍｅｃｏｍｌｅｘｉｔｏｆｔｈｅＭ２ｂａｓｅｄｉｎｃａｓｔｔｒｅｅｂｕｉｌｄｉｎ－ｙｇｐｙｇ，ｂｕｉｌｄｉｎｍｅｔｈｏｄ．ＡｔｌａｓｔｗｅａｎａｌｚｅｄｔｈｅａｄａｔａｂｉｌｉｔｏｆＭ２ｂａｓｅｄｔｏｏｔｈｅｒｄａｔａｃｅｎｔｅｒ－ｇｙｐｙ，ｒｉｎｃｉｌｅｏｂｓｔｒｕｃｔｕｒｅｓａｎｄｔｈｅｏｆｉｎｎｅｔｗｏｒｋａｒｅａｔｉｏｎｉｎｒｅｄｕｃｉｎｔｈｅｅｘｅｃｕｔｉｏｎｔｉｍｅ．Ｔｈｅ－ｐｐｇｇｇｇｊ，，Ｍｓｃａｌｅｅｘｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｉｎｔｈｅｄｉｆｆｅｒｅｎｔｓｉｚｅｏｆｄａｔａｃｅｎｔｅｒ２ｂａｓｅｄｓａｖｅｓｓｍａｌｌ－－ｐ，ａｔｈｅｎｅｔｗｏｒｋｔｒａｆｆｉｃｂ３％ｏｎａｖｅｒａｅｃｏｍａｒｅｄｔｏＩＲＳ－ｂａｓｅｄｎｄｓｈｏｒｔｅｎｓａｂｏｕｔｔｗｏｔｈｉｒｄ－ｙｇｐｗａｉｔｉｎｔｉｍｅｏｆａｏｂｉｎｔｈｅｓｈｕｆｆｌｅａｎｄｒｅｄｕｃｅｈａｓｅｃｏｍａｒｅｄｔｏｔｈｅｅｘｉｓｔｉｎｍｅｔｈｏｄｗｈｉｃｈｄｏｅｓｇｊｐｐｇ，ｎｏｔｔｈｅｉｎｎｅｔｗｏｒｋａｒｅａｔｉｏｎ．ＩｎｔｈｅｄｉｆｆｅｒｅｎｔｓｉｚｅｏｆｉｎｃａｓｔｔｒａｎｓｆｅｒＭ２ｂａｓｅｄｓａｖｅｅｒｆｏｒｍ－ｇ－ｓｇｇｐ，ｎｅｔｗｏｒｋｔｒａｆｆｉｃｂ１９％ｏｎａｖｅｒａｅｃｏｍａｒｅｄｔｏＩＲＳ－ｂａｓｅｄａｎｄｓｈｏｒｔｅｎｓａｂｏｕｔｔｈｒｅｅｆｏｒｔｈｔｈｅ－ｙｇｐｗａｉｔｉｎｔｉｍｅｏｆａｏｂｉｎｔｈｅｓｈｕｆｆｌｅａｎｄｒｅｄｕｃｅｈａｓｅｃｏｍａｒｅｄｔｏｔｈｅｅｘｉｓｔｉｎｍｅｔｈｏｄ．ｇｊｐｐｇ；；Ｋｅｗｏｒｄｓａｔａｃｅｎｔｅｒｄａｔａａｒｅａｔｉｏｎ；ｉｎｎｅｔｗｏｒｋａｒｅａｔｉｏｎ；ｓｈｕｆｆｌｅｔｒａｎｓｆｅｒｉｎｃａｓｔｔｒｅｅｄ－ｇｇｇｇｇｇｙ）个数据流的混洗（传输过程，大量工作节点ｓｈｕｆｆｌｅ
，ｄＡｂｓｔｒａｃｔＩｎｄａｔａｃｅｎｔｅｒｓｉｓｔｒｉｂｕｔｅｄｃｏｍｕｔｉｎｓｓｔｅｍｓｌｉｋｅＭａＲｅｄｕｃｅｒｏｄｕｃｅｍａｓｓｉｖｅｐｐｇｙｐａｍｏｕｎｔｏｆｔｒａｆｆｉｃａｃｒｏｓｓｓｕｃｃｅｓｓｉｖｅｓｔａｅｓ．Ｓｕｃｈｓｈｕｆｆｌｅｔｒａｎｓｆｅｒｓｍａｋｅｅａｓｔｅｓｔｒｏｃｅｓｓｉｎ－ｗｇｐｇ，ｎｅｔｗｏｒｋｒｅｓｏｕｒｃｅｂｅｃｏｍｅａｂｏｔｔｌｅｎｅｃｋ．Ｉｎｍａｎｃｏｍｍｏｎｌｕｓｅｄｗｏｒｋｌｏａｄｓｄａｔａｆｌｏｗｓｆｒｏｍａｌｙｌｙｓｅｎｄｅｒｓｔｏｅａｃｈｒｅｃｅｉｖｅｒａｒｅｔｉｃａｌｌｈｉｈｌｃｏｒｒｅｌａｔｅｄ．Ｍａｎｓｔａｔｅ－ｏｆｔｈｅ－ｒａｃｔｉｃｅｓｓｔｅｍｓｔｈｕｓ－ｙｐｙｇｙｙｐｙａｌａｒｅａｔｉｏｎｆｕｎｃｔｉｏｎｓａｔｔｈｅｒｅｃｅｉｖｅｒｓｉｄｅｏｆａｓｈｕｆｆｌｅｔｒａｎｓｆｅｒｔｏｒｅｄｕｃｅｔｈｅｏｕｔｕｔａｌｒｅａｄｙｐｐｙｇｇｇｐ，ｄａｔａｓｉｚｅ．Ｔｏｌｏｗｅｒｄｏｗｎｔｈｅｎｅｔｗｏｒｋｔｒａｆｆｉｃａｎｄｅｆｆｉｃｉｅｎｔｌｕｓｅｎｅｔｗｏｒｋｂａｎｄｗｉｄｔｈｗｅｉｎｔｒｏｄｕｃｅｙ
）ＴｈｅＰＬＡＩｎｏｒｍａｔｉｏｎＥｎｉｎｅｅｒｉｎＵｎｉｖｅｒｓｉｔＺｈｅｎｚｈｏｕ４５０００２ｆｇｇｙ，ｇ
３）（
，）ＫｅＬａｂｏｒａｔｏｒｏｎＩｎｏｒｍａｔｉｏｎＳｓｔｅｍＥｎｉｎｅｅｒｉｎＮａｔｉｏｎａｌＵｎｉｖｅｒｓｉｔｏＤｅｅｎｓｅｔｅｃｈｎｏｌｏＣｈａｎｓｈａ４１００７３ｙｙｆｙｇｇ（ｙｆｆｇｙ）ｇ
１）（
），）
）
）
）
）
）ｏｒＳｔａｔｅＫｅＬａｂｏｒａｔｏｒＭａｔｈｅｍａｔｉｃａｌＥｎｉｎｅｅｒｉｎａｎｄＡｄｖａｎｃｅｄＣｏｍｕｔｉｎＷｕｘｉ，Ｊｉａｎｓｕ２１４１２５ｙｙｆｇｇｐｇ，ｇ
第３９卷第９期２０１６年９月
计算机学报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ
Ｖｏｌ．３９Ｎｏ．９Ｓｅｔ．２０１６ｐ
数据中心网络高效数据汇聚传输算法
陆菲菲
，１）２）
；收稿日期：在线出版日期：本课题得到国家“ 九七三” 重点基础研究发展规划项目青年科学家专题项目２０１５０３２６２０１５１１０３．－－－－（）、）、）、国家自然科学基金优秀青年基金（国家自然科学基金（国家 “ 八六三 ” 高技术研究发展计划项目２０１４ＣＢ３４７８００６１４２２２１４９１４３０２１４）基金（资助．陆菲菲，女，博士研究生，工程师，中国计算机学会（会员，主要研究方向为分布式计算和数２０１３ＡＡ０１Ａ２１３１９８１年生，ＣＣＦ）：据中心网络．郭得科，男，博士，副研究员，国家自然科学基金优秀青年基金获得者，中国计算Ｅ－ｍａｉｌｌｕ．ｆｅｉｆｅｉｅａｃｓｋｌ．ｃｎ．１９８０年生，＠ｍ－机学会（会员，主要研究方向为分布式计算、数据中心网络和无线通信系统．方兴，男，博士，助理研究员，中国计算机ＣＣＦ）１９８０年生，学会（会员，主要研究方向为计算机系统结构和高速模拟电路．谢向辉，男，研究员，博士生导师，中国计算机学会（ＣＣＦ）１９５８年生，ＣＣＦ）高级会员，主要研究领域为计算机系统结构、网络和分布式计算．罗兴国，男，教授，博士生导师，主要研究领域为无线通信、软１９５１年生，件无线电和高性能计算．
郭得科方
３）
Biblioteka Baidu
兴谢向辉罗兴国
１）１）
２）
１）（数学工程与先进计算国家重点实验室
）１４１２５江苏无锡２）５０００２郑州４）１００７３长沙４
２）（解放军信息工程大学国家数字交换系统工程技术研究中心３）（信息系统工程国防科技重点实验室（国防科学技术大学）
２）（
ＮａｔｉｏｎａｌＤｉｉｔａｌＳｗｉｔｃｈｉｎＳｓｔｅｍＥｎｉｎｅｅｒｉｎ＆ＴｅｃｈｎｏｌｏｉｃａｌＲｅｓｅａｒｃｈＣｅｎｔｅｒ，ｇｇｙｇｇｇ
ＥｆｆｉｃｉｅｎｔＤａｔａＡｒｅａｔｉｏｎＴｒａｎｓｆｅｒｓｉｎＤａｔａＣｅｎｔｅｒＮｅｔｗｏｒｋｓｇｇｇ
１２３１１２ＬＵＦｅｉＦｅｉＤｅ－ＫｅＡＮＧＸｉｎＩＥＸｉａｎｕｉＵＯＸｉｎｕｏ－ＧＵＯＦ－ＨＬ－ＧｇＸｇｇ
摘要在数据中心中，类Ｍ令数据中心的东西向ａＲｅｄｕｃｅ的分布式计算系统在数据的混洗阶段产生巨大流量，ｐ将这些高度相关的数据流在接收端进行聚合是分布式计算的通用处理方式，为了降低网络通网络资源成为瓶颈．文中采用网内关联性流量的汇聚传输策略，将混洗和汇聚并行化，达到进一步降低东西向网信量并有效利用带宽，络资源消耗、缩短混洗阶段延迟的目的．目前提出的Ｉ为了解决这一问ＲＳ－ｂａｓｅｄ算法在适用场景上有一定局限性，文中首先在以服务器为中心的代表结构Ｂ分别提出Ｍ题，Ｃｕｂｅ上建立ｉｎｃａｓｔ最小树模型，ＩＢｂａｓｅｄ算法和－仅根据已知拓扑结构和发送节点编号即可快速生成一棵近似的最小代价ｉＭＣｂａｓｅｄ算法，ｎｃａｓｔ树．ＭＩＢｂａｓｅｄ算－－使高层发送节点尽可能汇聚到已有的低层发送节点构建ｉ法针对发送节点强关联的情况，ｎｃａｓｔ树；ＭＣｂａｓｅｄ算法－针对发送节点松散关联的情况，将节点进行最大程度上的聚合，通过增加最少的汇聚点完成ｉ随后ｎｃａｓｔ树的构建．将上述两种算法结合起来进一步提出适用于各种场景的Ｍ通过推算时间复杂度证明该算法能够满２ｂａｓｅｄ算法，－最后，详细分析了Ｍ足在线构建ｉｎｃａｓｔ树的需求．２ｂａｓｅｄ算法对其他数据中心网络结构的适应性以及网内汇聚传－输能够减少作业完成时间的原理．小规模实验结果表明，在不同网络规模下，Ｍ２ｂａｓｅｄ比ＩＲＳ－ｂａｓｅｄ节省了网络中－／整个作业在混洗和Ｒ在不同传输节点规模约３％的数据量，ｅｄｕｃｅ阶段的等待时间比不采用网内汇聚缩短约２３；下，整个作业在混洗和ＲＭ２ｂａｓｅｄ比ＩＲＳ－ｂａｓｅｄ节省了网络中约１９％的数据量，ｅｄｕｃｅ阶段的等待时间比不采用网－／内汇聚缩短约３４．关键词数据中心；数据汇聚；网内聚合；混洗传输；ｉｎｃａｓｔ树／中图法分类号ＴＰ３９３ＤＯＩ号１０．１１８９７ＳＰ．Ｊ．１０１６．２０１６．０１７５０