云存储数据处理分发系统开发与转化技术总结报告

云存储数据处理分发系统开发与转化

技术总结报告

一、项目立项背景及必要性

1.1政策背景：

"十二五"规划中提出了我国教育产业与信息化产业相结合的指示方针，要求全国院校切实做好教育产业《云计算服务创新发展试点示范》的工作，实现"国以才立，政以才治，业以才兴"的人才培养与创新教育理念。本项目充分发挥信息化产业快捷、高效、实用性强的特征，与高校合作研究开发构建面向全国的"云存储"服务平台，为社会与企业提供符合国际化要求、适应国内企业需求的行业高端管理与技术人才，为教育产业注入转型的动力。

环境背景：

互联网公司面临更大的速度和成本挑战

1、跨ISP运营商互联互通受限

所谓互联互通，就是指几个不同ISP网络的网间互联。由于电信运营商业务间激烈竞争，相互之间不能很好的协作，所以骨干网之间没能联通，互相之间的网络资源就不能得以很好的利用。由于这些原因，网间连接带宽相对狭窄，远远不能支持庞大的用户访问，导致网络间传输拥挤，传输速度很慢。用户与网站如果不在同一个ISP网络，则不可避免的要受到网络间带宽限制，甚至无法相互访问。

2、重复投资，不易维护

对于目前的电信运营商各自独立的网络结构，ISP、ICP如果想满足到多个运营商的链路都很好的话，需要在网通、电信等多个运营商处建立多份站点，维护多套WEB、下载服务器、数据库等设备，导致重复投资而且后期需要维护多套环境，及其痛苦。

3、安全保障低

黑客可以通过直接攻击源站服务器的IP地址，使网站设备及网络带宽负载过高，服务质量降低，直至服务器宕机，甚至篡改网站内容，使源站点蒙受不可预计的损失。

4、效率低下

随着宽带用户的逐渐增多，通过网络下载影音文件、游戏安装包、软件及补丁等内容的方式变得越来越普遍，并且地域分布更加广泛，单一的下载服务器已不能满足各地域、各ISP用户的访问需求。如果希望满足更多的用户访问，就需要为用户建设更多节点和购买更多的设备和带宽，导致投资大而效率低，同时也不适应互联网应用的多变性，从而抑制了网站整体的业务发展。

必要性：

仔细分析网络速度缓慢的原因，带宽不是导致互联网连接速度慢的唯一因素，如果没有良好的流量管理策略，网站不管有多大的带宽，用户对网站的访问连接同样会慢如蜗牛。同时，日益扩大的服务器数量、越来越多的访问流量，都要求网站对互联网流量进行精心规划和管理。除此而外，随着电子商务的迅猛发展，使得网络系统的可靠性、一致性、安全性和高可用性也显得越来越重要。ISP、ICP、高校、大型企业等，正在经历着高昂的互联网带宽成本、机房设备重复投资成本、用户P2P下载和在线视频业务的巨大压力、用户投诉网络速度和质量差等头疼问题。因此，当前网站的管理除了必要的内容服务外，提高网站的扩展能力、服务能力以及可用性也成了不可或缺的环节，而要很好地解决所有这些问题，必须要有新技术的支持。分布式云存储和数据处理智能分发正是解决此类问题的有效手段，云存储数据处理分发系统应求而生。

1.2、国内外与该项目有关的研究进展和取得的成果：

云存储是在云计算(Cloud Computing)概念上延伸和发展出来的一个新的概

念。云计算使更大数据量的处理成为可能，被称为下一代的因特网计算和下一代的数据中心。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

目前的云存储服务主要应用于ISP、ICP、门户网站、电子商务、大中型公司、网络教学、证券、金融保险、ISP 等领域，在行业专网、互联网中都可以用到，甚至可以对局域网进行网络优化。利用云存储服务，这些网站无需投资昂贵的各类服务器、设立分站点，特别是流媒体信息的广泛应用、远程教学课件等消耗带宽资源多的媒体信息，通过云存储技术动态、可伸缩、虚拟化的新型服务模式，使内容请求点和交付点之间的距离缩至最小，从而促进Web 站点性能的提高，具有重要的意义。云存储服务能够为网络的快速、安全、稳定、可扩展等方面提供保障。

为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。云计算的数据存储技术主要有谷歌的非开源的GFS(Google File System)和Hadoop开发团队开发的GFS的开源实现HDFS(Hadoop Distributed File System)。大部分IT厂商，包括yahoo、Intel的“云”计划采用的都是HDFS的数据存储技术。

云存储已经成为未来存储发展的一种趋势，目前，云存储厂商正在将各类搜索、应用技术和云存储相结合，以便能够向企业提供一系列的数据服务。但是，未来云存储的发展趋势，将集中在超大规模的数据存储、数据加密和安全性保证、提高I/O速率、便携性及数据访问等角度进行发展。

据Frost＆Sullivan统计，2009年全球云存储应用分发服务市场的收入约为13亿美元，从2007年到2009年的年复合增长率为36.3％，并预计该市场将到2012年增长到28亿美元，2009年到2012年的年复合增长率为28.3％。据艾瑞网的数据

显示，2009年中国的云存储应用分发服务的市场规模约为5.01亿元（约合7340

万美元），较2007年的年复合增长率为58.3％，预计在到2014年该市场规模将达到36亿元（约合5.2亿美元），较2009年的年复合增长率将达48.2％，远高于全球市场的预期增长率。

1.3、项目进一步研究的意义：

对各式各样存储资源的发送方式进行优化，已经成为Web 服务供应商和网络内容供应商的一个重要目标。本项目作为解决这个问题的一条最佳途径，在已有的Internet 网络结构基础上形成了“增值”网络，提供了各种新功能，例如能够根据网络内容处理通信量、将访问请求转发给最优云服务器节点以及动态弹性部署存储资源等等，它实现了智能化通信量转发和存储资源智能分发，并能够识别和理解被请求的特定内容。它所带来的主要变化在于：过去仅仅是被动地检索内容，而现在则是根据第5 层到第7 层策略（指OSI 网络模型）、用户身份认证、应用软件和存储资源的可用性主动传输所需的网络内容。本项目可使Web 企业更快地将自己需要发送的网络内容发送给目标用户。在传统的IP 网络（如Internet）中，客户端的请求仅仅被直接按照网络地址发送到数据源服务器，而本项目的存储资源云分布和智能传输服务提供了一个服务“层”，这个层可以主动将经常被访问的存储资源“推”到与发出请求的用户距离最近的云服务器节点，并将每个客户端发出的请求转发到当时对于被请求的网络内容而言最佳的云服务器节点，从而进一步补充和扩展了Internet。

本项目采用索引、缓存、流分裂、技术，开发出部署简单、易于使用、安全高效、绿色环保、便于管理的新型云存储和智能分发服务系统，可广泛应用于ISP、 ICP、门户网站、电子商务、大中型公司、网络教学、证券、金融保险等领域及行业应用。其独创、领先的云存储资源组织分配技术，居国内领先水平，可迅速解决中国南北互联的瓶颈问题，改善网络响应速度，增强用户体验，将成为帮助各行业实现海量数据存储、数据安全、容灾和备份、实现绿色计算、促进节能减排的新模式，进一步推动我国新型互联网应用技术及云计算整体技术水平的提高和发展。