智慧教育-教育资源共享的云存储平台解决方案

智慧教育:教育资源共享的云存储平台解决方
案
一、系统需求分析（背景）
全区共有100所学校和教育机构，目前拟在区教育局建立一套统一的资源管理数据中心。

该中心将集中存储区教育局现有应用系统所涉及的数据库，包括区教育局门户网站、内置网站集群管理功能以及区下属各校的网站数据库，同时也集中存储各校的资源库数据，主要包括课件、题库、教案的文本数据。

目前各校的资源库所占据的数据量在500GB~600GB，并且数据量是逐年递增。

容量需求
根据目前各学校等教育机构的数据存储和增长情况，估计总数据量在60TB，考虑3年内数据量的递增性，规划为180TB，按照至少1:1备份，实际容量需求为360TB，本次规划总容量为300TB。

吞吐率需求
按照项目网络规划，各学校连接到区教育局带宽为10M~20M，区教育局的总出口带宽300~400MB以上，因此要求云存储系统的总吞吐率至少要保证300M的应用需求。

可靠性需求
在存储平台上除了存储各校的教学资源外，还部署有应用服务数据库，该数据库支撑各个学校门户网站的建设，提供教研平台、VOD点播、资源库以及数字图书馆等服务，因此在设计上必须保证存储系统的安全可靠性，要保证系统7×24小时全天候的不间断运行，提供可靠的服务。

扩展性需求
根据业务应用的发展，未来可能会面临扩展性的需求，这就要求系统的设计具有前瞻性，保证所采用的架构是可扩展的，并且在系统规模扩展的过程中，系统对外服务不中断。

二、系统方案
总体设计思想
根据建设的需要，拟采用云存储平台对数据进行统一集中的管理，通过分布式云平台的高可靠容错来对外提供稳定可靠的服务，同时依托分布式的云存储节点对外提供高速的存储访问服务。

并且，基于分布式架构的云存储平台，具有在线伸缩规模的能力，为系统的扩展提供良好的支撑。

系统总体架构
图1 cStor云存储资源管理系统部署示意图
架构描述
采用cStor云存储系统构建本次云平台的基本数据存储平台，其具体描述如下：
基本存储采用cStor分布式云存储平台，该平台对上层应用服务器（包括文件服务器、网站服务器、数据库服务器等）提供容量支撑，通过cStor客户端可以将存储容量映射成本地磁盘（Windows系统）或者挂载到本地目录（Linux/Unix系统）；
用户通过文件服务器，如FTP、NFS等服务器访问cStor云存储，也可以通过cStor客户端直接访问云存储系统（需要保证用户PC能够与cStor所有节点网络互通），cStor系统支持用户配额和权限控制；
cStor云存储系统主要用来存储课件、教学视频等海量的非结构化数据；
采用主备双机热备的容错方式搭建数据库服务器，数据库中所涉及到的非结构化数据，如图片、视频、文档等，迁移至云存储系统中进行存储；数据迁移后，原有的系统，如网站服务系统、视频点播服务系统等，对数据的访问方式不变。

系统优势和特点
cStor云存储系统是一套软件与硬件相结合的系统，其中专有技术和软件是高附加值部分，
可以广泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、银行等领域）。

该系统相比传统存储系统有如下技术优势：
高度可靠
存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。

云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的7×24小时不间断服务。

优异性能
cStor采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。

同时，cStor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。

无限容量
系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为1024×1024×1024 PB (1G个PB容量)。

在线伸缩
cStor云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。

通用易用
cStor云存储系统提供符合POSIX标准的通用文件系统接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。

同时，也提供专用的API 接口，供开发人员调用。

智能管理
提供基于WEB的管理控制平台，所有的管理工作均由cStor管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。

通过管理平台，可以对cStor中的所有节点实行实时监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况；同时也可
以实现对文件级别的系统监控，支持损坏文件的查找和修复功能。

系统提供用户安全认证及对不同用户进行配额设置与权限管理功能，满足应用的日常维护和安全管理需求。

三、客户受益
优异的性能
cStor采用控制流与数据流分离的技术，数据的存储或读取是与各个存储节点上并行读写，随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。

同时，cStor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。

更高的可靠性
任意节点宕机，系统不停止服务；任意硬盘、网卡等部件损坏，不影响系统服务，系统能够自动容错，将数据分散在各个节点上，不会出现丢失数据的现象。

任务处理过程中，节点宕机，任务自动切换并保留现有进度，保障任务继续执行下去。

更方便的管理
提供基于WEB的管理控制平台，所有的管理工作均由cStor管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。

通过管理平台，可以对cStor中的所有节点实行实时监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况；同时也可以实现对文件级别的系统监控，支持损坏文件的查找和修复功能。

系统提供用户安全认证及对不同用户进行配额设置与权限管理功能，满足应用的日常维护和安全管理需求。

优异的扩展性
在数据量和处理要求不断提高的实时业务中，平台扩容十分便捷，在不停机的情况下，添加节点或一体机数量，平台的存储及处理能力自动增加；随着业务内容需求的提升，仅需对分批对平台内设备的软件进行升级，平台服务不会中断。

降低成本
在数据量和处理要求不断提高的实时业务中，平台扩容十分便捷，在不停机的情况下，添加节点或一体机数量，平台的存储及处理能力自动增加；随着业务内容需求的提升，仅需对分批对平台内设备的软件进行升级，平台服务不会中断。

降低初期软硬件投入成本的同时降低能耗，以及长期管理和维护的成本。