教育部数据中心数据管理优化策略研究

教育部数据中心数据管理优化策略研究

针对教育数据的快速增长和巨大分析需求,考虑信息安全和基础网络、软硬件资源等因素制约,本文研究教育数据存储的优化管理、任务调度、容错部署等问题,以降低教育数据在管理上的总体成本,

提升系统效率和可靠性。论文的主要研究成果有：(1)针对教育数据中心的传统竖井式建设模式成本高、无差别数据存储造成存储空间利用率不高的问题,选取在成本和横向扩展能力上更合适的分布式并行处理方式,提出了基于相关性的列组合聚类及列组合配置策略。在界定搜索查询热度值的基础上构建带有查询热度值的数据列组合,考虑集群中节点负载情况,提出了最小存储成本策略,在降低存储空间成

本的同时有效提高教育数据查询分析效率。(2)针对教育数据查询分析面对的巨大压力和响应要求,对教育数据分析任务进行量化和优先级划分,综合考虑服务成本,量化节点分析承载能力,提出了“基于综合效用的教育数据调度模型”。基于系统的整体负载率,提出了优化的任务调度优化策略。(3)针对教育数据的列组合特性,提出数据重要性的界定方法,基于节点负载和数据重要性提出了数据选择性恢复策略,提高了系统的可用性。(4)针对教育分析系统分布式数据节点故障问题,提出了节点故障下资源优化部署模型和部署策略,保证数据的完

整性和可用性,并给出了教育数据中心的运维保障策略,以提高系统

的服务可靠性。