项目服务投标文件方案(海量数据处理平台建设方案)

海量数据处理平台建设方案

海量数据处理平台通过虚拟化技术对服务器、存储、网络的池化和有效管理，为整个项目提供按需获得、即时可取的计算、存储、网络、操作系统及基础应用软件等资源。可实现网络资源的综合监控、管理，实现对外提供虚拟主机资源、存储资源，达到提高服务器存储利用率、运行维护效率和业务系统可靠性，降低整体建设与整合成本。

海量数据处理平台在高效率并行分布式软件的支撑下，可以实时完成数据存储、数据处理和分析工作，如数据存储、数据处理、数据查询、和统计分析等。数据处理不会出现数据堆积现象，各类分析和查询工作基本都在秒级完成，具有前所未有的高效性。

海量数据处理平台采用统一计算资源、存储资源、数据库集群资源、负载均衡资源进行支撑，后续扩展方案变得非常简单，只需要根据需要向对应的资源区增加硬件即可。

1.海量数据处理平台逻辑架构图

海量数据处理平台整体架构采用虚拟化云计算及分布式计算架构设计，主要分基础设施层、支撑软件层、安全保障体系、服务保障体系组成。

基础设施层通过虚拟化以及分布计算技术啊对基础设施进行云化并统一管理，实现硬件设备（计算设备、存储设备、网络设备）的池化并充分利用，同时实现资源的动态扩容等功能。基础设施服务对上层应用提供基础的云计算服务。

支撑软件层提供分布式数据库服务，分布式处理框架以及数据访问机制，并通过协调调度机制进行协调处理。支撑软件层主要提供大数据处理服务，并对应用软件的数据操作提供相应的处理框架支持。

安全保障体系对基础支撑提供的服务进行整体安全保障措施，提供安全保障。

服务保障体系通过数据资源共享交换平台的日常运维管理对服务提供的可靠性、标准性进行保障。

海量数据处理平台逻辑架构

2.海量数据处理平台搭建

云计算平台通过虚拟化软件和云计算资源调度管理平台提供虚拟主机资源、存储资源，以及网络资源。

虚拟主机资源池提供两路或四路服务器的压力支持，同时存储可以提供结构化（数据块级）和非结构化（应用级）数据的支持，并充分考虑IO压力、存储容量。

未来数据资源共享交换平台将具有相关性的业务进行整理、合并，将传统分散数据整合为统一的数据库架构，以便应用系统的管理和效率提升。

推荐在虚拟化部署的应用：

➢基础设施应用(比如：Email服务，Blackberry服务，域服务，文件或者打印服务器，防病毒等)。

➢开发或者测试应用服务。

➢数据库系统：建立完善的管理和运维流程，才推荐迁移到虚拟化平台）。

➢关键业务系统，比如ERP，CRM等：自动化运维管理工具建立并熟练掌握的情况下进行虚拟化迁移工作。

不适合在虚拟化平台运行的应用：

➢应用程序需要超强的计算能力，超过虚拟化环境限制 (比如. 8路 SMP，255G内存， 10NICs，等.)，计算能力和IO需求强烈的应用，当前最强PC服务器都无法满足需求的；数据仓库；大规模使用的数据库，比如10万人同时在线访问。

➢应用程序需要用到特殊的外围设备的，比如传真，调制解调器等。

➢任何需要客户端特殊配置或者需求的应用，特殊安全策略的(比如DMZ) ，例如数据管理区和数据交换区的平台和存储建议采用分布式。

大数据虚拟化架构

大数据虚拟化架构，主要采用多台高性能x86架构PC Serve，采用高性能统一存储系统整合原有存储构建存储系统层，采用高性能网络系统配合计算和存储建构LAN和SAN。随以上各物理设备配备虚拟化模组，由此构建架构虚拟资源层。应用在资源池中会根据其服务等级需求按需获得资源并均衡化部署，当某一台物理主机出现故障，部署在此物理服务器上的所有虚拟机都将自动重启到其它同一资源池中的主机上。应用迁移方式有多种，包括在线的迁移到其他主机或在线的迁移存储位置，以及迁移到其他虚拟数据资源共享交换平台等。配备虚拟化平台一系列管理应用构成虚拟架构管理层，进行虚拟数据资源共享交换平台资源和应用的管理及优化调整。

3.海量数据清洗整合

云存储系统（分布式存储系统）采用通用X86架构或ARM架构存储服务器作为硬件载体，而非自身定制化硬件实体，通过在其上部署自身的分布式软件以实现分布式云存储的功能。所有硬件设备，如存储服务器、交换机、磁盘以及相应的附件，均可在市场上采购，且不限于特定厂家或必须使用某种特定专有设备。分布式存储软件支持通过X86架构或者ARM架构的硬件，但又独立于特定的硬件，而不是和特定硬件平台或者设备绑定。

云存储系统具有高度可靠、性能优异、无限容量、在线伸缩等特点。

高度可用

云存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的容错机制进行容错，可在任意损坏1或多个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。

云存储系统的管理节点采用主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的7×24小时不间断服务。管理节点的元数据保存在磁盘上，具备持久性，即使两个双击镜像管理节点同时损坏，也可通过磁盘上保存的元数据，恢复到发生故障时的系统状态。

●优异性能

云存储系统采用先进的控制流与数据流分离的技术，数据的存储或读取可在各个存储节点上并行读写。目标是随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。

同时，云存储系统采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。支持与应用服务器等客户端的连接均衡功能，提供轮循、按连接数等策略的自动连接均衡。为满足多用户或应用整体吞吐带宽需要，确保数据访问流畅，云存储平台软件提供多用户或应用并发访问高吞吐带宽设计，系统能够有效利用网络带宽，性能可通过规模增加实现平滑增长。

云存储系统支持SSD Flash卡和SSD硬盘等先进硬件，提供更佳的海量小文件访问IOPS。

●无限容量

分布式存储服务的一个目标就是提供近乎无限容量的云存储资源，或者说支持管理几乎无限的存储资源。

云存储系统的目标之一，就是支持的系统容量仅受限于硬件限制，如卷管理服务器内存。如果使用SSD卡对内存进行扩容，可支撑的存储容量就接近无限，经推算，理论容量为1024×1024×1024 PB (1G个PB容量)。

支持的文件数目不低于10亿个，支持百亿级别扩展。最大存储容量支持超过1000PB，满足大文件系统容量要求；单个目录可以有效支持千万级的文件数量。

●在线伸缩

分布式存储服务的特点是支持横向扩展(SCALE-OUT)功能，存储容量可以在线伸缩。云存储资源管理系统的横向扩展，指可以添加若干并行工作的节点并作为一个节点进行管理，从而实现吞吐量和容量的线性扩展。横向扩展存储池可对底层存储进行虚拟化，创建可随业务需求变化而动态调整的资源，带宽、处理能力和存储容量可以单独调整和实时扩展。横向扩展存储有利于最大程度地降低管