【大数据】大数据库一体机

DataXBase大数据库一体机
大数据库一体机，基于并行分布式处理架构和Intel SSD，基于云创存储JobKeeper分布式任务调度引擎，利用Oracle数据RAC技术释放数据库并行处理性能，可使海量复杂关系型数据实时处理，不仅在查询和检索数据时具有非常高的性能优势（可达到几十倍的性能和数据库容量提升），还可以支持数据仓库存储、数据深度挖掘和智能分析等。

1.硬件架构
大数据库一体机将包括M个数据库处理单元，N个SSD磁盘阵列，1台光纤交换机，2台SAN交换机，机柜，电源等（各类单元的具体数量可以根据实际项目需求定制）。

结构布局如下图所示：
1
2
大数据库一体机参考外观
光纤交换机用来提供对外服务网络接口，两台SAN 交换机实现双机容错，用于数据库处理单元连接共享存储设备。

内部连接图如下：
大数据库一体机网络拓朴
数据库处理单元
每个节点两块HBA卡，通过SAN交换机，共享后端存储设备。

每个节点上将安装统一关系型数据库，上层应用为通用的数据库平台，系统根据负载情况自动切换访问独立节点的数据库。

SSD磁盘阵列
一体机的共享存储设备通过SSD磁盘阵列来实现，采用闪存作为存储介质，读写速度相对机械硬盘更快，而功耗比传统硬盘低，且传统硬盘的机械性故障率可完全避免。

2.分布式任务调度引擎JobKeeper
上文所提及系统的负载均衡、高可用、并行等特点，是通过JobKeeper来实现的。

JobKeeper是一种处理任务的超高性能分布式调度引擎，可理解为一个高效的任务管家。

JobKeeper可不间断接受来自各台计算机提交的任务，再按照当前集群中所有处理设备的压力，智能进行分配任务，进而达到集群负载均衡，使得整个集群的性能始终保持最优。

通过JobKeeper还可以对当前分布式集群的所有机器的状况进行实时监控，规避、切换故障节点，对集群中所有的任务进行停止、删除等功能，实现系统的高可用性。

3
JobKeeper平台的部署将使整个数据存储系统具有如下优势：
1）、高可靠性
采用“多主多备，负载均衡”的管理节点设计模式，和“处理实时跟踪”的处理节点设计模式，从而保证无论管理节点还是处理节点都不存在单点故障问题。

2）、低依赖性
采用模块化设计思想，通过统一化配置和API接口的方式向用户提供服务。

无论用户应用是用何种语言开发，何种处理方式，都可以交由平台进行统一的调度管理。

3）、低干预性
采用基于事件化的统一管理模式。

无论是动态扩展集群处理系统能力，还是单点故障的任务转移，又或者是任务的实时监控和动态分配，都将在系统无人值守的情况下自动完成。

4）、高实时性
在高效率并行分布式软件的支撑下，可以实现对任务的实时分配，实时调度，实时处理。

在机器性能允许的范围内，计算任务不会出现堆积的显现，所有任务的控制工作基本都在秒级完成，具有前所未有的高效性。

4
JobKeeper系统架构图
5）、任务处理的可靠性
JobKeeper调度引擎是建立于虚拟化资源层之上，统一调度，统一配置的管理平台，用于对集群中任务实时的处理调度，实时结果的反馈，集群的负载均衡，失败调度，集中管理，集中配置。

JobKeeper调度平台提供了一套基于Web的管理化界面，可以实时的观察各个处理节点的任务运行状态，以及任务列表的分配情况，机器的负载情况等。

用户在管理系统界面上可以完成所有的工作，如新任务的添加，任务的手动调度以及集群日志的查看与分析等。

5
任务处理节点和管理节点之间维护一个心跳时间，实时向管理节点汇报任务处理信息，同时，任务处理节点在每个心跳时间内向管理节点获取该处理的任务列表，并和本机正在处理的任务列表进行比对，完成相关的任务调度工作。

若一个处理节点在多个心跳时间范围内仍然没有主动的和管理节点相互联系，那么管理节点将会根据各机器的负载情况，将失去心跳连接的处理节点上的任务进行任务的重新分配和执行。

通过此种机制，将保证系统所有接收到的任务都可完成，不会出现任务锁死、丢失的情况。

这在高并发的任务场景中，是非常关键的特性。

6
7
3. 分布式数据库Oracle RAC
全称Oracle real application clusters ，译为“Oracle 实时应用集群”，是Oracle 新版数据库中采用的一项新技术，是具有高可用性的一种部署方式，也是Oracle 数据库支持网格计算环境的核心技术。

图4 Oracle Rac 结构图
Oracle RAC 主要支持Oracle9i 、10g 、11g 版本，可以支持7*24有效的数据库应用系统，可在低成本服务器上构建高可用性数据库系统，并且自由部署应用，无需修改代码。

在Oracle RAC 环境下，Oracle 集成提供了集群软件和存储管理软件，为用户降低了应用成本。

当未来教育信息系统数据规模增长，应用规模需要扩充时，用户可以按需扩展系统，以保证系统的性能，和可控的预算计划。

(1)多节点负载均衡;
(2)提供高可用：故障容错和无缝切换功能，将硬件和软件错误造成的影响最小化
;
(3)通过并行执行技术，提高事务响应时间----通常用于数据查询、分析系统;
(4)通过横向扩展，提高每秒交易数和连接数----通常对于联机事务系统;
(5)节约硬件成本，可以用多个廉价X86服务器代替昂贵的小型机或大型机，提高现有设备利用率，降低相应维护成本;
(6)可扩展性好，可以方便添加删除节点，扩展硬件资源。

8。