大数据云计算技术概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
云计算平台能力
❖ 数据立方etl工具是一个用来将数据立方和关 系型数据库中的数据相互转移的工具，可以 将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进 到数据立方中，也可以将数据立方的数据导 进到关系型数据库中。一大亮点就是可以通 过hadoop的mapreduce把数据从关系型数据 库中导入数据到数据立方。
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
云计算平台能力
cCloud是南京云创存储科技有限公司自主研发的虚拟化云计算平台。
cCloud平台可以加速高伸缩性的公共和私有云IaaS的部署、管理、配置。帮助企业用户快 速而轻松地将虚拟数据中心资源转 入自动化、富于弹性且可自我服务的云平台中。另外 cCloud兼容亚马逊API接口允许跨cCloud和亚马逊平台实现负载兼容。使用cCloud作为基础数据 中心操作者可以快速方便的通过现存基础架构创建云服务。
Task Node1 Task Node2 Task Node3 Task Node4
Master Node 3
Task Node1 Task Node2 Task Node3 Task Node4
第一部分 1.1 1.2 1.3 1.4 1.5
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
数 据 库
Oracle
Mysql
PostgreSQL
……
数 据 立 方 ETL工 具 数据立方
❖ 硬件配置
*千兆48口交换机
❖ 该表一共104个字段，平均一条记录300Byte ❖ 以下是从数据立方导入到Oracle的测试统计
❖ 以下是从Oracle导入到数据立方的测试统计
云计算平台能力
流量监控
wenku.baidu.com
健康度报告
节点性能监控
集群状态监控
集群状态监控
第一部分 1.1 1.2 1.3 1.4 1.5
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
云计算平台能力
TaskMaster是云创存储自主研发的一款高效云调度应平用台层 。它保证在云计算平台中部分硬件 或软件发生故障的情况下仍不影响系统的正常运行；保证在云计算平台中高效稳定的合理化分配 和执行任务，同时能够完美解决系统单点故障问题，负载均衡，自动调度与部署。
cCloud系统构架
第一部分 1.1 1.2 1.3 1.4 1.5
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
云计算平台能力
cStor云存储系统是南京云创存储自主研发的高科技产品。与传统的大规模存储系统相比， cStor针对绝大多数数据密集型应用的特点从多个方面进 行了优化，从而在一定规模下达到成本、可靠性和性能的最佳平衡。
第一部分 1.1 1.2 1.3 1.4 1.5
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
云计算平台能力
第一部分 1.1 1.2 1.3 1.4 1.5
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
目前，cStor云存储系统已成功应用于安防、广电、交通、电信、政务等诸多领域。
cStor超安存云存储系统是新一代基于编码技术的分布式文件存储系统，它在cStor云存储 系统的基础上，融入RS编解码取代传统副本冗余的方式进行系统容错，编解码参数M+N可根据应 用需求灵活配置。
相对于传统的副本冗余容错
业务层
TaskMaster调度平台
ZooKeeper
数 据
cProc分布式处理框架
处
理
层 视频处理应用
其他设计应用
存
储 Oracle Mysql
DB2
cStor HDFS
层
虚拟化资源层
Master Node 1
Task Node1 Task Node2 Task Node3 Task Node4
Master Node 2
云计算平台能力
数据立方是一种高效分布式的处理海量数据的云处理软件，具有从TB乃至PB级的数据中挖 掘出有用的信息并进行快捷、高效处理的能力，同时支持数据仓库存储和商业智能分析等业务。 该软件基于hadoop平台大数据处理的解决方案，具有处理能力高效、超高可靠性的优点。
第一部分 1.1 1.2 1.3 1.4 1.5
方式而言，具有更高的磁盘利用率和更高的系统可靠性，如采用8+2的编解码容错方式，磁盘利 用率可以达到80%，允许同时损坏2台存储服务器。
第一部分 1.1 1.2 1.3 1.4 1.5
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
❖ 数据立方etl工具是一个用来将数据立方和关 系型数据库中的数据相互转移的工具，可以 将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进 到数据立方中，也可以将数据立方的数据导 进到关系型数据库中。一大亮点就是可以通 过hadoop的mapreduce把数据从关系型数据 库中导入数据到数据立方。
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
云计算平台能力
cCloud是南京云创存储科技有限公司自主研发的虚拟化云计算平台。
cCloud平台可以加速高伸缩性的公共和私有云IaaS的部署、管理、配置。帮助企业用户快 速而轻松地将虚拟数据中心资源转 入自动化、富于弹性且可自我服务的云平台中。另外 cCloud兼容亚马逊API接口允许跨cCloud和亚马逊平台实现负载兼容。使用cCloud作为基础数据 中心操作者可以快速方便的通过现存基础架构创建云服务。
Task Node1 Task Node2 Task Node3 Task Node4
Master Node 3
Task Node1 Task Node2 Task Node3 Task Node4
第一部分 1.1 1.2 1.3 1.4 1.5
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
数 据 库
Oracle
Mysql
PostgreSQL
……
数 据 立 方 ETL工 具 数据立方
❖ 硬件配置
*千兆48口交换机
❖ 该表一共104个字段，平均一条记录300Byte ❖ 以下是从数据立方导入到Oracle的测试统计
❖ 以下是从Oracle导入到数据立方的测试统计
云计算平台能力
流量监控
wenku.baidu.com
健康度报告
节点性能监控
集群状态监控
集群状态监控
第一部分 1.1 1.2 1.3 1.4 1.5
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
云计算平台能力
TaskMaster是云创存储自主研发的一款高效云调度应平用台层 。它保证在云计算平台中部分硬件 或软件发生故障的情况下仍不影响系统的正常运行；保证在云计算平台中高效稳定的合理化分配 和执行任务，同时能够完美解决系统单点故障问题，负载均衡，自动调度与部署。
cCloud系统构架
第一部分 1.1 1.2 1.3 1.4 1.5
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
云计算平台能力
cStor云存储系统是南京云创存储自主研发的高科技产品。与传统的大规模存储系统相比， cStor针对绝大多数数据密集型应用的特点从多个方面进 行了优化，从而在一定规模下达到成本、可靠性和性能的最佳平衡。
第一部分 1.1 1.2 1.3 1.4 1.5
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
云计算平台能力
第一部分 1.1 1.2 1.3 1.4 1.5
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor
目前，cStor云存储系统已成功应用于安防、广电、交通、电信、政务等诸多领域。
cStor超安存云存储系统是新一代基于编码技术的分布式文件存储系统，它在cStor云存储 系统的基础上，融入RS编解码取代传统副本冗余的方式进行系统容错，编解码参数M+N可根据应 用需求灵活配置。
相对于传统的副本冗余容错
业务层
TaskMaster调度平台
ZooKeeper
数 据
cProc分布式处理框架
处
理
层 视频处理应用
其他设计应用
存
储 Oracle Mysql
DB2
cStor HDFS
层
虚拟化资源层
Master Node 1
Task Node1 Task Node2 Task Node3 Task Node4
Master Node 2
云计算平台能力
数据立方是一种高效分布式的处理海量数据的云处理软件，具有从TB乃至PB级的数据中挖 掘出有用的信息并进行快捷、高效处理的能力，同时支持数据仓库存储和商业智能分析等业务。 该软件基于hadoop平台大数据处理的解决方案，具有处理能力高效、超高可靠性的优点。
第一部分 1.1 1.2 1.3 1.4 1.5
方式而言，具有更高的磁盘利用率和更高的系统可靠性，如采用8+2的编解码容错方式，磁盘利 用率可以达到80%，允许同时损坏2台存储服务器。
第一部分 1.1 1.2 1.3 1.4 1.5
第二部分
云计算平台架构 clouDil
MapReduce+TaskMaster DataCube cCloud cStor