大数据方案介绍
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
典型云计算平台架构
开源成熟的hadoop生态体系
从企业的技术选型角度,hadoop能满足大数据场景下绝打多数需求,同时在技术可行性与成本上,具有无可比拟额优势。
1、Hadoop是架构在廉价的硬件服务器上,不需要非常昂贵的硬件做支撑。
2、开源的产品,免费的,基于开源协议,可以自由修改,可控性更大。
3、因为属于二次开发,同时因为有非常活跃的社区讨论,对开发人员的能力要求相对不高,工程师的学习成本也并不高。
4、当集群规模非常大时,开发成本和维护成本会凸显出来。但是相对于自研系统来说的话,还是便宜的很多。
hadoop的整个生态体系,涵盖了系统数据存储、数据收集、数据导入导出到关系数据库、并行计算框架、数据序列化处理与任务调度、数据挖掘和机器学习、列式存储在线数据库、元数据中心、工作流控制、系统部署配置监控、可视化处理等等方方面面。
大数据分析平台
一、海量数据存储及扩展能力
基于分布式HDFS文件系统存储,HA高可用配置,数据多副本,异地备份容灾能力,以最经济的硬件成本支持海量数据存储和扩容。
二、高负载和海量数据处理能力
基于yarn之上的资源管控与调度模型,支持资源的动态配置与热启动,公平科学的任务调度算法,达到资源利用的最大化、合理化。优先分配就近的运算节点,尽可能降低网络带宽。高容错能力,支持任务重试和资源预估,不受个别越算节点故障影响。支持动态扩充运算资源。能在海量的服务器集群中执行高复杂度、高资源需求、高运算密集型的任务。
三、灵活快速的平台搭建及全面运营监控指标体系
一键式的平台搭建,支持快速搭建集群环境。灵活方便的配置界面,可针对集群、单机进行系统配置及调优。提供自定义的服务模块安装、资源分配、权限管理。指标体系全面的监控管理、良好的可视化界面,提供自定义脚本的预警与处理。
四、多平台、多结构的数据接入与处理
支持各种格式、多数据源的数据导入。从系统日志、数据库、第三方数据源等导入数据到集群环境,进行快速地数据清洗、转化、建模、固化,提供各业务模块进行运算处理。良好的模板配置,支持多ETL任务自动生成、运行。代码规范统一。
五、体验良好的交互式展示界面及报表工具
除了展示各个常规指标及运算记过。通过专业的统计数据分析系统设计方法,理清海量数据指标与维度,按主题、成体系呈现复杂数据背后的联系;将多个视图整合,展示同一数据在不同维度下呈现的数据背后的规律,帮助用户从不同角度分析数据、缩小答案的范围、展示数据的不同影响。具备显示结果的形象化和使用过程的互动性,便于用户及时捕捉其关注的数据信息。
Hadoop大数据分析平台解决方案说明
简介
本文档描述本公司Hadoop大数据分析平台解决方案的具体实现细节。本平台采用开源Hadoop组件搭建为一个通用目的的大数据分析平台,可用于各领域,包括:教育、医疗、电信、银行等大数据应用客户。
平台具备如下特点:
1.一键安装
2.可视化运行维护
3.自由的扩展性
4.完全开源,并于最新的稳定版本同步
5.无缝集成Hadoop生态领域的各个数据分析组件
6.可视化大数据实验环境
方案采用的Hadoop模块列表
✓HDFS,用于大规模数据存储
✓Yarn,系统资源管理
✓Hive,基于Mapreduce的SQL数据访问
✓Pig,脚本式数据处理
✓Storm,流式数据处理
✓Spark/Spark Streaming,内存计算框架
✓HBase,Key-Value数据存储
✓MapReduce,离线批处理计算框架
✓Kafka,消息队列式流失数据接入
✓HCatlog,元数据管理
✓Ambari,Hadoop平台监控、管理界面
✓ZooKeeper,保证系统无单点运行
✓Oozie,工作流式任务调度
方案的硬件方案
本方案对于硬件没用特别要求,平台可以部署在Amazon等云服务上,可以部署在实体物理PC服务器构成的集群上,也可以部署在基于OpenStack等其他虚拟节点上。
大数据平台功能列表
在开源Hadoop模块的基础上,本公司的hadoop大数据平台对各模块做了整合,从而形成
一个通用的、企业级的数据平台。
系统结构图
平台功能模块
系统管理
系统管理模块提供如下功能:
1.节点管理,负责集群节点控制,可以增加、停用、启用或者移除节点。
2.服务管理,对节点上每个服务进行管理,如HDFS,Yarn,HBase等,包括停止,启动,
重启。
3.对象管理,Hive、HBase、HDFS数据对象的增删改查。
4.日志审计,操作日志记录了所有改变系统配置的操作,通过日志的查询审计,发现不当
操作,保证系统安全稳定运行。
多租户管理
多租户管理模块提供如下功能:
1.用户管理,负责用户的增删改查。
2.角色管理,负责角色的增删改查。
3.权限管理,负责授权和取消授权。
4.队列管理,负责Yarn队列管理。
5.资源使用规则管理,负责资源使用规则的增删改查。
系统监控
系统监控提供如下功能:
1.集群监控,显示集群cpu、内存、网络、IO使用情况。
2.节点监控,显示节点上每个组件服务的状态及运行情况;显示节点cpu、内存、网络、
IO使用情况。
3.任务监控,监控节点上每个作业的完成情况。
调度管理
Prospector大数据平台提供所有类型的任务调度管理。Prospector大数据平台的任务类型包括:数据集成任务、数据预处理任务和数据分析任务三类。
Prospector大数据平台可以对所有类型任务实线以下类型调度:
➢一次性执行
➢定期执行
➢条件执行
数据集成(Data Integrator)
数据集成理模块负责将外部数据源导入到Prospector大数据平台,同时也负责将数据分享到其他的外部数据存储。
睿帆Data Integrator用于将外部数据源的数据集成到Hadoop大数据平台。Data Integrator支持三大类数据源:
1.数据库、NoSQL系统
2.文件系统(FTP、HDFS)
3.消息队列(Kafka、ActiveMQ)