企业级大数据平台的需求

企业级大数据平台实践第1课

炼数成金逆向收费式网络课程

⏹Dataguru（炼数成金）是专业数据分析网站，提供教育，媒体，内容，社区，出版，数据分析业

务等服务。我们的课程采用新兴的互联网教育形式，独创地发展了逆向收费式网络培训课程模式。既继承传统教育重学习氛围，重竞争压力的特点，同时又发挥互联网的威力打破时空限制，把天南地北志同道合的朋友组织在一起交流学习，使到原先孤立的学习个体组合成有组织的探索力量。并且把原先动辄成千上万的学习成本，直线下降至百元范围，造福大众。我们的目标是：低成本传播高价值知识，构架中国第一的网上知识流转阵地。

⏹关于逆向收费式网络的详情，请看我们的培训网站

课程介绍

⏹课程内容

–本课程从平台管理、数据访问、数据可视化、数据安全等企业级数据平台视角全面审视大数据平台–以IBM商用大数据产品BigInsights为基础深入剖析商用大数据平台的企业级特性和应用实践

⏹课程提纲

–第1课企业级大数据平台需求概览; BigInsights发展史与功能介绍

–第2课企业级大数据分析平台架构专题:什么样的需求决定什么样的平台架构；BigInsights集群搭建–第3课如何构建安全的企业级大数据平台

–第4课数据探索数据可视化专题：BigSheet

–第5课成熟稳定的数据访问接口：BigSQL

–第6课分布式机器学习算法库和运算框架：BigR

–第7课解析自然语义的文本分析组件：Text Analytics

–第8课企业级大数据平台数据治理专题

–第9课企业级大数据平台的平台管理：多租户与扩展文件系统

–第10课企业级大数据平台设计实例: 可解析自然语义的企业级舆情分析系统

注意事项

第一课企业级大数据平台提纲

⏹企业级大数据平台需求概览

–企业视角中的大数据

–重点需求介绍

⏹IBM企业级大数据平台介绍

–发展历史

–BigInsights介绍

什么是大数据？什么是Hadoop？

多种开源子项目组成的一系列新技术集合。

企业视角中的大数据平台

传统数据仓库

大数据基础平台

集成的混合管理和访问平台

集成的大数据基础平台

应用层

市场发展分析 省级业务分析

网络质量分析 渠道分析

行业应用分析 客户体验分析

手机应用分析

社交网络分析

情感分析

互联网业务分析

客户偏好分析 智能终端分析 CRM BOSS

VGOP OSS DPI 探针

ERP

CDRs SGSN/GGSN

互联网 WAP 网关

BSC ／RNC …

大数据交互平台

实时数据流加载和分析平台

批量数据加载工具 并行批量数据加载平台

集成的数据加载和预处理平台

WLAN 日志

网络日志 留存系统

既有系统

数据安全管理平台

企业对大数据平台的定位

1.对既有系统的补充

−补充而非替换 −集成：互联互通 −

功能扩展

2.各种新技术的应用

−分布式文件系统 −分布式计算 −NOSQL 数据库 −

…

3.拓展新应用领域

−客户形象刻画 −舆情分析系统 −趋势分析 −

……

企业大数据分析平台的数据流向

大数据平台功能

•大数据存储 •实时分析

•大数据仓库&大数据集市 •

数据分析

海量数据源

高级数据分析 全新应用领域

认知运算 自主学习

规范化流程

质量控制

预测

将要发生什么?

统计分析 统计结果

数据导航

数据资产 流数据

文本数据 应用日志 时间序列

地理位置信息 结构化数据

社交网络数据

视频、图像

自动化生产流程

智能事件管理 高级分析应用

商业智能

云服务

服务提供商应用

实时预警 企业级大数据平台

企业级大数据平台架构举例

企业级大数据平台需要什么？

大数据基础平台的开放性,任何第三

方的ISV 都能基于标准Apache 标准API 进行应用开发和移植，保证应用

的灵活性，避免长期的规划和建设被应用开发绑定

基础平台的性能，高可靠性，提高运行的效率，减少运维的成本和日常维护工作。满足大数据时代的大数据量对于基础设施的性能的挑战

基础平台与现有设施的集成融合性，开发的便利性。充分利用现有的投资，

防止重复建设和降低成本。提供完整的标准的开发环境，方便ISV 的开发

基础平台的企业级高可用，安全性，

保证数据的安全与合规，防止隐私数据的泄漏，进行有效的审计追溯

企业级大数据平台

企业级大数据平台的经营是一个规划中全新、但是实践需要一步一步稳步推进的长期的过程，总体方针为眼光长远，脚踏实地。需要考虑的包括以下重要事项:

Hadoop 可以满足多数企业目前的需求

•可靠性 •高弹性 •安全性

•可包容各种数据源

•可承载多种类型的应用

•多用户共享资源平台

•批量数据处理

•在线历史数据查询

•实时流数据处理

高扩展

非功能需求

支撑多负载