大数据的行业应用

BDI-B203

大数据的行业应用曾睿志

会议大纲

发掘大数

据行业价

值

V （速度）V （种类）

V （数据量）V （变化）

数据复杂性：多样（Variety ）、变化（variability ）& 速度（Velocity ）Terabytes

Gigabytes

Megabytes Petabytes

数据量（Volume ）

大数据来源和组成

传统数据分析和大数据分析

Gartner：国内外CIO的IT投资重点

大数据就是金矿，谁挖掘得好就可以成为竞争壁垒。而今天最好的大数据都在大公司。我的预测：互联网大公司大部分会学会驾驭大数据，越做越强；而大部分非互联网公司（电信、银行、保险）虽拥有大数据，却不知其珍贵，或用之不当。

——李开复

各行业应用

运输和物流行业互联网行业

金融服务行业公共和政府机构医疗保健

能源和制造行业

零售行业

电信数据深度应用电信网络与系统中存储海量数据是构建分析竞争型企业的核心，运营商在用户信息上拥有天然优势。

A 接口信令

GI 接口信令完善基站的配置信息提供WLAN 热点的信息

GPRS 话单的位置信息WLAN 话单的终端信息WALN 用户上网日志

网络信令数据

网络配置类数据其他

卫生医疗大数据的价值

小数据集

大数据•临床数据比对

大数据与企业级分析市场机会

泛互联网数据

机器数据

行业内容数据

重点行业价值关键技术

基于泛互联网内容的准

实时舆情监测和用户行

为分析

基于机器设备数据的生

产状态实时监测和统计

分析

基于行业内容数据的海

量分布式存储和查询

•银行：贷款、发卡等多业

务线数据集成分析、市场

评估。

•保险：开发新产品的风险

评估。

•银行：合理放置ATM机现

金存放额度。

•保险：降低汽车保费，同

时将客户范围限定在索赔

可能性最小的人群中。

•银行：风险和投资组合分

析，欺诈分析。

•保险：基于用户历史信息

的精确销售，提升客户忠

诚度。

•Hadoop-用户行为分析

•NoSQL-分布式存储和查询

•PolyBase-查询和搜索

•CEP-实时过滤和聚合

•SQL（SSAS）做业务分析

•Hadoop-用户行为分析

•NoSQL-分布式存储和查询

•CEP-实时过滤和聚合

•SQL（SSAS）业务分析

•NoSQL-分布式存储和查询

•CEP-监控数据中有意义的模

式、趋势和异常。将来自多

个源的不相关事件无缝聚合。

•HDFS-存储

大数据的注意事项

获得“Big Data” 解决

方案

获得“商业智能”的

数据展现

公有云

私有云

自建按需新技术关联性

大数据的生命周期

• 培养意识

• 确定大数据业务优先级• 评估并采用适合大数据解决方案• 研究成功案例

• 延伸并扩展更多数据源

• 提升性能和可伸缩性

• 学习、补充技术

• 构建以大数据为中心的知

识管理体系

• 充分利用和获取新的数据

• 对现有集成大数据和新解

决方案进行尝试和评估

管理：确定业务创新需求丰富：多维度分析和关联

洞察：数据与业务研究

大数据建设方法论

业务战略技术选择数据关联实施部署运维管理

企业战略目标

•业务目标

•业务模式大数据治理标准

•建设方向

•服务对象

数据服务定义

•语义模型

•架构设计

沙盒计划

•计算实验

•关联验证

大数据服务管理

•生命周期

•服务性能

持续改进

业务调整

服务改进

技术升级

架构优化

大数据的角色和技能

数据科学家

行业知识

分析技能

商业智能专业人员

Hadoop、.Net

关系型数据库

业务分析

Business Analysts

010101010101010101

1010101010101010

01010101010101

101010101010

Hadoop生态系统

数据分析的考虑：数据的关联、展现、交互……分布式计算(Map Reduce)数据集成( ODBC / SQOOP/ REST)

分布式存储(HDFS)

基础架构的考虑：存储，安全、动态扩展、管理服务……

传感器和设备的数据流半结构化和非结构化数据Business Applications 主数据服务外部数据源

Data Quality Services StreamInsight SQL Server Integration Services

HDInsight on Windows Azure Hadoop on Windows Server SQL Server 多维和表格模型SQL Server Analysis Services 数据挖掘Excel (PowerPivot and PowerView SQL Server Reporting Services Windows Azure SQL Reporting

SharePoint Server

数据存储报告分析数据集成Blob Storage Azure SQL Database

Business Applications Windows Azure 公有云服务