intel英特尔大数据平台最佳实践(PPT 46页)
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一些用户对3G业务流量产生及计费方式不了解，主观认为自己未使用 或使用较少数据流量，要求运营商提供上网记录，而现有系统不具备 此功能，从而导致投诉升级。
3G流量费争议占总咨询投诉量比率
联通3G详单查询-问题来源（2/2）
上网记录查询对中国联通的业务发展产生了较大的影响
案例
某iPhone合约计划用户，在凌晨零点到4点之间手机产生巨额流量费
4
SG Cross Asset Research, PwC
大数据处理速度要求越来越高
• 大数据与海量数据的一 High 个重要区别，在于不但 数据尺寸大，而且对数 据处理的响应速度有有 着更高的要求
• 传统的以周，天，小时 为单位的运算处理周期 Low ，下降到以分钟，秒为 单位
• 大数据高价值的重要体 Negative 现-处理速度
传统BI分析
事务
关系型数据库
数据仓库
批处理
分析
大数据分析
非结构化
集群化
流式
组织
分析
多种数据源
(MapReduce)
• 结构化数据 • 数据规模一般为TB规模 • 集中式，为了分析进行大量数据移动，数据向计算靠近 • 批处理为主
• 结构化/非结构化混合分析的能力 • 数据规模从数十TB到PB级别 • 分布式，计算向数据靠近 • 支持流式分析
如果问题得不到根本解决，将会影响运营商按流量计费的资费模 式，对运营商3G业务的开展将产生较大影响
用户上网记录数是个海量数据，不仅投资巨大，传统的电信业解 决方案根本无法提供该服务
移动用户上网记录集中查询与分析支撑系统
建设上网记录集中查询与分析支撑系统意义重大
查询
为客户服务人员提供客户上网记录快速查询服务，解决流量投诉问题 为用户提供准实时的异常大流量上网记录自助查询服务
➢ 大数据应用是在云上跑的、非常典型的 应用。
——大数据处理离不开云
Big Data
Big
大数据时代-数据爆发性增长
统计、分析、预测、实时处理
IDC预测全球的数据使用量到2020年会增长44倍，达到35.2ZB (1ZB = 10亿TB)
*Source: McKinsey Global Institute Analysis
© Copyright 2011 EMC Corporation. All rights reserved.
智慧城市-典型的大数据应用集合
2022/3/22
8
大数据处理导致的平台瓶颈
大数据处理 需要的扩展 能力
Industry Progress
数据处理需求与 传统平台硬件扩 展的差距不断扩
大
大数据分析不同于传统BI分析
在其得知因受计量设备限制无法向其提供数据流量去向后，竟上升到 司法诉讼层面
影响
对用户而言：
“…要是能查到流量是和谁发生的就好了，如果是手机的问题， 我也才知道今后怎么防范，现在连防范谁都不知道，谁知道下次 还会不会发生类似问题?”
对运营商而言：
根据中国联通客户服务部门提供的数据，目前移动业务每万元收 入，因无法提供上网详单造成的退费和赔付约60.1元；
• ETL • Data
Enrichment • Direct Query
Applications and Tools (Modeling on 100’s of TBs to PB’s)
• Direct query • Direct Modeling
Historical/Archival/Event Level Aggregated/Enriched
分析
对数据流量进行统计 终端分析：iPhone、iPad、其他智能手机分布，新终端推广效果分析 热门流量、热门网站（业务） 网络分析： 2G/3G基站流量分析，网络优化
数据挖掘 根据流量分布，分析用户群特征 提供套餐设计参考，优化用户体验 通过感知业务态势，制定市场策略，指导业务产品开发，为市场营 销提供丰富的数据支持
• 数据来源的多样性:
– 不同的应用系统 – 各种设备 – 互联网 – 其它
Source: IDC Digital Universe Study, sponsored by EMC, May 2010
Flat file
创造显著业务价值（VALUE）
大数据分析 3V特性驱百度文库下创建
显著的业务价值
挖掘数据资产价值，通过数据驱动业务，变 成本中心为利润中心
Examples:
Telco
Govt
Finance
Web
分布式数据平台与传统数据平台融合
Raw Data
Structured Data
SemiStructured Data
Existing Data Warehouse (Hundreds of TB’s)
BI/Stat Tools
Hadoop Cluster (Hundreds of TB’s to PB’s)
Summary/Interactive
提纲
• 大数据带来的挑战 • 大数据案例介绍 • Intel大数据平台
联通3G详单查询-问题来源（1/2）
随着移动互联网业务的发展，上网记录查询成为用户投诉的焦点
问题来源
目前，中国联通省分公司3G客户数据流量问题争议占3G业务投诉达710%，且近几个月呈上升趋势，个别省分比例高达20%
Value
High utility
Diminishing utility
Time
Archival value
Source: IDC Digital Universe Study, sponsored by EMC, May 2010
数据的多样性
• 数据形式的多样:
– 结构化数据 ，数据间有很强的因果关系 – 半结构化数据 ，数据间因果关系较弱 – 非结构化数据， 数据间无因果关系
英特尔大数据平台最佳实践
提纲
• 大数据带来的挑战 • 大数据案例介绍 • Intel大数据平台
云计算技术是处理大数据的有效手段
➢ 大数据和云是两个不同的概念，但两者 之间有很多交集。
➢ 支撑大数据以及云计算的底层原则是一 样的，即规模化、自动化、资源配置、 自愈性，因此实际上大数据和云之间存 在很多合力的地方。
难点分析
上网记录是海量数据
用户每月的上网记录约几万至数十万 在Gn（SGSN与GGSN之间）接口上部署采集设备来生成用户
上网记录 用户手机访问一次网页，约会产生数十条，甚至数百条请求
3G流量费争议占总咨询投诉量比率
联通3G详单查询-问题来源（2/2）
上网记录查询对中国联通的业务发展产生了较大的影响
案例
某iPhone合约计划用户，在凌晨零点到4点之间手机产生巨额流量费
4
SG Cross Asset Research, PwC
大数据处理速度要求越来越高
• 大数据与海量数据的一 High 个重要区别，在于不但 数据尺寸大，而且对数 据处理的响应速度有有 着更高的要求
• 传统的以周，天，小时 为单位的运算处理周期 Low ，下降到以分钟，秒为 单位
• 大数据高价值的重要体 Negative 现-处理速度
传统BI分析
事务
关系型数据库
数据仓库
批处理
分析
大数据分析
非结构化
集群化
流式
组织
分析
多种数据源
(MapReduce)
• 结构化数据 • 数据规模一般为TB规模 • 集中式，为了分析进行大量数据移动，数据向计算靠近 • 批处理为主
• 结构化/非结构化混合分析的能力 • 数据规模从数十TB到PB级别 • 分布式，计算向数据靠近 • 支持流式分析
如果问题得不到根本解决，将会影响运营商按流量计费的资费模 式，对运营商3G业务的开展将产生较大影响
用户上网记录数是个海量数据，不仅投资巨大，传统的电信业解 决方案根本无法提供该服务
移动用户上网记录集中查询与分析支撑系统
建设上网记录集中查询与分析支撑系统意义重大
查询
为客户服务人员提供客户上网记录快速查询服务，解决流量投诉问题 为用户提供准实时的异常大流量上网记录自助查询服务
➢ 大数据应用是在云上跑的、非常典型的 应用。
——大数据处理离不开云
Big Data
Big
大数据时代-数据爆发性增长
统计、分析、预测、实时处理
IDC预测全球的数据使用量到2020年会增长44倍，达到35.2ZB (1ZB = 10亿TB)
*Source: McKinsey Global Institute Analysis
© Copyright 2011 EMC Corporation. All rights reserved.
智慧城市-典型的大数据应用集合
2022/3/22
8
大数据处理导致的平台瓶颈
大数据处理 需要的扩展 能力
Industry Progress
数据处理需求与 传统平台硬件扩 展的差距不断扩
大
大数据分析不同于传统BI分析
在其得知因受计量设备限制无法向其提供数据流量去向后，竟上升到 司法诉讼层面
影响
对用户而言：
“…要是能查到流量是和谁发生的就好了，如果是手机的问题， 我也才知道今后怎么防范，现在连防范谁都不知道，谁知道下次 还会不会发生类似问题?”
对运营商而言：
根据中国联通客户服务部门提供的数据，目前移动业务每万元收 入，因无法提供上网详单造成的退费和赔付约60.1元；
• ETL • Data
Enrichment • Direct Query
Applications and Tools (Modeling on 100’s of TBs to PB’s)
• Direct query • Direct Modeling
Historical/Archival/Event Level Aggregated/Enriched
分析
对数据流量进行统计 终端分析：iPhone、iPad、其他智能手机分布，新终端推广效果分析 热门流量、热门网站（业务） 网络分析： 2G/3G基站流量分析，网络优化
数据挖掘 根据流量分布，分析用户群特征 提供套餐设计参考，优化用户体验 通过感知业务态势，制定市场策略，指导业务产品开发，为市场营 销提供丰富的数据支持
• 数据来源的多样性:
– 不同的应用系统 – 各种设备 – 互联网 – 其它
Source: IDC Digital Universe Study, sponsored by EMC, May 2010
Flat file
创造显著业务价值（VALUE）
大数据分析 3V特性驱百度文库下创建
显著的业务价值
挖掘数据资产价值，通过数据驱动业务，变 成本中心为利润中心
Examples:
Telco
Govt
Finance
Web
分布式数据平台与传统数据平台融合
Raw Data
Structured Data
SemiStructured Data
Existing Data Warehouse (Hundreds of TB’s)
BI/Stat Tools
Hadoop Cluster (Hundreds of TB’s to PB’s)
Summary/Interactive
提纲
• 大数据带来的挑战 • 大数据案例介绍 • Intel大数据平台
联通3G详单查询-问题来源（1/2）
随着移动互联网业务的发展，上网记录查询成为用户投诉的焦点
问题来源
目前，中国联通省分公司3G客户数据流量问题争议占3G业务投诉达710%，且近几个月呈上升趋势，个别省分比例高达20%
Value
High utility
Diminishing utility
Time
Archival value
Source: IDC Digital Universe Study, sponsored by EMC, May 2010
数据的多样性
• 数据形式的多样:
– 结构化数据 ，数据间有很强的因果关系 – 半结构化数据 ，数据间因果关系较弱 – 非结构化数据， 数据间无因果关系
英特尔大数据平台最佳实践
提纲
• 大数据带来的挑战 • 大数据案例介绍 • Intel大数据平台
云计算技术是处理大数据的有效手段
➢ 大数据和云是两个不同的概念，但两者 之间有很多交集。
➢ 支撑大数据以及云计算的底层原则是一 样的，即规模化、自动化、资源配置、 自愈性，因此实际上大数据和云之间存 在很多合力的地方。
难点分析
上网记录是海量数据
用户每月的上网记录约几万至数十万 在Gn（SGSN与GGSN之间）接口上部署采集设备来生成用户
上网记录 用户手机访问一次网页，约会产生数十条，甚至数百条请求