大数据平台产品建设和应用方案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
使用数据和分析 改进客户体验
获得客户和提升体验 运营销量 财务和风险管理
调研报告-大数据来源
交易 日志数据 事件 电子邮件
59% 57%
88% 73%
社交媒体
43%
传感器
42%
外部来源 RFID扫描或 POS数据
自由格式文本
42% 41% 41%
地理空间
40%
音频
38%
静态图像/ 视频
34%
企业主要使用内部数据源开展大数据举措
大数据平台产品建设和应用方案
Contents
目录
1. 大数据概述 2. 大数据平台建设 3. 大数据平台应用
Part 1
大数据概述
大数据：成为国家战略
《关于运用大数据加强对市场 主体服务和监管的若干意见》
提高政府运用大数据能力；
大数据成为国家战略 推动简政放权和政府职能转变；
提高政府服务水平和监管效率， 降低服务和监管成本；
• 培养面向行动的洞察力
面向数据的文化 • 基于事实的领导力 • 用作战略资产的分析技术 • 洞察力知道的战略和运营
企业必须掌握三项分析技能才能实现竞争优势
大数据思维-三原则
小数据
抽样数据、局部数据和片面数 据 精准性
经验、假设和价值观
大数据
用全体代替抽样 统计抽样的局限性
用数量代替精确 拥抱混杂性：容错性更强
户
全省网民 6500万
家庭、公共 景区WiFi
使用者 90%以上
手机用户 2300万
海量数据 实时获取
上网搜索、 浏览、点击等
行为数据 100亿条/天
携程、途牛、去 哪儿、同程、美 团等月上网总量
5.02亿条/月
手机定位 7亿条/天
GPS定位 500万/天次
大数据特征
大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨 大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能 力的新一代信息技术和服务业态。
信息以解决业务深度分析需求 • 机器学习专家：具有统计学思维、丰富的编程和数据建模经验，通过开发算法进行业务
分析和预测
技术人员
• 平台/系统架构师：软件工程师背景，对大数据、云计算有较深的理解，负责技术选型 和实现流程
• 数据工程师：负责数据的采集、存储、处理 • IT/运维人员：负责平台的开发、部署、运营、发布、管理和监控
大数据行业生态图谱
大数据的核心-企业技术
大数据基本上就是管道设施的一种。 大数据为许多消费者或商业用户体 验提供了动力，但它的核心是企业 技术：数据库、分析等。
大数据的关键-无缝集成
大数据的成功不在于实现技术的某 一方面（像 Hadoop、spark等）， 而是需要把一连串的技术、人和流 程糅合到一起。
调研报告-大数据使用和分析的目标
7%关注财务
全球企业使用数据和分析的目标
40% 关注运营
53% 关注客户
使用数据和分析 提高赢取客户的能力
使用数据和分析 改进客户体验
获得客户和提升体验 运营销量 财务和风险管理
7%关注财务
中国区使用数据和分析的目标
34% 关注运营
59% 关注客户
使用数据和分析 提高赢取客户的能力
谁在使用大数据？
数据仓库数据源不断扩大（新增互联网非结构化数据等），数据量由TB级向PB级增长 几乎所有互联网企业都在业务或分析系统中采用了大数据(特别是Hadoop数据分析技术），一方面应对
不确定的业务增长和处理各种结构化与非结构化数据，另一方面降低采购和运维成本。采用Hadoop大 数据平台的互联网企业如国际上的Facebook、亚马逊（Amazon）、ebay等，国内的淘宝、阿里巴巴、 京东、苏宁云商、百度、腾讯、优酷等 电信运营商包括国际上的AT&T、Vodafone等，国内的中国电信、中国联通、中国移动也已经引入了 hadoop大数据平台
大数据的构成-多层递进
大数据基础设施日益完善，大数据 分析BI平台普遍成熟，大数据应用 层正在快速构建。
大数据思维-数据范畴
管理数据
理解数据
使用数据
信息管理 • 坚实的信息基础 • 标准化的数据管理实践 • 可获得并且可用的洞察力
分析技能和工具
• 作为核心专业而发展的技能
• 通过一套可靠的工具和解决方案 而实现
电信用户基本数据
号码 身份信息 缴费信息 消费信息
移动位置数据
基站信息 移动信息 滞留信息
……
信令数据
主叫信息 被叫信息
IP信息 位置信息
终端数据
Mac地址 终端ESN APP信息
……Leabharlann Baidu
网络日志数据
移动／固网源地址 目的地IP
目的地URL ……
用户触点数据
10000 网厅 ……
江苏电信 数据现状
容量大（Volume）：江苏电信数据总量已达10P+，日均产生网络日志数据10T+、话单数据1T、… 类型多（Variety）：包括位置信令数据、用户网络数据、呼叫记录数据、终端数据、视频数据、… 存取速度快（Volecity）：海量数据的快速产生、快速存储、快速使用 应用价值高（Value）：最真实的客户、产品、资源和订单等数据；最详实的用户行为数据
用相关性代替因果性 知道是什么比知道为什么 更重要
大数据思维-角色划分
大数据时代，解析海量难以理解的信息足以导致改变世界的革新。但真正理解这些数据，需要各个方面专业人士。
大数据角色
业务人员
• 业务用户：提出业务需求，并制定优先级 • 业务分析师：有较深的行业业务知识，通过分析业务数据提供决策支持 • 数据科学家：具有专业领域知识、统计分析背景和计算机技术基础，从数据中挖掘有效
以企业为主体，加大大数据关键技术 研发，着力推进数据汇集和发掘，深 化大数据在各行业创新应用；
2016年3月18日
江苏省政府 2016年8月31日
《江苏省大数据发展行动计划》
大数据实例：中国电信海量数据
10T 仅江苏省每天数据量
政府大企业 200万
海量数据 覆盖人口
IPTV用户 600万
固定电话 2000万用
调研报告-大数据基础设施（平台）
《十三五规划纲要》
提出实施国家大数据战略，把大 数据作为基础性战略资源，全面 实施促进大数据发展行动，加快 推动数据资源共享开放和开发应 用；
国务院 2015年7月1日
国务院 2015年9月5日
工信部、发改委
《促进大数据发展行动纲要》
大力推动政府信息系统和公共数据互 联开放共享，加快政府信息平台整合；
获得客户和提升体验 运营销量 财务和风险管理
调研报告-大数据来源
交易 日志数据 事件 电子邮件
59% 57%
88% 73%
社交媒体
43%
传感器
42%
外部来源 RFID扫描或 POS数据
自由格式文本
42% 41% 41%
地理空间
40%
音频
38%
静态图像/ 视频
34%
企业主要使用内部数据源开展大数据举措
大数据平台产品建设和应用方案
Contents
目录
1. 大数据概述 2. 大数据平台建设 3. 大数据平台应用
Part 1
大数据概述
大数据：成为国家战略
《关于运用大数据加强对市场 主体服务和监管的若干意见》
提高政府运用大数据能力；
大数据成为国家战略 推动简政放权和政府职能转变；
提高政府服务水平和监管效率， 降低服务和监管成本；
• 培养面向行动的洞察力
面向数据的文化 • 基于事实的领导力 • 用作战略资产的分析技术 • 洞察力知道的战略和运营
企业必须掌握三项分析技能才能实现竞争优势
大数据思维-三原则
小数据
抽样数据、局部数据和片面数 据 精准性
经验、假设和价值观
大数据
用全体代替抽样 统计抽样的局限性
用数量代替精确 拥抱混杂性：容错性更强
户
全省网民 6500万
家庭、公共 景区WiFi
使用者 90%以上
手机用户 2300万
海量数据 实时获取
上网搜索、 浏览、点击等
行为数据 100亿条/天
携程、途牛、去 哪儿、同程、美 团等月上网总量
5.02亿条/月
手机定位 7亿条/天
GPS定位 500万/天次
大数据特征
大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨 大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能 力的新一代信息技术和服务业态。
信息以解决业务深度分析需求 • 机器学习专家：具有统计学思维、丰富的编程和数据建模经验，通过开发算法进行业务
分析和预测
技术人员
• 平台/系统架构师：软件工程师背景，对大数据、云计算有较深的理解，负责技术选型 和实现流程
• 数据工程师：负责数据的采集、存储、处理 • IT/运维人员：负责平台的开发、部署、运营、发布、管理和监控
大数据行业生态图谱
大数据的核心-企业技术
大数据基本上就是管道设施的一种。 大数据为许多消费者或商业用户体 验提供了动力，但它的核心是企业 技术：数据库、分析等。
大数据的关键-无缝集成
大数据的成功不在于实现技术的某 一方面（像 Hadoop、spark等）， 而是需要把一连串的技术、人和流 程糅合到一起。
调研报告-大数据使用和分析的目标
7%关注财务
全球企业使用数据和分析的目标
40% 关注运营
53% 关注客户
使用数据和分析 提高赢取客户的能力
使用数据和分析 改进客户体验
获得客户和提升体验 运营销量 财务和风险管理
7%关注财务
中国区使用数据和分析的目标
34% 关注运营
59% 关注客户
使用数据和分析 提高赢取客户的能力
谁在使用大数据？
数据仓库数据源不断扩大（新增互联网非结构化数据等），数据量由TB级向PB级增长 几乎所有互联网企业都在业务或分析系统中采用了大数据(特别是Hadoop数据分析技术），一方面应对
不确定的业务增长和处理各种结构化与非结构化数据，另一方面降低采购和运维成本。采用Hadoop大 数据平台的互联网企业如国际上的Facebook、亚马逊（Amazon）、ebay等，国内的淘宝、阿里巴巴、 京东、苏宁云商、百度、腾讯、优酷等 电信运营商包括国际上的AT&T、Vodafone等，国内的中国电信、中国联通、中国移动也已经引入了 hadoop大数据平台
大数据的构成-多层递进
大数据基础设施日益完善，大数据 分析BI平台普遍成熟，大数据应用 层正在快速构建。
大数据思维-数据范畴
管理数据
理解数据
使用数据
信息管理 • 坚实的信息基础 • 标准化的数据管理实践 • 可获得并且可用的洞察力
分析技能和工具
• 作为核心专业而发展的技能
• 通过一套可靠的工具和解决方案 而实现
电信用户基本数据
号码 身份信息 缴费信息 消费信息
移动位置数据
基站信息 移动信息 滞留信息
……
信令数据
主叫信息 被叫信息
IP信息 位置信息
终端数据
Mac地址 终端ESN APP信息
……Leabharlann Baidu
网络日志数据
移动／固网源地址 目的地IP
目的地URL ……
用户触点数据
10000 网厅 ……
江苏电信 数据现状
容量大（Volume）：江苏电信数据总量已达10P+，日均产生网络日志数据10T+、话单数据1T、… 类型多（Variety）：包括位置信令数据、用户网络数据、呼叫记录数据、终端数据、视频数据、… 存取速度快（Volecity）：海量数据的快速产生、快速存储、快速使用 应用价值高（Value）：最真实的客户、产品、资源和订单等数据；最详实的用户行为数据
用相关性代替因果性 知道是什么比知道为什么 更重要
大数据思维-角色划分
大数据时代，解析海量难以理解的信息足以导致改变世界的革新。但真正理解这些数据，需要各个方面专业人士。
大数据角色
业务人员
• 业务用户：提出业务需求，并制定优先级 • 业务分析师：有较深的行业业务知识，通过分析业务数据提供决策支持 • 数据科学家：具有专业领域知识、统计分析背景和计算机技术基础，从数据中挖掘有效
以企业为主体，加大大数据关键技术 研发，着力推进数据汇集和发掘，深 化大数据在各行业创新应用；
2016年3月18日
江苏省政府 2016年8月31日
《江苏省大数据发展行动计划》
大数据实例：中国电信海量数据
10T 仅江苏省每天数据量
政府大企业 200万
海量数据 覆盖人口
IPTV用户 600万
固定电话 2000万用
调研报告-大数据基础设施（平台）
《十三五规划纲要》
提出实施国家大数据战略，把大 数据作为基础性战略资源，全面 实施促进大数据发展行动，加快 推动数据资源共享开放和开发应 用；
国务院 2015年7月1日
国务院 2015年9月5日
工信部、发改委
《促进大数据发展行动纲要》
大力推动政府信息系统和公共数据互 联开放共享，加快政府信息平台整合；