大营销、大服务、大智慧——大数据时代的中国联通数据中心建设思路

并行计算
数据 平台 分布式关系数据库 实时交互文件系统 分布式NOSQL数据库 分布式文件系统 Sqooq
E3Base
归档数据 库
分布式缓存
智能爬虫
结构化数据文件装载
非结构化数据文件装载
流处理
16
基于云架构的经分系统建设思路
访 问 层
BI门户 与题分析 个性化分析 与题应用
应 用 层
服 务 开 发 层
数据中心的数据当量为PB级，在数据爆炸时代，很容易达到EB级 1ZB=1,024EB=1,048,576PB=1,073,741,824TB
5
中国联通大数据建设的价值体现
大营销
在IT支撑、行业 分析、社会服务 方面体现中国联 通的“大营销、 大服务、大智慧 ”
• 数据收敛 • 数据中心 • 智能分析 • 360°客户视图 • 精确营销 • 企业决策支持
据层向外部提供服务能力的环境。
•
0、应用开发管理：制定统一的开
发标准与管理能力。
13
数据平台（E3BASE）的业务架构
SaaS
OLTP系统
E3BASE
OLAP应用
文件采集 DB输出
SQL解析
DB数据采集
文件输出 缓 存 能 力
分 布 式 协 作 服 务
PaaS
并行计算 分布式关 系数据库 分布式NOSQL 数据库
到了，打个电话问候，并 推荐一个创意小礼品。
联通数据中心价值体现——大服务
咨询及数据服务 • 网络舆情信息咨询服 务（如：提供汽车厂商提
供用户汽车品牌的网络评 价情况） 提供用户群在网 络对产品的评价、 抱怨、转发等舆 情信息给其他厂 商，促进跨产业 吅作。
• 用户偏好信息咨询服 务（如：提供XX销售公
大数据建设演进建议
13
20
18
中国联通大数据建设演进建议
化蝶 破茧 蚕动
物联网数据 IDC数据 数据对外提供 商业智能服务 行业应用提供 智慧城市 社会服务
结蛹
互联网数据 流处理 精确营销 数据共享
IT支撑数据 分布式存储 分布式计算 智能分析
19
面向大数据的数据中心对于咨询、交付、运维、支撑、运 营多方位的服务需求
交 换 层
E3Frame开发框架 分布式数据库( iDDBS)
数据集成平台
ETL
大数据导出
Sqoop
计 算 层
获 取 层 数 据 源
E3BASE (hadoop集群)
数据集成平台
B域数据
17
任 务 调 度 系 统
大数据导入
O域数据 其他数据
M域数据
目录
1 2 3
思特奇对大数据的理解
3
基于云架构的大数据解决方案
司在某个小区内的用户群 产品消费偏好）
提供给产品销售 公司在其经营区 域内的用户群消 费偏好信息，帮 助精确销售，促 进跨产业价值营 收。
第三方内容提供
9
联通数据中心价值体现——大智慧
企业战情信息中心提供“一站式” 决策支持信息服务。 向企业高层提供企业战略沙盘 演练能力，降低决策失误风险。
企业决策支持 产业链分析
业务营销
业务营销是指对于多 种产品或应用，通过 某种联系而组吅在一 起，向用户提供的服 务。通过分析用户基 本信息、兴趣爱好、 交往圈、应用使用偏 好等，进行精准推荐。
场景营销
场景营销是指用户在 某个时间段或某地区 而产生对某些业务或 产品应用的需求。
偏好差异
组合套餐
位置和时机
以数据分析为基础，从用户各方面的生活习惯入手，提升用户的业务 依赖程度，打造大数据时代的中国联通应用、业务、场景三级营销体系。
云管理
服 务 中 介
隐 私 影 响 审 计
数据 服务层 中心 构件层 服务 平台 数据层
交互层
E3Frame E3Base
集成应用开发和生命周期管理 服务交互 逻辑控制 基础服务 操作服务 安全服务 资源调度和控制 软件和平台池化 虚拟机 虚拟存储 存储 设施 虚拟网络 网络 虚拟电路 资源服务 监控服务 移 植 和 互 操 作 提 供 和 配 置
7
大营销——场景营销示例
实时性
动态性
下午
•研究大数据处理技
可用性
晚间
•有 食 谱 推 荐 ， 食
上午
•见客户之前，收到推
荐最近KFC，吃早餐；
•从云存储中下载文件，
术，资料早已搜集 好，存 在云存 储中；
•发现最近不几个客
材送货上门，享受 烹饪乐趣；
•饭 后 ， 享 受 喜 欢
不客户交流；
户联系少了，打电 话沟通感情；
大营销、大服务、大智慧
——大数据时代的中国联通数据中心建设思路
北京思特奇信息技术股份有限公司 2013.01
目录
1 2 3
ቤተ መጻሕፍቲ ባይዱ
思特奇对大数据的理解
3
基于云架构的大数据解决方案
大数据建设演进建议
13
20
2
什么是大数据？
“大数据，或称巨量资料(Big Data)，指的是所涉及的资料量规模 巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处 理、并整理成为帮助企业经营决策更积极目的的资讯。”—维基百科
中国联通：标准制定者，能力掌控者，业务拥有者
APP开发模式
应用 应用 应用 应用
界面层 服务层 构件层 数据层
API
应 用 开 发 标 准
数据中心服务平台
用户体验平台 业务流程管理平台 应用平台 技术平台 集成 平台
数据平台
专业化合作伙伴
专业业务应用厂商 专业人工智能厂商 专业行业分析厂商 专业商业智能厂商 技术产品提供商 数据平台提供商 集成平台提供商 其他专业提供商
4
中国联通数据中心的数据源范围
传统类数据
全国支撑系统中 BMOED域的数据集吅 生产系统中的非结构 化数据，例如吅同扫描 件等
互联网类数据
网页内容；互联网视 音频；博客、微博、 论坛数据；邮件；广 告数据；客户行为轨 迹等
物联网类数据
位置信息；监控视 音频数据；传感数 据等
其他类数据
IDC数据等
数据中心 服务需求
大数据运营管理 业务支撑服务 能力提供与配置服务 移动与操作服务 用户自服务
大数据研发支撑 应用平台化服务 服务平台开放API服务 服务平台研发培训服务 服务平台研发支撑服务
20
思特奇能为数据中心建设提供的服务
集中化的IT支撑云
交易密集 型云 计费密集 型云 数据密集型 经分云
企业战略沙盘 社会服务
打造智慧城市，提供医疗、 对产业链内提供数据分析服务， 交通、便民服务等社会服务。 组建立体作战航母战斗群。 Please write down of contents explanation for Business Area.
10
目录
1 2 3
思特奇对大数据的理解
3
基于云架构的大数据解决方案
大数据咨询服务 大数据架构咨询服务 大数据平台规划咨询服务 大数据安全咨询服务 大数据运维职守 运维制度流程规划服务 运维职守工具服务 运维职守知识库服务 ……
大数据平台优化咨询服务
大数据平台交付服务 • 基础设施平台搭建服务： 计算、存储、网络基础设 施搭建 • 系统平台测试服务：接入 终端测试、大数据平台测 试、大数据设施测试、大 数据服务测试。
• 数据中心规划 • 资源优化 • 安全规划 • ⋯⋯
云应用
• 提供PaaS下的平台产品： ESB、BPM、BRM 分布式内存数据库 分布式文件系统 ⋯⋯
咨询服务
思特奇 云计算解决方案
能力平台
运维服务
• 平台安装、测试 • 基础设施维护 • 云平台运营 • ⋯⋯
运营管理中心
• 智能部署平台 • 监控中心 • 分布式调度控制平台 • 自服务平台 • ⋯⋯
安 全
隐 私
服 务 聚 合
数据中心 资源管理 性 能 审 计
资源抽象 和控制层 物理资源层
硬件
服务器
服 务 套 利
云传输商
12
整合业务、技术平台化能力，实现服务层的开放框架
数据中心服务平台
1.用户体验平台
•
1.用户体验平台：提供面向用户体
验的界面框架及开发元素。
•
2、业务流程平台：以BPM和BRM
3
大数据的4V特征
Volume
范围广，规模大， 单文件容量大， PB级是家常便饭， 甚至达到EB级
Variety
涵盖各种类型的 数据，其中以非 结构化数据居多
V1
V4
V2
V3 Velocity
应用时效性强， 需要强大的计算 处理能力和及时 的数据服务
Value
知识的聚合能够产 生大量的价值，但 是价值密度相对较 低
对外丌但可 以提供应用， 同时可以提 供敏感数据 过滤后的数 据服务 通过 E3Frame平 台提供应用 开发组件及 开发标准 兼顾考虑互 联网卉结构 化和非结构 化数据特点， 采用分布式 文件系统和 分布式数据 库存储数据。
应用组 装组件 基础服 务组件
E3Frame 查询组 指标分
析组件
应用穿 越组件
为主，实现业务流程重构。
E3Frame 2.业务流程管理平台
6.集成 平台
•
3、应用平台：将共性应用下沉，
实现基础应用能力共享。
•
3.应用平台 4.技术平台
4、技术平台：基础的技术工具及
技术框架提供。
•
E3Base 5.数据平台
5、数据平台：支撑各种数据架构
的集中环境。
•
0.应用开发和生命周期管理
6、集成平台：服务层内部以及数
大数据建设演进建议
13
20
11
思特奇基于云架构的大数据时代的数据中心解决方案
云客户 云审计商
用户层 安 全 审 计 接入层 服务层 数据中心 应用商店
大营销 大服务 大智慧 应用管理 …… 用户功能 终端功能 用户 合作伙伴 管理人员
云供应商
合作伙伴功能 管理员功能 云间功能 业 务 支 撑
云代理商
早上
•生活小秘书在早晨7
下班后
的电影，通过网络 下载到了媒体播放 器中。
点准时叫醒，提醒今 日的日程。
•今日约了客户见面，
中午
•中午不客户吃饭，收
•回家路上，收到了一个微
根据目前路况，推荐 最优出行方式。
电影的推荐，在线收看， 分享给好友
•收到提醒朋友小西生日快
到了附件餐厅的推荐， 正是张总很喜欢的那 家，网上预订，并收 到了推荐菜单。 8
• 数据对外提供 • 舆情热点分析 • 广告投放 • 精准推荐
大服务
大智慧
• 市民关怀 • 便民服务 • 行业应用提供 • 智慧城市
6
联通数据中心价值体现——大营销
应用营销
直接推荐某种应用或 产品，即为应用营销。 基于数据中心各类数 据，分析用户的应用 使用偏好和需求，也 可采用好友分享或体 验式营销方式。
21
感谢聆听，欢迎交流！
22
云管理
实时交互文件系统
分布式文件系统
IaaS
虚拟资源 基础设施
14
基于开放的服务层构建专业化大数据应用商店
打破原有与题应用的开发模式， 以服务层为核心，基于应用开发标准，通过服务层
各平台能力，进行业务的与业化分工，实现应用的百花齐放。
数据中心应用商店
专题应用 行业服务应用 商业智能服务 应用管理
专 业 化 、 平 台 化 生 态 环 境
15
大数据下的互联网分析的建设思路
热点分析 类应用
应用使用 类分析 脑图 组件 报表 组件
应用 商店
终端使用 类分析
管道使用 分析 知识库 组件 KPI 组件
新闻事件 跟踪分析 ……
工作台 组件 件
应用 管理
生命周 期管理
应用安 全管理 分析报 告组件 数据挖 掘组件
购买/使 用管理
终端适 配管理 …… ……