大数据在中国电信的应用实践(大数据能力建设)

集团公司相关文件，推进大数据各项工作
21
构建中国电信大数据集约平台
承接中国电信集团的集约化战略，构建大数据集约平台，实现全网数据的集约管理、实现大 数据业务经营的集约管控、实现大数据能力、产品和应用的集约加载。
大数据集约运营平台

服务能力集约化 产品部署集约化 应用管理集约化
产品经营集约化 业务开展集约化 客户管理集约化 计费结算集约化
……
6
产业趋势：大数据上升为国家战略资源
拥有数据资源的规模，运用数据资源的能力成为国家层面竞争力！ 搜索、电商、广告、SNS等应用驱动大数据技术进步，反过来带动互联网产业迅猛发展，并向各 行业延伸，大数据已经上升为国家战略资源！
互联网
Google每天 处理大约 24PB的数据 Facebook 每天处理 25TB的数 据
BSS 集团 CRM 账务集 中管理
网络 信息 长途资 源管理 移动综 合网管
位置 信令 定位 平台 7号 信令
管理类 集团 领航 全国 UDB
能力类 终端 自注册 量化 平台
产品类
电渠类
行业类 教育 基地 政务 基地 定位中 心… 安全中 心…
外部 数据 合作 伙伴 第三方 数据 …
基地类 天翼 阅读 天翼 空间 爱游戏 爱动漫 …
引入首席数据分析师 引入首席数据架构师 引入首席平台架构师）
团队 建设
数据团队
负责全网数据汇聚、数据处理、数据分 析挖掘 按数据接入、数据处理、数据分析、数 据管理进行分配 计划重点引入数据架构师、数据分析师
平台团队
负责大数据经营、能力平台建设 团队成员分布在平台实施、维护、安 全和测试
精准营销
5、用户兴趣分析 6、用户行为追踪
咨询报告
8、终端魔方 9、精细运营
区域洞察
11、人流热图 12、实时交通 13、商业选址
分析技术提供商
• 分析技术 • 分析工具 • 分析服务 • 数据可视化
业务应用提供商
• 基于大数据开发 应用 • 应用运营 • 基于基础应用之 上的二次开发
主 要 活 动
商 业 模 式
• 软件使用许可 • 开源软件服务 费 • 硬件销售
• 数据使用许可 • 数据源服务 • 合作运营
• 软件使用许可 • 分析服务费
政府
世界各国竞相布局大数据
2012年3月29日，美国政府
互联网
互联网带来大数据的快速发展
数据的爆发性增长 数据的传输、存储和计算能
产业
产业应用大数据创造价值
Google开放BigQuery服务 微软为企业提供成熟的大数
公布了“大数据研发计划”
2013年1月，英国商业、创
力日益增强
异构数据的关联价值 ……
专业 公司 翼支付 号百
手机报 WAP 门户
网厅 掌厅
省 公 司
人力资 源系统 财务 管理…
服务 开通 资源 管理…
计费账 务系统 省CRM …
省固网DPI 汇聚平台 固网 DPI 固网 AAA
信令监 测系统 7号 信令
ISMP ISAG 商务 领航…
日志留存 移动 DPI
互联 星空 手机报 …
网厅
13
优势3：行业和客户资源优势
1、积累的政企客户数量排名第一：全国超过3000万个 2、精耕重点行业：如平安城市、电子政务等 3、跨界融合、跨屏应用引领潮流：开放合作，创新生态发展新机制
14
优势4：人才和团队优势
1、中国电信全集团拥有66万以上的员工，其中“IT+IP+新业务/新技术”专业
技术人才比例超过10%；有3个相当规模的直属研究院和10余家软件开发和系 统集成公司。 2、构建A、B、C人才发展梯次，重点聚焦云计算、大数据、物联网等新业务 新技术 3、八大业务应用基地专业化/公司化运营，培养各专业领军团队
总部
管
省、地市
内容接 入： IDC CDN 专线 带宽
管理平台
能力平台
应用平台
IT 支撑 MSS BSS OSS EDA 网 管 体 系
固网(固话)
EPC核心网
CDMA核心
IP（核心、骨干、城域） （163、CN2、DCN）
信令网
有线接入
WIFI接入
CDMA无线
ITM
接入设备：家庭网关、悦me、CPE、WIFI路由器… 终端：电话、电脑、手机、PAD、电视、车载、穿戴… 卡：UIM卡 应用：APP/SDK、浏览器
已形成“4+1” 集约大数据产品体 系
产品应用
17
组建大数据专业团队，支撑全网发展与转型
为适应大数据运营，组建了大数据专业团队 支撑大数据的对外经营活动：

高端人才 （首席数据分析师、首席数据架构师、首席平台架构师）
重点培养自有人才队伍（200+人）

借助支撑团队力量
下一步：收购团队组建专业团队
营销团队
负责全网大数据产品的营销 分组分别拓展金融领域、精准营 销及PaaS平台、区域洞察
产品团队
负责集团级大数据产品的开发和运营 按产品配备产品经理与产品研发人员 计划重点引进高级产品研发人员
在几个方向引进业界各领域高端人才带队， 内部快速形成能力，外部提升品牌影响 力：

Big data Big data
Page 7
7 7
大数据产业链构架
大数据产业链的参与者主要包括： 数据提供商、分析技术提供商、基础设施提供商、业务应用提供商
基础设施提供商
• 数据库 • 数据管理平台 • 数据分发技术 • 云基础设施
数据和数据能力 提供商
• 基础数据生成 • 数据汇聚 • 各方数据融合 • 数据粗/精加工
中小企业 能源
分析、利用大数据， 利于企业探索新的商 业模式，寻找新发展 点。依靠洞悉数据中 的信息更加了解自己， 了解客户需求
大企业 政府 金融
经济增长
大量新数据源的出 现导致了非结构化、 半结构化的数据爆 发式增长
人类产生数据指数 增长，大约两年翻 一番，预计到2020 年，世界产生数据 将会达到35.2ZB。
• 应用许可 • 应用开发服务 • 应用运营
目前市场日渐成熟，是中国电信切入的大好时机
8
我们理解的大数据 中国电信做大数据的优势 应用实践与探索 效果分析
优势1：超大规模数据资源
10
优势1：超大规模数据资源
11
优势1：超大规模数据资源
12
优势2：战略优势
总体战略：未来5年，中国 电信将抓住“互联网+”新 机遇，改革创新，加强开 放合作，加快规模发展。
3
大数据是传统数据在深度和广度上的延伸
传统数据：主要来自于业务运营支撑系统、 企业管理系统等，比如财务收入、业务发展
视频文件
博 据 数 上网行为数据
即
传统数据
时 通
音
量等结构化数据；
频
微
信பைடு நூலகம்
图片 据
数
传感器数据
新数据：当前爆炸式增长的新数据主要来源 于社交网络、互联网、移动互联网等，如图 片、文本、音频、视频等非结构化数据，目 前全世界75%以上的数据是非结构化数据； 非结构化新数据和结构化传统数据一起构成 大数据。
信息安全：创新部 用户安全：客服部 网络安全：网运部 对内应用安全：企信部 对外经营安全：市场部
集团市场部 统筹大数据业务安全 大数据管理处 安全管理岗
大数据经营单位是安全第一责任单位，经营、 安全由不同分管领导负责
总经理 安全第一责任人 副总经理1 分管大数据经营 副总经理2 分管安全工作 信息安全部 安全监管
分布式并行架构结合 机器学习算法
应用环节
渗透到政府、医 疗、交通等各个 领域，嵌入到业 务流程中
更广的领域，更深入 的嵌入业务流
大数据资源
大数据工具
大数据理念
5
大数据已经成为重要生产要素
数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用， 预示着新一波生产率增长和消费者盈余浪潮的到来。 - McKinsey&Company（麦肯锡 咨询公司）
中国电信大数据运营体系
总体纲领：构建完整的中国电信大数据运营体系，在安全基础上，贯穿数据 、产品、营销全过程，夯实持续运营能力基础。 管理保障 技术保障
安全保障 数据保障
保障流程 保障体系
产品研发
对外产品 对内应用
营销体系
营销体系 营销策略
1
细化安全管理职责、切实保障数据及运营安全
各部门协同，为大数据经营提供安全保障
细化落实安全管理要求
禁止出售、泄露裸数据 禁止使用非中国电信平台存储和处理电信数据资产 合作方代码应交由中国电信打包部署上线 产品上线前必须经过安全合规检验 对外提供数据产品服务应征得用户同意等
云 公 司
集团市场部设立专岗，云公司大数据经营和 安全由不同分管领导负责。各省公司／专业 公司参照设立相应岗位职责 20 2
位置数据
客户资料 财务数据 订单数据 物资数据
产品数据 客户账单 …… 网 据 上 交 数 易 管 数 网 据 实时监控视频
信令数据
网页
结构化数据、非结构化数据定义：结构化数据是能够用 数据库二维表来逻辑表达的数据；其他为非结构化数据。
价值密度由高到低
大数据
4
日志
大数据的4V特性
Volume
每18个月总量翻番 单数据集从TB到PB级
据解决方案
Telefornica、Verizon、T-
新和技能部宣布，将注资1.89 亿英镑用来发展大数据技术
日本在2012新一轮IT振兴计
mobile、等国外运营商应用 大数据提供各类数据服务
沃尔玛利用大数据制定全球
划中，将发展大数据作为国家 战略层面提出
中国将大数据作为国家战略
4000余家门店的销售策略
大 数 据 经 营 管 理 平 台
大数据能力产品与应用平台
管控接口

规则接口

汇聚路径集约化 数据管理集约化 数据稽核集约化 （Context数据库）
大数据数据汇聚平台

22
大数据汇聚情况
云
SP增值业务 平 台 层 核 心 网 承 载 网 接 入 网 IMSI/MAC 创新业务 行业应用 互联网、BAT 客户应用
局限在金融、保 险、零售、电信 等少数领域，以 决策支撑为主
采集环节
大数据 分析
大数据系 统的特点 扩展到传感、 互联网、交易 等多来源多类 型数据
来源广
存储环节
扩展到面向非 结构化数据和 分析处理的非 关系型数据库
非结构化和面向分 析为主
分析环节
需用分布式并行 计算，Scale out 能力，以机 器学习算法为主
大数据在中国电信的应用实践
上篇：大数据能力建设
中国电信云计算分公司大数据事业部 2016年5月20日
我们理解的大数据 中国电信做大数据的优势 应用实践与探索 效果分析
大数据时代变迁
价值凸显 结构趋复杂 数据量增加 大数据诞生
互联网(搜索、电商)、 移动互联网(社交、自 媒)、物联网、车联网、 GPS、安全监控、金 融、电信等信息化过 程中生成数据。
15
我们理解的大数据 中国电信做大数据的优势 应用实践与探索 效果分析
中国电信积极探索大数据，促进业务转型
中国电信在大数据人才储备、数据汇聚种类、产品体系规划、产业链及能力建设等具领先优势
数据
全网IT、固网、移动、 信令、业务数据汇聚
合作拓展
BDU：100+家企业联合
组成 ；推动跨界大数据合作；打通线 上线下数据和深度广度数据；促 进大数据技术成果应用推广
Variety
非结构化占75%以上， 无模式或者模式不明显
Velocity
实时产生高速存储处理 分析结果要求立竿见影
Value
对整合汇聚提出要求 外部关联分析潜力巨大
传统数 据分析
来源单一，以 内部结构化数 据为主
主要是面向结 构化数据和事 务处理的关系 型数据库
依赖高性能计 算机，主要利 用统计和机器 学习算法
21CN 创投 …
…
…
ODMS IT数据 网络数据
电渠
政企
其他 创新
增值业务数据
24
大数据服务的产品开发和应用
打造数据产品、实现数据变现，充分获取互联网+时代的大数据红利
全网大数据对外运营坚持集约化、专业化
数 据 型 产 品
风险防控
1、敏感信息核验 2、风险分值评估 3、风险变化探针 4、风险个体追踪
端
ESN… ICCID 用户ID
23
数据种类及汇聚路径
集团大数据能力与应用平台（云公司） 集团大数据汇聚平台（数据中心）
ODS 集团 固网 DPI 汇聚 平台 智能 网管 OIDD 日志留存 (移动DPI/AAA) ODMS
综合平台
MSS 人力资 源系统 财务管 理系统
OSS 服务开 通激活 电子 运维
物联网
RFID芯片从 2005年的1.3 亿增加到2010 年的30亿
医疗
三甲医院仅医 学影像每年可 达20TB
科研
欧洲核子研究中 心强子对撞机每 秒产生40TB数 据
每交易周期，纽约 证券交易所捕获 1TB的交易信息
Cloud computing Cloud computing
金融
Google Trends Google Trends