基于经营分析系统的大数据中心建设及大数据技术应用经验交流(PPT 26张)

业务挑战
从海量数据中得出洞察－客户的、服务的、品牌的、合作伙伴的、竞 争对手的…
捕捉和分析消费者针对有关服务、 品牌和知名度的情感
提高市场洞察力，以便更好地进 行预测，提高需求规划准确性
优化的渠道和服务网络能带来较低 的成本、优质的服务及合理的布局
提高服务的质量、水平和在基站设 施及营销成本上获得良好的的投资 回报率
大数据方案之功能架构图
访 问 层
统一 门户
GIS展现
大屏监控
智能终端
共享 服务
运维管理 内部共享 合作伙伴 共享 配置管理
客户洞察
主题分析 用户分析 内容分析 业务分析
2. 知识沉淀 3. 价值创造 4. ……
数据类型多 1. 结构化、非结构化 2. 静态、动态
数据管理复杂 1. 在线、近线、离线 2. 高性能、低成本、高 质量、可追溯 3. ……
wenku.baidu.com
3. ……
现有的经营分析系统无法解决这些大数据带来的问题！
市场竞争中的核心利器之一
电信业务面临着前所未有的数据膨胀和数据多样化，能否有效地利用和分析这些 数据成为激烈市场竞争中的核心利器之一 除了DBMS, 我们还需要
基于经营分析系统的大数据中心建设 及大数据技术应用经验交流
Contents
1
总结 回顾与最佳实践建议
行业趋势及业界背景 传统经分系统无法解决大数据的问题！
4
议程
2
大数据中心建设方案 革命从技术平台开始
大数据中心业务应用经验交流 不容错过的机遇与挑战
3
1 行业趋势及业界背景
传统经分系统无法解决大数据的问题！
2 大数据中心建设方案
革命从技术平台开始
历程回顾
项目一期 紧急扩容 项目二期 历时五个月，初具流量监控分析能力 离线方式7月上线，准实时年底上线 目前处于立项规划阶段 14.05上线
13.04上线 12.09立项
13.09扩容
14.03试用
Now
12.12集成 13.01试用 13.11立项
13.12升级
改进风险管理和欺诈监测
13
大数据来临，企业分析体系整体能力再升级
1. 话单数据 2. 网元等设备数据 1. 企业内部（管理层、执行层、一线 营销群体等） 2. 企业外部（客户，合作伙伴，供应 链、政府部门等） 3. 内部生产系统 数据范围广 4. …… 数据服务对象全面 1. 信息转换
3. Wlan数据
• 多样性 • 高度非结构化 • 大量
大数据的特点
多样性（Variety）
• 来源多：企业内部、互联网、物联网等 • 格式多：不局限于结构化数据，也包括音频、图片、视频等非结构化 数据
高速度（Velocity）
• 增长速度快：数据正在加速增长，IDC预测未来十年将增长50倍 • 处理速度快：对时间敏感，必须快速识别和快速响应才能适应业 务需求
“到2015年，移动WEB网络技术会变得足够先进，现 在一半以上的传统应用都将迁移为Web应用.” - Gartner 2009
企业和消费者的需求
• 未来的无线企业应用需要能够发挥网络优势 的智能Apps (Latency, QoS) • 更加智能的城市，更加智能的医疗保健 • 更加智能的公共设施 数据业务盈利性压力 从语音到数据转变会 对盈利造成挑战， OTT服务会蚕食运营 商的盈利
大容量（Volume）
• 存储量大：充斥着各种数据，经常是PB（1000T）级的信息量 • 计算量大：需要实时应对海量数据的抽取和分析
高价值（Value）
• 浪里淘沙却又弥足珍贵，虽然数据的价值密度较低，但是产生的价值 总量却十分惊人。
——摘自IDC定义 麦肯锡： “大数据”的数据量大小远远超过了现有 传统的数据库软件和工具的处理能力。与 此同时，及时捕捉、存储、聚合、管理这 些大数据以及对数据的深度分析的新技术 和新能力，正在快速增长，就像预测计算 芯片增长速度的摩尔定律一样。 Gartner： “大数据”是需要新处 理模式才能具有更强的 决策力、洞察发现力和 流程优化能力的海量、 高增长率和多样化的信 息资产。 维基百科： 巨量资料(big data)，或称大数据， 指的是所涉及的资料量规模巨大到 无法通过目前主流软件工具，在合 理时间内达到撷取、管理、处理并 整理成为帮助企业经营决策更积极 目的的资讯。
4. 外部互联网数据 5. ……
数据规模大
PB级+指数级快速增长
数据成为公司核心资产和核心竞争力， 将被设计用于在成本可承受（ economically）的条件下，通过快速（ velocity）采集、发现和分析，从大量化 （volumes）、多类别（variety）数据 中提取高价值（value）
数据加工深入
网络升级的投资压力 将来的4年内， 网络升级的预 算将超过1200 亿美元
拓展数据源已成定局
为了应对挑战，抓住新机会，不能再局限于传统的数据源
交易型 & 应用型数据 机器数据 社交数据 企业内容
• 大量 • 结构化 • 吞吐量
• 快速 • 半结构化 • 可采集
• 多样性 • 高度非结构化 • 不确定性
• 半结构、非结构化的数据
流量经营是以智能管道（物理网络）与综
海量手机用户上网。 如何从用户上网行为 中发现兴趣点，评估 网络业务价值和实现 准确产品推荐？
网络交易规模巨大。如 何有效侦测不合法商品 图片？如何侦测不真实 商品信息？如何捕获潜 在欺诈行为？
合平台（商业网络），用大数据的技术手段 为依托。以扩大流量规模、提升流量层次、 丰富流量内涵、以客户需求为导向，以释放 流量价值为目的的一系列理念、策略和行动 的集合
实时分析
手机信令。数量级 是CDR数据几十 倍。如何及时分析 海量手机信令？如 何从信令数据挖掘 出用户习惯行为轨 迹？
B域与O域M域的协同分 析。如何实现网络运维数 据及业务运营数据的双向 共享？满足日益苛刻的客 户体验要求
海量 数据处理
• 实时分析 Realtime analysis • 海量及快速增长的数据
电信运营商面临的挑战
终端设备的增长 物联网的通信已经成 为一个快速增长的市 场，并且在将来的5年 里继续增长4倍
数据量的增长 智能手机和移动终端 娱乐应用程序会在将 来的6年时间带来超过 10倍到30倍的移动流 量 移动网络的管道化 移动网络将成为应用的平台， 包括Android, HTML 5, iPhone.