段方 《大数据关键技术及案例分享》

《大数据关键技术及案例分享》

段方北京大学博士后

主要内容

•背景

•大数据建设和规划案例

•大数据的基础技术

•云计算内容

•电力行业大数据建设

•电力行业大数据应用

•关键点

•总结

1）大数据带来的大机遇

•引出“数据资产”概念

–大数据成为基础设施

–数据的价值，开始超过固定资产

–电商运营到大数据运营

•“数据资本家”

•“数据驱动”成为可能

–2015年新的变革年

–旧的三驾马车逐步失效

•投资、出口和消费（房地产）

–转型依靠新的增长点

•新实体经济、互联网金融、城镇化等

•电力行业：挑战与机遇并存

•【示例】——宋词：

“相逢缥缈，窗外又拂晓，长忆清弦弄浅笑，只恨人间花少

黄菊不待清尊，相思飘落无痕，风雨重阳又过，登高多少黄昏”

2）大数据带来思维变革

•大数据带来的思维变革

–一切皆可量化

–不是随机样本，而是全量

–不是精确性，而是混杂性

–不是因果关系，而是相关关系

•数据直接成为资产

–大数据可以直接带来“金钱”

–淘宝的店主数据分析服务

•电力行业卖电能还是卖“数据”？

–互联网打破信息不对称、降低交易成本、促进分工深化和提升劳动生产率的特点，会对建设行业产生“颠覆”

–“电力产生数据，数据产生“价值””！

–水文地质等GIS系统急需的POI(“Point of Interest”)信息•【例】王永庆的大数据思维（12斗-110斗）

3）大数据能够带来的新应用举例•Charles Duigg是《习惯的力量》一书的作者，他找出的一个黄金案例分析的例子是美国零售商Target，其发现妇女在怀孕的中间三个月会经常购买没有气味的护肤液和某些维生素。通过锁定这些购物者，商店可提供将这些妇女变成忠诚客户的优惠券。实际上，Target 知道一位妇女怀孕时，那位妇女甚至还没有告诉最亲近的亲朋好友--更不要说商店自己了。

•德国航空公司，每架飞机有天气预报系统，飞行时捕捉了很多的气象数据，可以上传给天气预报的系统，增加气象准确程度，增长7%。航空公司成为数据提供商。

•美国的“棱镜”计划：大数据的分析，不仅是数据的监控，而且关心谁在和谁沟通，关心哪些人会参与到恐怖事件中。以“真主”等当关键词。

•【例】附件1——大数据背景下的城市规划

2、互联网行业大数据案例

•淘宝的大数据案例

–【示例】参见附件2-1——阿里云实践案例–附件2-2——阿里大数据产品介绍

–附件2-3——阿里云计算技术

3、电信企业大数据案例

•电信行业大数据发展概述

–从2001年启动数据仓库建设，演进为大数据系统

–投资120亿，累计容量100PB

–服务10万员工，应用跨企业内部各个部门

–积累了15年大数据建设、应用、运营的经验•电力网络与电信网络的相似性

–庞杂的网络、海量的数据、大量的业务需求、国企的管理机制

•某电信运营商大数据发展案例

主要内容

•背景

•大数据建设和规划案例

•大数据的基础技术

•云计算内容

•电力行业大数据建设

•电力行业大数据应用

•关键点

•总结

1、系统需求描述•2001年引出背景

–从数据仓库开始，整理数据资产

–模糊的开始，精彩的未来

•十五年阶段中每阶段演进目标举例

–从“技术驱动”开始

–先建设数据仓库，再建数据集市

•需求描述实例

–2004年需求描述参见附件1-应用需求情况调研•技术需求与业务需求

–如何让“业务驱动”？

–“行程万里，访谈千人”

2、技术发展历史

•数据统计系统

–从报表开始的故事

–报表分析基础——参见附件2 报表分析案例•数据仓库系统

–数据仓库与数据库的关系

–OLAP介绍——参见附件3 OLAP分析及案例•大数据系统

–非结构化数据的引入

–与数据仓库的关系

•发展历程中的关键技术路线图

【示例】：某省大数据系统演进历程

生产运营系统（06.12-09.06）运营能力提供者（09.07-）“泛”分析系统（03.10-06.11）决策系统（01.07-03.10）•以数据仓库建设为基本手段，聚集数据；以OLAP分析为基本载体，承载九大主题分析应用。

•成果：奠定了经分的基础架构。

•不足：阳春白雪的定位限制了应用基础。

•通过指标与流程的结合、分析与操作的衔接，发展出了营销服务平台、管理信息台为典型代表的应用。

•成果：逐步形成经分的固有领域，开始精耕细作

•不足：价值最大化的问题

一方面继续核心应用的深挖建设，另一方面封装输出能力，使经分的数据、信息、功能和其他系统叠加衍生，以OP、双屏/自助服务系统为新载体，产生全面立体化的价值

•通过角色分层（决策人员-分析人员-操作人员）的模式创立，突破了应用基础的限制。以指标和个体信息为突破口，发展出了以KPI系统、大客户个体分析系统为典型代表的应用线。

•成果：拓宽了经分的发展空间。

•不足：应用价值问题浮出水面。

3、应用发展历史•报表和KPI

–大数据的“初元”

•OLAP

–多维分析

•数据挖掘

–“啤酒和尿布”的故事

•对外服务

–让数据“变现”

•大数据运营

–建立大数据的“生态圈”