段方 《大数据关键技术及案例分享》

《大数据关键技术及案例分享》段方北京大学博士后主要内容•背景•大数据建设和规划案例•大数据的基础技术•云计算内容•电力行业大数据建设•电力行业大数据应用•关键点•总结1）大数据带来的大机遇•引出“数据资产”概念–大数据成为基础设施–数据的价值，开始超过固定资产–电商运营到大数据运营•“数据资本家”•“数据驱动”成为可能–2015年新的变革年–旧的三驾马车逐步失效•投资、出口和消费（房地产）–转型依靠新的增长点•新实体经济、互联网金融、城镇化等•电力行业：挑战与机遇并存•【示例】——宋词：“相逢缥缈，窗外又拂晓，长忆清弦弄浅笑，只恨人间花少黄菊不待清尊，相思飘落无痕，风雨重阳又过，登高多少黄昏”2）大数据带来思维变革•大数据带来的思维变革–一切皆可量化–不是随机样本，而是全量–不是精确性，而是混杂性–不是因果关系，而是相关关系•数据直接成为资产–大数据可以直接带来“金钱”–淘宝的店主数据分析服务•电力行业卖电能还是卖“数据”？–互联网打破信息不对称、降低交易成本、促进分工深化和提升劳动生产率的特点，会对建设行业产生“颠覆”–“电力产生数据，数据产生“价值””！–水文地质等GIS系统急需的POI(“Point of Interest”)信息•【例】王永庆的大数据思维（12斗-110斗）3）大数据能够带来的新应用举例•Charles Duigg是《习惯的力量》一书的作者，他找出的一个黄金案例分析的例子是美国零售商Target，其发现妇女在怀孕的中间三个月会经常购买没有气味的护肤液和某些维生素。

通过锁定这些购物者，商店可提供将这些妇女变成忠诚客户的优惠券。

实际上，Target 知道一位妇女怀孕时，那位妇女甚至还没有告诉最亲近的亲朋好友--更不要说商店自己了。

•德国航空公司，每架飞机有天气预报系统，飞行时捕捉了很多的气象数据，可以上传给天气预报的系统，增加气象准确程度，增长7%。

航空公司成为数据提供商。

•美国的“棱镜”计划：大数据的分析，不仅是数据的监控，而且关心谁在和谁沟通，关心哪些人会参与到恐怖事件中。

以“真主”等当关键词。

•【例】附件1——大数据背景下的城市规划2、互联网行业大数据案例•淘宝的大数据案例–【示例】参见附件2-1——阿里云实践案例–附件2-2——阿里大数据产品介绍–附件2-3——阿里云计算技术3、电信企业大数据案例•电信行业大数据发展概述–从2001年启动数据仓库建设，演进为大数据系统–投资120亿，累计容量100PB–服务10万员工，应用跨企业内部各个部门–积累了15年大数据建设、应用、运营的经验•电力网络与电信网络的相似性–庞杂的网络、海量的数据、大量的业务需求、国企的管理机制•某电信运营商大数据发展案例主要内容•背景•大数据建设和规划案例•大数据的基础技术•云计算内容•电力行业大数据建设•电力行业大数据应用•关键点•总结1、系统需求描述•2001年引出背景–从数据仓库开始，整理数据资产–模糊的开始，精彩的未来•十五年阶段中每阶段演进目标举例–从“技术驱动”开始–先建设数据仓库，再建数据集市•需求描述实例–2004年需求描述参见附件1-应用需求情况调研•技术需求与业务需求–如何让“业务驱动”？–“行程万里，访谈千人”2、技术发展历史•数据统计系统–从报表开始的故事–报表分析基础——参见附件2 报表分析案例•数据仓库系统–数据仓库与数据库的关系–OLAP介绍——参见附件3 OLAP分析及案例•大数据系统–非结构化数据的引入–与数据仓库的关系•发展历程中的关键技术路线图【示例】：某省大数据系统演进历程生产运营系统（06.12-09.06）运营能力提供者（09.07-）“泛”分析系统（03.10-06.11）决策系统（01.07-03.10）•以数据仓库建设为基本手段，聚集数据；以OLAP分析为基本载体，承载九大主题分析应用。

•成果：奠定了经分的基础架构。

•不足：阳春白雪的定位限制了应用基础。

•通过指标与流程的结合、分析与操作的衔接，发展出了营销服务平台、管理信息台为典型代表的应用。

•成果：逐步形成经分的固有领域，开始精耕细作•不足：价值最大化的问题一方面继续核心应用的深挖建设，另一方面封装输出能力，使经分的数据、信息、功能和其他系统叠加衍生，以OP、双屏/自助服务系统为新载体，产生全面立体化的价值•通过角色分层（决策人员-分析人员-操作人员）的模式创立，突破了应用基础的限制。

以指标和个体信息为突破口，发展出了以KPI系统、大客户个体分析系统为典型代表的应用线。

•成果：拓宽了经分的发展空间。

•不足：应用价值问题浮出水面。

3、应用发展历史•报表和KPI–大数据的“初元”•OLAP–多维分析•数据挖掘–“啤酒和尿布”的故事•对外服务–让数据“变现”•大数据运营–建立大数据的“生态圈”4、管理发展历史•部门级数据仓库–从IT系统开始–部门的局限性•企业级数据仓库–企业级的数据源–企业级的业务应用•企业级大数据中心–互联网思维–生态圈思维•组织机构演进–从部门升级到企业–大数据管理委员会5、不同阶段技术选型思考•系统建立阶段–循序渐进–注重规划•应用扩展阶段–找到关键KPI进行突破•数据扩展阶段–关注数据质量•大数据阶段–内升外降–HADOOP技术1、系统架构演进历史•数据库阶段•数据仓库阶段–数据标准–系统标准–技术选型–数据管理设计•大数据阶段–HADOOP等技术引入–混搭架构设计–技术管控要求•【例】参见附件4-电信行业大数据架构研究与实践2、两级架构缘起•从两级法人说起–国企的两级法人–国家的两级管理（中央、省）•灵活性与标准性–贴近市场端–标准方面的难度•不同阶段的不同理念–市场快速发展阶段，技术支撑为主–市场缓慢阶段，技术梳理阶段•与互联网企业的差异3、单点架构概述•整体架构–解决哪些问题•大数据平台–结构化+非结构化•数据仓库平台–成熟的数据处理架构•数据管理架构–引入数据治理•数据应用架构–对内–对外4、大数据架构详述•HADOOP等技术族–Hadoop的生态圈•HBASE/HIVE设计•SPARK设计•数据质量控制•数据源选择•【例】参见附件5-大数据技术概述5、架构设计的关键点•技术成熟度–是否做“小白鼠”？–何时成熟？•架构设计的原则–业务驱动–规划驱动–创新驱动•架构设计的风险点–技术淘汰–过于复杂而无法实现–过于超前的风险6、“平衡”的艺术•混搭的原因分析–“迫不得已”的选择–何时“一统”？•硬件成本和人力成本–云计算时代的选择•与业务发展的步调平衡–什么战场用什么装备–“土豪”的无奈•数据分析师的知识平衡–业务知识–分析技术–沟通能力•【示例】参见附件5-某大型国企大数据系统规划、建设、运营案例（约600页）主要内容•背景•大数据建设和规划案例•大数据的基础技术•云计算内容•电力行业大数据建设•电力行业大数据应用•关键点•总结1、从数据库开始•为什么冒出了“大数据”–从数据仓库说起–非结构化数据的大量涌现•大数据的“螺旋式上升”–从数据库回到文件型系统•数据库的基础–DBMS的基本要求•大数据的人才困境–本科教育里缺少HADOOP相关教育–内升外降2、数据仓库的“统一”•内部“泛化”的IT系统–CRM/ERP/OA等•如何“一统”江湖？–为什么要“统一”？–如何统一？•靠手腕还是靠魅力？–一把手工程•统一的准备工作–数据统一、流程统一、管理统一•数据仓库的对内整合–从部门级到企业级•数据集市的灵活设置–按照部门设置数据集市–按照地市设置数据集市3、大数据的基础•HADOOP的引出–HADOOP的前世今生•HDFS的原理–文件型数据存储•HIVE/HBASE的原理–类SQL/noSQL•延续数据仓库的哪些知识？–数据治理、数据管理等•技术之外呢？–“怀念数据仓库的日子”4、大数据的分析•从报表到OLAP–多维的报表OLAP•数据挖掘的概念–在数据中“淘金”•数据挖掘的算法–有监督学习算法和无监督学习算法–关联分析、聚类、分类、回归等算法•大数据的挖掘有哪些不同？•一个数据挖掘案例的真实剖析5、大数据的安全•客户隐私问题–什么是客户隐私？–中国客户隐私法律、法规•国内外客户隐私案例分享–谷歌的客户隐私案例•数据安全控制技术–系统化的“城防图”•实际数据安全管控案例分享主要内容•背景•大数据建设和规划案例•大数据的基础技术•云计算内容•电力行业大数据建设•电力行业大数据应用•关键点•总结1、HADOOP的发展•为什么是HADOOP？–名称的来源•HADOOP庞大的生态圈–涉及哪些内容？•开源社区如何玩？–开源社区是公正的吗？–开源社区产品如何购买和维护？•几个主要的HADOOP产品–Cloudera/hotonworks•[示例]附件2-4 HDFS原理2、YARN介绍•从HADOOP1.0的过度–节点超过4,000 个时的级联故障；最大问题是多租户。

–Apache Hadoop YARN （Yet Another ResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处•内容及优点•将JobTracker和TaskTacker进行分离，它由下面几大构成组件：– a. 一个全局的资源管理器ResourceManager– b.ResourceManager的每个节点代理NodeManager– c. 表示每个应用的ApplicationMaster– d. 每一个ApplicationMaster拥有多个Container在NodeManager上运行•大大减小了JobTracker（也就是现在的ResourceManager）的资源消耗，并且让监测每一个Job 子任务(tasks) 状态的程序分布式化了，更安全、更优美•【示例】参见附件2-5-YARN技术介绍3、从MAP/REDUCE开始•基本原理–MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。

概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想–3份备份•如何提升数据挖掘的速度？–并行计算的原则–如何对递归进行并行？•参见附件2-6 MR原理4、SPARK的介绍•如何提升实时性？–内存计算的引出–不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

•SPARK的原理–内存中的Hadoop–Spark 是在Scala语言中实现的，它将Scala用作其应用程序框架。