大数据技术及制造行业应用

高价值 Value •浪里淘沙却又弥足珍贵， 虽然价值密度较低，但 是价值点比较高
统计表明，人类文明至今获得的全部数据，90%在过去2年内产生，标志着数字化时代全面来临。 而电子商务、社交网络、传感器等还在源源不断的产生数据，预计到2020年，全球数据规模将会 达到今天的44倍。
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
复杂的业务需求
成本
新技术，新方法
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 16
大数据=非结构化数据+结构化数据+半结构化数据
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
5
大数据对行业的影响
中信银行利用互联网地理数据，提升广 告精准度，实现与第三方的双赢
4
大数据时代带来的三个理念转变
1、样本=总体
在大数据时代，可以分析更多的 数据，甚至可以处理和某个特别 现象相关的所有数据，而不再依 赖于随机采样。 • 19 世纪以来，当面临大量数据 时，都依赖于采样分析。但是采 样分析是信息缺乏和信息流通受 限制的模拟数据时代的产物。 • 高性能数字技术的发展突破了这 种限制。与局限在小数据范围相 比，使用一切数据为我们带来了 更高的精确性，也让我们看到了 一些以前无法发现的细节——大 数据让我们更清楚地看到了样本 无法揭示的细节信息。
Big Data = Hadoop + Relational + NoSQL…
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal
17
大数据关键技术分析（1）：Hadoop 1.0
零售 Target采集分析用户零售信息 智能化推荐产品
金融服务 欺诈检测 360度客户视图
安全监控 多模式监控 安全检测
行政管理 Global Pulse建立了 每日价格指数 发现通货膨胀的苗头
能源 基于对气象大数据的分析 进行风力发展布局选址
基于大数据的应用正改变着我们的工作和生活
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 3
大数据带来了思维的创新
决策思维 • 更加重视各类事物的关 联关系，不仅仅局限于 因果关系 • 更加重视快速预测，立 即采取行动而不是等一 个精确的结论 管理思维 • 数据使流程更加透明， 有助于推动管理的扁平 化，提升管理效率 • 数据使视野更为全局， 有助于合理调配企业资 源，提升管理效益 商业思维 • 数据可以是一种产品， 满足客户的信息消费需 求，换取商业利润 • 数据可以是一种服务， 以数据能力汇聚商业资 源，形成竞争优势
6
大数据对公众的影响
Google公司利用用户的搜索关键字，进 行流感和登革热的传播预测。
淘宝利用电子商务平台上的搜索和购买 行为，进行产品分析和市场细分。
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 7
大数据技术及制造业应用
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
主要内容
1 2 3
大数据概述 大数据在制造业的应用
大数据架构实践
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
3、因果到相关
不再热衷于寻找因果关系， 而是转而寻找事物之间的相 关关系。 • 寻找因果关系是人类长久以 来的习惯。即使确定因果关 系很困难而且用途不大，人 类还是习惯性地寻找缘由。
• 在大数据时代，我们无须再紧盯 事物之间的因果关系，不再把分 析建立在早已设立的假设的基础 之上。而应该寻找事物之间的相 关关系，让大数据告诉我们“是 什么”而不是“为什么”。
2
大数据时代的背景
人类利用数字认识和改造世界由来已久（数学）。但随着互联网、信息系统及电子设备的发展，数据的产生在不断 加快，利用数据的方式也推陈出新。“大数据”实质上是人类利用数字认识和改造世界所达到的一个新的阶段。 各行各业每时每刻都在生成海量数据
社交媒体 Twitter 12TB/天 Facebook 2亿张图/天 交通 枢纽机场每天生成几十 TB乘客数据 健康与生命科学 流行病早期预警 ICU监控 制造业 波音737引擎每30分钟飞 行产生10TB数据 电信 通话详单记录CDRs 每秒7.5次呼叫 近3万亿行数据
大数据架构实践
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
15
大数据的技术挑战
海量数据
大量小文件
多个写入器 文件更新
多次读取
不适合场景：
1、低时间延迟数据访问的应用。例如几十毫秒范围， 原因：hdfs是为高数据吞吐量 应用优化的，这样就造成可能会以高时间延迟为代价
阿里小微金融基于电商平台数据，打造 信用体系，实现互联网金融创新
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
什么是大数据？
数据量大Volume •数据体量大：对计算和 存储的要求，从TB级跃 升到PB级
速度快 Velocity •生成速度快：实时性， 必须快速识别和快速响 应才能适应业务需求
多结构化 Variety •来源多：企业内部、互 联网、物联网等 •格式多：包括结构化数 据，音频、图片等非结 构化数据
10
制造业大数据：制造业存储了超过其他工业部门的数据
从2010年以来新产品数据达到接近2EB
条形码
二维码
RFID
无线 传感器
工业物联网
ERP/MES
wenku.baidu.comCAD/CAM/CAE/CAI
工业自动控制系统
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
HDFS+Map/Reduce适合“分而治之”的处理模式 HDFS 优点 大文件 低延迟 缺点
一次写入
MapReduce任务以全量、离线、简单为主 1. 并行预处理（如各种日志文件的清洗、去噪、合并等，后集成进入DW） 2. 简单的统计分析与数据挖掘（用户访问行为摘要生成、流量统计汇
总、简单客户分类与行为分析等）
大数据的热潮带来了创新的思维模式和革新的信息技术，通过解放生产者的思想，升级生产技术，改变生产 方式，进而释放了生产力。
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 8
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
13
大数据可以在制造业各个方面创造价值
产品创新
数据驱动决策 可视化决策 数据情报分析
产品故障诊断与 预测
故障实时诊断 大数据应用、建模 与仿真技术
工业物联网
2、容忍混杂性
研究数据如此之多，以至于我 们不再执着于追求精确度。 • 传统数据处理追求“精确度”， 这种思维方式适用于掌握“小数 据量”的情况，因为需要分析的 数据很少，所以我们必须尽可能 精准地量化我们的记录。 • 大数据纷繁多样，优劣掺杂，分 布广泛。拥有了大数据， 我们 不再需要对一个现象刨根究底， 只要掌握大体的发展方向即可, 适当忽略微观层面上的精确度会 让我们在宏观层面拥有更好的洞 察力。
大数据带来了技术的创新 信息 展现
GIS地图、轨迹图、热力 图、标签云图、辐射图
分析 算法
社会网络、自然语言处理、 时序分析、逻辑回归
处理 架构
Hadoop分布式计算平台、 SQL-on-Hadoop、 STREAM实时计算
数据 获取
网页埋点、网络爬虫、传 感器技术
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
9
主要内容
1 2 3
大数据概述 大数据在制造业的应用
大数据架构实践
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
12
工业互联网
• 美国在2012年2月份提出了先进制造伙伴计划， 之后由GE提出了工业互联网的概念，投资10 亿美元来提高效率。比如在提高效率方面，如 果航空燃料的效率提高1%，就意味着在15年 内节省300亿美元。GE在企业内部已经进行了 实践，GE的氯化镍工厂部署了1万多个传感器， 分布在生产线的不同环节，通过实时数据的采 集、传输和集中处理、反馈，通过结果调配不 同资源，及时跟踪设备信息，降低故障率，提 高效率。正是在这样的实践基础上提出了工业 互联网的概念。目前GE已经推出了24种工业 互联网解决方案，包括石油、天然气平台的监 控、机车、医疗等各方面。
“有许多关于大数据的共识需要被质疑，最开始你认为
Hadoop就是大数据，但是问题是Hadoop只是一种技术，而 大数据不只是技术。大数据关乎业务需求，实际上大数据应 该包括Hadoop和关系型[数据库]以及其他适用的技术。” – Ken Rudin, Head of Analytics, Facebook
设备诊断
工业供应链的分 析与优化
分析和预测商品需 求量
提高配送和仓储的 效能
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 14
用电量分析
能耗分析 质量事故分析
主要内容
1 2 3
大数据概述 大数据在制造业的应用
11
工业4.0
• 多品种小批量智能产品的高精度卓越品质生产是 未来像德国一样成功经济的发展趋势 • 80%制造创新基于信息通信技术，通过信息通信 技术实现了智慧工厂、绿色和城市生产 • 第四次工业革命将基于信息物理系统、物联网和 互联服务，它将产生大量的大数据流，这些大数 据能够被搜集和分析用于指导高效高品质生产 • 基于信息物理系统的工业辅助系统能够支持、帮 助和培训智慧工厂的下一代工人 • 多通道增强现实系统能够允许个性化的工作流程 和快速学习新产品工艺