从非结构化数据到大数据(Big Data)整体解决方案
大数据平台整体解决方案
大数据平台可以分为数据仓库、数据湖、数据集市等不同类型，每种类型都有其特定的使用场景和优势。
分类
大数据平台的定义
处理大规模数据
大数据平台能够处理大规模的数据，通常可以达到PB级别或更高，同时保证数据处理的高效性和实时性。
大数据平台的特点
多种数据处理功能
大数据平台可以提供多种数据处理功能，包括数据的抽取、转换、加载、清洗、聚合等，能够实现对数据的全面处理和分析。
大数据平台可以帮助企业更好地了解客户需求，优化业务流程，提高决策效率。
解决方案的必要性
技术瓶颈
传统的大数据处理方式已经无法满足海量数据的需求，需要更加高效、稳定、安全的大数据平台解决方案。
大数据平台概述
02
大数据平台是一种用于存储、处理、分析大规模数据的系统或框架，它能够提供数据处理、数据存储、数据查询、数据分析、数据可视化等核心功能。
xx年xx月xx日
大数据平台整体解决方案
CATALOGUE
目录
引言大数据平台概述大数据平台的整体架构大数据平台的关键技术大数据平台的实施与运维案例分析与应用场景总结与展望
引言
01
1
背景介绍
2
3
随着信息技术的不断发展，数据量呈现爆炸性增长的趋势。
信息技术发展
大数据平台建设能够实现对数据的深度挖掘，发现数据背后的价值，为企业决策提供科学依据。
详细描述
基于大数据平台实现医疗资源的优化配置和高效利用，为患者提供个性化的诊疗服务。具体而言，通过大数据技术分析病例、药品和医疗设备等数据，为医生提供辅助诊断和治疗建议，提高医疗质量和效率。
案例二：医疗行业的大数据平台应用
智能推荐与精准营销
总结词
大数据解决方案
大数据平台技术解决方案目录第1章技术解决 (4)1.1大数据采集 (4)1.1.1概述 (4)1.1.2数据来源 (4)1.1.3数据现状 (5)1.1.4技术支撑 (6)1.1.5价值体现 (10)1.1.6解决工具 (10)1.2大数据存储 (11)1.2.1概述 (11)1.2.2技术支持--Hadoop概论 (11)1.2.3价值体现 (19)1.3大数据治理 (20)1.3.1概述 (20)1.3.2数据治理现状 (20)1.3.3数据治理概念 (21)1.3.4数据治理主要内容 (22)1.3.5技术实现 (28)1.3.6价值体现 (32)1.3.7解决工具 (34)1.4大数据分析 (34)1.4.1概述 (34)1.4.2大数据分析方法 (35)1.4.3数据分析的类型 (40)1.4.4数据分析步骤 (40)1.4.5价值体现 (41)1.4.6大数据分析应用 (42)1.4.7解决工具 (44)1.5大数据可视化 (44)1.5.1概述 (44)1.5.2大数据可视分析的概念 (45)1.5.3大数据可视化分析的方法 (45)1.5.4价值体现 (48)第1章技术解决1.1大数据采集1.1.1概述随着大数据时代的到来，数据正呈现出爆炸式的增长趋势。
随着IT技术的不断发展，无论是传统的业务系统数据，还是新型的非结构化数据，我们能够利用并转化为有用信息的数据变得越来越多。
表格1-1 传统数据采集与大数据数据采集对比1.1.2数据来源按照数据来源划分，大数据的三大主要来源分为商业数据、互联网数据与物联网数据。
1.商业数据商业数据是指来自企业ERP系统，各种POS终端以及网上支付系统等业务系统的数据，商业数据是现在最主要的数据来源渠道。
2.互联网数据互联网数据是指网络空间交互过程中产生的大量数据，包括通信记录及QQ、微信、微博等社交媒体产生的数据，其数据复杂且难以被利用。
3.物联网数据物联网是指在计算机互联网的基础上，利用射频识别、传感器、红外感应器、无线数据通信等技术，构造一个覆盖世界上万物互联的The Internet of Things。
大数据平台数据管控整体解决方案
大数据平台数据管控整体解决方案目录一、内容描述 (2)二、项目背景与目标 (3)三、解决方案架构概览 (4)四、详细技术方案 (5)4.1 数据采集与整合方案 (7)4.2 数据存储与管理方案 (8)4.3 数据处理与分析方案 (9)4.4 数据安全与隐私保护方案 (10)五、平台功能设计 (12)5.1 数据访问控制模块 (13)5.2 数据处理与挖掘模块 (15)5.3 数据监控与预警模块 (16)5.4 数据质量管理与优化模块 (17)六、实施步骤与时间表安排 (18)6.1 实施准备阶段任务安排 (20)6.2 平台搭建阶段任务安排 (21)6.3 系统测试与优化阶段任务安排 (23)6.4 正式运行与维护阶段安排 (23)七、成本预算与效益分析 (25)一、内容描述大数据平台数据管控整体解决方案旨在为企业在海量数据处理过程中提供全面、高效、安全的数据管理方案。
随着企业数据规模的不断扩大和数据类型的日益复杂，数据管控的难度也在逐渐增大。
本方案旨在通过一系列策略、技术和方法的整合，为企业提供一套完整的数据管控解决方案，以确保数据的准确性、安全性、可靠性和高效性。
数据治理：建立数据治理框架，明确数据所有权和管理职责，制定数据标准和规范，确保数据的准确性和一致性。
建立数据质量监控体系，定期对数据进行质量检查与评估，确保数据的可靠性。
数据集成与整合：通过数据集成技术，实现各类数据的汇聚和整合，打破数据孤岛，提高数据的共享和利用效率。
对数据进行清洗、转换和加载（ETL），确保数据的规范性和可用性。
数据安全与隐私保护：建立完善的数据安全体系，包括数据加密、访问控制、权限管理、审计追踪等，确保数据在采集、存储、处理、传输和共享过程中的安全性和保密性。
制定数据隐私保护政策，遵守相关法律法规，保护用户隐私。
数据分析与挖掘：利用大数据分析技术，对海量数据进行深度分析和挖掘，发现数据中的价值，为企业提供决策支持。
大数据时代的数据存储与管理
大数据时代的数据存储与管理随着信息技术的不断发展，数据产生的速度越来越快，数据量也越来越大。
在这个大数据时代，数据存储和管理成为了一项十分重要的工作。
本文将围绕大数据时代的数据存储和管理展开论述。
一、大数据特点大数据（Big Data）是指由各种各样的设备、传感器、网络、应用程序以及社交媒体等产生的大量数据。
其特点主要包括四个方面：1.大规模性：大数据产生的数量是以前数据的几十倍甚至几百倍以上。
2.多样性：大数据来源的载体是多元化的，从结构化数据到非结构化数据，包括社交媒体、电子邮件、文档、图片和视频等。
3.高速性：大数据产生的速度极快，在极短的时间内就能收集到大量的数据。
4.价值密度低：大数据中有大量重复的数据，需要经过筛选和过滤，才能发挥价值。
二、数据存储技术为了应对大规模的数据，数据存储技术不断发展。
下面分别从传统的存储技术和新兴的存储技术两个角度进行讲解。
1.传统的存储技术传统的存储技术主要包括硬盘、磁盘阵列、光盘、磁带等存储设备。
硬盘是应用最广泛的存储设备之一，其容量从几十兆到几十TB不等。
磁盘阵列是多个硬盘组成的存储系统，分为JBOD、RAID0、RAID1、RAID5、RAID6等不同的等级。
光盘作为一种只读存储介质，容量较小，通常用于备份和数据传输。
磁带的容量相比其他存储设备要大得多，但数据的访问速度相对较慢，通常用于归档数据。
2.新兴的存储技术新兴的存储技术包括分布式存储、云存储和闪存存储等。
分布式存储是一种基于网络的存储模式，通过多个存储设备协同工作，提高存储效率和可靠性。
云存储是一种通过网络提供存储服务，可以灵活地扩展存储空间和带宽。
闪存存储主要包括SSD和闪存阵列，其读写速度比传统硬盘快得多，因此在处理大数据方面有着很大的优势。
三、数据管理技术数据管理技术是大数据应用的核心技术之一，它主要包括数据预处理、数据清洗、数据集成和数据挖掘等。
1.数据预处理数据预处理是指在进行数据分析之前对数据进行处理，主要目的是消除数据中的异常、重复数据和误差数据。
大数据概述——精选推荐
⼤数据概述什么是⼤数据？⼤数据（big data）是指⽆法在⼀定时间范围内⽤常规软件⼯具进⾏捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策⼒、洞察发现⼒和流程优化能⼒的海量、⾼增长率和多样化的信息资产。
------百度百科⼀，⼤数据时代：1）第⼀次信息化浪潮使计算机开始普及，第⼆次信息化浪潮⼈类全⾯进⼊互联⽹时代，第三次信息化浪潮解决了信息爆炸问题，⼤数据时代来。
2）存储设备容量不断增加，cpu处理能⼒⼤幅度提升，⽹络带宽不断增加为⼤数据时代提供技术⽀持。
3）数据产⽣⽅式从1.运营式阶段>2.⽤户原创内容阶段>3.感知式阶段的变⾰促成了⼤数据时代的到来。
4）⼤数据发展阶段： 1.萌芽阶段：20世纪90年代⾄21世纪初，随着数据挖掘理论和数据库技术的逐步成熟，⼀批商业智能⼯具和知识管理技术开始被应⽤，如数据仓库、专家系统、知识管理系统等 2.成熟阶段：21世纪前10年，web2.0应⽤发展，⾮结构化数据⼤量产⽣，传统处理⽅法难以应对，带动了⼤数据技术的快速突破，⼤数据解决⽅案逐渐⾛向成熟，形成了并⾏计算与分布式系统两⼤核⼼技术，⾕歌的GFS和MapReduce等⼤数据技术受到追捧，Hadoop平台开始⼤⾏其道。
3.⼤规模应⽤期：2010年以后，⼤数据应⽤渗透各⾏业，数据驱动决策，信息社会智能化程度⼤幅度提⾼⼆，⼤数据概念：“4个V”1）数据量⼤(volume)2）数据类型繁多（variety）3）处理速度快（velocity）4）价值密度低（value）三，⼤数据影响：1）⼤数据对科学研究的影响：1.实验科学>2.理论科学>3.计算科学>4.数据密集型科学2）⼤数据对思维⽅式的影响： 1.全样⽽⾮抽样 2.效率⽽⾮精确 3.相关⽽⾮因果3）⼤数据对社会发展的影响： 1.⼤数据决策成为⼀种新的决策⽅式 2.⼤数据应⽤促进信息技术与各⾏业的深度融合 3.⼤数据开发推动新技术和新应⽤的不断涌现四，⼤数据的应⽤： ⼤数据⽆处不在，包括⾦融、汽车、餐饮、电信、能源、体育和娱乐等在内的社会各⾏各业都已经融⼊了⼤数据的印记五，⼤数据关键技术：技术层⾯功能数据采集与预处理利⽤ETL⼯具将分布的、异构数据源中的数据，如关系数据，平⾯数据⽂件等，抽取到临时中间层后进⾏清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；也可以利⽤⽇志采集⼯具（如Flume、kafka等）把实时采集的数据作为流计算系统的输⼊，进⾏实时处理分析 数据存储和管理利⽤分布式⽂件系统、数据仓库、关系数据库、nosql数据库、云数据库等，实现对结构化、半结构化和⾮结构化和⾮结构化海量数据的存储和管理数据处理与分利⽤分布式并⾏编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进⾏可视化呈现，帮助⼈们更好地理解数据、分析数据析数据安全和隐私保护在从⼤数据中挖掘潜在的巨⼤商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个⼈隐私和数据安全六，⼤数据计算模式：⼤数据计算模式解决问题代表产品批处理计算针对⼤规模数据的批量处理MapReduce、Spark等流计算针对流数据的实时计算Storm、S4、Flume、Streams、Puma、DStream、SuperMario、银河流数据处理平台等图计算针对⼤规模图结构数据的处理Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查询分析计算⼤规模数据的存储管理和查询分析Dremel、Hive、Cassandra、Impala等七，⼤数据产业： ⼤数据产业是指⼀切与⽀撑⼤数据组织管理和价值发现相关的企业经济活动的集合。
大数据平台整体解决方案
汇报人： 2024-01-08
目录
• 大数据平台概述 • 大数据平台架构 • 大数据平台关键技术 • 大数据平台实施方案 • 大数据平台应用案例 • 大数据平台未来展望
01
大数据平台概述
大数据的定义与特性
数据量大
数据量通常达到TB级别甚至 PB级别。
数据多样性
包括结构化数据、非结构化数 据、流数据等多种类型。
03
大数据平台的出现为解决大规模数据处理和分析问 题提供了解决方案。
大数据平台的应用场景
01
商业智能
通过大数据分析，提供商业洞察和 决策支持。
风险控制
通过大数据分析，进行风险评估和 预警。
03
02
智能推荐
基于用户行为和喜好，进行个性化 推荐。
社交媒体分析
分析社交媒体上的用户行为和舆论 趋势。
04
02
大数据平台架构
数据采集层
数据采集
支持多种数据源接入，包括数据库、 文件、API等，实现数据的统一采集 。
数据清洗
对采集到的数据进行清洗和预处理， 去除无效和错误数据，保证数据质量 。
数据存储层
数据存储
采用分布式存储系统，实现数据的可靠存储和高效访问。
数据压缩
对存储的数据进行压缩，节省存储空间，提高数据存储效率。
总结词
优化库存管理、提升用户体验
详细描述
电商企业利用大数据分析用户购买行为和喜 好，实现精准选品和库存管理，降低库存积 压风险；同时，通过数据分析优化物流配送 ，提升用户收货体验。
物流行业大数据应用案例
总结词
提高运输效率、降低运营成本
详细描述
物流企业利用大数据分析运输路线和货物流转情况， 优化运输计划，提高运输效率；同时，通过数据分析 降低人力和物力成本，提升企业盈利能力。
智能制造关键使能技术发展及应用
智能制造关键使能技术发展及应用导语智能制造关键使能技术一般涵盖工业物联网、云计算、大数据、计算机仿真、增强现实、增材制造、水平和垂直系统集成、自主机器人和网络安全等九大技术。
文章对上述关键使能技术进行梳理与综述，并分析其在智能制造领域应用的最新进展。
自2011年以来，世界各国制造业发展战略纷纷出台，旨在正在利用各项使能技术，创造新的商业模式和新的制造方式，推进工业产业智能化转型升级[1]。
具体在生产制造领域的战略实践而言，基于异构数据和知识集成的信息物理系统(CPS)的生产方式不断进步，可互操作、集成、适应、优化、面向服务的智能化制造水平不断提升，与算法、大数据、物联网、工业自动化、网络安全、云计算或智能机器人等高技术的相关性日益紧密。
当前，企业智能制造发展路径日益明晰，相关使能技术已取得飞速进步，因此有必要明确智能制造发展模型，并厘清相关关键使能技术的发展及应用现状和趋势。
1 企业智能制造发展路径企业向智能制造范式转型，可以从生命周期及价值链、制造层次结构和物理系统功能等三维度，进行部署和实施[2]。
其一，企业生命周期及价值链维度。
企业产品生命周期划分为设计开发和样机研发阶段、实际实现阶段，两阶段各自都有资产的使用、维护、优化，并且相互间有反馈形成闭环。
价值链的数字化进程，就是把采购、订货计划、装配、物流、维护、供货商和客户等各个方面都数字化链接在一起，会产生巨大的改善潜力。
其二，企业的制造层次结构维度。
按照企业信息集成国际标准的功能层级划分，最底层为“产品”层，最顶层为“互联世界”层，由此形成产品、现场设备、车间/工段、工厂、企业、互联世界五项层级。
其中“互联世界”即是使用IoT和IoS连接企业、客户和供应商，形成跨企业协同制造关系，实现智能制造企业环境的最后阶段。
其三，企业物理系统功能维度。
按照IT和通信技术常用方法，企业数字化所有方面自下而上划分为6个层级:（1）资产。
表达物理部件和非物理部件等实体，物理部件如线性轴、机器人、传送带、可编程序控制器、金属部件、文档、档案等。
BI与大数据区别
大数据与BI的区别BI(Business Intelligence)，中文翻译是商务智能，是一套完整的解决方案，用来将组织中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助组织做出明智的业务经营决策。
大数据(Big Data)是从收集的海量数据中，通过算法将这些来自不同渠道、格式的数据进行直接分析，从中寻找到数据之间的相关性。
简单而言，大数据更偏重于发现，以及猜测并印证的循环逼近过程。
不管定义如何不同，大数据与传统BI是社会发展到不同阶段的产物，我们从几下几个纬度来可以迅速的看出两者的区别：第一、从数据来源角度大数据应用的数据来源，不仅仅包括非结构化的数据，还有各种系统数据，数据库数据。
其中非结构化数据主要是集中在互联网以及一些社交网站上的数据以及一些机器设备的数据，这些都构成了大数据应用的数据来源。
对于大数据的分析工具来说，现阶段也是对于非结构化的数据分析的比较多。
BI系统则是在数据集成方面的技术越来越成熟，对于数据的提取，一个各种数据挖掘的要求来说，数据集成平台会帮助企业实现数据的流通和交互使用，在企业内部实施BI应用就是为了可以更好的对数据进行分享和使用。
第二、从思维方式角度大数据对于传统BI，既有继承，也有发展，从”道”的角度讲，BI与大数据区别在于前者更倾向于决策，对事实描述更多是基于群体共性，帮助决策者掌握宏观统计趋势，适合经营运营指标支撑类问题，大数据则内涵更广，倾向于刻画个体，更多的在于个性化的决策。
第三、从发展方向角度BI的发展要从传统的商务智能模式开始转换，对于企业来说，BI不仅仅是一个IT项目，更是一种管理和思维的方式，从技术的部署到业务的流程规划，BI迎来新的发展。
对于大数据来说，现阶段更多的大数据关注在非结构化数据，不同的数据分析工具的出现和行内的应用范围不断的加大，对于大数据应用来说，怎么与应用的行业进行一个深层次的结合才是最重要的。
第四、从工具的角度传统BI使用的是ETL、数据仓库、OLAP、可视化报表技术，属于应用和展示层技术，目前都处于淘汰的边缘，因为它解决不了海量数据(包括结构化与非结构化)的处理问题。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据对部分经济领域的影响
-数据来源：麦肯锡经济研究院
相关经济领域
主要影响
美国医疗服务业 全球个人位置数据 美国零售业 制造业 欧洲公共部门管理
每年价值3000亿美元 大约0.7%的年生产率增长
服务提供商收入1000亿美元或以上 最终用户价值达7000亿美元
可能的净利润增长水平为60%或以上 0.5-1.0%的年生产率增长
应用服务器
日志和网络行为 收集服务器
NoSQL DB 网页，图像 视频存取
DB Loader
Oracle RAC 汇总和发布结果信息 供商业分析
Hadoop 集群 批量分析与处理
甲骨文大数据战略—聚焦企业级分析
Oracle Big Data Appliance
Oracle Exadata
Oracle Exalytics
VARIETY
VELOCITY
1011001010010010 0110101010101110 0101010100100101
VALUE
3亿用户，每天 中型城市每月数十 上亿条微博 亿智能电表数据
2015年全球移动终端产 生的数据量6300PB
• 多结构化数据 Variety • 文本/图片/视频/文档等
数据多样性
非结构化 模式灵活
HDFS
Oracle NoSQL DB
结构化模式化
信息密度
Oracle (OLTP)
获取
Hadoop
R
Spatial Graph
Oracle (DW) Oracle MR
Oracle Advanced Analytics (ODM & ORE)
OBI EE
组织
分析
NoSQL
非/半结构化, 条形码, GPS, 图片, 医疗记录……
微博, B2B,B2C, 工业实时 监控, 全球定位……
急速的数据生成 :
RDBMS ?
什么是大数据？
具有4V特性的数据称为大数据
• 巨大的数据量 Volume
• 集中储存/集中计算已经无法处理巨大的数据量
VOLUME
SOCIAL
BLOG
SMART METER
NoSQL是什么？ Not Only SQL
基于廉价PC服务器
强调高吞吐、 高并发、高可 用、高分区容
错性
分布式海量数 据存取和处理
解决方案
产品众多
100+，没有 标准
NoSQL
数据格式灵活 多变，模型简 单，关系偏弱
大数据，大架构
决策
获取
分析
组织
挑战：
利用 协同效应
Oracle大数据解决方案
灵活、特定 开发为中心
SQL
安全、可靠 管理为中心
2011年Oracle Open World宣布推出
Oracle 大数据机服务器 (Big Data Appliance)
• 软硬一体优化集成的大数据分析服务器 • 集成最优的开源大数据处理解决方案 • 全面的大数据处理分析软硬平台
Oracle 面向大数据的集成解决方案体系
确定用户
低延迟
查询用户
profile
位置查询
NoSQL DB
实时: 针对用户的最佳投放
专家系统
HDFS
日志, 推特 位置
NoSQL DB
预测购买 行为
打折信息 投放
大数据集缩减
BI 和分析 POS
批处理
用户信息
案例: 智慧商场数据流图
NoSQL 查询
信息收集
确定用户
投放打折
决策
Big Data Appliance
产品年价值2500亿欧元 大约0.5%的年生产率增长
传统DW难以处理大数据
• 传统DW系统不适用于大数据的分析
• 数据量过于庞大 • 绝大部分大数据是垃圾 • 大数据的多样化格式
• 需要革新性的技术手段
• 海量数据“分而治之”------批量分布式并行计算Hadoop • 海量数据“灵活多变”------实时分布式高吞吐高并发数据存取处理NoSQL • 海量数据“跨越鸿沟”------大数据超高速装载进数据库
你数1号书架，我数2号 书架。我们人越多，数 书就更快。这就是map。
……
一号书架 二号书架 三号书架
Map N号书架
最后我们到一起，把所 有人的统计数加在一起。 这就是Reduce。
+ Reduce ……
对海量非结构数据的这样一种分布式并行处理架构，就是Hadoop的实质， 与我们熟悉的数据库技术不同
20-25
F
Cinema
20-25
M
Sportware
25-30
F
Beauty Salon
C实2E5时P-3探0投测送目用标户M用感户兴进趣C入的off辐促ee射销Sh圈o广p就告
30-35
F
Clothing Store
给音乐爱好者投放演唱会信息
11
基于用户360度全面画像的精细化经营
智慧商场技术架构
BI
还可以做的：
针对小章进行
精准营销，推
送相关奢侈品、 旅游的,商家联 - 给予小章信用卡金卡 盟전信략구息분 - 额度上升到每月10万 - 提供美金自动购汇服务
进
实时BI分析
行
- 结合big data和
汇
OLTP的信息进行
总 数 据
汇总数据的OLAP 实时分析
的
实
时
分 析
行业大数据应用
• 美国百货商店购物-监管摄像头监控客户的一举一动，几分钟以后，走过 的过道、挑选和放下的产品、购买的东西以及捕捉表情瞬间的视频将会被 发送至印度班加罗尔的一家数据分析公司Mu Sigma • 沃尔玛数据中心的存储能力超过4PB； Sabre分析航线及销售渠道、客 户行为模式等信息 • eBay分析平台每天处理的数据量高达100PB • 脸谱（Fa•电商大数据应用，电信、金融、能源、零售等行业的广泛应用；淘宝-一 淘网比较，每天活跃数据50TB
• 增长速度很快 Velocity • 海量数据的及时有效分析 • 用户基数庞大/设备数量众多/实时海量/数据指数级别增长
• 价值密度低Value • 单条数据并无太多价值，但庞大的数据量蕴含巨大财富
2011-大数据年-数据厂商拥抱大数据
• Oracle – Cloudera • EMC – MapR • Microsoft – Motonworks • IBM - …Cloudera
InfiniBand
InfiniBand
捕获
组织
分析
决策
驯化大数据为业务服务
Big Data Appliance一体机 ---- Hadoop + NoSQL+硬件
• 硬件部分
• 18 Sun X4270 M2 服务器 • 每台2 CPUs * 6核 • 每台48 GB内存(可扩展) • 12 * 3TB 磁盘空间
用户移动轨迹和精准用户群集分析应用
选取目标客户群体
CDR User Profile
大数据分析 企业选址，广告推送建议
10
实时精准营销 ->只给最近的你
根据用户上网日志，零售消费记录， 给用户打上消费喜好标签
Age Range Gender
Preference
15-20
F
Desert
15-20
M
Video Game
NoSQL : 分布式，小数据集，灵活，实时，快速读写 +120
Hadoop是什么？
基于廉价PC服务器
一个分布式 文件系统
一个开源 项目
一个分布式 计算平台
一个 Map/Reduce
框架实现
Hadoop到底是什么？--- 核心是Map/Reduce
例： 我们要数图书馆中所有书名中含“Oracle”的数量，怎么数效率最高？
Edition ***
• Oracle Big Data Connector ***
• ODI Adapter for Hadoop • Oracle Loader for Hadoop • Oracle Direct Connector for HDFS • Oracle R Conenctor for Hadoop
以某银行审批新的信用卡申请为例
小章作为某银行的 老客户，需要申请 一张新的信用卡
DW
OLTP
在
银行内部员工通过
中
CRM等系统查询一
进
下内容：
行
- 过去的借记卡交易
信息
- 过去的信用卡交易
操
信息
作
得到关于小章的相关 信息：
- 过去的消费行为
- 过去的还款能力
- 性别、职业等个人特 征
展社 现交
信 息 以 形 式
从非结构化数据到大数据(Big Data)
李珈 技术总监
您所面对的是……
非结构化数据75%~85%，2020 – 35.2ZB
丰富的数据来源:
Web2.0, 电子零售, 传感 器读数, 智能终端……
Internet, 企业内网, 传感 器网络, GB/TB/PB级……
海量的数据总数:
多样的数据结构:
为什么选择Oracle大数据体系？
• 全面的大数据解决方案+众多的客户实践
– BDA + Exadata + Exalytics+云应用
• 软硬一体预集成
– 软硬一体，工程化调优 – 全集成系统，完整机柜，插电即用 – Infiniband
• 全套商业支持
– 开源软件商业支持 Hadoop – 操作系统商业支持 Linux – 硬件商业支持 Sun x86