2016年互联网大数据应用及其展望ppt课件

“处理流程与处理技术的要求”
采集处理 存储组织管 理
分析挖掘
快!
高效！
强！
量大！
及时！
安全！
可视化！
大数据涉及的关键技术
大数据核心技术主要涉及三大块：大数据采集处理、大数据分析、大数据存储、组织、管理
需求
海量数据分布式处理 大数据采集处理
非结构化数据处理 实时数据处理
关键技术
Hadoop 生态系统
Zookeepe r 分布式协 作服务
Hbase 实时分 布式数 据库
MapReduce 分布式计算框架
HDFS 分布式文件系统
大数据的计算模式
批处理 准确
流处理 实时
代表：Hadoop、Spark
对于先存储后计算,实时性要求不高,同时, 数据的准确性、全面性更为重要的应用场 景,批量计算模式更合适
文本处理技术；自然语言理解； 多媒 体处理技术… Streaming Data 交互式可视化探索分析技术
技术描述
针对大量数据进行分布式处理的系统 框架 文本内容分词与分析；图像、音 视频分析 流计算引擎 通过交互式可视化界面辅助用户进行 分析
大数据分析 可视化交互界面
智能数据分析
数据隐私保护 高效存储和管理大规模数据
数据统计分析可视化
舆情监测
洞察客户，精准营销
电子商务
社区
移动应用
社交
商品及内容数据抓取
商品及内容画像服务 用户画像服务
用户行为采集
个性化推荐
客户洞察
精准营销
……
主要应用行业
政府
金融
电信
医疗
智慧城市中大数据的应用
电信大数据
网络洞察
核心：网络数据
用户洞察
核心：用户数据
运营洞察
核心：内部运营数据
该解决方案主要面向医疗行业客户，能够“督促”医护人员洗手。
目录
01
02
大数据概述 大数据相关技术产品 大数据应用 大数据展望
03
04
主要应用
趋势预测
精准营销 精准营销
可视化分析
舆情监控
洞察先机，掌控未来
神奇大数据！微软命中多项奥斯卡大奖
可视化分析
宏观态势可视化
宏观态势可视化
设备仿真运行可视化
大数据解析
目录
01
02
大数据概述 大数据相关技术产品 大数据应用 大数据展望
03
04
什么是大数据
大数据(big data)或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主
流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极 目的的资讯。
大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。
网络规划、优化
数据质量和 数据管理
风险预警
智能交通
流处理
语义引擎
欺诈识别
隐私权
基本要求
复杂性
即时性
规模性
异构性
大数据挖掘与分析的五个基本面
可视化分析 可视化分析
预测性分析
语义引擎 数据挖掘算法 数据质量和数据管理
目录
01
02
大数据基本介绍 大数据相关技术及产品 大数据应用 大数据展望
03
04
大数据处理流程技术需求
大规模机器学习技术 数据隐私防范保护措施与数据安全 技术 数据存储备份技术、数据放置和调度技 术、数据溯源
计算机模拟人类学习行为，包括特征 提取、图形生成等
保护隐私数据与信息个体的对应关系 等安全技术 存储、放置、调度大规模的数据
存储、 组织、 管理
分布式计算
古代，人们用牛来拉重物，当一头小牛拉不动一根原木时，他们想的并不培育更大更壮的牛。
实时流数据
1500个结点，每日4000个JOB，处理1.5PB，凌晨2点结束，接过20T
MyFOX
查 询 层
Prom 数据中间层/glider
产 品
数据魔方
淘宝指数
开放API
IBM大数据平台和框架
大数据与云计算
云计算是“大脑”
大数据是“灵魂”
大数据与云计算物联网直接的关系（数据层面）
物联网
大数据
…
电子商务
Facebook
社交网络
淘宝、京东
…
移动互联
…
微博、 Apps
大数据处理流程和方法
采集 预处理 处理与 管理
大规模辅助 处理
分析挖掘
可视化 分析
预测性 分析
应用
感知采集 爬虫抓取 调研数据 外部数据接入
标签清洗 数据融合 数据打标 数据关联
决策辅助 商业智能
分布式存储与 计算
数据挖掘算 法
代表：strom、S4
对于无需先存储 , 可以直接进行数据计算 , 实时性要求很严格 , 但数据的精确度要求 稍微宽松的应用场景 , 流式计算具有明显 优势
平台系统：阿里巴巴
数 据 源 计 算 层 存 储 层
主站备库 RAC
DataX/DbSync/TimeTunnel
主站日记
Hadoop集群/云梯
海量数据处 理/分析/挖 掘 通过各种传感设备进行
海量数据 高效存储
云计算
海量信息的采集
内部海量信息的收集记 录
互联网/移动互联网
结合应用案例
ቤተ መጻሕፍቲ ባይዱ
近日，据报道，阿拉巴马州亨兹维尔市的一家传感器网络公司开发出一个基于传
感器的物联网+大数据+云计算平台——Synapse Wireless（神经元无线网络），
预测
分布式 计算
洞察
海量数据
效率
非结构数据 并行计算
机器学习
R语言
不相关
全样本
大数据思维
所谓大数据思维，是指一种意识，认为公开的数据一旦处理得当就能为千百万人急需
解决的问题提供答案。 ——《大数据时代》
大数据思维
全体数 据
纷繁复 杂
机器学 习
相关关 系
相关分析
聚类分析
神经网络
遗传算法
不是随机样本，而是全体数据
到底什么是大数据？
大数据就是：海量数据本身+处理方法
身边的大数据（军事、政治、娱乐、体育）
人物（理论、技术、应用、政策）
大数据影响商业变革的三个要素
数据
海量、多样性、价值
影响
技术
海量存储技术、分布式计算技术……
创新思维
非相关数据的相关性分析、全样本数据…….
大数据标签
关键词：大不同
Hadoop
同样，我们也不需要动辄使用超级计算机，而应试着结合使用更多计算机系统。 格蕾丝·莫里·霍珀 （1906-1992）
Hadoop！
Ambari 安装、部署、配置和管理工具
Flu me 日 志 收 集 工 具 Hive 数据仓库 Pig 数据流处理 Mahuot 数据流处理
Sqoop 数据库 ETL工 具
不是精确性，而是混杂性 不是因果关系，而是相关关系
———《大数据时代》
大数据的四大特性
1、volume 2、variely
数据量特别大
3、velocity
4V
数据多样化
4、value
数据处理速度快
数据处理价值密度低
大数据的构成
大数据 = 海量数据 + 复杂类型的数据
海量交易数据 （交易） 海量交互数据 （人的交互行为） 海量数据处理（物 联网）