第3章大数据分析概论

NLPIR汉语分词系统（上机实验）
http://ictclas.nlpir.org/
本章小结
大数据分析为处理结构化与非结构化的数据提供了新的 途径。通过本章内容的学习，应该学会大数据分析的方法， 掌握大数据分析的一般流程与主要技术为大数据的分析应
用奠定基础。
3.2.1 深度学习
深度学习是一种能够模拟出人脑的神经结构的机器学 习方式，从而能够让计算机具有人一样的智慧。
利用层次化的架构学习出对象在不同层次上的表达， 这种层次化的表达可以帮助解决更加复杂抽象的问题。
德国小镇一瞥
梵高的星夜风格的小镇
3.2 大数据分析的主要技术
3.2.2 知识计算
知识计算是从大数据中首先获得有价值的知识，并对 其进行进一步深入的计算和分析的过程。 也就是要对数据进行高端的分析，需要从大数据中先 抽取出有价值的知识，并把它构建成可支持查询、分析与 计算的知识库。
常用的数据挖掘方法有：分类、预测、关联规则、聚类、决策树、描述和可视 化、复杂数据类型挖掘（Text、Web 、图形图像、视频、音频）等。 语义引擎通过对网络中的资源对象进行语义上的标注，以及对用户的查询表达 进行语义处理，使得自然语言具备语义上的逻辑关系，能够在网络环境下进行 广泛有效的语义推理，从而更加准确、全面的实现用户的检索。
大数据技术与应用
计算机中心
第3章 大数据分析概论
导学
一、学习目标
1 、理解大数据分析；掌握大数 据分析的基本方法及流程。 二、重点、难点 1、大数据的基本分析方法 预测性分析、可视化分析、大数 据挖掘算法、语义引擎、数据质 量和数据管理 2、大数据的分析流程 提出问题、大数据理解、大数据 的采集、大数据的预处理、大数 据分析、结果的解析 3、大数据分析的主要技术
3.3 大数据分析系统简介
3.3.2 流式数据及处理系统
流式数据是一个无穷的数据序列，序列中的每一个 元素来源不同，格式复杂，序列往往包含时序特性。
流式数据处理有Twitter的Storm，Facebook的Scribe， Linkedin的Samza 等。
3.3 大数据分析系统简介
3.3.3 交互式数据及处理系统
3.4 大数据分析的应用
用户行为数据分析 用户消费数据分析
互联网领域
用户地理位置数据分析 互联网金融数据分析
用户社交等数据分析
3.4 大数据分析的应用
公共卫生 循证医学
基因组分析
医疗领域 设备远程监控 病人资料分析 疾病预测
临床操作
3.4 大数据分析的应用
例：某互联网公司用户行为数据进行实时分析
提出分析方案 简单测试 实际数据导入
数据源及数据特 征分析
硬件设计方案
ETL过程
百度文库
系统配置
互联网用户行为 分析
技术上分析 测试
经验总结
ETL：是英文 Extract-Transform-Load 的缩写，用来 描述将数据从来源端经过抽取（extract）、转换 （transform）、加载（load）至目的端的过程。
心房颤动知识图谱
心肌炎知识图谱
3.3 大数据分析系统简介
3.3.1 批量数据及处理系统
批量数据通常是数据体量巨大，如数据从TB级别跃升 到PB级别，且是以静态的形式存储。
Hadoop是典型的大数据批量处理架构，由HDFS负责 静态数据的存储，通过MapReduce将计算逻辑、机器 学习和数据挖掘算法实现。
交互式数据是操作人员与计算机以人机对话的方式产生 的数据。 交互式数据处理系统有Berkeley的Spark和Google的 Dremel等。
3.3 大数据分析系统简介
3.3.4 图数据及处理系统
图数据是通过图形表达出来的信息含义。
图数据处理的典型的系统，如Google的Pregel系统、 Neo4j系统和微软的Trinity系统。
语义引擎
数据质量和数据管理
为了满足信息利用的需要，对信息系统的各个信息采集点进行规范，包括建立 模式化的操作规程、原始信息的校验、错误信息的反馈、矫正等一系列的过程。
3.1 大数据分析简介
3.1.3 大数据处理流程
提出问题 分析结果的 解析
数据理解 数据采集 数据预 处理
数据 数据分析
3.2 大数据分析的主要技术
提 出 问 题
数 据 采 集
数 据 分 析
可 视 化
效 果 评 估
大数据分析流程
3.1 大数据分析简介
3.1.2 大数据分析的基本方法
预测性分析 可视化分析 大数据挖掘算法
从大数据中挖掘出有价值的知识和规则，通过科学建模的手段呈现出结果，然后 可以将新的数据带入模型，从而预测未来的情况。
能够直观的呈现大数据特点，同时能够非常容易被用户所接受。
2. 熟悉大数据分析的技术和作
用。
3.掌握四种类型大数据的特点及
了解典型分析处理系统。
4.了解网络与医学大数据的分析。
深度学习、知识计算及可视化等
3.1 大数据分析简介
3.1.1 大数据分析
大数据分析是指对规模巨大的数据进行分析。通过多
个学科技术的融合，实现数据的采集、管理和分析，从而
发现新的知识和规律。