大数据分析、挖掘与应用

MapReduce的核心设计思想： 1)将问题分而治之； 2)把计算推到数据而不是把数据推到计算，有效的避 免数据传输过程中产生的大量通讯开销。
MapReHale Waihona Puke Baiduuce模型简单，且现实中很多问题都可用 MapReduce模型来表示。因此该模型公开后，立刻受 到极大的关注，并在生物信息学、文本挖掘等领域得 到广泛的应用。
具代表性的批处理模式。
MAPREDUCE执行流程图
MapReduce模型首先将用户的原始数据源进行分块 ，然后分别交给不同的Map任务区处理。Map任务从 输入中解析出Key/Value对集合，然后对这些集合执行 用户自行定义的Map函数得到中间结果，并将该结果 写入本地硬盘。Reduce任务从硬盘上读取数据之后， 会根据key 值进行排序，将具有相同key 值的组织在一 起。最后用户自定义的Reduce函数会作用于这些排好 序的结果并输出最终结果。
[7] 海量天体光谱数据挖掘算法研究与实现(2003AA133060) ，国家“863” 高技术计划子课题，2003.8-2005.8（结题）
主要成果之一： 基于概念格的天体光谱离群数据挖掘系统
将概念格中每个概念节点内涵描述为天体光谱数据 特征子空间，提出了一种天体光谱离群数据识别方法。 首先将概念节点的内涵缩减看作天体光谱特征子空间， 并依据稀疏度系数阈值确定稀疏子空间；其次对于稀 疏子空间，依据稠密度系数判定祖先概念节点内涵是 否为稠密子空间，进而判断出概念节点外延中包含的 数据对象是否为天体光谱离群数据；最后以离散化天 体光谱数据作为形式背景，实验验证了利用该方法识 别出的天体光谱离群数据是准确的、完备的和有效的。
近年来主持承担的部分课题
[1] 海量高维天体光谱数据挖掘及其并行化研究（61272263），国家自 然科学基金，2013.1-2016.12,（在研）
[2] 面向LAMOST 天文光谱特征线的数据挖掘方法研究（61073145），国 家自然科学基金，2011.1-2013.12,（在研）
[3] 面向天文光谱的数据挖掘算法性能分析与并行化研究 （61111120317），国家自然科学基金委国际合作与交流项目， 2011.6-2011.12,（结题）
二、大数据处理架构
大数据处理模式
1）流处理(Stream Processing)，即直接处理 流处理的基本理念是数据的价值会随着时间的流逝而
不断减少。因此，尽可能快地对最新的数据做出分析并 给出结果是所有流数据处理模式的共同目标。
2）批处理(Batch Processing)，即先存储后处理 Google 公司在2004 年提出的MapReduce编程模型是最
[4] 基于加权和约束概念格的数据挖掘方法与天体光谱数据挖掘技术 （60773014），国家自然科学基金，2008.1-2010.12,（结题）
[5] 基于数据网格的分布式数据挖掘方法研究（60911120478），国家自 然科学基金委国际合作与交流项目，2009.9-2010.3,（结题）
[6] 基于背景知识的数据挖掘方法及其在LAMOST中的应用（60573075）， 国家自然科学基金，2006.1-2008.12,（结题）
典型论文
[1] Jifu Zhang, Sulan Zhang, Kai H. Chang, and Xiao Qin. An Outlier Mining ASylgsotermithsmScBieansceed（onacCcoenpstt）rained Concept Lattice, International Journal of
科学目标: “星系红移巡天”、“恒星和银河系的结构 特 征”和“多波段认证” 。
天体光谱大数据分析处理主要内容:预处理(去噪、归一化 等)、分类与识别、测量（红移等参数）等。
一条SEYFERT 2 光谱数据图(红移为0)
天体光谱是天体电磁辐射按照波长的有序排列，蕴含着天体的重要物 理信息，例如：天体的化学成份、天体的表面温度、直径、质量、光度 以及天体的视向运动和自转。天文学家和天体物理学家通过分析天体光 谱的信息，不仅可以研究宇宙中物质的分布特征，还可以研究天体的形 成和随时间的演化等重大科学问题。
大数据处理的基本流程
1)数据抽取与集成
2)数据分析 面临着一些新的挑战：数据量大并不一定意味着数据
价值的增加，相反这往往意味着数据噪音的增多;大数据 时代的算法需要进行调整，准确率不再是大数据应用的 最主要指标;数据结果好坏的衡量。
3）数据解释(可视化技术)
三、天体光谱大数据分析与挖掘
我国已建造一台大天区面积多目标光纤光谱望远镜 （LAMOST），是国家重大科学工程项目，也是世界上光谱 获取率最高的望远镜。预计LAMOST所观测到的光谱数据容 量将有可能达到4TB；巡天所覆盖的波段为3700埃至9000埃， 即其观测属性可达数千维，是典型的高维数据；数据类型： 图像和FITS文件等。
由于天文界对宇宙的认识还比较有限，LAMOST巡 天计划的一个重要任务是要发现一些新的、特殊类型 的天体，因此，如何利用数据挖掘技术从海量天体光 谱数据中发现未知的、特殊的天体及天体规律是数据 挖掘值得研究和探索的新应用领域。
面向特定任务的数据挖掘是当前数据挖掘领域发展 的趋势之一。以LAMOST项目为背景，对天体光谱数据 挖掘技术进行了研究，其研究成果不仅具有重要的理 论价值，而且可直接应用到LAMOST中，为国家重大科 学工程提供技术支撑。
大数据分析、挖掘与应用
数据挖掘与智能信息系统实验室
一、大数据分析与挖掘
大数据的基本概念
比较有代表性： 1) 3V 定义，即认为大数据需满足3 个特点：规模性 (Volume)、多样性(Variety)和高速性(Velocity)。 2) 4V 定义，即尝试在3V 的基础上增加一个新的特性。关 于第四个V 的说法并不统一，IDC 认为大数据还应当具有 价值性(Value)，大数据的价值往往呈现出稀疏性的特点。 而IBM 认为大数据必然具有真实性(Veracity)。 3) 维基百科对大数据的定义则简单明了：大数据是指利用 常用软件工具捕获、管理和处理数据所耗时间超过可容忍 时间的数据集。