走近大数据(2014年5月)-厦门大学林子雨
厦门大学-林子雨-大数据技术原理与应用-上机练习-图计算框架Hama的基础操作实践
厦门大学林子雨编著《大数据技术原理与应用》教材配套上机练习图计算框架Hama的基础操作实践（版本号：2016年1月18日版本）主讲教师：林子雨厦门大学数据库实验室二零一六年一月（版权所有，请勿用于商业用途）目录目录1作业题目 (1)2作业目的 (1)3作业性质 (1)4作业考核方法 (1)5作业提交日期与方式 (1)6作业准备 (1)6.1、Hama计算框架的安装配置 (1)6.2、用Hama计算模型实现寻找最大独立集问题算法 (3)7作业内容 (9)8实验报告 (9)附录1:任课教师介绍 (9)附录2：课程教材介绍 (10)《大数据技术原理与应用》图计算框架Hama基础操作实践上机练习说明主讲教师：林子雨E-mail: ziyulin@ 个人主页：/linziyu1作业题目图计算框架Hama基础操作实践。
2作业目的旨在让学生了解Pregel图计算模型，并学会用Pregel的开源实现Hama实现一些基本操作。
3作业性质课后作业，必做，作为课堂平时成绩。
4作业考核方法提交上机实验报告，任课老师根据上机实验报告评定成绩。
5作业提交日期与方式图计算章节内容结束后的下一周周六晚上9点之前提交。
6作业准备请阅读厦门大学林子雨编著的大数据专业教材《大数据技术原理与应用》（官网：/post/bigdata/），了解图计算的概念与意义。
6.1、Hama计算框架的安装配置A pache Hama是Google Pregel的开源实现，与Hadoop适合于分布式大数据处理不同，Hama主要用于分布式的矩阵、graph、网络算法的计算。
简单说，Hama是在HDFS 上实现的BSP(Bulk Synchronous Parallel)计算框架，弥补Hadoop在计算能力上的不足。
（1）. 安装好合适版本的jdk和hadoop，并且进行测试，保证他们能用。
（2）. 下载hama安装文件，从/downloads.html处下载合适的版本，我当时下的是0.6.4版本的。
高校大数据课程建设经验分享-EOL
高校大数据课程建设经验分享厦门大学林子雨博士/助理教授ziyulin@2017年8月3日山东.烟台高校大数据应用与学科人才培养研讨会内容提要☐大数据课程公共服务平台☐大数据技术原理与应用课程建设经验☐大数据处理技术Spark课程建设经验建设周期四年（2013-2017）投入资金100万+打造11大工程平台每年访问量超过100万次1份精美的平台宣传册制作5分钟培训基地宣传片开展大数据公开课全国高校巡讲计划巡讲10个省、13个高校、1个科研院所、15场公开课，累计听众人数超过2000人全力打造示范班级☐大数据技术基础2013班级☐大数据技术基础2016班级☐大数据处理技术Spark2017班级☐大数据技术原理与应用2017班级入门级大数据在线课程《大数据技术原理与应用》，开辟大数据课程网络讲授平台☐2016年3月28日林子雨主讲《大数据技术原理与应用》在网易云课堂正式上线☐2017年8月1日学习人数超过4万人☐99%为5星级最高评价☐长期稳居热门排行榜第一名☐被众多网友评为“经典课程”☐MOOC版本即将发布建设1个大数据课程教师培训交流基地2016年8月1日-7日第1期2016年8月14日-20日第2期2016年9月2日-4日第3期2017年1月16日-22日第4期2017年7月24日-31日第5期举办4次大数据课程教师研讨会承办3次全国高校教学研讨会承办NDBC2016全国高校大数据教学论坛☐2013年9月，发布在线免费电子书《大数据技术基础》☐2014-2016，发布并持续更新在线教程《大数据软件安装和基础编程指南》☐2016年10月，发布免费在线教程《Spark入门教程》大数据课程实验案例：网站用户购物行为分析Spark课程综合实验案例：淘宝双11数据分析与预测Spark课程实验案例：Spark+Kafka构建实时分析Dashboard大数据课程教师交流群（QQ群号：461510122）促进大数据课程教师之间的沟通和交流截至目前，已经有来自全国300多所高校的400多名教师加入交流群厦门大学、福建师范大学、厦门理工学院、同济大学、浙江财经大学、安徽大学、大连海洋大学、中北大学、河海大学、中山大学、浙江大学、中国农业大学、重庆邮电大学、华中师范大学、武汉理工大学、贵州师范大学、江西财经大学、山西大学、河北经贸大学、东北大学、山东农业大学、海南大学、中国地质大学、武汉大学、中国传媒大学、湖南大学、中国科技大学……微信公众号名称：云谷大数据公众号定位：☐跟踪行业热点☐汇集百家观点☐分享教学经验☐推荐经典书籍内容提要☐大数据课程公共服务平台☐大数据技术原理与应用课程建设经验☐大数据处理技术Spark课程建设经验课程定位实验内容0104教材选择考核方法0205课时安排课程资源0306入门级课程构建知识体系、阐明基本原理引导初级实践、了解相关应用授课对象：本科生（计算机相关专业）知识储备：编程、操作系统、数据库课程定位01教材选择02•云计算概念、云计算体系架构、数据中心、虚拟化技术（平台虚拟化、资源虚拟化、虚拟机的动态迁移、云操作系统）、SOA 架构及开发技术、云数据中心设计与测试、云数据中心维护与管理、云安全架构、桌面云、PaaS 应用开发平台、开源的云计算管理平台Openstack 、Docker 容器、大数据存储与管理•大数据处理架构Hadoop •分布式文件系统HDFS •分布式数据库HBase •NoSQL 数据库•云数据库•分布式并行编程模型MapReduce •流计算•图计算•Spark云计算课程知识要点大数据课程知识要点教材选择02章或节主要内容学时安排1介绍大数据的基本概念和应用领域，并阐述大数据、云计算和物联网的相互关系22介绍大数据处理架构Hadoop23分布式文件系统HDFS 的基本原理和使用方法44分布式数据库HBase 的基本原理和使用方法45NoSQL 数据库的概念和基本原理26云数据库的概念和基本原理27分布式并行编程模型MapReduce 原理和使用方法68流计算基本原理29图计算基本原理410数据可视化概念、工具和案例2课时安排03实验一：熟悉常用的Linux 操作和Hadoop 操作实验二：熟悉常用的HDFS 操作实验三：熟悉常用的HBase 操作实验四：NoSQL 和关系数据库的操作比较实验五：MapReduce 初级编程实践免费在线访问地址：/post/6131/•全套机房上机实验指南，包含题目和答案•用于入门级大数据课程的上机实验课•每个实验都需要连续4节上机课来完成•每个实验的设计，都充分考虑了学生的基础和能力，力求学生能够在连续4节课的上机时间内，顺利完成课程实验，提交实验报告实验内容04大数据课程实验案例《网站用户购物行为分析》•采用2000万条用户购物数据集•案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作•涵盖Linux 、MySQL 、Hadoop 、HBase 、Hive 、Sqoop 、R 、Eclipse 等系统和软件的安装和使用方法•案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例免费访问地址：/post/7499/实验内容0405考核方法☐平时签到考勤10%☐上机实验报告20%☐期末大实验20%☐期末笔试成绩50%大数据软件安装和编程实践指南详细学习如何安装运行各种大数据软件以及如何进行初级编程实践，包括Hadoop 、HDFS 、HBase 、MapReduce 、Spark 、MongoDB 等安装、操作、编程指南访问地址：/post/5663/课程资源06《大数据技术原理与应用》备课指南详细说明了教师如何备课，包括教学大纲、讲义PPT 、授课视频、课后习题、上机题目等访问地址：/post/5637/课程资源06《大数据技术原理与应用》授课视频林子雨主讲的全套大数据课程视频，供老师上课参考。
厦门大学计算机科学系
其中（张清玫，计算机专业，李勇）、（张清玫，计算机专业，刘晨） 等都是元组。张清玫、计算机专业、李勇、刘晨等都是分量。
《分布式数据库》 厦门大学计算机科学系 林子雨 ziyulin@ 2018/8/3
3.1.3 集中数据库的关系模式及形式化定义
该笛卡尔积的基数为2×2×3=12，也就是说，D1×D2×D3一共有 2×2×3=12个元组。这12个元组可列成一张二维表，如下： D1，D2，D3的笛卡尔积
当用户查询或更新操作分布式数据库时，只是对虚拟的全局数据库操作， 它并不实际存在，而是由若干“片段”组成的（由若干片段的并行操作和 自然联接操作实现的），这些片段映射为一个“物理关系”存在于物理数 据库中。 三种数据库是通过分片模式定义和分配模式定义联系起来的。
《分布式数据库》
厦门大学计算机科学系
林子雨
SUPERVISOR 张清玫 张清玫 张清玫 张清玫 张清玫 张清玫 刘逸 刘逸 刘逸 刘逸 刘逸 刘逸
《分布式数据库》
SPECIALITY 计算机专业 计算机专业 计算机专业 信息专业 信息专业 信息专业 计算机专业 计算机专业 计算机专业 信息专业 信息专业 信息专业
林子雨
POSTGRADUATE 李勇 刘晨 王敏 李勇 刘晨 王敏 李勇 刘晨 王敏 李勇 刘晨 王敏
3.1.4.3 DDB中的三种数据库 3.1.4.4 分片模式（FS）定义 3.1.4.5 分配模式（AS）定义 3.1.4.6 关系的分布结构 S 3.1.4.7 组合关系
《分布式数据库》
厦门大学计算机科学系
林子雨
ziyulin@
2018/8/3
3.1.4.1 全局关系模式及关系
《分布式数据库》
厦门大学计算机科学系
(完整版)大数据技术原理与应用林子雨版课后习题答案
第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
大数据技术原理与应用 林子雨版 课后习题答案(精编文档).doc
【最新整理，下载后即可编辑】第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS 是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
林子雨大数据技术原理与应用答案(全)
林子雨大数据技术原理及应用课后题答案大数据第一章大数据概述课后题 (1)大数据第二章大数据处理架构Hadoop课后题 (5)大数据第三章Hadoop分布式文件系统课后题 (10)大数据第四章分布式数据库HBase课后题 (16)大数据第五章NoSQl数据库课后题 (22)大数据第六章云数据库课后作题 (28)大数据第七章MapReduce课后题 (34)大数据第八章流计算课后题 (41)大数据第九章图计算课后题 (50)大数据第十章数据可视化课后题 (53)大数据第一章课后题——大数据概述1.试述信息技术发展史上的3次信息化浪潮及其具体内容。
第一次信息化浪潮1980年前后个人计算机开始普及，计算机走入企业和千家万户。
代表企业：Intel，AMD，IBM，苹果，微软，联想，戴尔，惠普等。
第二次信息化浪潮1995年前后进入互联网时代。
代表企业：雅虎，谷歌阿里巴巴，百度，腾讯。
第三次信息浪潮2010年前后，云计算大数据，物联网快速发展，即将涌现一批新的市场标杆企业。
2.试述数据产生方式经历的几个阶段。
经历了三个阶段:运营式系统阶段数据伴随一定的运营活动而产生并记录在数据库。
用户原创内容阶段Web2.0时代。
感知式系统阶段物联网中的设备每时每刻自动产生大量数据。
3.试述大数据的4个基本特征。
数据量大（Volume）据类型繁多（Variety）处理速度快（Velocity）价值密度低（Value）4.试述大数据时代的“数据爆炸”特性。
大数据摩尔定律：人类社会产生的数据一直都在以每年50%的速度增长，即每两年就增加一倍。
5.科学研究经历了那四个阶段？实验比萨斜塔实验理论采用各种数学，几何，物理等理论，构建问题模型和解决方案。
例如：牛一，牛二，牛三定律。
计算设计算法并编写相应程序输入计算机运行。
数据以数据为中心，从数据中发现问题解决问题。
6.试述大数据对思维方式的重要影响。
全样而非抽样效率而非精确相关而非因果7.大数据决策与传统的基于数据仓库的决策有什么区别？数据仓库以关系数据库为基础，在数据类型和数据量方面存在较大限制。
Chapter8-厦门大学-林子雨-大数据技术原理与应用-第八章-流计算
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
8.1.3 流计算概念
• 流计算：实时获取来自不同数据源的海量数据，经过实时 分析处理，获得有价值的信息
数据采集
实时分析处理
结果反馈
《大数据技术原理与应用》
流计算示意图
厦门大学计算机科学系
林子雨
ziyulin@
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
8.1.1 静态数据和流数据
• 近年来，在Web应用、网络监控、传感监测等领域，兴起了一种新 的数据密集型应用——流数据，即数据以大量、快速、时变的流形式 持续到达
• 流数据具有如下特征： – 数据快速持续到达，潜在大小也许是无穷无尽的 – 数据来源众多，格式复杂 – 数据量大，但是不十分关注存储，一旦经过处理，要么被丢弃， 要么被归档存储 – 注重数据的整体价值，不过分关注个别数据 – 数据顺序颠倒，或者不完整，系统无法控制将要处理据，包括用户的 搜索内容、用户的浏览记录等数据。采用流计算进行实时数据分析， 可以了解每个时刻的流量变化情况，甚至可以分析用户的实时浏览轨 迹，从而进行实时个性化内容推荐
• 但是，并不是每个应用场景都需要用到流计算的。流计算适合于需要 处理持续到达的流数据、对数据处理有较高实时性要求的场景
传统的数据处理流程示意图
• 传统的数据处理流程隐含了两个前提：
– 存储的数据是旧的。存储的静态数据是过去某一时刻的快照，这 些数据在查询时可能已不具备时效性了
– 需要用户主动发出查询来获取结果
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
厦门大学数据库实验室 MapReduce 连接优化
广播算法效率很低。
半连接算法
算法回顾
welcome to use these PowerPoint templates, New
半连接算法使用三个 MapReduce作业来完成运算，第一
Content design, 10 years experience 个 MapReduce 作业生成第一个表 S的连接值文件。第二个
valueintermediate则由用于标记数据来自哪个表的标签和记录值组成。在混 洗过程中，具有相同连接值的数据会被分到同一个Reducer上。
Reducer根据标签将数据分为两个集合，再完成连接运算。标准重分区
算法在Reducer上需要将数据全部装载到内存中，可能会造成内存溢出。 另外，当存在数据倾斜时，标准重分区算法容易造成数据分布不均，以 及连接速度缓慢和计算资源分布不均等问题。
MapReduce作业利用前一步生成的连接值文件，采用类似 广播算法的方法对第二个表R的数据进行过滤。第三个 MapReduce作业利用过滤后的R表数据，采用广播算法进行
பைடு நூலகம்
连接。
分片半连接算法
算法简介
welcome to use these PowerPoint templates, New
分片半连接算法需要三个MapReduce作业来完成连接运
厦门大学数据库实验室 MapReduce 连接优化
报告人：李雨倩 导师：林子雨
2014.07.26
连接技术简介
基于传统 MapReduce 的连接
基于数据索引的连接
基于改进 MapReduce 的连接
连接技术比较
连接操作广泛应用于日志分析、联机分析处理及数据分析处理等方面。 如果提高大数据连接计算速度，则可提高数据分析效率和用户体验度。 下表对现有的MapReduce连接技术进行了分类与对比。
大数据导论林子雨复习资料
大数据导论林子雨复习资料大数据导论林子雨复习资料大数据时代的来临，给我们的生活带来了翻天覆地的变化。
在这个信息爆炸的时代，大数据成为了我们获取信息、分析问题、做出决策的重要工具。
而在大数据领域，林子雨教授是一位备受瞩目的学者，他的研究成果和教学经验都备受推崇。
下面，我们将为大家整理一份林子雨教授的大数据导论复习资料，希望对大家的复习有所帮助。
一、大数据的定义和特点大数据是指规模巨大、类型多样、速度快、价值密度低的数据集合。
与传统的数据处理方法相比，大数据具有以下几个特点：1. 规模巨大：大数据的规模通常以TB、PB、甚至EB为单位，远远超过了我们传统数据库的处理能力。
2. 类型多样：大数据涵盖了结构化数据、半结构化数据和非结构化数据，如文本、图像、音频等。
3. 速度快：大数据的产生速度非常快，需要实时或近实时地进行处理和分析。
4. 价值密度低：大数据中包含了大量的冗余和噪音数据，需要通过数据挖掘和分析技术提取有价值的信息。
二、大数据的应用领域大数据的应用领域非常广泛，几乎涵盖了所有行业。
以下是一些典型的大数据应用领域：1. 金融行业：大数据可以用于风险控制、欺诈检测、个性化推荐等方面，帮助金融机构提高效率和降低风险。
2. 医疗健康：大数据可以用于疾病预测、个性化治疗、医疗资源优化等方面，提高医疗服务的质量和效率。
3. 零售业：大数据可以用于销售预测、用户行为分析、精准营销等方面，帮助零售商提高销售额和客户满意度。
4. 交通运输：大数据可以用于交通拥堵预测、路径规划、智能交通管理等方面，提高交通运输的效率和安全性。
5. 媒体与娱乐：大数据可以用于内容推荐、用户画像、舆情分析等方面，提供个性化的媒体和娱乐服务。
三、大数据的挑战和解决方案虽然大数据给我们带来了很多机遇，但也面临着一些挑战。
以下是一些典型的大数据挑战：1. 数据质量：大数据中存在大量的冗余和噪音数据，需要通过数据清洗和质量控制来提高数据的准确性和可信度。
厦门大学-林子雨-大数据技术原理与应用-第11章大数据在互联网领域的应用-Python安装与基本使用
厦门大学计算机系研究生课程《大数据技术原理与应用》Python的安装与基本使用
Python的安装与基本使用
厦门大学计算机科学系林子雨
E-mail: ziyulin@ 个人主页：/linziyu
一、Windows上的安装与使用
访问官网下载地址：https:///download/releases/2.7.6/，请选择32位安装程序https:///ftp/python/2.7.6/python-2.7.6.msi。
下载并打开安装程序，一路点next，默认安装即可。
安装完成后，我们可以使用其提供的IDE来编写、执行代码。
在开始菜单里的“Python 2.7”下，打开IDLE (Python GUI)，点击File->New File，输入如下两行代码：
# coding: utf-8
print "hello world"
接着点击File->Save，保存为hello.py，再点击Run->Run Module，即可看到运行结果。
二、Linux上的安装与使用
Linux系统默认安装了Python，可以直接使用。
通过vim或者文本编辑器写好代码后，在终端中执行python+代码文件位置即可，如假设代码文件位置为: /home/user/hello.py，则打开终端，执行如下代码就可得到运行结果：
cd /home/user
python hello.py
主讲教师：林子雨/linziyu 第1页。
Chapter1-厦门大学-林子雨-大数据技术原理与应用-第一章-大数据概述
1.5大数据关键技术
表1-5 大数据技术的不同层面及其功能 技术层面 数据采集 功能 利用ETL工具将分布的、异构数据源中的数据如关系数据、平 面数据文件等，抽取到临时中间层后进行清洗、转换、集成， 最后加载到数据仓库或数据集市中，成为联机分析处理、数据 挖掘的基础；或者也可以把实时采集的数据作为流计算系统的 输入，进行实时处理分析 利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库 、云数据库等，实现对结构化、半结构化和非结构化海量数据 的存储和管理
表1-1 三次信息化浪潮 信息化浪潮 第一次浪潮 发生时间 1980年前后 标志 个人计算机 解决问题 信息处理 代表企业 Intel、AMD、IBM、 苹果、微软、联想、5年前后
互联网
信息传输
第三次浪潮
2010年前后
物联网、云 计算和大数 据
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@
1.1.3数据产生方式的变革促成大数据时代的来临
图1-5 数据产生方式的变革
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@
1.1.4 大数据的发展历程
表1-2 大数据发展的三个阶段 阶段 时间 上世纪90年 代至本世纪 初 内容 随着数据挖掘理论和数据库技术的逐步成熟 ，一批商业智能工具和知识管理技术开始被 应用，如数据仓库、专家系统、知识管理系 统等。 Web2.0应用迅猛发展，非结构化数据大量产 生，传统处理方法难以应对，带动了大数据 技术的快速突破，大数据解决方案逐渐走向 成熟，形成了并行计算与分布式系统两大核 心技术，谷歌的GFD和MapReduce等发数据技 术受到追捧，Hadoop平台开始大行其道 大数据应用渗透各行各业，数据驱动决策， 信息社会智能化程度大幅提高
Chapter0-厦门大学-林子雨-大数据技术原理与应用-课程介绍资料
主讲教师和助教
主讲教师：林子雨
单位：厦门大学计算机科学系 E-mail: ziyulin@ 个人网页：/linziyu 数据库实验室网站：
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
课程特色大 数 据 Fra bibliotek 门搭建起通向“大数据知识空间”的桥梁和纽带 构建知识体系、阐明基本原理 引导初级实践、了解相关应用 为学生在大数据领域“深耕细作”奠定基础、指明方向
《大数据技术原理与应用》
厦门大学计算机科学系
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@
内容提要
• 本课程系统介绍了大数据相关知识，共有13章 • 系统地论述了大数据的基本概念、大数据处理架构 Hadoop、分布式文件系统HDFS、分布式数据库HBase、 NoSQL数据库、云数据库、分布式并行编程模型 MapReduce、流计算、图计算、数据可视化以及大数据 在互联网、生物医学和物流等各个领域的应用 • 在Hadoop、HDFS、HBase和MapReduce等重要章节， 安排了入门级的实践操作，让学生更好地学习和掌握大数 据关键技术
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
篇章安排
第一篇：大数据基础篇 第二篇：大数据存储篇 第三篇：大数据处理与分析篇 第四篇：大数据应用篇
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
第一篇：大数据基础篇
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
大数据技术原理与应用-林子雨版-课后习题答案
第一章1.试述信息技术发展史上的3次信息化浪潮及具体内容。
2.试述数据产生方式经历的几个阶段答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征答：数据量大、数据类型繁多、处理速度快和价值密度低。
4.试述大数据时代的“数据爆炸”的特性答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。
5.数据研究经历了哪4个阶段？答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。
6.试述大数据对思维方式的重要影响答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。
7.大数据决策与传统的基于数据仓库的决策有什么区别答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。
大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用答：9.举例说明大数据的关键技术答：批处理计算，流计算，图计算，查询分析计算10.大数据产业包含哪些关键技术。
答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。
物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第二章1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系答：Hadoop的核心是分布式文件系统HDFS和MapReduce，HDFS是谷歌文件系统GFS的开源实现，MapReduces是针对谷歌MapReduce的开源实现。
Chapter4-厦门大学-林子雨-大数据技术原理与应用-第四章-分布式数据库HBase
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
4.3.1数据模型概述
• HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、 列族、列限定符和时间戳
• 每个值是一个未经解释的字符串，没有数据类型 • 用户在表中存储数据，每一行都有一个可排序的行键和任意多的列 • 表在水平方向由一个或者多个列族组成，一个列族中可以包含任意多
林子雨
4.1.2HBase简介
表4-1 HBase和BigTable的底层技术对应关系
文件存储系统 海量数据处理
BigTable GFS
MapReduce
协同服务管理 Chubby
HBase
HDFS Hadoop MapReduce Zookeeper
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
Hadoop生态系统
ETL工具
BI报表
RDBMS
Pig
Hive
Sqoop
Zookeeper Avro
HBase
MapReduce
HDFS (Hadoop Distributed File System)
图4-1 Hadoop生态系统中HBase与其他部分的关系
《大数据技术原理与应用》
厦门大学计算机科学系
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
4.2 HBase访问接口
表4-2 HBase访问接口
类型
Native Java API HBase Shell Thrift Gateway
REST Gateway Pig Hive
特点
场合
最常规和高效的访问方式 适合Hadoop MapReduce作业 并行批处理HBase表数据
大数据技术原理与应用
图10-9 2008年世界各国GDP数据
10.2.3 地图工具
• 1. Google Fusion Tables Google Fusion Tables让一般使用者也可以轻松制作出专业的统计地图。该 工具可以让数据表呈现为图表、图形和地图，从而帮助发现一些隐藏在数 据背后的模式和趋势。 • 2. Modest Maps Modest Maps是一个小型、可扩展、交互式的免费库，提供了一套查看卫 星地图的API，只有10KB大小，是目前最小的可用地图库，它也是一个开 源项目，有强大的社区支持，是在网站中整合地图应用的理想选择。 • 3. Leaflet Leaflet是一个小型化的地图框架，通过小型化和轻量化来满足移动网页的 需要。
（3）辅助理解数据
图10-5 微软“人立方”展示的人物关系图
10.1.3 可视化的重要作用
（4）增强数据吸引力
图10-6 一个可视化的图表新闻实例
10.2 可视化工具
10.2.1 入门级工具 10.2.2 信息图表工具 10.2.3 地图工具 10.2.4 时间线工具 10.2.5 高级分析工具
10.1.2 可视化的发展历程
• 20世纪50年代，随着计算机的出现和计算机图形学的发展，人们可 以利用计算机技术在电脑屏幕上绘制出各种图形图表，可视化技术开 启了全新的发展阶段。最初，可视化技术被大量应用于统计学领域， 用来绘制统计图表，比如圆环图、柱状图和饼图、直方图、时间序列 图、等高线图、散点图等，后来，又逐步应用于地理信息系统、数据 挖掘分析、商务智能工具等，有效促进了人类对不同类型数据的分析 与理解 • 随着大数据时代的到来，每时每刻都有海量数据在不断生成，需要 我们对数据进行及时、全面、快速、准确的分析，呈现数据背后的价 值，这就更需要可视化技术协助我们更好地理解和分析数据，可视化 成为大数据分析最后的一环和对用户而言最重要的一环
大学生mooc大数据技术原理与应用(林子雨)题库答案
作者：解忧书店 JieYouBookshop 第1章大数据概述1单选(2分)第三次信息化浪潮的标志是：A.个人电脑的普及B.云计算、大数据、物联网技术的普及C.虚拟现实技术的普及D.互联网的普及正确答案：B你选对了2单选(2分)就数据的量级而言，1PB数据是多少TB？A.2048B.1000C.512D.1024正确答案：D你选对了3单选(2分)以下关于云计算、大数据和物联网之间的关系，论述错误的是：A.云计算侧重于数据分析B.物联网可以借助于云计算实现海量数据的存储C.物联网可以借助于大数据实现海量数据的分析D.云计算、大数据和物联网三者紧密相关，相辅相成正确答案：A你选对了4单选(2分)以下哪个不是大数据时代新兴的技术：A.SparkB.HadoopC.HBaseD.MySQL正确答案：D你选对了每种大数据产品都有特定的应用场景，以下哪个产品是用于批处理的：A.MapReduceB.DremelC.StormD.Pregel正确答案：A你选对了6单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于流计算的：A.GraphXB.S4C.ImpalaD.Hive正确答案：B你选对了7单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于图计算的：A.PregelB.StormC.CassandraD.Flume正确答案：A你选对了8单选(2分)每种大数据产品都有特定的应用场景，以下哪个产品是用于查询分析计算的：A.HDFSB.S4C.DremelD.MapReduce正确答案：C你选对了9多选(3分)数据产生方式大致经历了三个阶段，包括：A.运营式系统阶段B.感知式系统阶段C.移动互联网数据阶段正确答案：ABD你选对了10多选(3分)大数据发展的三个阶段是：A.低谷期B.成熟期C.大规模应用期D.萌芽期正确答案：BCD你选对了11多选(3分)大数据的特性包括：A.价值密度低B.处理速度快C.数据类型繁多D.数据量大正确答案：ABCD你选对了12多选(3分)图领奖获得者、著名数据库专家Jim Gray博士认为，人类自古以来在科学研究上先后经历了哪几种范式：A.计算科学B.数据密集型科学C.实验科学D.理论科学正确答案：ABCD你选对了13多选(3分)大数据带来思维方式的三个转变是：A.效率而非精确B.相关而非因果C.精确而非全面D.全样而非抽样正确答案：ABD你选对了14多选(3分)大数据主要有哪几种计算模式：。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
林子雨
厦门大学计算机科学系
E-mail: ziyulin@
主页：/linziyu
走近大数据
计算机领域最新技术报告
提纲
☐大数据
☐大数据应用
☐大数据的影响
☐大数据的四个特征☐大数据的产生
☐大数据关键技术☐ Hadoop体系结构
大数据
Kevin Spacey David Fincher
英国同名小说《纸牌屋》
风靡全球的美剧《纸牌屋》大数据分析
从2月9日12时至20时，8个小时内，从东莞迁出的城市中，香港居第一位，有285‰，其次为赣州、玉林、郴州和宁波。
迁入东莞的城市中，赣州排第一位，其次为郴州、贺州、香港。
美国零售商和怀孕预测 VISA信用卡与商户推荐 股票投资
智能电表
广告投放
中国粮食统计
人的数字化
阿里信用贷款和淘宝数据魔方
UPS快递的最佳行车路径
典型的大数据应用实例
从谷歌流感趋势看大数据的
应用价值
“谷歌流感趋势”，通过跟踪搜索
词相关数据来判断全美地区的
流感情况
大数据的影响
•大数据对行业发展的影响
•大数据对思维方式的影响
☐全样而非抽样
☐效率而非精确
☐相关而非因果
•大数据对智慧和战略层面的影响
大数据的影响：对科学研究的影响
图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式
实验理论计算数据
大数据无处不在
☐科学研究
–基因组
–LHC 加速器
–地球与空间探测
☐企业应用
–Email、文档、文件
–应用日志
–交易记录
☐Web 1.0数据
–文本
–图像
–视频
☐Web 2.0数据
–查询日志/点击流
–Twitter/ Blog / SNS
–Wiki
大数据的四个特征
Volume—数量大
⏹根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）
⏹人类在最近两年产生的数据量相当于之前产生的全部数据量
⏹预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍
Velocity—速度快
☐从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少☐1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同
Variety—多样化
⏹大数据是由结构化和非结构化数据组成的
–10%的结构化数据，存储在数据库中
–90%的非结构化数据，它们与人类信息密切相关
⏹非结构化数据类型多样
–邮件、视频、微博
–位置信息、链接信息
–手机呼叫、网页点击
–“长微博”
Value—价值化
价值密度低，商业价值高
以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值
大数据的产生
运营式系统阶段1用户原创内容阶段2感知式系统阶段
3
•数据库的出现使得
数据管理的复杂度
大大降低 ，数据往
往伴随着一定的运
营活动而产生并记
录在数据库中的 ，
数据的产生方式是
被动的•数据爆发产生于Web 2.0 时代，而Web 2.0 的最重要标志就是用户原创内容•智能手机等移动设备加速内容产生•数据产生方式是主
动的•感知式系统的广泛使用•人类社会数据量第三次大的飞跃最终导致了大数据的产生
⏹大数据与云计算是相辅相成的
⏹大数据根植于云计算
–云计算关键技术中的海量数据存储技术、海量数据管理技术、MapReduce 编程模型，都是大数据技术的基础
⏹大数据为云计算提供用武之地
⏹物联网就是“物物相连的互联网”。
物联网通过智能感知、识别技术与普适计算、泛在网络的融合应
用，被称为继计算机、互联网之后世界信息产业发展的第三次浪潮
⏹物联网架构可分为三层，包括感知层、网络层和应用层
⏹物联网，移动互联网再加上传统互联网，每天都在产生海量数据，而大数据又通过云计算的形式，
将这些数据筛选处理分析，提取出有用的信息，这就是大数据分析。
大数据关键技术
分布式存储
分布式处理GFS\HDFS\BigTable MapReduce
大数据
Hadoop的体系结构
HDFS和MapReduce是Hadoop的两大核心。
而整个Hadoop的体系结构主要是通过HDFS 来实现对分布式存储的底层支持的，并且它会通过MapReduce 来实现对分布
式并行任务处理的程序支持。
大数据在企业中的应用
基于客户行为分析的产品推荐
基于客户评价的产品设计
基于数据分析的广告投放
基于社区热点的趋势预测和病毒式营销 基于数据分析的产品定价
基于客户异常行为的客户流失预测
基于环境数据的外部形势分析
基于物联网数据分析的产品生命周期管理
总结
⏹大数据无处不在，是变革经济的力量⏹大数据是多种技术的集合，不只是数据⏹大数据与云计算相辅相成
⏹Google公司在大数据时代引领技术
⏹Hadoop成为事实上的大数据处理标准
参考文献
•[1] 孟小峰, 慈祥. 大数据管理：概念、技术与挑战. 计算机学报, 2013年第8期.
•[2]关志刚. 信息图：大数据企业生态图谱. IT经理网. /bigdata/7028.html •[3] 百度百科. 物联网.
•[4] 邵佩英. 分布式数据库系统及其应用，科学出版社.
•[5] 韩冀中制作的PPT《大数据存储与处理》.
•其他网络来源.
附件：林子雨简介
单位：厦门大学计算机科学系
E-mail: ziyulin@
个人网页：/linziyu
数据库实验室网站：
林子雨
林子雨
Department of Computer Science, Xiamen University, May, 2014。