(2018年新版-大数据技术原理和应用)厦门大学本科课程教学大纲
厦门大学-林子雨-大数据技术原理与应用-上机练习-图计算框架Hama的基础操作实践
厦门大学林子雨编著《大数据技术原理与应用》教材配套上机练习图计算框架Hama的基础操作实践（版本号：2016年1月18日版本）主讲教师：林子雨厦门大学数据库实验室二零一六年一月（版权所有，请勿用于商业用途）目录目录1作业题目 (1)2作业目的 (1)3作业性质 (1)4作业考核方法 (1)5作业提交日期与方式 (1)6作业准备 (1)6.1、Hama计算框架的安装配置 (1)6.2、用Hama计算模型实现寻找最大独立集问题算法 (3)7作业内容 (9)8实验报告 (9)附录1:任课教师介绍 (9)附录2：课程教材介绍 (10)《大数据技术原理与应用》图计算框架Hama基础操作实践上机练习说明主讲教师：林子雨E-mail: ziyulin@ 个人主页：/linziyu1作业题目图计算框架Hama基础操作实践。
2作业目的旨在让学生了解Pregel图计算模型，并学会用Pregel的开源实现Hama实现一些基本操作。
3作业性质课后作业，必做，作为课堂平时成绩。
4作业考核方法提交上机实验报告，任课老师根据上机实验报告评定成绩。
5作业提交日期与方式图计算章节内容结束后的下一周周六晚上9点之前提交。
6作业准备请阅读厦门大学林子雨编著的大数据专业教材《大数据技术原理与应用》（官网：/post/bigdata/），了解图计算的概念与意义。
6.1、Hama计算框架的安装配置A pache Hama是Google Pregel的开源实现，与Hadoop适合于分布式大数据处理不同，Hama主要用于分布式的矩阵、graph、网络算法的计算。
简单说，Hama是在HDFS 上实现的BSP(Bulk Synchronous Parallel)计算框架，弥补Hadoop在计算能力上的不足。
（1）. 安装好合适版本的jdk和hadoop，并且进行测试，保证他们能用。
（2）. 下载hama安装文件，从/downloads.html处下载合适的版本，我当时下的是0.6.4版本的。
大数据技术原理与应用 课程简介
大数据技术原理与应用课程简介大数据技术原理与应用是一门涵盖了大数据技术的基本原理和应用案例的课程。
随着互联网的快速发展和信息技术的不断进步，大数据已经成为了当今社会中一个重要的话题。
本课程旨在帮助学生理解大数据技术的基本原理，并了解其在各个领域的应用。
本课程将介绍大数据技术的基本原理。
学生将学习如何有效地收集、存储和处理大规模数据。
课程将涵盖分布式系统、数据管理、数据挖掘和机器学习等方面的知识。
学生将学习如何使用Hadoop、Spark和NoSQL等工具和技术来处理大数据。
本课程将介绍大数据技术在各个领域的应用。
大数据技术已经被广泛应用于金融、医疗、交通、能源和零售等领域。
学生将学习如何利用大数据技术来分析金融市场、预测疾病爆发、优化交通流量、提高能源利用效率和改进零售营销策略。
课程将通过实际案例和项目来帮助学生理解大数据技术在实际应用中的价值和挑战。
本课程还将介绍大数据技术的发展趋势和未来发展方向。
学生将了解到大数据技术在人工智能、物联网和区块链等新兴领域的应用潜力。
课程将引导学生思考大数据技术对社会和个人的影响，并讨论与之相关的伦理和法律问题。
在课程的教学过程中，将采用多种教学方法和资源。
除了传统的课堂讲授，还将组织实践活动、案例分析和小组讨论。
学生将有机会参与到真实的大数据项目中，锻炼数据分析和解决问题的能力。
通过学习本课程，学生将获得以下几方面的收益。
首先，他们将掌握大数据技术的基本原理，了解大数据处理和分析的方法和工具。
其次，他们将了解大数据技术在各个领域的应用案例，培养对大数据应用的思维和创新能力。
最后，他们将了解大数据技术的发展趋势和未来潜力，为自己的职业发展做好准备。
大数据技术原理与应用是一门重要的课程，它将帮助学生了解大数据技术的基本原理和应用案例。
通过学习本课程，学生将获得大数据技术的基本知识和实践经验，为将来在大数据领域的工作和研究打下坚实的基础。
同时，学生还将培养数据分析和解决问题的能力，为未来的职业发展做好准备。
《大数据》课程教学大纲(本科)
《大数据》课程教学大纲课程编号：04224课程名称：大数据英文名称：Big Data课程类型：学科选修课课程要求：选修学时/学分：32/2 （讲课学时：28上机学时：4）适用专业：智能科学与技术一、课程性质与任务大数据分析是智能科学与技术、计算机科学技术等专业的一门学科选修课，该课程涉及各类常用的挖掘与分析方法，提供了从数据准备到统计分析、关联规则建立及集成学习等整个数据分析过程的内容。
本课程全面地介绍了大数据处理相关的基本概念和原理，着重讲述了介绍数据挖掘、分析相关的理论、方法及实现工具。
本课程在教学内容方面着重基本知识、基本理论和基本设计方法的讲解；在培养实践能力方面着重数据分析的基本训练，为学生今后从事大数据的研究与预测打下坚实的基础。
（本课程可支撑毕业要求中的3.3, 7.2, 10.1, 12.2）二、课程与其他课程的联系本课程的先修课程为人工智能基础、机器学习等专业基础课程。
通过对人工智能基础的学习能够掌握智能的算法和搜索技术，通过对机器学习能够了解数据的分类、过滤等方法。
这些先修课程为本课程的讲授打下了基础。
本课程的后续课程包括智能机器人、模式识别等。
通过本课程可为后续课程提供理论与方法实践基础。
三、课程教学目标1.考虑社会、健康、安全、法律、文化以及环境等因素，设计一个能实现预期功能的硬件或软件系统，进行仿真研究或开发出系统原型或实物（支撑毕业要求中的3.3）；2.能够评价智能系统工程实践对环境、社会可持续发展的影响（支撑毕业要求中的7.2）；3.将大数据技术作为重点，以应用为目的，全面介绍大数据的数据挖掘与预测方法。
使学生既能对大数据处理技术有一个全景的把握，又能深入理解和使用大数据进行决策。
4.有不断学习和适应智能科学与技术发展的能力（支撑毕业要求中的12.2）5.了解大数据挖掘与预测分析学科的前沿和最新发展动向，具有跟踪学科发展前沿的意识和文献检索基本技能。
（支撑毕业要求中的10.1）四、教学内容、基本要求与学时分配五、其他教学环节（课外教学环节、要求、目标）大作业：1.对数据挖掘的认识。
Chapter14厦门大学林子雨-大数据技术原理与应用-第十四章基于Hadoop的数据仓库Hive(
温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字
第八讲 基于Hadoop的数据仓库Hive
（PPT版本号：2016年4月6日版本）
E-mail: 主页：
《大数据技术原理与应用》
厦2门01大6 学计算机科学系
林子雨
课堂内容与教材对应关系说明
《大数据技术原理与应用》
全方位、一站式服务
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
提纲
• 14.1 概述 • 14.2 Hive系统架构 • 14.3 Hive工作原理 • 14.4 Hive HA基本原理 • 14.5 Impala • 14.6 Hive编程实践
本PPT是如下教材的配套讲义： 21世纪高等教育计算机规划教材 《大数据技术原理与应用 ——概念、存储、处理、分析与应用》 （2015年8月第1版） 厦门大学 林子雨 编著，人民邮电出版社 ISBN:978-7-115-39287-9
第9讲-Hadoop架构再探讨
新增第15章，不在当前第1版教材中，将放入第2版教材
第10讲-流计算
第8章-流计算
第11讲-Spark
新增第16章，不在当前第1版教材中，将放入第2版教材
第12讲-图计算
第9章-图计算
第13讲-数据可视化
第10章-数据可视化
第14讲-大数据在互联网领域的应用 第11章-大数据在互联网领域的应用
厦门大学林子雨编著《大数据技术原理与应用》 2015年8月1日人民邮电出版社出版发行 第1版教材共包含13章内容
第一章 大数据概述 第二章 大数据处理架构Hadoop 第三章 分布式文件系统HDFS 第四章 分布式数据库HBase 第五章 NoSQL数据库 第六章 云数据库 第七章 MapReduce 第八章 流计算 第九章 图计算 第十章 数据可视化 第十一章 大数据在互联网领域的应用 第十二章 大数据在生物医学领域的应用（自学） 第十三章 大数据的其他应用（自学）
厦门大学本科教学大纲
4,神经末梢的分类.四种感觉神经末梢的结构与功能.
第八章神经系统
掌握：
1，大脑皮质的六层结构
2，小脑皮质的六层结构
3，神经节结构
4，血脑屏障组成
熟悉与了解：
1，小脑小球组成结构
2，脊髓灰质神经元组成
第九章眼与耳
掌握:内耳:球囊斑,椭圆囊斑与壶腹脊的位置,光镜结构及功能.蜗管壁各部的结构,螺旋器的结构与功能.
上皮,假复层纤毛柱状上皮,复层扁平上皮与变移上皮的光镜结构和功能.
3,上皮组织的特殊结构:紧密连接,中间连接,桥粒,缝隙连接的超微结构和功能.
熟悉与了解:
1,微绒毛,纤毛的光镜结构,超微结构与功能.
2,基底面基膜的光镜结构,超微结构与功能.
3,质膜内褶和半桥粒的超微结构特点.
4,腺上皮中浆液性腺细胞和粘液性腺细胞的结构和功能
2,球旁复合体:位置与组成;球旁细胞的光镜结构和功能
熟悉与了解:
1,集合小管和乳头管的光镜结构.
2,肾血液循环特点.
第十八章男性生殖系统
掌握:
1,生精上皮:其在青春期前后的结构特点各级生精细胞的结构特点及排列规律,精子的光镜及超微结构特点.支持细胞的光镜结构和功能.
2,血睾屏障的组成及意义.
3,睾丸间质:其内的间质细胞(内分泌细胞)的光镜结构及功能.
熟悉与了解:
1,附睾:输出小管和附睾管的结构特点和功能.
2,前列腺:其组成及分布.腺泡的结构特点,间质的结构特点(前列腺的三个主要结构特点).
第十九章女性生殖系统
掌握:
1,卵巢:卵泡发育的过程.各级卵泡的结构与内分泌功能.黄体的形成,结构与功能(定义).
2:,子宫:增生期与分泌期的子宫内膜结构特点,子宫内膜的周期性变化与卵巢激素的关系.
厦门大学本科课程教学大纲
厦门大学本科课程教学大纲
XMU Undergraduate Course Syllabus
厦门大学本科课程大纲填写说明(Notes)
1．须同时填写课程大纲中文版和英文版。
2．课程名称必须准确、规范。
3．课程代码：非任课教师填写。
该课程在教务系统生成后，由学院代为填写。
4．授课对象填写专业。
5．适用年级填写可修读本课程的时间，如本科三年级第一学期。
6．课程类型指公共基本课程、通识教育课程、学科通修课程、专业（或专业方向）课程、其他教学环节。
7．课程课型指理论课、实验课、技能课、实践课。
8．总学时=授课学时+讨论学时+实验学时+上机学时+其他学时
9．先修课程是与该课程具有严格的前后逻辑关系，非先修课程则无法学习该课程。
10.培养目标不少于150字。
11.考核方式包括成绩登记方式、成绩组成、考核标准等。
成绩登记方式包括百分制、
通过/不通过等。
成绩组成指各种考核方式占比。
考核标准指衡量各项考评指标得分的基准。
12.选用教材和主要参考书要求注明作者、书目、出版社、出版年份。
例如，“丹利维
尔：《民主、官僚制组织和公共选择》，中国青年出版社，2001年。
”
13.其它信息指课堂规范要求等，如课上禁止使用手机、缺勤要求等。
14.课程英文类别代号:。
Chapter0-厦门大学-林子雨-大数据技术原理与应用-课程介绍资料
主讲教师和助教
主讲教师：林子雨
单位：厦门大学计算机科学系 E-mail: ziyulin@ 个人网页：/linziyu 数据库实验室网站：
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
课程特色大 数 据 Fra bibliotek 门搭建起通向“大数据知识空间”的桥梁和纽带 构建知识体系、阐明基本原理 引导初级实践、了解相关应用 为学生在大数据领域“深耕细作”奠定基础、指明方向
《大数据技术原理与应用》
厦门大学计算机科学系
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@
内容提要
• 本课程系统介绍了大数据相关知识，共有13章 • 系统地论述了大数据的基本概念、大数据处理架构 Hadoop、分布式文件系统HDFS、分布式数据库HBase、 NoSQL数据库、云数据库、分布式并行编程模型 MapReduce、流计算、图计算、数据可视化以及大数据 在互联网、生物医学和物流等各个领域的应用 • 在Hadoop、HDFS、HBase和MapReduce等重要章节， 安排了入门级的实践操作，让学生更好地学习和掌握大数 据关键技术
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
篇章安排
第一篇：大数据基础篇 第二篇：大数据存储篇 第三篇：大数据处理与分析篇 第四篇：大数据应用篇
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
ziyulin@
第一篇：大数据基础篇
《大数据技术原理与应用》
厦门大学计算机科学系
林子雨
(完整)大数据技术与应用基础-教学大纲
(完整)大数据技术与应用基础-教学大纲编辑整理：尊敬的读者朋友们：这里是精品文档编辑中心，本文档内容是由我和我的同事精心编辑整理后发布的，发布之前我们对文中内容进行仔细校对，但是难免会有疏漏的地方，但是任然希望（(完整)大数据技术与应用基础-教学大纲）的内容能够给您的工作和学习带来便利。
同时也真诚的希望收到您的建议和反馈，这将是我们进步的源泉，前进的动力。
本文可编辑可修改，如果觉得对您有帮助请收藏以便随时查阅，最后祝您生活愉快业绩进步，以下为(完整)大数据技术与应用基础-教学大纲的全部内容。
《大数据技术与应用基础》教学大纲学时：60代码：适用专业：制定:审核：批准：一、课程的地位、性质和任务大数据技术的发展，已被列为国家重大发展战略。
而在过去的几年里,无论是聚焦大数据发展的《促进大数据发展行动纲要》，还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用发展的重视。
目前国内大数据发展还处于加速期、转型期，数据与传统产业的融合还处于起步阶段，各行业对大数据分析和挖掘的应用还不理想。
但随着市场竞争的加剧，各行业对大数据技术研究的热情越来越高，在未来几年，各领域的数据分析都将大规模应用。
本课程在注重大数据时代应用环境前提下,考虑大数据处理分析需求多样复杂的基本情况,从初学者角度出发，以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式的各种系统和工具.考虑到当前大数据发展处于起步并逐步赶超先进的阶段,其应用领域丰富广泛,在教学过程中应注重掌握大数据分析的实践操作.本课程通过丰富简单易上手的实例，让学生能够切实体会和掌握各种类型工具的特点和应用.二、课程教学基本要求1. 了解大数据的发展和基本概念，理解并掌握大数据的特征及主要技术层面。
2。
掌握Scrapy环境的搭建，了解网络爬虫获取数据的过程，熟悉爬虫项目的创建。
3。
深刻了解hadoop的基础理论，理解并掌握Hadoop单机及集群环境的部署方法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
厦门大学本科课程教学大纲
XMU Undergraduate Course Syllabus
厦门大学本科课程大纲填写说明(Notes)
1．须同时填写课程大纲中文版和英文版。
2．课程名称必须准确、规范。
3．课程代码：非任课教师填写。
该课程在教务系统生成后，由学院代为填写。
4．授课对象填写专业。
5．适用年级填写可修读本课程的时间，如本科三年级第一学期。
6．课程类型指公共基本课程、通识教育课程、学科通修课程、专业（或专业方向）课程、其他教学环节。
7．课程课型指理论课、实验课、技能课、实践课。
8．总学时=授课学时+讨论学时+实验学时+上机学时+其他学时
9．先修课程是与该课程具有严格的前后逻辑关系，非先修课程则无法学习该课程。
10.培养目标不少于150字。
11.考核方式包括成绩登记方式、成绩组成、考核标准等。
成绩登记方式包括百分制、
通过/不通过等。
成绩组成指各种考核方式占比。
考核标准指衡量各项考评指标得分的基准。
12.选用教材和主要参考书要求注明作者、书目、出版社、出版年份。
例如，“丹利维
尔：《民主、官僚制组织和公共选择》，中国青年出版社，2001年。
”
13.其它信息指课堂规范要求等，如课上禁止使用手机、缺勤要求等。
14.课程英文类别代号:。