《大数据导论》课程大纲
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
《大数据技术导论》课程教学大纲
Instruction of Big Data Technology
一、课程基本情况
课程编号:
课程类别:专业任选课
课程学分:2 学分
课程总学时:32学时,其中讲课: 20 学时,实验(含上机): 12 学时
课程性质:考试
开课学期:第3学期
先修课程:大学生计算机基础
适用专业:计算机应用技术
开课单位:计算机科学与技术学院
二、课程性质、教学目标和任务
《大数据技术导论》课程是计算机应用技术专业想了解大数据分析技术的学生必修的一门基础课程,具有很强的实践性和应用性。
它以《大学计算机基础》为基础,主要培养学生大数据平台运维、大数据分析和数据可视化基本思想和基本技能,为后续的数据挖掘应用性课程和数据产品开发课程的学习打好编程基础。
本课程设置的目的是通过对Hadoop,HDFS,MapReduce,HBase,R语言的学习,较好地训练学生大数据平台运维、数据分析和数据展现,使学生具有数据分析和数据展现的能力,为培养学生有较强数据开发能力打下良好基础。
三、教学内容和要求
1.概论(4学时)
(1)了解大数据技术产生的历史必然;
(2)理解大数据的特征;
(3)理解大数据生命周期;
(4)理解大数据、云计算、物联网之间的相互关系;
(5)了解大数据的变革;
(6)熟练掌握Linux常用命令
(7)了解Linux目录结构;
(8)熟练使用vi编辑器
目的:通过上述知识的学习,使学生了解大数据基本概念、特征、处理流程,熟练掌握Linux常用操作命令。
重点:linux操作;
难点:大数据生命周期。
2.大数据生态系统(4学时)
(1)掌握HDFS分布式文件系统的结构;
(2)掌握HDFS存储原理;
(3)掌握HDFS读写操作;
(4)掌握MapReduce编程框架
(5)理解Map原理;
(6)理解MapReduce原理;
(7)了解zookeeper架构和工作原理
目的:通过上述知识的学习,使学生了解大数据生态系统疾病组件,掌握HDFS和MapReduce工作原理,并进行相应的操作。
重点:HDFS工作原理和读写过程;
难点:MapReduce编程。
3.大数据采集与预处理(4学时)
(1)理解数据及其分类;
(2)了解数据采集方法和工具;
(3)掌握数据清洗的任务和作用;
(4)掌握数据变换的种类和过程;
(5)熟练Python爬虫
目的:通过上述知识的学习,使学生理解数据分类,理解数据清洗和数据变换的意义,熟练Python爬虫。
重点:Python爬虫;
难点:Python爬虫。
4.大数据库(6学时)
(1)理解NoSQL与NewSQL;
(2)理解批量处理技术;
(3)了解流计算原理;
(4)了解图计算原理;
(5)了解查询分析计算原理;
(6)掌握HBASE模型
(7)熟练HBASE shell操作
目的:通过上述知识的学习,使学生理解NoSQL与NewSQL,掌握HBASE模型和基本操作。
重点:HBASE shell操作;
难点:理解NoSQL与NewSQL。
5.大数据分析(6学时)
(1)了解数据分析的原则、特点;
(2)掌握大数据分析流程;
(3)理解大数据分析技术、难点;
(4)理解数据认知的基本方法;
(5)掌握特征工程的作用和基本方法;
(6)掌握数据建模的常用方法
(7)了解通用计算引擎Spark
(8)掌握hive的数据分析方法;
目的:通过上述知识的学习,使学生掌握大数据分析流程和相关技术;
重点:hive的数据分析方法;
难点:数据建模。
6.大数据可视化技术(4学时)
(1)了解数据可视化概念和作用
(2)理解可视化建议;
(3)了解图表的作用;
(4)熟练掌握基本统计的绘制方法;。