数据采集与存储-教学大纲

《数据采集与存储》教学大纲

课程编号：071153B

课程类型：□通识教育必修课□通识教育选修课

□专业必修课 专业选修课

□学科基础课

总学时：48 讲课学时：32 实验（上机）学时：16

学分：3

适用对象：（专业名称）

先修课程：信息管理与信息系统专业（大数据应用）和统计专业（大数据分析）

一、教学目标

本课程是信息管理与信息系统专业（大数据应用）和统计专业（大数据分析）的专业选修课，是学生进行大数据分析和应用的基础课程；通过本课程的学习学生将掌握数据采集和数据存储的基础知识，熟悉数据采集的原理和方法，熟悉数据存储的机制、数据查询和应用；从知识结构和实验操作经验等方面为后续课程的学习奠定基础。

目标1：掌握数据采集的基本原理和方法；

目标2：掌握数据存储的方法和原理；

目标3：掌握基于分布式数据存储的应用。

二、教学内容及其与毕业要求的对应关系

（一）教学内容

本课程主要教学内容是在学生掌握基本的操作系统、大数据计算机基础、程序设计基础及应用等基本原理后，学习数据采集和存储的相关知识及平台。具体

内容包括数据采集原理与方法、数据存储的传统方法及应用、大数据存储方法及应用等；

（二）教学方法和手段

根据教学目标，拟采用的教学方法有：课程讲解和计算机实验相结合的方法强化所讲授的内容；通过课堂提问和课后预留作业的方式对所学知识进行温习和巩固；通过实例化的编程实验增强学生对所学知识的掌握和理解。

（三）实践教学环节要求

根据教学进度和要求布置相应的小作业，通过上机实践。每一章根据所讲授的理论知识都设计与此对应的上机内容。通过上机学习强化对本课程的理论的理解和掌握。

（四）学习要求

为有效学习本课程，要求学生首先具备操作系统、大数据计算机基础、程序设计基础及应用等方面的基本知识。应该熟读课程大纲，提纲挈领地掌握大数据的基础理论、相关技术、包含的内容及大数据应用的方法，随后按照大纲熟读教材，并通过课后思考和上机实践进行多角度和多层次的反复学习。

（五）与毕业要求的关系

数据采集与存储是大数据挖掘、分析和应用的基础；如何进行科学合理地进行数据的采集和存储是大数据相关专业的毕业生所必须的技能；课程结合实际案例从理论和实际应用出发进行数据采集、存储和应用，为培养大数据领域合格数据工程师奠定基础。

（六）教学中应注意的问题

由于操作系统、大数据计算机基础、程序设计基础及应用等是该课程的先修基础，如果学生先修基础课没有学好，学习数据采集与存储的理论和技术时，则出现半知不解的情况。因此，教学中需要根据学生掌握先修课程基础情况，由易到难循序渐进、结合实际案例进行

由浅入深的教学。

三、各教学环节学时分配

以表格方式表现各章节的学时分配，表格如下：

（基于传感器数据采集、基于集成系统的数据采集方法、基于通信接口的数据采集、基于二维码的数据、基于网络爬虫数据采集方法、基于云模型数据采集）（文件存储、关系数据的存储、磁盘阵列存储）

（文件存储、关系数据的存储、磁盘阵列存储）

教学课时分配

四、教学内容

第一章数据采集概述

教学内容包括：数据采集的基本概念、分类和性能指标的概述。

教学重点：数据采集的基本概念、分类和性能指标。

复习思考题：数据采集方法的分类和性能指标。

第二章数据采集方法及应用

教学内容包括：基于传感器数据采集、基于集成系统的数据采集方法、基于通信接口的数据采集、基于二维码的数据、基于网络爬虫的数据采集方法。

教学重点：各种数据采集方法的应用。

复习思考题：基于传感器的数据采集方法；基于二维码的数据采集方法和基于网络爬虫的数据采集方法。

第三章数据存储概述

教学内容包括：数据存储的基本概念、分类和性能指标的概述。

教学重点：数据存储的基本概念、分类和性能指标。

复习思考题：数据存储方法的分类和性能指标。

第四章传统数据存储方法及应用

教学内容包括：传统数据库技术和架构、OLTP数据库技术及架构、OLAP数据库技术及架构、MPP DB数据库技术及架构。

教学重点：OLTP数据库技术及架构、OLAP数据库技术及架构、MPP DB数据库技术及架构。。

复习思考题：OLAP数据库技术、架构及应用。

第五章云存储

教学内容包括：云存储的概述、分布式块存储、分布式对象存储、分布式存储管理、面向云平台的存储架构。

教学重点：分布式块存储、分布式对象存储、面向云平台的存储架构。

复习思考题：分布式块存储、分布式对象存储、面向云平台的存储架构。

第六章大数据存储及应用

教学内容包括：大数据存储概述、Nos数据库技术及架构、分布式数据库技术及架构、MongoDB数据库概述、MongoDB数据库设计、MogoDB高级查询、基于MogoDB的应用。

教学重点：Nos数据库技术及架构、分布式数据库技术及架构、MongoDB数据库概述、MongoDB数据库设计、MogoDB高级查询、基于MogoDB的应用。

复习思考题：Nos数据库技术及架构、分布式数据库技术及架构、MongoDB 及应用。

五、考核方式、成绩评定

本课程的考核分为平时考核及期末考查两种形式。本课程平时成绩占40%，期末考查成绩占60%。

平时考核采用撰写上机实验、实验报告、课堂案例讨论等方式。期末考核采用案例论文分析的方式，案例内容将尽可能包括《数据采集与存储》所讲授的重点内容，使学生通过案例将理论知识和实践结合起来，为将来学生从事相关大数据行业的工作奠定基础。

六、主要参考书及其他内容

[1]查伟.数据存储技术与实践.北京：清华大学出版社.2016年10月

[2]David Hows,Peter Membrey.MongoDB大数据处理权威指南（第3版）.北京：

清华大学出版社.2017年3月

[3]EMC Education Services.数据科学与大数据分析.北京:人民邮电出版

社.2017.3

执笔人：曹海青教研室主任：范烺系教学主任审核签名：