_大数据测试技术数据采集、分析与测试实践(在线实验+在线自测)_教学大纲

大数据测试技术课程教学大纲

课程名称：大数据测试技术课程编码：621010820

英文名称：Big data testing technology

学时：48学分：3

开课学期：第5或第6学期

适用专业：计算机、信管、物联网、电商、管理、财经

课程类别：专业选修课

先修课程：计算思维与Python程序设计、计算机网络、Linux操作系统

建议教材：《大数据测试技术》，刘攀主编，人民邮电出版社， 2018年9月

一、课程目的、任务

《大数据测试技术》是高等院校计算机专业的选修课。该课程主要目的和任务是帮助学生理解和掌握大数据的收集、数据格式转换、数据导入，利用数据分析技术来实现软件缺陷的挖掘方法。通过该课程的学习，学生可以理解大数据测试的概念，掌握手机访问网络数据的收集方法，掌握数据格式转换的一般技术，熟练掌握Splunk平台处理大数据的各种操作，理解大数据缺陷挖掘的一般过程。

二、课程教学基本要求

《大数据测试技术》的教学内容包括掌握大数据测试的概念和目标任务，了解大数据的处理方法及技术，了解大数据的背景、内容和信息存储模式；掌握大数据的收集方法、格式转换方法，熟练掌握运用Splunk平台的运用，熟练掌握SPL语言的编写方法和技巧，熟练掌握软件缺陷的一般分析方法，熟练掌握Splunk软件在Linux上的部署方法，在Windows 中调用Linux中Splunk的方法，能够解决数据戳错误的解决方法。重点掌握非格式化数据的分析方法、正则表达式的构造方法，利用正则表达式挖掘有效数据的方法。

该课程是一门新兴的课程。学习该课程前应该具有一定的计算机应用基础，掌握一定的Linux知识，掌握Python语言的编程方法，了解SPL语言的构造，掌握正则表达式的构造方法，同时也应该对基本的数据格式和数据存储有所了解。

本课程具有很强的操作性，教学必须坚持理论与实践相结合。在讲清楚基本概念的前提下，充分应用案例教学，结合理论进行教学。本课程的教学形式以讲授+实验教学方式为主。

课程考核方式：平时成绩（30%）+期中成绩（30%）+期终考试（40%），其中平时成绩以考勤和课程作业完成情况来评定，期中成绩来自于大作业的评分，期末成绩来源于闭卷考试。

三、课程教学内容（分章节）

第一章大数据测试思维

（一）教学要求

通过本章的学习使学生掌握大数据的内涵和特征，掌握课程的目标和任务，层次和内容以及手段和方法，了解大数据发展的历史。

（二）教学内容

本章共分三节：

第一节规律是否存在

介绍大数据的概念及其发展，讲述数据背后的规律特征，了解数据规律的特殊性，讲述大数据的背景和规律的形成条件。

第二节大数据的背后

介绍大数据背后隐藏的规律发现方法以及数据突破人们的认识，形成意想不到的规律。

第三节大数据的应用过程

介绍大数据应用的方式、环节、处理方法和过程。

第二章大数据收集概述

（一）教学要求

通过本章的学习首先让学生认识到信息资源管理主要学习领域是什么，其重点研究的主题是什么。主要学习信息资源的类型，掌握信息采集中的原则与策略，旋涡信息组织的各种方式，特别对信息表示语言、信息分类给予了解；了解信息检索的各类系统；了解信息分析的主要方式；掌握信息资源开发利用的原则和模式。

（二）教学内容

本章共分两节：

第一节案例介绍

介绍采用手机收集网络连接数据的案例，讲解这个案例实现的原理及方法，电脑环境的相关配置。

第二节数据采集

讲述Wireshark软件的连接方法，数据的显示方法，数据包的存储，同步操作的实现。

第三章网络数据的采集与分析

（一）教学要求

本章将演练网络数据采集的方法及利用Wireshark软件进行数据分析的一般思路。

（二）教学内容

本章共分四节：

第一节物理连接及Wireshark的常用操作

讲述将手机、360随身WIFI、电脑进行连接的方法，Wireshark软件有三种方式，构建网络的方法，Wireshark功能介绍。

第二节数据包的采集

讲述采用Total Control软件将手机操作同步到电脑的方法，用Wireshark软件进行数据存储和打开的方法。

第三节数据包的自动抓取

介绍数据包的自动抓取背景，采用Total Control软件编辑脚本的方法，脚本的执行方法。

第四节数据包分析

介绍数据包的分析方法，Wireshark软件来捕获手机网络数据包的方法，Wireshark软件对数据包的分析方法。

第四章数据格式转换及Python编程（一）教学要求

本章将学习Python语言编程的方法，重点介绍Python语言的基本语法、网络分析构造、PyShark组件的介绍，Python语言的环境配置等。

（二）教学内容

本章共分四节

第一节原理及方法

讲述通过Wireshark软件导出手机APP访问网络的数据包（格式为*.pcapng），然后在Python中编程，将*.pcapng文件转换为CSV格式的文件。

第二节 Python安装及配置

讲述Python软件的安装方法，配置过程，PyShark包的下载和安装过程及相关支持文件的安装。

第三节 Python基础学习

介绍Python的命令行演示，创建.py文件，Python出错演示，Python注释，输出换行，Python帮助。

第四节 Notepad环境

介绍Notepad软件的安装，设置运行步骤，多个变量赋值、Python的标准数据类型、删除及实例演示等。

第五章 Splunk平台初探

（一）教学要求

通过本章的学习使学生初步掌握如何使用专业大数据分析软件Splunk来分析csv格式的文件，以便获得隐藏在数据背后内容，进而探测手机APP软件的联网效率。

（二）教学内容

本章共分四节：

第一节 Splunk简介

讲述Splunk是一款成熟的商业化日志处理分析产品，也是一套开源的方案ELK(Elasticsearch+Logstash+Kibana)。

第二节 Splunk的安装与配置

介绍Splunk平台的下载和安装方法，Splunk平台的配置方法。

第三节 Splunk数据分析

讲述构造SPL语句的方法，确定列名，Splunk的简单操作。

第四节 SPL高级编程

讲述Splunk平台的自动生成数据、构造随机数、数据统计、Splunk处理过程、报告再编辑。

第六章 Splunk平台实践

（一）教学要求