大数据技术Spark基础实验指导书

实验一Scala部署及基本语法 (5)

1. 安装Scala (6)

1.1 进入安装目录 (6)

2. Scala基础 (7)

2.1 基础语法 (7)

2.2 控制结构 (11)

实验二Scala数据结构 (13)

3. Scala数据结构 (14)

3.1 列表 (14)

3.2 集合 (14)

3.3 映射（Map） (15)

3.4 迭代器 (17)

实验三Scala类和对象 (20)

4. 类 (21)

4.1 简单的类 (21)

5. 对象 (24)

5.1 单例对象 (25)

5.2 伴生对象 (25)

5.3 应用程序对象 (26)

实验四Scala函数式编程WordCount (27)

6. 实验操作 (29)

6.1 创建需要统计的目录 (29)

实验五spark安装部署 (31)

1、检查环境hadoop集群环境 (31)

2、Spark部署 (32)

1

实验六Spark RDD编程 (45)

1.RDD编程 (46)

实验七Spark单词统计实验 (47)

2、检查hadoop集群环境 (49)

2、创建项目 (50)

2.1创建java maven项目 (51)

2.2更改JDK版本 (54)

2.3配置pom.xml文件 (58)

2.4创建SparkWordCount类 (64)

4、打包项目 (70)

5、运行打包好的jar程序 (76)

5.1 运行程序 (76)

实验八Spark Hbase读写实验 (77)

1、检查hadoop集群环境 (79)

2、Hbase创建studen表 (80)

2.1 进入hbase环境 (80)

2.2 查看表是否存在 (80)

2.3 创建student表 (81)

2.4 往表里插入数据 (81)

2.5 使用scan命令查看表结构 (82)

3、创建项目 (83)

3.1创建java maven项目 (84)

3.2更改JDK版本 (87)

3.3配置pom.xml文件 (91)

1

5、Spark运行打包好的jar文件 (101)

6、java代码和配置文件（附） (104)

实验九Spark stream实验 (109)

1.实验准备 (110)

2. 创建Scala jar包 (111)

2.1 创建Scala项目 (111)

2.2 把scala项目Maven管理 (111)

3. Spark运行打包好的jar文件 (114)

4. java代码和配置文件（附） (116)

4.1 Stream类 (116)

实验十Spark SQL实验 (119)

1.实验准备 (120)

5. 创建Scala jar包 (121)

5.1 创建Scala项目 (121)

5.2 把scala项目Maven管理 (121)

6. Spark运行打包好的jar文件 (124)

7. java代码和配置文件（附） (126)

7.1 SQL类 (126)

1

旗开得胜

实验一Scala部署及基本语法

【实验名称】

Scala基本语法

【实验目的】

1.熟悉Scala的安装和基础语法学习

1

旗开得胜

2.掌握Scala基本数据类型和操作

3.熟悉使用Scala控制语句

【实验要求】

要求实验结束后，每位学生都能够自行安装Scala，并且能熟悉应用Scala的基础语法和基本数据类型，能在Scala成功编写程序。

【实验环境】

1、1台Centos6.8虚拟机

2、实验所需安装包

1