大数据平台技术—实验1(2019-2020)222

重庆交通大学信息科学与工程学院

实验报告

班级：曙光1701班

姓名学号：

实验项目名称：实验一, Hadoop平台搭建与维护实验项目性质：验证性

实验所属课程：大数据平台技术

实验室(中心)：语音楼11楼第三实验室

指导教师：

实验完成时间：2019 年9 月22 日

一、实验概述：

【实验目的】

1.掌握Linux命令行操作及JA V A环境变量设计方法；

2.掌握Linux操作系统安装或虚拟机安装配置方法；

3.掌握Hadoop平台单机模式、伪分布式模式的安装配置方法；

4.掌握HDFS分布式文件系统的文件读写命令行使用方法；

5.掌握MapReduce分布式程序的命令行示例程序使用方法。

【实验要求】

1.保存程序，并自行存档；

2.最终的程序都必须经过测试，验证是正确的；

3.认真记录实验过程及结果，回答实验报告中的问题。

【实施环境】（使用的材料、设备、软件）

Linux操作系统环境，VirtualBox虚拟机，Java开发环境，Hadoop/HBase/Spark等程序。

二、实验内容

第1题. Ubuntu操作系统安装。以双系统或者虚拟机方式安装Ubuntu操作系统。

安装双系统：

安装前准备工作

1.压缩磁盘，新建分区

- 桌面电脑图标上右键 --> 管理 --> 存储 --> 磁盘管理

图1.

- 磁盘0 --> OS(C:)上右键压缩卷--> 选择合适大小，压缩完成后就退出，保持未分区状态，不要格式化

图2

2.关闭快速启动（也许不管也可以）

图3

3.制作UEFI格式U盘启动盘

将ISO镜像中的所有文件复制到一个干净的U盘中。

4.关闭Secure Boot

(1)进入BIOS：重启电脑，在MI出现后马上按F2（可以多按几次，也可以在还是黑屏

时就开始按）

(2)Security—>Set Supervisor Password(必须设置，否则下面的Secure Boot无法

更改)

图4

(3)Security—>Secure Boot—>更改为Disabled

图5

(4)Boot—>Boot Type—>UEFI

图6

(5)最后F10后回车，会保存更改后直接启动

安装中

1. 进入启动U盘: 同进入BIOS类似，在上面重启后出现MI时按F12，进入选择菜单，选择你的U盘就可以了

图7

2.之后就是正常的Ubuntu系统安装步骤，需要注意的是一定要选择其他选项(自己分区)，

3. 分区：共60G

/bootext4 300MB /ext4 50GB/swap 1000MB

4. 分完区后，下面的安装启动引导器的设备选择/boot所在的分区

5. 安装完成后重启时会出现一个选择菜单，选择Ubuntu则进入linux系统，选择Windows boot Manager则进入Win10

图8

安装完成

第2题Linux环境下Hadoop开发环境的安装

【实验内容】

(1)JA V A环境安装与配置；

(2)SSH环境安装与配置；

(3)Hadoop伪分布式模式安装与配置。

【实验结果】（步骤、记录、数据、程序等）

请结合课程实验教材第3章内容，完成JA V A环境、SSH以及Hadoop平台的安装和配置任务，并在下方描述和记录安装过程，提供JA V A、SSH及Hadoop安装配置完

成后正常运行的界面截图证明。

1.安装SSH

Ubuntu默认已安装了SSH客户端，因此，这里还需要安装SSH服务端，在Linux的终端中执行一下命令：

$sudo apt-get install openssh-server

安装后，可以使用如下命令登录本机：

$ssh localhost

执行该命令后会出现SSH首次登录提示，输入yes，然后按提示输入密码Hadoop，就登陆到本机了。（由于这样每次登录都需要输入密码，所以，需要配置成SSH无密码登录，就比较方便）

首先输入命令exit退出刚才的SSH，就回到了原先的终端窗口，然后可以利用sshkeygen 生成密钥，并将密钥加入到授权中，命令如下：

$cd~/.ssh/ #若没有该目录，请先执行一次 ssh localhost

$ssh-keygen-t rsa #会有提示，按enter键即可

$cat ./id_rsa.pub>> ./authorized_keys #加入授权

此时，在执行ssh localhost命令，无需输入密码就可以直接登录了，如图8

所示：

图9

2.安装Java环境

安装方式，命令如下：

$sudo apt-get install default-jre default-jdk

注：需保持联网状态

下载好相关文件后，需要配置JAVA_HOME环境变量，在Linux终端中输入以下命令打开当前登录用户的环境变量配置文件.bashrc

$vim~/.bashrc

在文件最前面添加如下单独一行，然后保存退出：

export JAVA_HOME=/usr/lib/jvm/default-java

让环境变量立即生效，代码如下：

$source~/.bashrc

检验是否正确：

$echo $JAVA_HOME

$java-version