hadoop及spark搭建实验报告

1、创建hadoop用户。（见图1-1）

图1-1 创建hadoop

2、用 hadoop 用户登录后，我们先更新一下 apt，后续我们使用 apt 安装软件，如果没更新可能有一些软件安装不了。（见图1-2）

图1-2 更新apt

3、集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server。（见图1-3）

图1-3 安装SSH

图1-4 ssh登陆成功

4、为了方便后续操作，我们需要配置成SSH无密码登陆比较方便，首先退出刚才的ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中。（见图1-5）

图1-5 设置ssh免密登陆

图1-6 ssh免密登陆成功5、联网安装java环境

图1-7 联网安装jdk，jre

图1-8 配置jdk路径

图1-9 java环境成功配置6、安装hadoop2

图1-10 hadoop2.7.1安装成功

图1-11hadoop的伪分布配置

图1-12 NameNode 的格式化成功

图1-13 hadoop启动成功

图1-14 web页面管理

7、spark平台安装与配置

图1-15 spark的安装

图1-16 spark环境配置

图1-17 验证spark安装成功