大数据技术实验一平台搭建

《大数据技术原理与应用》实验报告一

题目：安装Hadoop

姓名：高聪江班级：大数据1533 学号：2015005677 日期：2017.11.01 实验环境：

笔记本电脑一台

Archlinux虚拟机3台

Hadoop 2-7-10

Java 1-8-0

实验内容与完成情况：

下载相关软件已完成

安装虚拟机已完成

配置环境变量已完成

安装Hadoop 已完成

出现的问题：

01 虚拟机运行软件选择

02 虚拟机选择

03 虚拟机的分盘出现问题

04 虚拟机命令不被识别

05 Hadoop版本选择

06 Hadoop无法正常启动

07 结束安装后活节点数是0

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：

01 虚拟机运行软件选择使用了VirtualBox

02 虚拟机选择使用了Archlinux

03 虚拟机的分盘出现问题再分了一次，成功解决

04 虚拟机命令不被识别系统的环境变量出现问题，修改配置文件解决

05 Hadoop版本选择选择了2-7-10这一比较广泛的版本Hadoop

06 Hadoop无法正常启动由于格式化节点的时候没有先把生成文件都删除

07 结束安装后活节点数是0 这个问题原因一直没有找到，重装解决的

报告正文

1.实验内容与步骤

本实验主要内容和步骤如下：

1.1.实验内容

Hadoop集群搭建（由于伪分布比较简单，所以实验报告描述集群搭建），WorldCount实例测试。

1.2.实验步骤

1>下载相关软件。主要是Java，VirtualBox，Hadoop安装包，虚拟机的镜像

文件。

2>安装ArchLinux虚拟机（由于此发行版本比较洁净，系统体积小，运

行比较流畅）

安装结果如图：

3>进行Hadoop集群安装

>>启用网络并安装SSH和JDK

>>配置SSH免密登录

>>配置JAVA环境变量

显示上图说明JAVA环境变量已经配置完成。>>安装Hadoop

安装结束如上图

>>配置Hadoop 环境变量

在~/.bashrc文件中添加如下内容：

保存并执行$ source ~/.bashrc使其生效。>>修改Hadoop 配置文件

进入cd /usr/local/hadoop/etc/hadoop/

修改core-site.xml为：

修改hdfs-site.xml为：

>>启动Hadoop

输入./bin/hdfs namenode -format来格式化

输入./sbin/start-dfs.sh 来启动守护进程

>>查看进程

输入JPS

>>进入网页查看状态

>4 WorldCount实例测试

<1创建用户目录。

<2将本地input 文件夹中的数据上传到HDFS的input文件夹中。<3运行命令来执行字数统计测试样例

查看最终结果

说明：第一页做封面，简要概述报告，正文部分详述实验内容，标题上的X 代表实验编号（实验几）