云计算虚拟化hadoop实验报告

四川大学计算机学院、软件学院

实验报告

学号: 姓名：专业：班级： 9 第 15 周

小数据集都可以完全并行地进行处理。

二、Linux及KVM虚拟机安装

1.首先我们找到比较常用的Linux适用版本镜像文件，这里我们使用的是图形化做

得非常好的Ubuntu ，然后使用UltraISO做出一个启动盘并在电脑上做出一个双系统，分区大小我们参照网络上的建议将主分区目录设置为20G，成功做出一个Linux系统（这里我忘了截图了）

装机的过程和下面的虚拟机装机是一样的。

2.然后我们在完成Linux下的基础软件安装的情况下进行程序的KVM虚拟机安装，

首先使用如下指令：$ egrep -o '(vmx|svm)' /proc/cpuinfo检查Linux是否

支持安装KVM，结果显示是可以安装的，于是我们这里使用指令：$ apt-get install qemu-kvm libvirt-bin virt-manager bridge-utils安装KVM虚拟机，安装过程是自动完成的，如下图所示：

3.经验证我们发现KVM是安装成功并且正常运行的，安装成功的验证指令为：#

lsmod | grep kvm，到这里KVM的安装就基本完成了。

4.然后我们需要在KVM上创建一个虚拟机，具体操作步骤如下：在根下创建images

目录，在images下创建iso和test目录。

5.之后我们使用指令：virt-install --name ubuntutest --hvm --ram 1024 --vcpus

1 --disk path=/images/test/,size=10 --network network:default

--accelerate --vnc --vncport=5911 --cdrom /images/iso/ –d创建虚拟机，至此我们基本完成了前期的基础性工作，操作流程图如下所示：

虚拟机装机界面：

6.虚拟机创建完成之后还可以使用# virsh list –all指令验证虚拟机是否存在，

以及# virsh start VMNAME指令启动虚拟机

三、SSH的创建及使用

首先创建Hadoop用户组，使用指令：$ sudo addgroup hadoop,然后创建一个Hadoop 用户，使用如下指令：$ sudo adduser -ingroup hadoop hadoop,并且为用户添加权限，使用如下指令：$ sudo gedit /etc/sudoers,操作截图如下所示：

1.

（

接上）实

验

内

容

（

算法、程序、步

骤

和

方法）

2.然后我们使用新增加的Hadoop用户登录Ubuntu系统，之后我们使用指令sudo

apt-get install openssh-server安装ssh，运行截图如下所示：

3.ssh安装完成之后我们使用指令：sudo /etc/ssh start启动服务，并且使用指

令ps -e | grep ssh查看服务是否启动正确，程序运行截图如下所示：

4.然后我们设置免密码登录并生成公钥和私钥，使用如下指令：ssh-keygen -t rsa

-P ""，程序运行截图如下所示：

5.此时会在／home／hadoop/.ssh下生成两个文件：id_rsa和，前者为私钥，后者

为公钥。下面我们将公钥追加到authorized_keys中，它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。cat ~/.ssh/ >> ~/.ssh/authorized_keys，程序截图如下所

6.最后我们使用指令：ssh localhost来登录ssh，完成我们第二部分的前期准备

工作，程序截图如下所示：

四、JAVA环境变量配置

1.我们使用指令：sudo apt-get install openjdk-7-jdk来获取并安装java的jdk，

并使用指令：java –version来检测jdk是否安装成功，程序截图如下所示：

五、安装Hadoop

1.首先从官网下载Hadoop的安装包，然后使用指令：sudo tar xzf 将hadoop解

压，然后我们在命令窗口中输入指令：sudo mv /usr/local/hadoop拷贝到/usr/local/下，使用指令：sudo chmod 774 /usr/local/hadoop获取文件读写权限，步骤截图如下所示：

2.然后我们需要对~/.bashrc文件进行配置，需要知道JAVA——HOME环境变量，使

用如下指令查询：update-alternatives - -config java，然后利用指令：sudo gedit ~/.bashrc打开文本编辑窗口，并如图所示编辑内容，保存后关闭，执行指令：source ~/.bashrc使更改生效，步骤截图如下所示：

3.最后我们进行目录为/usr/local/hadoop/etc/hadoop/的文件更改，执行命令：

sudo gedit /usr/local/hadoop/etc/hadoop/打开文本编辑窗口，如图所示修改文本内容，保存后关闭，步骤截图如下所示：

六、WordCount实例测试

1.首先我们在/usr/local/hadoop路径下创建input文件夹，使用指令：mkdir

input，然后使用指令：cp input将拷贝到input文件夹下，步骤截图如下所示：