hadoop安装最终版

一．在Microsoft Windows XP操作系统下,安装Ubuntu 8.04 lts server版本+ xubuntu桌面到VMware虚拟机上
1.下载ubuntu server 及xubuntu
1)Ubuntu 8.04 server:
http://119.147.41.16/down?cid=A97349CDC5DF51672F26FCABACBF5BC5AF9AF89D
&t=2&fmt=&usrinput=ubuntu 8.04&dt=1&ps=0_0&rt=0kbs&plt=0
2)Xubuntu: 可不下，不用桌面
http://119.147.41.16/down?cid=DADD7F929F5F442A7881C2B382865468B70B8AA5
&t=2&fmt=&usrinput=xubuntu&dt=1002002&ps=0_0&rt=0kbs&plt=0
3)VMware
http://119.147.41.16/down?cid=9BAA5720718DE23B4F7312C915E8028E71779B39
&t=2&fmt=-1&usrinput=Vmware&dt=2056000&redirect=no
2.本人硬件环境(参考)
CPU: 2 core 4.12G
Memory: 2G ddr3
Mainboard Chip : Intel p43d3
Graphic Chip : N Geoforce 9600gs0
3.本人软件环境(参考)
OS : Microsoft windows xp sp3
VM: vmware5.5.1.19175
Linux: Ubuntu linux 8.04 lts server(iso) + xubuntu (ISO)
4.设置虚拟环境
1)安装VMware ：略(出现警告仍然继续，sn: E8HFE-5MD6N-F25DC-4WRNQ, 可不汉
化)
2)打开VMware Workstation软件，点击“file”菜单，选择“new”－“virtual machine”
命令
3)弹出新建虚拟机向导，点击“下一步”按钮
4)在“virtual machine configuration”中，选择第二项“custom”单选项目，点击
“下一步”按钮
5)在“virtual machine format”中，选择第一项“new - Workstation 5”单选项目，
点击“下一步”按钮
6)之后将询问虚拟机的操作系统，我们在“guest operating system”中选择“Linux”，
在下面的版本中选择“Ubuntu”，点击“下一步”按钮
7)这时询问虚拟机的名称和保存目录，请根据自己的需要进行设置。

在此我使用
d:\\My Virtual Machines\Ubuntu，点击“下一步”按钮
8)虚拟处理器数，选择“one”，点击“下一步”按钮。

（我是双核心处理器，所以
有这个项目）
9)这时提示分配虚拟机内存，请根据自己物理内存实际情况进行设置，建议至少
分配128MB内存，如果物理内存数量允许，推荐设置256MB内存。

我的物理
内存是2GB，在此我使用虚拟机推荐的内存数量384MB，点击“下一步”按钮
10)网络连接类型。

如果不想让虚拟机访问，请选择“不使用网络连接”。

如果需要
访问网络，请根据自己的情况设置，在此我推荐使用第二项“NAT”，这个选项
让虚拟机使用宿主计算机的IP访问网络，宿主计算机将共享网络给虚拟机。

点
击“下一步”按钮
11)I/O适配器，选择“SCSI Logic”项目，点击“下一步”按钮
12)磁盘，“Create a new virtual dis”，点击“下一步”按钮
13)虚拟机磁盘类型，选择“SCSI”，点击“下一步”按钮
14)磁盘容量，根据自己实际情况设置，建议至少分配4GB的磁盘容量，在此我分
配12GB给虚拟机
15)磁盘文件保存路径，同样根据自己情况设置，该保存路径的剩余磁盘空间必须
大于您设置的虚拟机磁盘最大容量，点击“下一步”按钮。

一个虚拟机就设置
完成了
5.安装Utunbu 8.04 server
1)切换到刚才设置好的虚拟机选项卡，点击“VM”菜单中的“setting, hardware,
CD-ROM”设备，之后再右侧选择“useISO image”单选项目，在下面选择
“Ubuntu8.04LTS。

.ISO”的ISO镜像。

然后点击ok按钮，关闭窗口
2)点击主界面的”Power On”命令，打开虚拟机。

可能出现以下问题：点取消继续
3)（这里有个可选，你可f2,f4进入设置）
4)弹出安装语言选择，通过键盘上的上下左右四个按键，我们选择”English”语言，
按下回车键(后面选择时区可选择Eastern)
5)进入utbuntu安装界面，选择Install utunbu server . 如果需要用鼠标（在宿主机
上，按ctrl+alt）
6)选择english作为安装语言: Choose Language 选择english. 再选择United
states
7)Ubuntu 安装程序主菜单: Detect Keyboard layout? 选择"no"; Origin of the
keyboard: 选择"usa"; Keyboard layout: 选择"usa”
8)配置网络: 使用默认的"ubuntu"
9)磁盘分区: 可以手动分区也可以自动分区，因为我们是空的虚拟机，没有特殊
要求，我们在此选择第一项“use entire disk”，自动分区。

开始自动配置分区，如提示是否确认，请选择“是”。

(可能虚拟机会死机，如果你经常切换的话)
10)示输入您的用户名，您待会儿将用此用户进入系统。

请根据个人情况正确输入
用户名和密码
11)开始安装系统，有校对文件正确性、解包、复制文件等过程，这可能需要很长
时间
12)安装时卡在'Configuring apt','Scanning the mirror'的处理方法
.物理上断开网络(我是选择这个，等一会就过去了)
.或者，启用Terminal，查看所有进程，杀死Chose-mirror进程。

ctrl+alt+F3 切到一个终端里
ps -a |grep apt
找到apt-get运行的进程号
kill -9 那个进程号
这样就跳过去了。

13)注意，安装软件时请选择上SSH
14)根据提示虚拟机重起，进入utunbu server
15)xubuntu 桌面(暂不安装)
6.
二．安装hadoop
如果没有装SSH,则sudo apt-get install openssh-server
Setp 1. 设定登入免密码
由于Hadoop用ssh作机器间的沟通，因此先设定登入机器免密码
测试下，第一次登陆要yes下，第二次直接进入，以免日后输入密码key到手软
Step2. 安装java环境
由于Sun Java runtime是执行hadoop的必备工具，因此我们要安装jre或jdk。

我这里装jdk
很有可能出现这个错误：Couldn't find package sun-java6-jdk
解决办法：For this, you can try to execute "sudo apt-get update", it will update the dict from the sources that you have prestore their address in file /usr/etc/apt/list(i forgot the detail position).
30-40分钟更新好。

安装jdk还是去get。

还要等一段很长很长很长。

的安装时间，可能把资源设置成国内镜像会快些，这个我没做。

Step3. 下载安装hadoop
这里的hadoop是台湾”国网”中心TWREN的镜像//必须给它加上双引号(大小29M)
Step4. 设定hadoop-env.sh
进入hadoop目录，对hadoop-env.sh设定JAVA_HOME, HADOOP_HOME, HADOOP_CONF_DIR 三个环境变量
export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/conf
EOF
Step5. 设定Hadoop-site.xml
<configuration>
<property>
<name></name>
<value>hdfs://localhost:9000</value>
<description> default file system for NDFS </description>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
<description>The host:port that job tracker runs
at.</description>
</property>
</configuration>
EOF
Step6. 格式化HDFS
以上我们已经设定好hadoop单机测试的环境，接下来我们来启动hadoop相关服务，格式化namenode, secondarynamenode, tasktracker
执行画面如下:
我这边host=ubuntu/127.0.1.1
Step7. 启动hadoop
接着用start-all.sh来启动所有服务，包含namenode, datenode
执行画面如下：
我目前到这一步，一切正确进行。

因为没有装xbuntu所以没有界面，而宿主机暂还访问不到。

step8. 完成！检查运作状态。

可用宿主机访问虚拟机服务
1)启动之后，可以通过网址来观看服务是否正常。

Hadoop管理界面\Hadoop Task
Tracker状态\Hadoop DFS状态
2)Http://localhost:50030/ - Hadoop管理界面
3) 4)
5)
测试了下，上面的三张图就是成果了。

运行成功。

三．附Linux命令
1.Man 命令名：查看命令用法。

按q退出。

2.Ls : =dir 。

可用，ls / 查根目录，然后ls /usr/man等查看具体
1.补充
查看虚拟机IP，当然也可以在winxp中用ipconfig /all
i fconfig eth0 |awk '/inet/ {split($2,x,":");print x[2]}'
我是：192.168.48.128。