HBase自学笔记

Hadoop与HBase自学笔记

1、安装jdk

安装eclipse时已经提过，这里略，使用jdk1.6.0_12版本。

2、安装Cygwin以及相关服务

2.1安装Cygwin

cygwin是一个在windows平台上运行的unix模拟环境。

在安装Cygwin 之前，得先下载Cygwin 安装程序setup.exe。

/setup.exe

选择install from internet,点next，

默认设置，点next

这里自己选择一个目录。选择直接连接

然后Add /pub/ 镜像，

点Add

(如果这个镜像下载不了，那就选择163那个吧，我一开始可以，重装就不可以，真奇怪。) 点下一步

默认是defaul，进入“Select Packages”对话框后，必须保证“Net Category”下的“OpenSSL”被安装。

另外，在eclipse 上编译Hadoop，还必须安装“Base Category”下的“sed”，如

文件；“Devel Category”下的subversion 建议安装，

点击完成，开始安装

安装完成后，点击完成，至此，cygwin安装完成。

2.2 配置环境变量

需要配置的环境变量包括PATH 和JA V A_HOME：JA V A_HOME 指向JRE 安装目录；JDK 的bin 目录。此外，Cygwin 的bin 目录，以及Cygwin 的usr\sbin 目录都必须添加到PATH 环境变量中

在path变量增加

C:\cygwin\bin;C:\cygwin\usr\sbin

这串字符串即可（默认先前已经配好jdk环境变量,否则，要增加jdk环境变量）

2.3 安装sshd服务

点击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config命令

在执行ssh-host-config 时，会要求Should privilege separation be used? (yes/no),输入yes/no 时，选择输入no，当要求Do you want to install sshd as a service?选择yes

当要求Enter the value of CYGWIN for the daemon: []，输入ntsec

当看到“Have fun”时，一般表示sshd 服务安装成功了，如上图所示。接下来，需要启

动sshd 服务。

2.4启动sshd服务

在windows服务里，启动sshd服务，服务名为CYGWIN sshd

如果提示启动失败

则

在C:/cygwin/etc/passwd 文件末尾增加一行

sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

当CYGWIN sshd 的状态为“已启动”后，接下来就是配置ssh 登录。

2.5 配置ssh登录

执行ssh-keygen命令生成密钥文件

在上图所示对话框中，需要输入时，直接按回车键即可，如果不出错，应当是需要三次

按回车键。接下来生成authorized_keys文件，按下图所示操作即可

完成上述操作后，执行exit命令先退出Cygwin窗口，如果不执行这一步操作，下面的

操作可能会遇到错误。接下来，重新运行Cygwin，执行ssh localhost命令，在第一次执行ssh localhost时，会有如下图所示的提示，输入yes，然后回车即可：

如果是Windows 域用户，这步操作可能会遇到问题，错误信息如下：。

这个错误暂无解决办法，问题的解决情况，可关注Hadoop 技术论坛中的贴：

/thread-348-1-1.html(Cygwin 1.7.1 版本ssh 问题)。否则，如果成功，执行who 命令时，可以看到如下图所示的信息：

至此，配置ssh 登录成功，下面就可以开始安装hadoop 了。

3、安装hadoop

hadoop 安装包下载地址：

/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz

将hadoop安装包hadoop-0.20.1.tar.gz解压到E:\HSS\hadoop-0.20.1目录（可以修改成其它目录）下，

接下来，需要修改hadoop 的配置文件，它们位于conf 子目录下，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml 和mapred-site.xml 共四个文件。在Cygwin 环境，masters 和slaves两个文件不需要修改。

3.1 修改hadoop-env.sh

只需要将JA V A_HOME 修改成JDK 的安装目录即可，请注意JDK 必须是1.6 或以上版本。export JA VA_HOME=C:/Java/jdk1.6.0_12

注意路径要反斜杠或者双斜杠，因为是要在cygwin那里运行的.

3.2 修改core-site.xml

为简化core-site.xml 配置，将E:\HSS\hadoop\run\src\core 目录下的core-default.xml 文件复制到E:\HSS\hadoop-0.20.1\conf 目录下，并将core-default.xml 文件名改成core-site.xml 。修改

的值，如下所示

hdfs://localhost:8888

上图中的端口号8888，可以改成其它未被占用的端口。

同时还要修改这个值

3.3 修改hdfs-site.xml

为简化hdfs-site.xml 配置，将E:\HSS\hadoop-0.20.1\src\hdfs 目录下的hdfs-default.xml 文件复制到E:\HSS\hadoop-0.20.1\conf 目录下，并将hdfs-default.xml 文件名改成hdfs-site.xml。不需要再做其它修改。

3.4修改mapred-site.xml

为简化mapred-site.xml 配置，将E:\HSS\hadoop-0.20.1\src\mapred 目录下的mapred-default.xml

文件复制到E:\HSS\hadoop-0.20.1\conf 目录下，并将mapred-default.xml 文件名改成mapred-site.xml。