Hadoop-0.20.2详细安装及疑难问题

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

安装

2011年4月4日

10:13

Hadoop-0.20.2安装使用

1、Cygwin 安装 ssh

2、按照以下的文档配置ssh

在Windows上安装Ha

doop教程.pdf

3、几个配置文件的配置

3.1、conf/core-site.xml

hdfs://localhost:9000

true

hadoop.tmp.dir

/workspace/temp/hadoop/tmp/hadoop-

${}

true

3.2、conf/hdfs-site.xml

dfs.replication

1

true

.dir

/workspace/temp/hadoop/data/hadoop/name

true

dfs.data.dir

/workspace/temp/hadoop/data/hadoop/data

true

3.3、conf/mapred-site.xml

mapred.job.tracker

localhost:9001

true

3.4、conf/hadoop-env.sh

export JAVA_HOME=D:/workspace/tools/jdk1.6

4、解决启动的时候 ClassNotFound： org.apache.hadoop.util.PlatformName

将 %hadoop_home%\bin\hadoop-config.sh中的第190行

修改为如下：

JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m -classpath ${HADOOP_COMMON_HOME}/hadoop-common-0.21.0.jar

org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`

5、命令

6、创建HBase文件夹

bin/hadoop dfs -mkdir Hbase

bin/hadoop dfs -mkdir tmp

http://localhost:50070/

http://localhost:50030/

1、修改bin/hbase-env.sh 中的

export JAVA_HOME

export HBASE_MANAGES_ZK=true

2、将conf/hbase-default.xml文件中的内容完全复制到conf/hbase-site.xml中

3、对conf/hbase-site.xml文件做如下修改：

hbase.rootdir

hdfs://localhost:9000/hbase

hbase.tmp.dir

/workspace/temp/hadoop/tmp/hbase-${}

Temporary directory on the local filesystem.

hbase.cluster.distributed

false

hbase.zookeeper.quorum

127.0.0.1

hbase.zookeeper.property.clientPort

2222

Property from ZooKeeper's config zoo.cfg.

The port at which the clients will connect.

Hive-0.5.0安装和使用

一、创建Hive所需目录

bin/hadoop dfs -mkdir /user/hive/warehouse

bin/hadoop dfs -mkdir /tmp

bin/hadoop dfs -chmod g+w /user/hive/warehouse

bin/hadoop dfs -chmod g+w /tmp

二、修改bin/hive-config.sh文件，增加以下内容

export HIVE_HOME=/cygdrive/d/workspace/tools/hadoop/run/hive export HADOOP_HOME=/cygdrive/d/workspace/tools/hadoop/run/hadoop