sparkonyarn安装配置手册

一．ssh无密码登陆
1.安装ssh
yum install openssh-server
2.产生key
ssh-keygen -t rsa -P ""
Enter file in which to save the key (/root/.ssh/id_rsa):（按回车）3.使用key
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
二．安装配置JDK
1.解压
tar -zxvf jdk-7u71-linux-x64.tar.gz
2.打开全局变量配置文件
vim /etc/profile
3.在该文件末尾增加如下语句
4.使配置生效
source /etc/profile
5.确认JDK安装成功
三．安装配置hadoop
1.解压
tar -zxvf hadoop-2.2.0.tar.gz
2.配置hadoop-env.sh
cd /opt/hadoop-2.2.0/etc/hadoop
vim hadoop-env.sh
增加如下配置：
3.在/etc/profile里增加如下配置：
尤其最后两行，否则会导致启动错误。

4.配置core-site.xml
cd /opt/hadoop-2.2.0/etc/hadoop
vim core-site.xml
增加如下配置
还需增加如下配置，否则找不到库
<property>
<name>hadoop.native.lib</name>
<value>true</value>
</property>
5.配置hdfs-site.xml
cd /opt/hadoop-2.2.0/etc/hadoop
vim hdfs-site.xml
增加如下配置
6.配置mapred-site.xml
cd /opt/hadoop-2.2.0/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
增加如下配置
7.使配置生效
source hadoop-env.sh
8.启动hadoop
总是报如下错误
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
原因是apache官网提供的二进制包，里面的native库，是32位的，而服务器是64位的。

9.下载Hadoop 2.2.0 源码包，并解压
10.安装相关软件
yum install lzo-devel zlib-devel gcc autoconf automake libtool ncurses-devel openssl-deve
11.安装Maven
tar zxf apache-maven-3.0.5-bin.tar.gz -C /opt
vim /etc/profile
export MAVEN_HOME=/opt/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin
source /etc/profile
12.安装Ant
tar zxf apache-ant-1.9.3-bin.tar.gz -C /opt
vim /etc/profile
export ANT_HOME=/opt/apache-ant-1.9.3
export PATH=$PATH:$ANT_HOME/bin
source /etc/profile
13.安装Findbugs
tar zxf findbugs-2.0.3.tar.gz -C /opt
vim /etc/profile
export FINDBUGS_HOME=/opt/findbugs-2.0.3
export PATH=$PATH:$FINDBUGS_HOME/bin
source /etc/profile
14.安装protobuf
$ tar zxf protobuf-2.5.0.tar.gz
$ cd protobuf-2.5.0
$ ./configure
$ make
$ sudo make install
15.给hadoop打补丁
最新的Hadoop 2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。

否则编译hadoop-auth 会提示错误
Patch: https:///jira/browse/HADOOP-10110
下载下来后使用如下拷贝到hadoop目录下，使用如下命令打补丁
patch –p0 < HADOOP-10110.patch
16.编译hadoop
mvn package -DskipTests -Pdist,native -Dtar
17.使用编译好的库替换原来的库
rm -rf /opt/hadoop-2.2.0/lib/native
cp ./hadoop-dist/target/hadoop-2.2.0/lib/native /opt/hadoop-2.2.0/lib/
18.格式化hdfs
hadoop namenode -format
19.启动hadoop
start-all.sh
20.查看datanode
hadoop dfsadmin -report
21.如果不能启动datanode,可能是多次初始化namenode导致namespaceID不一致。

可以修
改该id，或将所有数据删除再重新格式化namenode。

四．安装配置spark
1. 下载安装scala
/download/ 2. 下载编译好的spark二进制文件/downloads.html 根据自己的需要选择下载
3. 解压压缩文件
tar -zxvf spark-1.3.0-bin-hadoop2.4.tgz 4. 在/etc/profile里增加如下配置：
6.使配置生效
Source /etc/profile。