大数据环境软件

大数据环境软件

操作系统

CentOS 7

#zip unzip 命令安装

yum install zip unzip

#netstat 等命令网络工具包安装

yum install net-tools

软件安装包

-rw-r--r--. 1 root root 20985335 4月30 10:14 apache-storm-0.9.3.tar.gz -rw-r--r--. 1 root root 153512879 5月26 16:15 jdk-7u79-linux-x64.tar.gz drwxr-xr-x. 10 root root 4096 7月10 11:55 jzmq

-rw-r--r--. 1 root root 71503892 4月17 10:06 kafka_2.10-0.8.2.1.zip

-rw-r--r--. 1 root root 1358190 5月27 11:26 redis-3.0.1.tar.gz

-rw-r--r--. 1 root root 1877380 5月12 2011 zeromq-2.1.7.tar.gz

-rw-r--r--. 1 root root 17699306 7月10 02:50 zookeeper-3.4.6.tar.gz JAVA

vi /etc/profile

在文件末尾增加如下配置内容

#set java environment

JAVA_HOME=/usr/local/jdk1.7.0_79/

CLASSPATH=.:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

配置生效

source /etc/profile

验证配置结果

[root@localhost local]# java -version

java version "1.7.0_79"

Java(TM) SE Runtime Environment (build 1.7.0_79-b15)

Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

[root@localhost local]# javac -version

javac 1.7.0_79

zookeeper

重命名

$Zookeeper_home/conf/zoo_sample.cfg 为zoo.cfg Zookeeper 默认启动使用zoo.cfg 配置文件

进入zookeeper 安装目录

cd /usr/local/zookeeper-3.4.6/

启动zookeeper

./bin/zkServer.sh start

通过连接命令确认是否连接成功

GCC

yum -y install gcc

yum -y install gcc-c++

storm

1.ZeroMQ

tar -xzf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

./configure

make

sudo make install

zeroMQ 需要安装UUID 包支持

yum -y install uuid

yum install libuuid-devel

2.JZMQ

手动编译zeromq 内的java文件

$ cd src/org/zeromq/

$ /jzmq/src/org/zeromq]$ javac *.java $ cd..

$ make

... success!

$ sudo make install

3.paython

python -V

storm 集群部署

进入storm 安装目录

cd /usr/local/apache-storm-0.9.3/

nimbus 、stormUI 为192.168.1.200

supervisor 为192.168.1.201、192.168.1.202

以下是启动Storm各个后台进程的方式：

1.Nimbus: 在Storm主控节点上运行"bin/storm nimbus >/dev/null 2>&1 &"启动

Nimbus后台程序，并放到后台执行；

2.Supervisor: 在Storm各个工作节点上运行

"bin/storm supervisor >/dev/null 2>&1 &"启动Supervisor后台程序，并放到后台执行；

3.UI: 在Storm主控节点上运行"bin/storm ui >/dev/null 2>&1 &"启动UI后台程序，

并放到后台执行，启动后可以通过http://{nimbus host}:8080观察集群的

worker资源使用情况、Topologies的运行状态等信息。

kafka

KAFKA_HOME /config/server.properties

下面为192.168.1.200 机器的配置

broker.id=200

=192.168.1.200 zookeeper.connect=192.168.1.200:2181

下面为192.168.1.201 机器的配置