大数据环境搭建
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
mkdirdata
新增myid文件，该文件内容与zoo.cfg最后三行内容有关，server.x=host:port1:port2，myid中写入的就是x对应的值，不同主机文件内容不同。
echo'1'> data/myid
使用scp命令将dc01上已配置好的zookeeper文件复制到其他两台机器
scp -r /usr/local/zookeeper root@dc02:/usr/local/zookeeper
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/log
# the port at which the clients will connect
scp -r /usr/local/zookeeper root@dc03:/usr/local/zookeeper
操作完成后将dc02上的myid文件内容改为2，dc03中的myid内容改为3。
启动zookeeper
$zookeeper_home/bin/zkServer.sh start
三个节点做同样操作,启动完成后可使用”zkServer.sh status”查看运行状态。
#zookeeper配置文件名为zoo.cfg
cpconf/zoo_sample.cfg conf/zoo.cfg
7
编辑zoo.cfg
vim conf/zoo.cfg
修改后文件内容如下：
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
安装zookeeper
下载zookeeper安装文件zookeeper-3.4.10.tar.gz到/usr/local/下
执行以下命令：
#解压文件
tar -zxvf zookeeper-3.4.10.tar.gz
#修改文件夹名称
mv zookeeper-3.4.10zookeeper
cd zookeeper/
安装hadoop来自百度文库
hbase基于hdfs存储，所以安装hbase前必须先安装hadoop，不同版本hbase对应的hadoop版本不同，安装前请确认兼容性。
下面开始安装：
在/usr/local/下新建hadoop目录，hadoop下再创建hdfs目录。
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
# Be sure to read the maintenance section of the
本文记录zookeeper+hadoop+hbase+kafka+storm集群的搭建过程。
准备工作
1.硬件环境
3台物理主机
192.168.0.191 – dc01
192.168.0.192 – dc02
192.168.0.193 – dc03
系统全部为Ubuntu16.04
2.软件环境
1) jdk1.8.0_121
ip为192.168.0.191的机器修改为如下内容：
NETWORKING=yes
HOSTNAME=dc01
其他两台机器分别设置为dc02和dc03。
4.修改host文件
sudo gedit/etc/hosts
在末尾追加如下内容：
192.168.0.191 dc01
192.168.0.192 dc02
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# administrator guide before turning on autopurge.
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
6.#按提示输入dc02的密码
7.ssh-copy-id dc03
8.#按提示输入dc03的密码
dc02和dc03重复dc01的操作，设置完成后任意两台机器之间不需要密码可直接登录，例如从dc01登录到dc03,只需在dc01输入”ssh dc03”即可。
开始安装
所有软件安装目录为/usr/local/
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=dc01:2888:3888
server.2=dc02:2888:3888
server.3=dc03:2888:3888
在zookeeper下新建data目录
2) zookeeper-3.4.10
3) hadoop-2.6.5
4) hbase-1.2.6
5) kafka_2.11-0.10.2.0
6) apache-storm-1.1.0
jdk的安装在此不做赘述，有疑问可自行百度。
3.设置主机名
三台机器都需设置，后面所有操作都通过主机名连接。
sudo gedit/etc/sysconfig/network
192.168.0.193 dc03
三台机器做相同操作。
5.设置ssh免密码登录
以dc01为例，执行以下命令
1.sssh-keygen -t rsa
2.#连续三次回车,即在本地生成了公钥和私钥,不设置密码
3.ssh-copy-id dc01
4.#按提示输入dc01的密码
5.ssh-copy-id dc02
新增myid文件，该文件内容与zoo.cfg最后三行内容有关，server.x=host:port1:port2，myid中写入的就是x对应的值，不同主机文件内容不同。
echo'1'> data/myid
使用scp命令将dc01上已配置好的zookeeper文件复制到其他两台机器
scp -r /usr/local/zookeeper root@dc02:/usr/local/zookeeper
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/log
# the port at which the clients will connect
scp -r /usr/local/zookeeper root@dc03:/usr/local/zookeeper
操作完成后将dc02上的myid文件内容改为2，dc03中的myid内容改为3。
启动zookeeper
$zookeeper_home/bin/zkServer.sh start
三个节点做同样操作,启动完成后可使用”zkServer.sh status”查看运行状态。
#zookeeper配置文件名为zoo.cfg
cpconf/zoo_sample.cfg conf/zoo.cfg
7
编辑zoo.cfg
vim conf/zoo.cfg
修改后文件内容如下：
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
安装zookeeper
下载zookeeper安装文件zookeeper-3.4.10.tar.gz到/usr/local/下
执行以下命令：
#解压文件
tar -zxvf zookeeper-3.4.10.tar.gz
#修改文件夹名称
mv zookeeper-3.4.10zookeeper
cd zookeeper/
安装hadoop来自百度文库
hbase基于hdfs存储，所以安装hbase前必须先安装hadoop，不同版本hbase对应的hadoop版本不同，安装前请确认兼容性。
下面开始安装：
在/usr/local/下新建hadoop目录，hadoop下再创建hdfs目录。
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
# Be sure to read the maintenance section of the
本文记录zookeeper+hadoop+hbase+kafka+storm集群的搭建过程。
准备工作
1.硬件环境
3台物理主机
192.168.0.191 – dc01
192.168.0.192 – dc02
192.168.0.193 – dc03
系统全部为Ubuntu16.04
2.软件环境
1) jdk1.8.0_121
ip为192.168.0.191的机器修改为如下内容：
NETWORKING=yes
HOSTNAME=dc01
其他两台机器分别设置为dc02和dc03。
4.修改host文件
sudo gedit/etc/hosts
在末尾追加如下内容：
192.168.0.191 dc01
192.168.0.192 dc02
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# administrator guide before turning on autopurge.
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
6.#按提示输入dc02的密码
7.ssh-copy-id dc03
8.#按提示输入dc03的密码
dc02和dc03重复dc01的操作，设置完成后任意两台机器之间不需要密码可直接登录，例如从dc01登录到dc03,只需在dc01输入”ssh dc03”即可。
开始安装
所有软件安装目录为/usr/local/
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=dc01:2888:3888
server.2=dc02:2888:3888
server.3=dc03:2888:3888
在zookeeper下新建data目录
2) zookeeper-3.4.10
3) hadoop-2.6.5
4) hbase-1.2.6
5) kafka_2.11-0.10.2.0
6) apache-storm-1.1.0
jdk的安装在此不做赘述，有疑问可自行百度。
3.设置主机名
三台机器都需设置，后面所有操作都通过主机名连接。
sudo gedit/etc/sysconfig/network
192.168.0.193 dc03
三台机器做相同操作。
5.设置ssh免密码登录
以dc01为例，执行以下命令
1.sssh-keygen -t rsa
2.#连续三次回车,即在本地生成了公钥和私钥,不设置密码
3.ssh-copy-id dc01
4.#按提示输入dc01的密码
5.ssh-copy-id dc02