Gaia大数据平台安装部署手册

Gaia大数据平台安装部署手册

目录

1目的 (1)

术语 (1)

2软件硬件环境说明 (1)

2.1软件版本 (1)

2.2逻辑部署架构 (2)

2.3硬件环境及规划 (2)

3操作系统配置 (3)

3.1修改服务器名及HOSTS文件 (3)

3.2安装JA V A (4)

3.3新增用户 (4)

3.4SUDO无密码验证配置 (5)

3.5关闭防火墙和SEL INUX (5)

3.6搭建时间服务器及时间同步 (5)

3.6.1安装ntp (5)

3.6.2配置ntp (6)

3.7设置SSH无密码登录 (7)

3.7.1安装openssh (7)

3.7.2配置openssh (7)

3.8设置最大并发数 (8)

3.9安装并设置YUM源 (9)

3.10数据库M YSQL搭建(非必选) (9)

4CLOUDERA 聚群搭建 (10)

4.1RPM与PARCEL包镜像站点搭建 (10)

4.1.1镜像站点搭建 (10)

4.2CM管理数据库M YSQL搭建 (12)

4.2.1搭建Mysql数据库 (12)

4.2.2创建Database (12)

4.3CM部署CDH集群组件安装 (13)

4.3.1CM(cloudera manager console) 安装 (13)

4.3.2Cloudera-manager-server 配置数据库 (13)

4.3.3启动及停止CM (14)

4.3.4Hadoop集群配置 (14)

4.3.5修改jdk java.security配置 (28)

4.3.6拷贝hbase-site.xml文件 (28)

4.3.7hbase mapreduce静态环境配置 (28)

5GAIA管理控制台搭建 (29)

5.1核心服务数据库M YSQL搭建 (29)

5.2数据导入 (29)

5.3上传GAIA平台程序 (29)

5.4运行参数配置 (29)

5.5管理控制台启动及停止 (29)

6GAIA核心服务搭建 (30)

6.1Z OOKEEPER集群搭建 (30)

6.1.1Zookeeper配置 (30)

6.1.2启动Zookeeper服务 (30)

6.2核心服务参数配置 (30)

6.3核心服务启动及停止 (31)

7XREPORT应用搭建 (31)

7.1数据导入 (31)

7.2程序发布 (31)

8QA.常见问题 (31)

8.1HIVE METASTORE 需要MYSQL数据库连接JAR包 (31)

8.2SQOOP导数据需要数据库连接JAR包 (31)

8.3无法安装CM A GENT端，删除各节点的路由 (31)

8.4设置各节点不使用交换区 (32)

1目的

本文描述Gaia大数据平台安装部署方法。

术语

CM: Cloudera Manager （Cloudera公司专有的Hadoop集群管控平台）

CDH: Cloudera Distributed Hadoop（Cloudera公司重新打包发布的Hadoop版本）Impala: Cloudera开源的实时查询项目，与Hive共用元数据

2软件硬件环境说明

2.1软件版本

1

2.2 逻辑部署架构

zookeeper cluster

Gaia kernel cluster

Gaia kernel Gaia kernel

heatbeat

access active ip

receive active ip

cloudera cluster

receive active ip access active ip

Gaia console cluster

Gaia console Gaia console

Load Balance

http

外部应用

2.3 硬件环境及规划

国网共有6台服务器，规划如下：

3操作系统配置

3.1修改服务器名及hosts文件

以修改服务器的服务名：

root用户登录

1、修改过hostname, gaia-host为例说明：

#vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=mad-master

2、修改hosts 文件，增加其他主机ip，

#vi /etc/hosts

127.0.0.1 localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.3.221 mad-master

192.168.3.223 mad-hd01

192.168.3.224 mad-hd02

192.168.3.225 mad-hd03

192.168.3.227 mad-standby

192.168.3.228 mad-hd04

192.168.3.229 mad-hd05

192.168.3.230 mad-hd06

3、查看解析文件cat /etc/resolv.conf

# Generated by NetworkManager

# No nameservers found; try putting DNS servers into your

# ifcfg files in /etc/sysconfig/network-scripts like so:

#

# DNS1=xxx.xxx.xxx.xxx

# DNS2=xxx.xxx.xxx.xxx

# DOMAIN=

4.当前会话生效主机名

3