CDH集群部署手册(外)

CDH集群部署手册
目录
一、编写目的 (4)
二、专业术语 (4)
三、软硬件要求 (4)
四、RPM与PARCEL包镜像站点搭建 (4)
1.从Cloudera RPM包站点（外网）缓存最新Cloudera Manager RPM包 (4)
2.从Cloudera parcel包站点（外网）下载最新CDH/Impala/Search parcel包 (5)
3.Web服务器httpd安装与简单配置 (6)
五、M Y SQL数据库的安装与配置 (7)
1.MYSQL数据库安装 (7)
2.用如下f配置覆盖原始f (7)
3.创建数据库实例，用户密码等 (9)
六、CM(C LOUDERA M ANAGER)集群控制台安装与配置 (10)
1.安装命令 (10)
2.控制台登录界面 (10)
七、使用CM部署CDH/I MPALA等集群组件及配置 (12)
1.认识CDH各组件 (12)
2.增加主机到集群 (12)
3.配置待分发到各节点的安装包的http站点 (13)
4.提供有sudo权限但不需要密码验证的用户，以进行安装 (14)
5.分发与安装cloudera-manager-agent到各节点 (15)
6.分发与安装CDH各组件到各节点 (16)
7.为每台主机分配服务 (18)
8.HDFS启用HA高可用性(基于Quorum-based Storage) (22)
9.MapReduceV1 JobTracker启用HA高可用性 (28)
八、CDH集群运行状况验证 (29)
1.验证HDFS HA高可用性是否生效 (29)
2.验证JobTracker HA高可用性是否生效 (29)
九、附录 (30)
一、编写目的
二、专业术语
CM: Cloudera Manager （Cloudera公司专有的Hadoop集群管控平台）
CDH: Cloudera Distributed Hadoop（Cloudera公司重新打包发布的Hadoop版本）Impala: Cloudera开源的实时查询项目，与Hive共用元数据
三、软硬件要求
操作系统：CentOS 6.2以上或RHEL 6
五、MySQL数据库的安装与配置
2.用如下f配置覆盖原始f
# （根据实际做适当调整）
[mysqld]
datadir=/data/mysql
socket=/data/mysql/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks #symbolic-links=0
key_buffer = 16M
key_buffer_size = 32M
max_allowed_packet = 16M
thread_stack = 128K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
# Important: see Distributing the Databases and Setting max_connections max_connections = 600
## @!!@
lower_case_table_names = 1
#default-storage-engine=InnoDB
default-character-set=utf8
default-collation=utf8_unicode_ci
character-set-server=utf8
collation-server=utf8_unicode_ci
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
# InnoDB settings
innodb_data_home_dir=/data/mysql
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M innodb_buffer_pool_size = 2G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT innodb_log_file_size = 512M
mysql> create database amondb;
mysql> create database hmondb;
mysql> create database smondb;
mysql> grant all on scm.* to 'scm123'@'%' identified by 'scm123 '; mysql> grant all on hivedb.* to 'hiveuser'@'%' identified by 'hiveuser'; mysql> grant all on amondb.* to 'amonuser'@'%' identified by 'amonuser'; mysql> grant all on hmondb.* to 'hmonuser'@'%' identified by 'hmonuser'; mysql> grant all on smondb.* to 'smonuser'@'%' identified by 'smonuser'; mysql> flush privileges;
六、CM(Cloudera Manager)集群控制台安装与配置
2.控制台登录界面
七、使用CM部署CDH/Impala等集群组件及配置
1.认识CDH各组件
2.增加主机到集群
3.配置待分发到各节点的安装包的http站点
4.提供有sudo权限但不需要密码验证的用户，以进行安装
5.分发与安装cloudera-manager-agent到各节点
6.分发与安装CDH各组件到各节点
7.为每台主机分配服务
8.HDFS启用HA高可用性(基于Quorum-based Storage)
9.MapReduceV1 JobTracker启用HA高可用性
八、CDH集群运行状况验证
1.验证HDFS HA高可用性是否生效
2.验证JobTracker HA高可用性是否生效
九、附录。