Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书
cdh运维手册
cdh运维手册CDH运维手册是一份详细介绍CDH（Cloudera Distribution of Hadoop）运维过程的指南。
本文旨在帮助运维人员更好地掌握CDH的部署、管理、维护及优化方法，以确保集群稳定高效运行。
I.引言CDH是基于Apache Hadoop的分布式大数据处理平台，包括Hadoop、Spark、Hive、Pig等组件。
在实际应用中，CDH面临着复杂的运维挑战。
为了提高运维效率，降低故障风险，我们需要深入了解CDH的运维流程。
II.CDH简介CDH（Cloudera Distribution of Hadoop）是Cloudera公司推出的一款大数据处理平台。
它包含了Hadoop的核心组件，如HDFS、YARN、MapReduce等，以及一系列数据处理工具，如Spark、Hive、Pig等。
CDH 提供了一整套大数据解决方案，满足企业在数据存储、分析、挖掘等方面的需求。
III.CDH运维流程A.环境搭建：根据业务需求，选择合适的硬件资源、网络环境和操作系统。
搭建CDH集群，包括配置核心组件和相关工具。
B.数据迁移：将原始数据迁移至CDH集群，根据数据特点选择合适的存储格式和压缩算法。
C.运维管理：监控CDH集群的运行状态，包括资源使用情况、任务进度、日志等。
定期进行性能评估，优化集群配置。
D.故障排查：遇到问题时，快速定位故障原因，采取相应措施进行解决。
E.性能优化：针对CDH集群的性能瓶颈，采取调整参数、优化任务流程等措施，提高集群性能。
F.安全防护：确保CDH集群的安全性，防范外部攻击和内部安全风险。
IV.运维工具与技巧A.常用工具：掌握CDH运维过程中所需的常用工具，如Hadoop DistCp、Hive Query、Spark Submission等。
B.自动化脚本：编写自动化脚本，实现批量任务调度、日志收集、性能监控等功能。
C.监控与报警：搭建CDH集群监控系统，实现实时报警，确保问题及时发现并处理。
大数据-大数据平台环境搭建CDH5131傻瓜式说明书32页 精品
Cloudera大数据平台环境搭建（CDH5.13.1版）目录Cloudera大数据平台环境搭建 (1)（CDH5.13.1版） (1)1.基础环境 (4)1.1.软件环境 (4)1.2.配置规划 (4)1.3.所需要的软件资源 (4)1.4.修改机器名（所有节点） (5)1.5.设置防火墙（所有节点） (6)1.6.配置免密码登录SSH (6)1.7.关闭SELINUX（所有节点） (8)1.8.修改Linux内核参数（所有节点） (8)1.9.其他安装与配置（所有节点） (10)1.10.配置NTP服务 (10)1.11.安装oracle JDK1.8 （所有节点） (12)1.12.Mysql安装（主节点） (13)2.安装CM (15)2.1.传包，解包 (15)2.2.创建数据库 (15)2.3.创建用户 (16)2.4.制作本地YUM源 (16)2.5.拷贝jar包 (17)2.6.修改cloudera-scm-agent配置 (17)2.7.启动CM Server和Agent (18)2.8.访问CM (18)3.安装CDH (18)3.1.登录后界面 (18)3.2.选择CM版本 (19)3.3.指定主机 (20)3.4.选择CDH版本 (21)3.4.1.出现“主机运行状态不良”错误 (22)3.5.检查主机正确性 (23)3.6.选择安装的服务 (23)3.7.角色分配 (24)3.8.数据库设置 (24)3.8.1.测试连接报错： (25)3.9.群集设置 (26)3.10.开始安装 (28)3.11.安装完成 (29)3.11.1.警告信息： (29)4.常见错误 (31)4.1.初始化数据库错误： (31)4.2.未能连接到Host Monitor (32)1.基础环境1.1.软件环境本文将介绍Centos7.4 离线安装CDH和Cloudera Manager过程，软件版本如下：1.2.配置规划本次安装共5台服务器，服务器配置及用途如下：1.3.所需要的软件资源1)JDK环境：JDK版本：1.8.0_151jdk-8u151-linux-x64.rpm下载地址：http://.oracle./technetwork/java/javase/downloads/jdk8-downloads-2133151.html2)CM包：CM版本：5.13.1cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz下载地址：http://archive-primary.cloudera./cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz3)CDH包CDH版本：5.13.1，CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel；CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1；manifest.json下载地址：http://archive-primary.cloudera./cdh5/parcels/5.13.1/manifest.jsonhttp://archive-primary.cloudera./cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 http://archive-primary.cloudera./cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel4)JDBC连接jar包：jar包版本：5.1.43，mysql-connector-java-5.1.43.jar下载地址：/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar 1.4.修改机器名（所有节点）1)修改机器名称这种方式，在Centos7中可以永久性改变主机名称。
Cloudera Manager大数据平台运维操作指南
Cloudera Manager大数据平台运维操作指南1登录Cloudera Manager首页使用谷歌或者火狐浏览器输入http://172.31.0.29:7180 进入Cloudera Manager管理系统登录页面，172.31.0.29为安装Cloudera Manage的机器IP地址，在BI集群里恰好是YUCLIENT的IP地址。
使用admin/admin登录到系统，如下图所示：2启动/停止/重启Cloudera Management Service2.1启动2.2重启2.3停止3启动/停止/重启Hadoop所有服务在启动Hadoop相关服务器前请务必保证已经启动了Cloudera Management Service相关服务！3.1启动当所有服务都启动成功后，各项服务均显示问绿灯状态才为正常，如下图所示：4启动/停止/重启Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper 这里以重启HDFS服务为例，其他服务与之完全相同。
5启动/停止/重启单个节点上的Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper启动/停止/重启节点上的单个服务包括Namenode, Datanode, Hive Server, Hive Metastore, Resource Manager, Nodemanager, Zookeeper等。
这里以重启一台节点上的Datanode服务为例进行说明，启动或停止与之相同，其他服务的操作也与之相同。
等待重启成功，该操作完成。
6修改HDFS、Hive、MapReduce、ZooKeeper等配置参数修改参数包括修改全局参数以及单个节点的某个参数，全局参数指针对整个集群所有节点适用的参数。
下一章会介绍如何修改单个节点的参数。
这里以修改HDFS的blocksize为例进行说明，其他参数修改与之相同。
修改参数并保存修改成功后回到CM主页面，CM会提示是否需要部署客户端配置或者重启服务。
ClouderaManager5系列升级文档
ClouderaManager及CDH升级说明书升级内容1、升级Cloudera Manager Server到5.12.1版本2、升级Cloudera Manager Server DB 到5.12.1版本3、升级Cloudera Manager agent 到5.12.1版本4、升级CDH到5.12.1版本5、升级JDK到1.8版本6、按照Spark2.2升级步骤1、收集升级信息a)主机认证信息：集群使用hdroot用户安装。
b)当前CM版本号：Cloudera Express 5.4.8 (#7 built by jenkins on 20151023-1203git: d7dbdf29ac1d57ae9fb19958502d50dcf4e4fffd)c)当前CDH版本号：CDH 5.4.8, Parceld)Cloudera Manager用户名和密码e)集群启用的服务：i.Flumeii.Hbaseiii.HDFSiv.Hivev.Impalavi.Kafkavii.Sqoop2viii.YARNix.ZookKeeperx.Cloudera Management Servicef)集群使用Parcel安装，版本为CDH 5.4.8g)JDK版本：openjdk1.7h)操作系统版本：CentOS6.72、数据库备份a)Cloudera Manager数据库备份i.查看数据库连接信息：cat /etc/cloudera-scm-server/db.propertiesii.备份语句：pg_dump -h localhost -p 7432 -U scm >/home/clusterUpdate/scm_server_db_backup.$(date +%Y%m%d)b)元数据库备份i.Hive：mysqldump -uroot hive > /home/clusterUpdate/hive.sqlii.amon：mysqldump -uroot amon > /home/clusterUpdate/amon.sqliii.rman：mysqldump -uroot rman > /home/clusterUpdate/rman.sql3、升级Cloudera Managera)首先停止集群上的所有服务b)停止Cloudera Manager server：service cloudera-scm-server stopc)停止Cloudera Manager server DB：service cloudera-scm-server-db stopd)停止Cloudera Manager client：service cloudera-scm-agent stope)修改yum信息（所有服务器）：i.vi cloudera-manager.repo[cloudera-manager]name = Cloudera Manager, Version 5.12.1baseurl = /cm5/redhat/6/x86_64/cm/5.12.1/gpgkey = /cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera gpgcheck = 1f)清理yum缓存：yum clean allg)建立yum索引：yum makecache allh)升级Cloudera Manager服务：yum upgrade cloudera-manager-*4、升级JDK（所有服务器）cd /home/clusterUpdate/tar -zxvf jdk-8u144-linux-x64.tar.gzmkdir -p /usr/local/javacp -R jdk1.8.0_144/ /usr/local/java/yum -y remove java*echo JAVA_HOME=/usr/local/java/jdk1.8.0_144 >> /etc/profileecho JRE_HOME=/usr/local/java/jdk1.8.0_144/jre >> /etc/profileecho SCALA_HOME=/opt/scala-2.11.4 >> /etc/profileecho SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354/lib/spark2 >> /etc/profileechoCLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar:\$JRE_HOME/lib >>/etc/ profileecho PATH=\$SCALA_HOME/bin:\$JAVA_HOME/bin:\$PATH >>/etc/profileecho export PATH JAVA_HOME CLASSPATH SCALA_HOMESPARK_HOME >>/etc/profilesource /etc/profileecho $JAVA_HOMEecho $CLASSPATHecho $PATHecho $SCALA_HOMEecho $SPARK_HOMEjava -version5、启动Cloudera Manager服务a)启动Cloudera Manager server DB：service cloudera-scm-server-db restartb)启动Cloudera Manager server：service cloudera-scm-server restartc)启动Cloudera Manager client：service cloudera-scm-agent restart6、升级客户端a)Web访问地址：http://<cloudera-server-IP>:7180/cmf/loginb)c)/cm5/redhat/6/x86_64/cm/5.12.1//cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-clouderad) e)f) g)h) i)j)k)l)修改内嵌数据库提示：i.搜索Enable Embedded Database Checkm)修改JDK_HOME：i.搜索Java：/usr/local/java/jdk1.8.0_1447、升级CDH到5.12.1a)备份NameNode数据(cloudera01服务器和cloudera02服务器)cd /mnt/app/dfs/nn1tar -cvf /home/clusterUpdate/nn1_backup_data.tar .cd /mnt/app/dfs/nn2tar -cvf /home/clusterUpdate/nn2_backup_data.tar .b)升级CDHc)d) e)。
戴尔Cloudera Hadoop就绪捆绑包系列指南说明书
Family guide Table of ContentsGet the power of Hadoop faster, with less risk 2 What is your business goal? 2 Dell Ready Bundle for Cloudera Hadoop3 Configuration details 3 Why Dell for Hadoop? 4 Complete your solution with Dell Services 4 Dell Professional Services 4 Find out more today 5 Dell Ready Bundle for Cloudera HadoopAn end-to-end Hadoop system, designed to address data analytics requirements, reduce costs and optimize performanceLeverage anend-to-end solutionReduce development costsOptimize performance Get the power of Hadoop faster, with less riskUnlike traditional systems, Hadoop enables multiple types of analytic workloads to runon the same data, at the same time, at massive scale on industry-standard hardware Cloudera’s Distribution of Hadoop (CDH) includes Apache® Hadoop and additional key open source projects to ensure you get the most out of Hadoop and your data, and it's engineered to meet the highest enterprise standards for stability and reliabilityDespite these tantalizing benefits, many organizations struggle — either to begin their data analytics journey or to make Hadoop projects successful once they’ve begunThey are often impeded by a lack of Hadoop expertise and end up spending too much time and effort on the front-end work before they can get to the results of a fully operational solutionExpertise and infrastructure matter when building a Hadoop environment That’s why Dell has teamed up with industry leaders such as Cloudera®, Intel® and Syncsort® to remove the uncertainty and barriers that may be holding you back from deploying HadoopCost-effective, future-ready Dell Ready Bundles for Cloudera Hadoop are comprehensive and easy-to-implement turnkey Hadoop solutions that help you efficiently harness the Hadoop platform and the power of data analytics to drive competitive advantageWhat is your business goal?The use cases for Hadoop are very diverse, but there are common patterns across industries and verticalsThis is just a sampling of possible use cases using the Dell Ready Bundle forCloudera HadoopOperational efficiency use casesDell warehouse augmentation Log aggregation and analytics Dual storage and active archiveReduces total cost of ownership (TCO) and increasesreturn on investment (ROI)Secures your enterprise Reduces TCO and eases compliance• Offload extract, transform, load (ETL) workloads • Reduce licensing costs• Enhance data accessibility• Enable better data exploration and analytics • Manage performance more effectively • Prevent security breaches and threats• Detect operational anomalies• Increase infrastructure efficiency and automation• Lower data storage costs while maintainingaccessibility• Ease compliance and reporting• Streamline inquiry processes• Enjoy business operations improvementBusiness transformation use casesMarketing Finance Healthcare Pharmaceutical ManufacturingAnticipating customer needs Reducing risk and detecting fraud Improving patient care and reducingcosts Ensuring regulatory compliance andvalidationAchieving continuous processimprovement• Customer 360 insight• Customer retention• Customer segmentation • Customer loyalty• New product/service launch • Credit scoring• Customer analytics• Fraud detection• Risk management• Sarbanes-Oxley Act (SOX)compliance• Quality of care• Patient safety• Risk mitigation• Fraud detection• Claims management• Biomedical analytics• Stability and shelf life• Primary research• FDA compliancemanufacturing• Product quality• Customer insight• Demand forecasting•Improved operations23Dell Ready Bundle for Cloudera HadoopDell Ready Bundle for Cloudera Hadoop is an integrated Hadoop system, designed to address data analytics requirements, reduce costs and optimize performanceSince 2011, Dell and Cloudera have built validated solutions to help customers speed time to insights With our deep roots in data analytics solutions and Hadoop — and otherleading partners in data analytics — Dell has the expertise, tools and solutions needed to drive successful, flexible and scalable Hadoop deploymentsConfiguration detailsDell Ready Bundles for Cloudera Hadoop offer a variety of configurations to meet your needs 1Dell Cloudera Hadoop solution on PowerEdge R730XD Server Dell Cloudera Hadoop solution on PowerEdge FX2 Server Dell Cloudera Syncsort ETL offload Hadoop solution on PowerEdgeR730XD ServerDell Cloudera Syncsort ETL offload Hadoop solution on PowerEdge FC630 Server Dell QuickStart for Cloudera Hadoop Use cases Active archive/customer 360-degree Active archive/customer 360-degree ETL offload ETL offloadTesting and proofs of concept (POCs)Sizing Scales from 5 to 252 nodes, 3 8PBScales from 5 to 252 nodes, 3 8PBScales from 5 to 252 nodes, 3 8PB Scales from 5 to 252 nodes, 3 8PB 48TBSoftwareCloudera Enterprise OpenManage/iDRAC with Lifecycle Controller Cloudera Enterprise OpenManage/iDRAC with Lifecycle Controller Cloudera Enterprise Syncsort DMX-h and SILQ™Cloudera Enterprise Syncsort DMX-h and SILQCloudera Basic Edition OpenManage/iDRAC with Lifecycle Controller Pod network2 x Networking S4048 10GbE pod switches 1 x S3048 iDRAC switch 2 x Networking S4048 10GbE pod switches 1 x S3048 iDRAC switch 2 x Networking S4048 10GbE pod switches 1 x S3048 iDRAC switch 2 x Networking S4048 10GbE pod switches 1 x S3048 iDRAC switch Networking S3048-ON switchNetworking S4048-ON switchCluster network 2 x Networking S6000 40GbE cluster switches 2 x Networking S6000 40GbE cluster switches 2 x Networking S6000 40GbE cluster switches 2 x Networking S6000 40GbE cluster switches Infrastructure nodes1 x PowerEdge R630 Server admin node3 x PowerEdge R730XD Server name nodes1 x PowerEdge R730XD Server edge node 1 x PowerEdge R630 Server admin node3 x PowerEdge R730XD Server name nodes1 x PowerEdge R730XD Server edge node 1 x PowerEdge R630 Server admin node3 x PowerEdge R730XD Server name nodes1 x PowerEdge R730XD Server edge node 1 x PowerEdge FC630 Server admin node 3 x PowerEdge FC630 Server name nodes 1 x PowerEdge FC630 Server edge node2 x PowerEdge R730XD ServersWorker nodes10 x PowerEdgeR730XD Servers with 3 5" Drives — 48TB or 10 x PowerEdgeR730XD Servers with 2 5" Drives — 24TB10 x PowerEdge FC630 Servers10 x PowerEdge FD332 Storage — 32TB10 x PowerEdgeR730XD Servers with 3 5" Drives — 48TB or 10 x PowerEdgeR730XD Servers with 2 5" Drives — 24TB10 x PowerEdge FC630 Servers10 x PowerEdge FD332 Storage — 32TB3 x PowerEdge R730XD Servers1T he quantity and configuration of each system depends on thespecific size and use caseDell PowerEdge R730 Server : Impressive processor performance, a large memoryfootprint, extensive I/O (input/output) options and a choice of dense, high-performance storage or low-cost, high-capacity storageDell PowerEdge FX2 Server : Modular server, storage and networking blocks are neatly combined in a compact, converged 2U rack chassis to redefine data center agilityDell Networking S4048-ON 10/40GbE : T op-of-rack, high-density 1U switch with forty-eight 10GbE uplinks It offers ultra-low-latency and line-rate performance that is optimized for data centers4Dell FC630 PowerEdge Server nodes : The 2-socket, half-width 1U workhorse server blocks are ideal for a wide variety of business applicationsDell FD332 Storage : Flexible, high-density, half-width 1U storage modules enable you to rapidly scale direct attached storage (DAS)The Dell Ready Bundle for Cloudera Hadoop Services includes:5• Onsite hardware and Operating System (OS) deployment services via Dell ProDeploy • Dell Cloudera Accelerator Services : Best practice guidance, hands-on labs, roadmap planning and knowledge transfer so you can get from install to full productivity, with the skills and knowledge to get the greatest value from your big data solution• Dell Cloudera Hadoop Health Check Services : Reviews your current data technologies and processes, and makes recommendations for Cloudera tools, testing and operational practices• Dell Consulting Services for Hadoop, including software installation and configuration, data migration and Microsoft ® Azure ® integration• Hardware and software support services via Dell ProSupportWhy Dell for Hadoop?At Dell, we design our solutions to create maximum value by continually driving upcapabilities while driving down costs and complexity This is how we give organizations the power to do moreWe drive up capabilities: We combine organic development with joint partnerships and targeted acquisitions to develop practical innovations that deliver robust functionality at any scaleWe drive down costs: We focus on driving down initial and ongoing expenses, ensuring a low total cost of ownership to help customers achieve maximum results on minimum budgetsWe drive down complexity: We believe technology should be sophisticated yet simple, to help our customers save time so they can focus on other prioritiesComplete your solution with Dell ServicesDell Professional ServicesSolutions customized for your needsDell Hadoop Consulting is a best-in-class service delivered by certified Cloudera Hadoop experts to help you get the business value of data analytics using Hadoop The services include a data analytics assessment, workshop, testing, proofs of concept and production implementation These Hadoop experts help determine where Hadoop is a good fit for your organization They also help you build your own team of Hadoop experts through knowledge transfer at each stepSupport always on for youDell ProSupport offers a single point of accountability from experts withsolution-specific training, along with premium hardware and software support available24x7x365 ProSupport also includes collaborative support for Cloudera Enterprise software Additionally, ProSupport includes next-business-day onsite service with four- and eight-hour parts and labor response options, and escalation management with customer-set severity level optionsMetaScaleAchieved ROI in just 3 months 2T exas Advanced Computing Center (TACC)Gained up to 50X performance improvement 3Dell40% increased automation of standard sales reports 460% faster response times for prescriptive and predictive analysis 42D ell case study, "Accelerating big data ROI with Hadoop ," April 20153D ell case study video, "Dell Drives Big Data Solutions at TACC ," November 2016 4D ell case study, "Unlocking data's value for better insights and decisions ," May 2015 5A ll Dell Services are standard in the US and Canada For all other regions, services are custom6D ell case study, "A powerful new foundation for creating customer campaigns ," May 2015“We’ve completelyredesigned how we capture, store and provision data with the new Dell Hadoop cluster We can gather larger amounts of data, and our analysts and statisticians can mine that data in ways they couldn’t before ”6T ony Giordano, ExecutiveVice President of theT echnology Solutions Group,Merkle, United StatesCopyright © 2017 Dell Inc or its subsidiaries All Rights Reserved Dell, and other trademarks are trademarks of Dell Inc or its subsidiaries Other trademarks may be the property of their respective owners Published in the USA 02/17 Family guide DELL-FG-HADOOP-CH-101Apache ® and Hadoop ® are either registered trademarks or trademarks of the Apache Software Foundation in the United States and/or other countries Cloudera ® is a trademark or trade dress of Cloudera Intel ® is a trademark of Intel Corporation in the U S and other countries Syncsort ® and SILQ TM are the property of Syncsort in the United States and/or other countries Microsoft ® and Azure ® are a registered trademarks or trademarks of Microsoft Corporation in the United States and/or other countries VMware ® is a registered trademark or trademark of VMware, Inc in the United States and/or other jurisdictionsDell believes the information in this document is accurate as of its publication date The information is subject to change without noticeDeployment assistance when you need itDell offers a broad menu of installation and implementation services for Hadoop solutions through Dell ProDeploy Dell Services include onsite hardware and software installation, optional rack integration at a Dell facility and validation of the installed solution Dell takes care of the complete project management, from order drop to your acceptance For more information, visit Dell com/ServiceDescriptionsFind out more todayDon’t wait to harness the benefits of Cloudera Hadoop on a purpose-built solutiondesigned from the ground up to address data analytics requirements, reduce development costs and optimize performance for deep data mining and analytics Contact your Dell representative to find out more today“Addressing exhausted enterprise data capacity can cost up to $800,000 per terabyte of data But with Hadoop’s extreme scalability, adding terabytes can cost as little as $5,000 using MetaScale’s big data appliances based on Dell PowerEdge Servers ”7Ankur Gupta, General Manager, MetaScale,United States7D ell case study, "Accelerating big data ROI with Hadoop ," April 2015。
大数据架构：搭建CDH5.5.1分布式集群环境
⼤数据架构：搭建CDH5.5.1分布式集群环境yum install -y ntp gcc make lrzsz wget vim sysstat.x86_64 xinetd screen expect rsync bind-utils iotop dstat nethogs openssl-devel openssh-clients 1) 配置 /etc/hosts master 10.17.172.230 node1 10.17.172.231 node2 10.17.172.232 node3 10.17.172.233 node4 10.17.172.234 node5 10.17.172.235 node6 10.17.172.236 node7 10.17.172.2372) HOSTNAME vi /etc/sysconfig/network HOSTNAME=master hostname master service network restarthost⼀次配好，不要去改；如果⾮要改，相关服务都要重启, authorized_keys要处理, known_hosts要删除3) ⽆密码SSH在主节点上执⾏ ssh-keygen -t rsa ⼀路回车，⽣成⽆密码的密钥对。
将所有节点的公钥添加到认证⽂件中： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keysscp⽂件到所有datenode节点： scp ~/.ssh/authorized_keys root@node1:~/.ssh/ scp ~/.ssh/authorized_keys root@node2:~/.ssh/ scp ~/.ssh/authorized_keys root@node3:~/.ssh/ scp ~/.ssh/authorized_keys root@node4:~/.ssh/ scp ~/.ssh/authorized_keys root@node5:~/.ssh/ scp ~/.ssh/authorized_keys root@node6:~/.ssh/设置authorized_keys的访问权限： chmod 600 ~/.ssh/authorized_keys4) 修改 history命令的记录数量 sed -i 's/^HISTSIZE=1000/HISTSIZE=10000/' /etc/profile source /etc/profile5) 安装 JAVArpm -qa | grep java 检查是否安装 jdkrpm -ivh jdk-7u80-linux-x64.rpm 安装jdkvi /etc/profile JAVA_HOME=/usr/java/jdk1.7.0_80 export PATH=$JAVA_HOME/bin:$PATH export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarsource /etc/profile6) 配置防⽕墙 service iptables stop # 暂时关闭7) 关闭SELINUX临时⽣效: setenforce 0重启后永久⽣效: cat /etc/selinux/config | grep "SELINUX=" vi /etc/selinux/config SELINUX=disabled8) 时区 vi /etc/sysconfig/clock ZONE=Asia/Shanghai rm /etc/localtime ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime9) 配置 NTP 节点 yum -y install ntp ntpdate chkconfig ntpd on # 开机启动 chkconfig --list ntpd # 2-5为on状态就代表成功master机器:ntpdate -u 103.226.213.30 # 同步⼀下时间vi /etc/ntp.conf driftfile /var/lib/ntp/drift restrict 127.0.0.1 restrict -6 ::1 restrict default nomodify notrap restrict -6 default nomodify notrap server 103.226.213.30 prefer server iburst server iburst server iburst server iburst server 210.72.145.44 iburst server iburst server iburst server iburst server iburst server iburst includefile /etc/ntp/crypto/pw keys /etc/ntp/keysservice ntpd start # 启动ntpstat # 命令查看同步状态所有⼦节点:vi /etc/ntp.conf driftfile /var/lib/ntp/drift restrict 127.0.0.1 restrict -6 ::1 restrict default kod nomodify notrap nopeer noquery restrict -6 default kod nomodify notrap nopeer noquery server master includefile /etc/ntp/crypto/pw keys /etc/ntp/keysntpdate -u masterservice ntpd start10) MySQL rpm -qa | grep -i mysql rpm --nodeps -e mysql-libs-5.1.71-1.el6.x86_64 cd /usr/local tar -zxvf mysql.tar.gz cp /data/install_tools/init_server_env/mysql/f /usr/local/mysql/ cp /data/install_tools/init_server_env/mysql/shutdown_mysql.sh /usr/local/mysql/ cp /data/install_tools/init_server_env/mysql/start_mysql.sh /usr/local/mysql/# 创建数据库相应⽬录和设置⽬录权限 mkdir -p /data/mysql-3306/{tmp,data} groupadd mysql useradd -r -g mysql mysql -s /sbin/nologin chmod 755 /usr/local/mysql/*.sh chown -R mysql:mysql /data/mysql-3306 chown -R mysql:mysql /usr/local/mysql##初始化mysql cd /usr/local/mysql scripts/mysql_install_db --user=mysql --defaults-file=/usr/local/mysql/f /usr/local/mysql/start_mysql.sh netstat -ant|grep ':3306'|grep 'LISTEN' # 确认 3306 端⼝可⽤ /usr/local/mysql/bin/mysql -uroot -S /data/mysql-3306/mysqld.sock use mysql; delete from user where user=''; grant all privileges on *.* to root@'%' identified by 'qweasdzxc'; update user set password=password('qweasdzxc') where user='root'; grant select,insert,update,EXECUTE,lock tables on *.* to loguser@'%' identified by 'nagioscheck'; grant usage on *.* to 'zabbixmysql'@'127.0.0.1' identified by 'zabbix123'; flush privileges; select host,user,password from user;⾸先要看本机MySQL的socket套接字⽂件在哪⾥: mysqld --verbose --help | grep socketvi /etc/profile export PATH==$PATH:/usr/local/mysql/binsource /etc/profile11)安装CM================================================================================================================== 1) 主节点解压安装 解压 cloudera-manager-el6-cm5.5.1_x86_64.tar.gz 到 /opt/⽬录2) 建⽴数据库 cp /data/install_tools/mysql-connector-java-5.1.42.jar /opt/cm-5.5.1/share/cmf/lib/ # 这个权限，应该要 grant all privileges on *.* to scm@'%' identified by 'scm'; flush privileges; 数据库类型数据库名称 -h数据库主机名 -u数据库⽤户名 -p数据库密码--scm-host cmserver主机名 scm scm scm /opt/cm-5.5.1/share/cmf/schema/scm_prepare_database.sh mysql cm -h127.0.0.1 -uroot -pqweasdzxc -P3306 --scm-host master scm scm scm3) Agent配置 vi /opt/cm-5.5.1/etc/cloudera-scm-agent/config.ini server_host=master 同步Agent到其他节点 scp -r root@master:/opt/cm-5.5.1/ /opt/ 在所有节点创建cloudera-scm⽤户 userdel cloudera-scm useradd --system --home=/opt/cm-5.5.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 准备Parcels，⽤以安装CDH5(主节点) cp /data/install_tools/CDH/* /opt/cloudera/parcel-repo/ mv /opt/cloudera/parcel-repo/CDH-5.5.1-1.cdh5.5.1.p0.11-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.5.1-1.cdh5.5.1.p0.11-el6.parcel.sha启动: echo > /opt/cm-5.5.1/log/cloudera-scm-server/cloudera-scm-server.log echo > /opt/cm-5.5.1/log/cloudera-scm-agent/cloudera-scm-agent.log主节点: /opt/cm-5.5.1/etc/init.d/cloudera-scm-server start tail -f /opt/cm-5.5.1/log/cloudera-scm-server/cloudera-scm-server.log 2017-06-28 11:02:29,570 INFO WebServerImpl:org.mortbay.log: Started SelectChannelConnector@0.0.0.0:7180 2017-06-28 11:02:29,570 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server. 标志执⾏成功所有节点（包括主节点）: 最好先启动⼦节点，最后启动主节点 /opt/cm-5.5.1/etc/init.d/cloudera-scm-agent start tail -n20 /opt/cm-5.5.1/log/cloudera-scm-agent/cloudera-scm-agent.log # log ⾥⾯有错应该是正常的 DnsResolutionMonitor throttling_logger INFO Using java location: '/usr/java/jdk1.7.0_80/bin/java'.应该是标志执⾏成功,不确认4) CDH5的安装配置http://master:7180/cmf/初始化:MySQL 建库: create database hive; create database oozie; create database amon; create database hue;性能相关: echo 0 > /proc/sys/vm/swappiness echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag echo "" >> /etc/sysctl.conf echo "vm.swappiness=0" >> /etc/sysctl.conf sysctl -p echo "" >> /etc/rc.local echo "echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag" >> /etc/rc.local【群集设置 - 审核更改】页⾯时:# 使⽤了MySql作为hive的元数据存储，hive默认没有带mysql的驱动 cp /opt/cm-5.5.1/share/cmf/lib/mysql-connector-java-5.1.42.jar /opt/cloudera/parcels/CDH-5.5.1-1.cdh5.5.1.p0.11/lib/hive/lib/【群集设置 - ⾸次运⾏命令】页⾯时: cp /opt/cm-5.5.1/share/cmf/lib/mysql-connector-java-5.1.42.jar /var/lib/oozie/========================================================================================================================错误:1) Heartbeating to master:7182 failed由于在主节点上启动了Agent后，⼜将Agent scp到了其他节点上导致的，⾸次启动Agent，它会⽣成⼀个uuid。
Cloudera大数据平台环境搭建
3 reboot
第16页
Cloudera大数据平台环境搭建-系统环境
系统参数 已启用透明大页面压缩，可能会导致重大性能问题。请运行： echo 10 > /proc/sys/vm/swappiness echo 'vm.swappiness=10'>> /etc/sysctl.conf echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件
），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的
提高了集群管理的效率。
CDH体系架构
批处理 （M/R，Hive，Pig）
数据分析 （Impala）
搜索引擎
流处理
机器学习（Spark、
第18页
Cloudera大数据平台环境搭建-数据库环境
本节主要统一介绍与数据库相关组件的安装，便于统一规划，因为这些组件在安装、应用过程中都有 关联，这节配置基本与后续的数据库配置页面相关，随后再提，现在有个准备，保留。
数据库环境
1、 JDK
2、Mysql
3、JDBC
4、创建数据库
第19页
Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书
Cloudera大数据平台环境搭建（CDH5.13.1版）目录Cloudera大数据平台环境搭建 (1)（CDH5.13.1版） (1)1.基础环境 (4)1.1.软件环境 (4)1.2.配置规划 (4)1.3.所需要的软件资源 (4)1.4.修改机器名（所有节点） (5)1.5.设置防火墙（所有节点） (6)1.6.配置免密码登录SSH (6)1.7.关闭SELINUX（所有节点） (8)1.8.修改Linux内核参数（所有节点） (8)1.9.其他安装与配置（所有节点） (10)1.10.配置NTP服务 (10)1.11.安装oracle JDK1.8 （所有节点） (12)1.12.Mysql安装（主节点） (13)2.安装CM (15)2.1.传包，解包 (15)2.2.创建数据库 (15)2.3.创建用户 (16)2.4.制作本地YUM源 (16)2.5.拷贝jar包 (17)2.6.修改cloudera-scm-agent配置 (17)2.7.启动CM Server和Agent (18)2.8.访问CM (18)3.安装CDH (18)3.1.登录后界面 (18)3.2.选择CM版本 (19)3.3.指定主机 (20)3.4.选择CDH版本 (21)3.4.1.出现“主机运行状态不良”错误 (22)3.5.检查主机正确性 (23)3.6.选择安装的服务 (23)3.7.角色分配 (24)3.8.数据库设置 (24)3.8.1.测试连接报错： (25)3.9.群集设置 (26)3.10.开始安装 (28)3.11.安装完成 (29)3.11.1.警告信息： (29)4.常见错误 (31)4.1.初始化数据库错误： (31)4.2.未能连接到Host Monitor (32)1.基础环境1.1.软件环境本文将介绍Centos7.4 离线安装CDH和Cloudera Manager过程，软件版本如下：1.2.配置规划本次安装共5台服务器，服务器配置及用途如下：1.3.所需要的软件资源1)JDK环境：JDK版本：1.8.0_151jdk-8u151-linux-x64.rpm下载地址：/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2)CM包：CM版本：5.13.1cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz下载地址：/cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz3)CDH包CDH版本：5.13.1，CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel；CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1；manifest.json下载地址：/cdh5/parcels/5.13.1/manifest.json/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 /cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel4)JDBC连接jar包：jar包版本：5.1.43，mysql-connector-java-5.1.43.jar下载地址：/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar1.4.修改机器名（所有节点）1)修改机器名称这种方式，在Centos7中可以永久性改变主机名称。
CDH5离线安装手册
Cloudera manage（离线）安装手册1.准备工作1.1.系统环境硬件设备：16G内存，1.8T网络组成：172.16.41.41 j1172.16.41.42 j2172.16.41.43 j3操作系统：Centos6.4 64位1.2.安装JDK从官方网站上下载rpm包，本次使用版本1.7.0_79（CDH5可能支持1.7之前的版本，具体情况未经测试），执行命令：rpm -ivhjdk-7u60-linux-x64.rpm由于是rpm包并不需要我们来配置环境变量，我们只需要配置一个全局的JAVA_HOME变量即可，执行命令：echo "JAVA_HOME=/usr/java/latest/" >>/etc/environment执行命令，查看Jdk是否安装正确java -versionjavac -version1.3.修改主机名修改/etc/sysconfig/network文件：NETWORKING=yesHOSTNAME=j1其中HOSTNAME与主机名一致。
主机名如果跟系统安装时不一致请执行hostname命令让其立即生效，否则会影响各节点互相访问，命令如下：hostname master修改/etc/hosts文件，添加：172.16.41.41 j1172.16.41.42 j2172.16.41.43 j3重新启动网络服务，执行命令：service network restart1.4.关闭防火墙防火墙会引起hadoop相关组件通讯的各种异常。
防火墙：service iptables stop (临时关闭)chkconfigiptables off (重启后生效)设置SELINUX：setenforce 0 (临时生效)修改/etc/selinux/config下的SELINUX=disabled （重启后生效）1.5.SSH无密钥验证所有节点均执行如下命令，遇到提示一路回车即可：ssh-keygen -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys_$hostnamescp各数据节点文件authorized_keys到主节点：scp ~/.ssh/authorized_keysroot@j1:~/.ssh/合并各节点文件authorized_keys_$hostname到文件authorized_keys：cat~/.ssh/authorized_keys_$hostname>>authorized_keys主机分发合并后的authorized_keys所有节点主机：scp ~/.ssh/authorized_keysroot@j2:~/.ssh/scp ~/.ssh/authorized_keysroot@j3:~/.ssh/然后输入密码即可，以后再到其他机器就不需要密码额。
cdh运维手册
cdh运维手册摘要：一、前言二、CDH概述1.CDH的定义2.CDH的组成3.CDH的功能三、CDH的安装与配置1.安装环境准备2.安装过程详解3.配置CDH四、CDH的运维管理1.监控CDH2.维护CDH3.备份与恢复CDH五、CDH的常见问题及解决方法六、CDH的安全策略七、CDH的优化与调优八、总结与展望正文：一、前言随着大数据时代的到来，数据处理和存储的需求日益增长。
Cloudera Data Platform（CDH）是一个开源的、完整的、高度可扩展的大数据平台，为企业提供了数据采集、存储、处理、分析和应用等功能。
为了帮助用户更好地使用CDH，本文将详细介绍CDH的运维管理方法。
二、CDH概述1.CDH的定义Cloudera Data Platform（CDH）是Cloudera公司推出的一款大数据平台，它包含了Hadoop、Hive、HBase、Spark等众多大数据组件，为用户提供了一整套大数据解决方案。
2.CDH的组成CDH主要由以下几个组件构成：（1）Hadoop：分布式存储和计算框架（2）Hive：数据仓库工具（3）HBase：分布式NoSQL数据库（4）Spark：大规模数据处理框架（5）其他组件：如Impala、Presto、Sentry等3.CDH的功能CDH提供了数据存储、数据处理、数据分析和数据应用等功能，适用于企业级大数据应用场景。
三、CDH的安装与配置1.安装环境准备（1）硬件环境：CPU、内存、磁盘空间等（2）软件环境：操作系统、Java等2.安装过程详解（1）下载CDH安装包（2）解压安装包（3）配置CDH（4）启动CDH服务（5）验证CDH安装成功3.配置CDH（1）配置Hadoop（2）配置Hive（3）配置HBase（4）配置其他组件四、CDH的运维管理1.监控CDH（1）性能监控（2）状态监控（3）日志监控2.维护CDH（1）升级CDH组件（2）优化CDH配置（3）处理故障3.备份与恢复CDH（1）备份策略（2）备份工具（3）恢复过程五、CDH的常见问题及解决方法1.Hadoop组件问题2.Hive组件问题3.HBase组件问题4.Spark组件问题六、CDH的安全策略1.访问控制2.数据加密3.审计与日志4.安全组件七、CDH的优化与调优1.Hadoop性能优化2.Hive性能优化3.HBase性能优化4.Spark性能优化八、总结与展望本文详细介绍了CDH的运维管理方法，包括安装与配置、监控与维护、备份与恢复、安全策略以及优化与调优等内容，希望对CDH用户有所帮助。
cloudera data platform使用
cloudera data platform使用（原创版）目录1.Cloudera Data Platform 简介2.Cloudera Data Platform 的主要组件3.Cloudera Data Platform 的应用场景4.Cloudera Data Platform 的优势与不足5.总结正文【1.Cloudera Data Platform 简介】Cloudera Data Platform（CDP）是 Cloudera 公司推出的一款大数据平台，它集成了数据存储、数据处理、数据分析和机器学习等多种功能，帮助企业实现数据的采集、存储、处理、分析和应用。
CDP 的目标是让企业能够更加高效地管理和利用海量数据，从而实现数据驱动的业务决策。
【2.Cloudera Data Platform 的主要组件】CDP 由以下几个主要组件构成：1.Cloudera Manager：Cloudera Manager 是 CDP 的管理界面，通过它，用户可以对整个平台进行监控、管理和配置。
2.Cloudera Data Platform (CDH)：CDH 是 CDP 的核心组件，它集成了 Hadoop、Spark、Hive、Pig、Flink 等大数据处理技术，提供了丰富的数据处理和分析功能。
3.Cloudera Data Warehouse (CDW)：CDW 是 CDP 的数据仓库组件，它提供了高效的数据存储和查询功能，支持 SQL 查询和机器学习模型的训练。
4.Cloudera Analytics Platform (CAP)：CAP 是 CDP 的数据分析和机器学习组件，它提供了可视化的数据分析工具和丰富的机器学习算法，支持实时和离线的数据分析。
5.Cloudera Collaborative Data Platform (CCP)：CCP 是 CDP 的数据共享和协作组件，它提供了安全的数据共享和协作功能，支持多种数据格式和协议。
CDH大数据集群环境搭建步骤
4、检查swappiness不能超过10cat /proc/sys/vm/swappiness如果超过10运行时执行echo 0 > /proc/sys/vm/swappiness保持重启之后继续生效vim /etc/sysctl.confvm.swappiness=05、设置下面内容echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled为了重启之后也生效vim /etc/rc.local添加：echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled二、安装准备1、准备cm包1、将cm包放到安装http服务的节点mkdir /opt/cmallkeys.asccloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-server-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpmoracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm2、创建本地yum仓库createrepo .若createrepo命令未发现，需要安装createrepoyum -y install createrepo再次执行createrepo .3、在/etc/yum.repo.d/目录下增加cm.repo文件vim /etc/yum.repos.d/cm.repo添加以下内容：[cmrepo]name=CMbaseurl=http://hostname:9052/cmgpgcheck=falseenabled=true4、验证CM源是否配置成功yum repolist5、将cm.repo分发到其余各节点2、准备cdh parcel包1、mkdir/opt/cdh将parcel包放到文件夹CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcelCDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256manifest.json2、mkdir/opt/cdh/flink将flink parcel包放到该文件下FLINK-1.13.3-bin-scala-2.11-el7.parcelFLINK-1.13.3-bin-scala-2.11-el7.parcel.shamanifest.json3、将FLINK_ON_YARN-1.13.3.jar放到cm节点的/opt/cloudera/csd并修改文件夹权限sudo chown cloudera-scm:cloudera-scm/opt/cloudera/*3、在mysql创建数据库和用户并授权#scmCREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'scm'@'%' IDENTIFIED BY'password';GRANT ALL ON scm.* TO 'scm'@'%' ;FLUSH PRIVILEGES;#Activity MonitorCREATE DATABASE am DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'am'@'%' IDENTIFIED BY'password';GRANT ALL ON am.* TO 'am'@'%';FLUSH PRIVILEGES;#Reports ManagerCREATE DATABASE rm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'rm'@'%' IDENTIFIED BY'password';GRANT ALL ON rm.* TO 'rm'@'%' ;FLUSH PRIVILEGES;#HueCREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'hue'@'%' IDENTIFIED BY'password';GRANT ALL ON hue.* TO 'hue'@'%';FLUSH PRIVILEGES;#HiveCREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'hive'@'%' IDENTIFIED BY'password';GRANT ALL ON hive.* TO 'hive'@'%' ;FLUSH PRIVILEGES;#OozieCREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;CREATE USER 'oozie'@'%' IDENTIFIED BY'password';GRANT ALL ON oozie.* TO 'oozie'@'%' ;FLUSH PRIVILEGES;4、在cm节点配置jdbc驱动# mkdir -p /usr/share/java# mv mysql-connector-java-5.1.34.jar/usr/share/java/# cd /usr/share/java/# ln -s mysql-connector-java-5.1.34.jar mysql-connector-java.jar5、如果cms节点的/usr/java/default/下没有jdk，用下面方式安装yum -y install oracle-j2sdk1.8-1.8.0+update181-1三、安装1、安装 cloudera-manager-serveryum -y install cloudera-manager-server2、初始化cm数据库/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm password3、启动cm serversystemctl start cloudera-scm-server4、访问7180端口， admin admin配置parcel 路径：http://hostname:9052/cdh。
ClouderaManager大数据平台部署指南
ClouderaManager大数据平台部署指南一、简介ClouderaManager是一款用于管理和监控大数据平台的工具，它提供了一套集中式的管理界面，可以帮助用户轻松部署、配置和监控大数据集群。
本文将详细介绍ClouderaManager的部署过程，包括环境准备、安装步骤和常见问题解决方法。
二、环境准备1. 操作系统要求ClouderaManager支持多种操作系统，包括CentOS、Red Hat Enterprise Linux、Ubuntu等。
在开始部署之前，请确保您的操作系统符合ClouderaManager的要求，并已经完成了基本的系统设置。
2. 硬件要求为了保证ClouderaManager的性能和稳定性，建议您在部署之前对硬件进行评估，并选择合适的硬件配置。
通常情况下，建议至少具备以下硬件配置：- CPU：双核或更高- 内存：8GB或更高- 硬盘：至少100GB的可用空间3. 网络要求ClouderaManager需要与集群中的各个节点进行通信，因此请确保网络连通性良好，并且所有节点都能够访问ClouderaManager的管理界面。
4. 软件要求在开始部署之前，您需要安装以下软件：- Java Development Kit (JDK)：ClouderaManager需要JDK来运行，请确保您已经安装了适当版本的JDK。
- 数据库：ClouderaManager需要一个数据库来存储配置信息和监控数据。
常见的选择包括MySQL、PostgreSQL等。
三、安装步骤1. 下载ClouderaManager首先，您需要从Cloudera官方网站上下载ClouderaManager的安装包。
请确保您选择了与您操作系统版本相对应的安装包。
2. 安装ClouderaManager Server在安装ClouderaManager Server之前，请确保您已经满足了所有的环境准备要求。
接下来，您可以按照以下步骤来安装ClouderaManager Server：- 解压安装包：使用适当的命令解压下载的安装包。
CDP 使用指南说明书
CDP使用指南2021年05月12日目录1.文档说明 (8)2.CDP平台介绍 (8)2.1.CDP平台简介 (9)2.2.C LOUDERA M ANAGER概览 (10)2.3.C LOUDERA R UNTIME (11)2.4.工具 (11)2.5.设置对基于阿里云部署的CDP的访问权限 (12)2.5.1.配置SOCKS代理 (12)2.5.2.启动SOCKS代理 (12)2.5.3.配置Google Chrome浏览器以使用代理 (13)2.5.4.网络安全组 (14)3.CLOUDERA MANAGER (15)3.1.术语 (15)3.1.1.部署 (16)3.1.2.动态资源池 (16)3.1.3.集群 (16)3.1.4.主机 (16)3.1.5.机架 (16)3.1.6.服务 (16)3.1.7.服务实例 (17)3.1.8.角色 (17)3.1.9.角色实例 (17)3.1.10.角色组 (17)3.1.11.主机模板 (17)3.1.12.网关（Gateway） (17)3.1.13.Parcel (18)3.1.14.静态服务池 (18)3.2.C LOUDERA M ANAGER架构 (18)3.2.1.心跳 (19)3.3.状态管理 (19)3.4.C LOUDERA M ANAGER 管理控制台 (20)3.4.1.Cloudera Manager管理控制台主页 (24)3.4.2.自动登出 (28)3.5.进程管理 (30)3.6.主机管理 (30)3.7.C LOUDERA M ANAGER A GENT (31)3.7.1.cm_processes (31)3.8.资源管理 (32)3.9.用户管理 (33)3.10.安全管理 (33)3.11.使用C LOUDERA M ANAGER监控集群 (33)3.12.C LOUDERA M ANAGEMENT S ERVICE (35)3.12.1.健康测试 (35)3.12.2.指标收集和显示 (36)3.12.3.事件、警报和触发器 (36)3.13.集群配置概述 (37)3.14.服务器和客户端配置 (38)3.15.C LOUDERA M ANAGER API (39)3.16.虚拟专用集群和C LOUDERA SDX (39)3.16.1.分离计算和数据资源的优势 (40)3.16.2.架构 (40)3.16.3.权衡性能 (42)3.16.4.虚拟专用集群的兼容性注意事项 (42)3.16.5.虚拟专用集群的网络注意事项 (47)4.CDP核心组件 (53)4.1.C LOUDERA R UNTIME组件版本 (53)4.2.分布式文件系统HDFS (57)4.3.实时数据库HB ASE (58)4.4.列式存储引擎K UDU (60)4.5.统一资源管理和调度框架 (61)4.6.分布式计算框架–T EZ (66)4.7.数据仓库组件–H IVE (68)4.8.SQL分析引擎I MPALA (69)4.9.HB ASE SQL查询引擎P HOENIX (71)4.10.C LOUDERA整合全文检索引擎 (73)4.11.分布式内存计算框架–S PARK (76)4.12.数据库接入工具S QOOP (78)4.13.C LOUDERA一站式安全管理 (83)4.14.分布式消息队列K AFKA (93)4.15.A PACHE A TLAS (95)5.CLOUDERA安全概述 (98)5.1.概述 (98)5.1.1.安全要求 (99)5.1.2.安全等级 (99)5.1.3.Hadoop安全架构 (100)5.2.认证概述 (101)5.2.1.Kerberos概述 (102)5.2.2.Kerberos部署模型 (103)5.2.3.使用TLS/SSL进行安全的Keytab分发 (109)5.2.4.使用向导或手动过程来配置Kerberos身份验证 (110)5.2.5.集群组件使用的身份验证机制 (110)5.3.加密概述 (111)5.3.1.保护静态数据 (111)5.3.2.保护传输中的数据 (114)5.3.3.Hadoop项目中的数据保护 (115)5.3.4.加密机制概述 (117)5.4.授权概述 (117)5.4.1.Hadoop中的授权机制 (118)5.4.2.与身份验证机制的身份验证机制集成 (119)5.4.3.Hadoop项目中的授权 (120)5.5.治理概述 (121)5.5.1.什么是Apache Atlas？ (121)5.5.2.Apache Atlas使用元数据创建血统关系 (121)5.5.3.添加到实体元数据使搜索更加容易 (121)5.5.4.Apache Atlas体系结构 (122)6.CLOUDERA最佳实践 (123)6.1.I MPALA分区 (123)6.1.1.文件计数和文件大小 (123)6.1.2.分区注意事项 (124)6.1.3.指南总结 (126)6.2.I MPALA性能 (126)6.2.1.Kudu RPC (126)6.2.2.设立专门的协调员 (127)6.2.3.按需元数据和元数据管理 (130)6.3.加速S PARK ML应用 (153)6.3.1.Spark ML的原生数学库 (153)6.3.2.启用libgfortran库 (154)6.3.3.启用英特尔MKL库 (156)6.3.4.性能比较 (157)7.故障排查 (159)7.1.安全故障排查 (159)7.1.1.错误信息和各种故障 (159)7.1.2.身份验证和Kerberos问题 (167)7.1.3.HDFS加密问题 (179)7.1.4.Key Trustee KMS加密问题 (181)7.1.5.对Cloudera Manager中的TLS/SSL问题进行故障排除 (182)7.2.YARN、MR V1和L INUX OS安全性 (185)7.2.1.MRv1和YARN：jsvc程序 (185)7.2.2.仅限MRv1：Linux TaskController (186)7.2.3.仅限YARN：Linux容器执行器 (186)7.3.对I MPALA进行故障排除 (187)7.3.1.使用Breakpad Minidumps进行崩溃报告 (188)7.4.对A PACHE Y ARN进行故障排查 (190)7.4.1.在YARN上对Docker进行故障排除 (190)7.4.2.对Linux Container Executor进行故障排除 (200)7.5.对HB ASE进行故障排除 (202)7.5.1.使用HBCK2工具修复HBase集群 (203)7.5.2.Thrift Server在收到无效数据后崩溃 (203)7.5.3.HBase正在使用比预期更多的磁盘空间 (204)7.5.4.对RegionServer分组进行故障排除 (205)7.6.对APACHE KUDU进行故障排除 (206)7.6.1.启动或重启主服务器或者Tablet服务器时出现问题 (206)7.6.2.磁盘空间使用问题 (207)7.6.3.性能问题 (208)7.6.4.可用性问题 (214)7.6.5.象征堆栈跟踪 (216)7.6.6.在多主服务器部署中从死掉的Kudu主服务器中恢复 (218)7.7.对C LOUDERA S EARCH进行故障排除 (218)7.7.1.故障排除 (218)7.7.2.动态Solr分析 (219)7.7.3.其他故障排除信息 (220)7.7.4.找出Cloudera Search部署中的问题 (220)7.7.5.Cloudera Search配置和日志文件 (223)7.8.对H UE进行故障排查 (226)7.8.1.Hue负载平衡器无法在各个Hue服务器之间平均分配用户 (226)7.8.2.无法使用SAML对Hue中的用户进行身份验证 (227)7.8.3.清理旧数据以提高性能 (227)7.8.4.无法使用提供的凭据连接到数据库 (229)7.8.5.在Hue UI上激活Hive查询编辑器 (230)7.8.6.查询执行在Hue中完成，但显示为在Cloudera Manager Impala查询页面上执行 (231)7.8.7.查找Hue超级用户列表 (232)7.8.8.通过Knox访问Hue时，用户名或密码不正确 (233)7.8.9.从Knox访问Hue UI时出现HTTP 403错误 (234)7.8.10.无法从Knox Gateway UI访问Hue (236)7.8.11.引荐检查失败，因为域与任何受信任的来源都不匹配 (239)7.8.12.无法查看Snappy压缩文件 (239)7.8.13.启用SAML时出现“未知属性名称”异常 (241)7.8.14.Impala查询因无效的查询句柄错误而失败 (242)7.8.15.PostgreSQL支持的服务失败或挂起 (243)7.8.16.验证Hue中的LDAP用户时出错 (244)7.8.17.从负载均衡器访问Hue时出现502代理错误 (245)7.8.18.提交Hive查询后，无效的方法名称：“ GetLog”错误 (246)7.8.19.在Hue中提交查询时出现“授权异常”错误 (246)7.8.20.无法更改Hue中的压缩表 (248)7.8.21.从Hue访问“搜索”应用程序（Solr）时出现连接失败错误 (249)7.8.22.从顺化下载查询结果需要时间 (250)7.8.23.启用TLS后，Hue Load Balancer无法启动 (250)7.8.24.无法终止以Kerberized集群运行的Hue作业浏览器中的Hive查询 (251)7.8.25.无法在受Knox保护的集群上的Hue中查看或创建Oozie工作流 (252)7.8.26.1040，“连接太多”异常 (253)8.参考资料 (254)1.文档说明本文档主要是基于阿里云部署的CDP的操作使用和介绍，关于CDP平台的操作和使用信息来源Cloudera官网，大家可以访问https:///cdp-private-cloud-bas e/latest/index.html来获取对应的信息。
CDH5.14部署手册
CDH大数据集群部署手册cdh5.14版本目录一、概述 (3)二、集群部署准备 (3)1.集群硬件信息 (3)2.集群服务部署规划 (4)3.管理节点到其他节点免密钥配置 (5)4.系统优化 (5)5.时钟同步 (6)6.CDH本地yum源搭建 (9)7.MySQL主从安装配置 (9)8.创建集群各服务的数据库 (13)三、应用部署 (13)1.cloudera manager server安装 (13)2.cloudera management service安装 (18)3.hdfs安装 (19)4.zookeeper安装 (20)5.yarn安装 (20)6.hive安装 (21)7.spark安装 (21)8.hbase安装 (22)9.impala安装 (23)10.oozie安装 (24)11.sqoop安装 (25)12.sqoop2安装 (25)13.kafka安装 (25)14.kudu安装 (26)15.hue安装 (27)16.hdfs高可用 (28)17.yarn高可用 (30)18.hiveserver2负载均衡 (30)19.impalad负载均衡 (33)20.hue 配置负载均衡的hiveserver2和impala (35)四、安全部署 (35)1.Kerberos高可用安装 (35)2.集群enable Kerberos (41)3.sentry安装 (43)4.OpenLDAP安装 (46)5.Linux系统集成OpenLDAP (51)6.hue集成ldap用户同步 (54)7.hive集成LDAP认证 (57)8.impala集成LDAP认证 (57)9.LDAP图形客户端Apache Directory Studio (58)五、集群参数调优 (63)六、总结 (66)一、概述针对海尔大数据应用的需求，本文完成了CDH5.12大数据集群的部署，并记录了详细步骤。
Cloudera_Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档
Cloudera Manager5及CDH5在线（cloudera-manager-installer.bin）安装详细文档问题导读：1.Cloudera Manager5如何使用cloudera-manager-installer.bin安装？2.Cloudera Manager5安装被中断该如何继续安装？还是重新安装？3.安装过程cloudera server与agent不能通信该如何解决？4.Cloudera Manager5对是否有要求？5.安装服务的过程中，遇到错误，该如何解决？Cloudera Manager5安装遇到很多的问题，本来Cloudera Manager是为了简化部署，但是由于条件有限，安装Cloudera Manager如果不注意，会成为一部血泪史。
为了避免、多次、重复安装不成功，所以你需要具备以下条件。
1.较好的网速至少2m,否则现在慢的要死2.网络要稳定一旦网络中断，可能你花费了半天或则一天的时间，就有可能会浪费，然后重装。
3.内存要足够大我的电脑是8G:使用虚拟机安装cloudera server：4Gcloudera agent：分别为2G电脑最后很卡，而且内存爆满。
所以官网给出的10G不是没有道理的。
安装系统为ubuntu12.04准备工作规划三台：cloudera scm server 内存分配4Gcloudera scm agent 内存分配2Gcloudera scm agent 内存分配2G同时三台都需要配置hostname及hosts如下（这里一定要配置正确否则，会面会出通信问题）#127.0.1.1 ubuntu 172.16.77.60 CDH 172.16.77.61 CDH1 172.16.77.62 CDH2不知道如何配置，参考ubuntu修改hostname注意：本来想写一个完美的文档，上面有一个小失误，CDH2可以写成CDG2，这里不要照抄，而是失误，不过这个不影响，只要所有的hosts，都配置成这样，通信是没有问题的。
cdh运维手册
cdh运维手册（原创实用版）目录1.cdh 运维手册概述2.cdh 运维手册的内容3.cdh 运维手册的使用方法4.cdh 运维手册的优点5.总结正文【cdh 运维手册概述】cdh 运维手册是一款针对大数据处理平台 cdh（Cloudera Data Platform）的运维管理手册。
cdh 运维手册内容全面，覆盖了 cdh 平台的各个方面，包括安装、配置、监控、优化等，为运维人员提供了全方位的操作指南。
【cdh 运维手册的内容】cdh 运维手册主要包括以下几个方面的内容：1.安装与配置：介绍如何安装 cdh 平台，以及如何对 cdh 平台进行基本配置，包括各种参数的设置、安全性配置等。
2.监控：介绍如何对 cdh 平台进行监控，包括如何查看各种日志、如何监控平台性能等。
3.优化：介绍如何对 cdh 平台进行性能优化，包括如何进行资源管理、如何进行任务调度等。
4.故障排除：介绍如何处理 cdh 平台可能出现的各种故障，包括如何进行故障诊断、如何进行故障恢复等。
【cdh 运维手册的使用方法】使用 cdh 运维手册时，可以按照手册中的步骤进行操作，也可以根据需要查阅相关章节，获取需要的信息。
【cdh 运维手册的优点】cdh 运维手册的优点主要体现在以下几个方面：1.内容全面：cdh 运维手册覆盖了 cdh 平台的各个方面，无论是安装配置，还是监控优化，都可以在其中找到相关的信息。
2.操作简便：cdh 运维手册的步骤清晰明了，易于理解，即使是初学者也可以按照手册进行操作。
3.实用性强：cdh 运维手册中的内容都是实践中总结出来的，具有很强的实用性，可以有效地解决运维过程中可能遇到的各种问题。
ClouderaManager大数据平台部署指南
部署指南 Cloudera Manager CDH官方共给出了3中安装方式。
第一种方法必须要求所有机器都能连网，由于各种网络超时错误，基本没法用。
第二种方法使用CM的在线yum源，在线下载很多包，同样是超时严重。
第三种方法是全离线方式，实际情况是也只能用这个。
1、Cloudera Manager的部署条件•CDH不支持在容器中部署。
•支持Oracle JDK7，目前可使用的最新版本为1.7u80，C5.3.x及以上版本也支持使用oracle JDK8，同一个CDH集群中的所有节点使用的JDK版本必须一致。
•使用Python2.4及以上，不支持Python3•仅支持IPv4，且IPv6必须要disabled•基于tar压缩包的离线安装方式，会在6.0.0中停止支持该方式。
•支持selinux，但如果不熟悉使用方法，建议关闭。
•管理端口为7180，此外还有很多基础应用使用的端口，可以运行iptables，需要确认有恰当的授权控制，例如至少要对同网段的访问放开全部端口。
2、Cloudera Manager部署的几个阶段和可选择的方式注：因为Cloudera Manager的官方yum源位于国外，受网速影响而无法正常使用。
所以上述部署方式中，一般是使用PATH C，或者在预先下载好相关RPM包的条件下参照PATH B方式。
3、主机节点信息和基础配置（1）主机信息本次部署使用以下主机，前两个作为NameNode使用。
后四个主机，分别额外挂载一块1TB的磁盘到本地的/dfs/dn目录下。
注1：用于大数据平台的数据磁盘不要配置RAID，直接祼盘即可。
如果有RAID 控制器，则直接对每块盘设置一个单独的RAID0，仍然当作单盘使用。
注2：在有第二块数据盘的情况下，继续挂载到/dfs/dn2，更多的数据盘则按命名规则和挂盘规则扩展即可。
注3：对于生产环境而言，NameNode所在的节点一般不要同时做数据节点使用。
cloudera 安装部署手册
clouderaCDH安装修订记录目录1.导言 (5)1.1.说明 (5)1.2.集群节点 (5)1.3.硬件 (5)1.4.软件版本 (5)2.准备工作 (5)2.1.操作系统 (5)2.2.磁盘 (5)2.2.1.是否需要raid (5)2.2.2.磁盘划分 (5)2.2.3.磁盘裸设备的挂载 (6)2.3.关闭防火墙 (6)2.4.修改主机名并配置Hosts (7)2.4.1.修改主机名 (7)2.4.2.设置每台主机的hosts (7)2.5.ssh免登陆配置 (7)2.5.1.创建公钥和密钥 (7)2.5.2.配置与其他机器的免密码登陆 (8)2.6.同步集群时间ntp (9)2.6.1.配置ntp server集群时钟 (9)2.6.2.ntp客户端配置 (10)2.6.3.测试 (11)2.7.上传安装包以及搭建yum源 (12)2.7.1.安装cloudera需要的文件如下安装包 (12)2.7.2.上传yum源需要的文件到/var/www/html目录下 (12)2.7.3.启动httpd服务 (13)2.7.4.测试HTTPD (13)2.7.5.编辑yum源配置文件 (14)2.7.6.安装createrepo (15)2.7.7.创建源索引 (15)3.cm安装 (15)3.1.上传cm安装启动程序 (15)3.2.安装cm的install.bin (16)4.cdh安装 (19)4.1.登陆CM (19)4.2.指定主机 (20)4.3.群集安装 (21)4.4.安装parcel (21)4.4.1.配置CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha1 (21)4.4.2.配置parcel (22)4.5.选择parcel和cm等 (24)4.6.安装CM JDK和分发数据包等 (26)4.7.分配parcel (28)4.8.检查各个主机 (28)4.9.选择需要安装的服务 (29)4.10.分配角色并安装 (30)5.验证和使用 (33)5.1.zookeeper (33)5.2.hbase (33)5.3.hdfs (33)5.4.使用shell验证hbase安装 (34)1.导言1.1.说明本指导书以潍坊交警hadoop集群为例，指导安装CDH1.2.集群节点见hadoop服务器角色清单1.3.硬件共14台“华为RH2288-HV2 Xeon E5-2620，内存容量：192G，4块2T SATA 硬盘”1.4.软件版本cdh5.3.02.准备工作2.1.操作系统操作系统使用64位CentOS6.52.2.磁盘2.2.1.是否需要raid集群datanode不需要安装raid磁盘，hadoop的hdfs本身具有冗余和并发机制，namenode为了保证数据安全，需要安装raid。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Cloudera大数据平台环境搭建（CDH5.13.1版）目录Cloudera大数据平台环境搭建 (1)（CDH5.13.1版） (1)1.基础环境 (4)1.1.软件环境 (4)1.2.配置规划 (4)1.3.所需要的软件资源 (4)1.4.修改机器名（所有节点） (5)1.5.设置防火墙（所有节点） (5)1.6.配置免密码登录SSH (6)1.7.关闭SELINUX（所有节点） (7)1.8.修改Linux核参数（所有节点） (7)1.9.其他安装与配置（所有节点） (8)1.10.配置NTP服务 (9)1.11.安装oracle JDK1.8 （所有节点） (10)1.12.Mysql安装（主节点） (11)2.安装CM (12)2.1.传包，解包 (12)2.2.创建数据库 (13)2.3.创建用户 (13)2.4.制作本地YUM源 (14)2.5.拷贝jar包 (14)2.6.修改cloudera-scm-agent配置 (14)2.7.启动CM Server和Agent (15)2.8.访问CM (15)3.安装CDH (15)3.1.登录后界面 (15)3.2.选择CM版本 (16)3.3.指定主机 (17)3.4.选择CDH版本 (18)3.4.1.出现“主机运行状态不良”错误 (19)3.5.检查主机正确性 (19)3.6.选择安装的服务 (20)3.7.角色分配 (20)3.8.数据库设置 (21)3.8.1.测试连接报错： (22)3.9.群集设置 (23)3.10.开始安装 (24)3.11.安装完成 (25)3.11.1.警告信息： (25)4.常见错误 (27)4.1.初始化数据库错误： (27)4.2.未能连接到Host Monitor (28)1.基础环境1.1.软件环境1.2.配置规划1.3.所需要的软件资源1)JDK环境：JDK版本：1.8.0_151jdk-8u151-linux-x64.rpm下载地址：.oracle./technetwork/java/javase/downloads/jdk8-downloads-2133151.html2)CM包：CM版本：5.13.1cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz下载地址：archive-primary.cloudera./cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz3)CDH包CDH版本：5.13.1，CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel；CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1；manifest.json下载地址：archive-primary.cloudera./cdh5/parcels/5.13.1/manifest.jsonarchive-primary.cloudera./cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 archive-primary.cloudera./cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel4)JDBC连接jar包：jar包版本：5.1.43，mysql-connector-java-5.1.43.jar下载地址：/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar 1.4.修改机器名（所有节点）1.5.设置防火墙（所有节点）注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。
注意：需要在所有的节点上执行，因为涉及到的端口太多了，临时开放所有端口是为了安装起来方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。
1.6.配置免密码登录SSH将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问题）在主节点上执行：#cd~ //进入到根目录# ssh-keygen -t rsa一路回车，生成无密码的密钥对。
把公钥拷贝至node169服务器上：# scp /root/.ssh/id_rsa.pub rootnode169:~ //输入node169机器上root用户密码拷备成功登录到node169服务器上：然后在node169服务器上，把公钥的容追加到authorized_keys文件末尾（这个文件也在隐藏文件夹.ssh下，如果没有可以新建）：# cat id_rsa.pub >> ~/.ssh/authorized_keys如果提示下面信息，则需要创建./ssh目录：-bash: /root/.ssh/authorized_keys: No such file or directory//创建/.ssh目录,再追加公钥容# mkdir ~/.ssh# cat id_rsa.pub >> ~/.ssh/authorized_keys并设置authorized_keys的访问权限：# chmod 600 ~/.ssh/authorized_keys测试：在node168点上执行ssh node169，正常情况下，不需要密码就能直接登陆进去了。
在node168节点出现下面表示成功登录node169节点：以同样的方式将公钥拷贝至其他节点服务器上。
1.7.关闭SELINUX（所有节点）1.8.修改Linux核参数（所有节点）为避免安装过程中出现的异常问题，首先调整Linux核参数。
建议将swappiness 设置为10：自CentOS6版本开始引入了Transparent Huge Pages(THP)，从CentOS7版本开始，该特性默认就会启用。
尽管THP的本意是为提升存的性能，不过某些数据库厂商还是建议直接关闭THP，否则可能会导致性能出现下降。
表示已禁用：echo never > /sys/kernel/mm/transparent_hugepage/enabledfiif test -f /sys/kernel/mm/transparent_hugepage/defrag; thenecho never > /sys/kernel/mm/transparent_hugepage/defragfi保存退出，然后赋予rc.local文件执行权限：#chmod +x /etc/rc.d/rc.local重启系统，以后再检查THP状态，显示状态被禁用了。
3)修改文件句柄数：//查看文件句柄数，显示1024，显然太小#ulimit -n1024//修改限制#vi /etc/security/limits.conf//在文件后加入下面容：* soft nofile 100000* hard nofile 100000修改后需要重启机器。
1.9.其他安装与配置（所有节点）# yum -y install psmisc MySQL-python at bc bind-libs bind-utils cups-client cups-libs cyrus-sasl-gssapi cyrus-sasl-plain ed fuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel libverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-core redhat-lsb-submod-security x86_64 spax time zlib-devel#yum install -y python-lxml#yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel# chmod +x /etc/rc.d/rc.local# yum -y install rpcbind# systemctl start rpcbind# echo "systemctl start rpcbind" >> /etc/rc.d/rc.local1.10.配置NTP服务集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。
具体建设过程如下：所有节点安装相关组件：# yum install ntp ntpdate-yNTP服务端（主节点）：1)查找时间同步服务器/zone/asia：打开网址，容如下：2)编辑/etc/ntp.conf：# vi /etc/ntp.conf//在文件中输入上面网页容：server server server server 3)启动ntp服务：# systemctl start ntpd4)配置开机启动：# systemctl enable ntpd.service注意：如果ntpd 开机启动失效，有可能是因为安装了chronyd并且是开机自启状态，所以导致ntpd开机自启失败。
# 查看chronyd设置状态#systemctl status chronyd显示如下：以面表明，chronyd显示为开机启动状态。
chronyd#systemctl disable chronyd.service此时，NTP的服务开机自启动完成！5)检查是否设置成功：# ntpq-p//更新时间#timedatectlNTP客户端（所有从节点）：6)远程客户端时间同步测试# date#ntpdate 172.16.3.168172.16.3.168是NTP服务端IP，显示如下信息，测试成功：#crontab -e//加入容：0-59/30 * * * * /usr/sbin/ntpdate 172.16.3.168 && /sbin/hwclock -w//设置开机启动# systemctl enable crond.service//查看状态# systemctl status crond1.11.安装oracle JDK1.8 （所有节点）下载rpm 安装包jdk-8u151-linux-x64.rpm# rpm -qa | grep java# rpm -e –nodeps +包名# rpm -ivh jdk-8u151-linux-x64.rpm# vi /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_151export PATH=$PATH:$JAVA_HOME/bin# source /etc/profile //使修改立即生效bashrc1.12.Mysql安装（主节点）到官网https://dev.mysql./downloads/file/?id=469456选择对应安装包：4)启动数据库5)修改MySQL初始密码1、先修改配置文件/etc/f令MySQL跳过登录时的权限检验，在[mysqld]下加入一行：skip-grant-tables2、重启MySQL#service mysqld restart3、免密码登录MySQL。