ClouderaManager大数据平台部署指南

合集下载

Cloudera Manager大数据平台运维操作指南

Cloudera Manager大数据平台运维操作指南1登录Cloudera Manager首页使用谷歌或者火狐浏览器输入http://172.31.0.29:7180 进入Cloudera Manager管理系统登录页面，172.31.0.29为安装Cloudera Manage的机器IP地址，在BI集群里恰好是YUCLIENT的IP地址。

使用admin/admin登录到系统，如下图所示：2启动/停止/重启Cloudera Management Service2.1启动2.2重启2.3停止3启动/停止/重启Hadoop所有服务在启动Hadoop相关服务器前请务必保证已经启动了Cloudera Management Service相关服务！3.1启动当所有服务都启动成功后，各项服务均显示问绿灯状态才为正常，如下图所示：4启动/停止/重启Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper 这里以重启HDFS服务为例，其他服务与之完全相同。

5启动/停止/重启单个节点上的Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper启动/停止/重启节点上的单个服务包括Namenode, Datanode, Hive Server, Hive Metastore, Resource Manager, Nodemanager, Zookeeper等。

这里以重启一台节点上的Datanode服务为例进行说明，启动或停止与之相同，其他服务的操作也与之相同。

等待重启成功，该操作完成。

6修改HDFS、Hive、MapReduce、ZooKeeper等配置参数修改参数包括修改全局参数以及单个节点的某个参数，全局参数指针对整个集群所有节点适用的参数。

下一章会介绍如何修改单个节点的参数。

这里以修改HDFS的blocksize为例进行说明，其他参数修改与之相同。

修改参数并保存修改成功后回到CM主页面，CM会提示是否需要部署客户端配置或者重启服务。

Oracle Cloud Manager用户指南说明书

PeopleSoft Spotlight Series Cloud ManagerPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish Templates Self Service DeploymentLift and ShiftManage LifecyclePeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish Templates Self Service DeploymentLift and ShiftManage LifecycleEnterprise applications –Economics of Cloud•Evaluation of new features•Running development / test instances•ProductionSoftware as a ServiceInfrastructure as a ServicePlatform as a ServiceEnterprise application landscape is rapidly changing with more customers running workloads on Cloud.Oracle Compute Cloud ServiceInfrastructure-as-a-Service solutionOn-demand, scalable compute resources Self service businessapplicationsPredictable pricingBuilt-in identity management, high availability, elasticity,backup, and monitoringOracle Compute Cloud ServiceOracle Database Cloud Service (DBCS) Platform-as-a-Service (PaaS)Request for ServiceDatabaseReady for Use AllocateComputeAllocateStorageProvisionOSSet Keys &PrivilegesInstall &ConfigureDatabaseConfigureBackupsConfigureToolsConfigureAccessBenefitsReduced time and complexity to provision database services Increased standardizationof the “fleet”Also use to deploy with dataguard or Real ApplicationClusters (RAC)Platform Software & ServicesInfrastructure Components & ServicesApplication Software & ServicesPeopleSoft Cloud ManagerMigrate to Oracle Cloud•Lift and Shift existing environments to Oracle Cloud•Migration of your configuration, data, and customizations•Backup and restore to Oracle CloudCLOUD MANAGERCloud Computing•Elastic scaling based on demand •Always current, always patched technology platform •Industry leading secured environmentsLife Cycle Management•Subscription to update release channels•Complete environment management•Automated PeopleTools patchingSelf Service Provisioning•On-demand environments for specific use cases•Template driven provisioning enables business users •Unique topology definitionsPlatform Software & ServicesInfrastructure Components & ServicesApplication Software & ServicesAutomated DeploymentAutomated ConfigurationAPPS DPKTOOLS DPKDATABASEAPP SERVERWEB SERVERCloud IAAS, VM or Bare MetalYAMLConfigurationPeopleSoft Cloud ArchitecturePeopleSoft Deployment PackagesOn-premiseCloud Moving to Cloud•Flexibility and Control•Agile•CheaperPeopleSoft Cloud Architecture: Transformation to Cloud Manual AutomationHow you migrate and operate on Cloud matters.Use Cases•Deploy the latest PeopleSoft Update Image•Deploy PeopleSoft environments on-demand•Clone PeopleSoft environments (templatize)•Migrate your on-premise environment to Cloud•Apply PeopleTools patches and future PeopleTools releases •Apply PRPs•Monitor Cloud Environment•Scale Up or DownCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleOracle Compute Cloud Servicehttps:///marketplace/en_US/homePage.jspx MarketplaceCloud AdministratorOracle CloudOracle CloudCloud Administrator Cloud Manager Admin ProvisionLiftShiftTemplate-ize Psft Admin DPKManage Life CycleBootStrapMarketplace RepositoryMoSTemplates Topology Object Storage Cloud Manager AdminSelf Service user Auto-downloadDPK Custom DPK DPK Apps DPK DPK Custom DPK Set up for PUM Tools patches PRPsCloud Manager HomepageCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleDownload SubscriptionsTopologyPUM FulltierEnvironment TemplateShipped Security Users, Roles, and Permission Lists User–CLADM. "Cloud Administrator" role and other PeopleSoft administrative roles. Roles–Cloud Administrator (PACL_CAD)–Cloud PeopleSoft Administrator (PACL_PAD)–Self-Service User (PACL_SSC)Permission Lists–Cloud Administrator Permissions (PACL_001)–PeopleSoft Admin for Cloud (PACL_002)–Cloud Self Service (PACL_003)SummaryCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleRapid on-Demand DeploymentTemplatesProvisionTopologySelf Service userCloud ManagerAdminEnvironmentsActionsDetailsHealth CheckCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleClone to TemplateCreate a new environment based on customer DPK Oracle CloudObject StorageCustomer Environment RepositoryDPKCustom DPKUpload to Object Storage Clone to TemplateLift and Shift Topology and TemplateLift UtilityShiftCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleSetting Up for Selective Adoption•Create Environment for PUM Source using PUM Fulltier template, this deploys:–one Linux VM (PUM Source)–one Windows VM for PeopleSoft Client with Change Assistant installed •Manage PUM Connections –Add Target–PUM Source database and target database details are configured in Change Assistant –Target database details uploaded to PUM source database•Apply PRP to PUM Source–Access PRP from file serverApplying PeopleTools Patch•Subscribe to the Tools Release channel.•Use the Environment > Detail page to apply the patch to a running environment.•When you select to apply the patch:–Change Assistant is upgraded to the new patch and the apply PeopleTools patch runs automatically.–When the patch is complete, you will get a message and the status will be updated.•If you want to baseline the updated environment and make it available to self service users, then you would clone the environment.Apply PeopleTools PatchApplying PRPs to PUM Source•PRPs are auto-downloaded to the Cloud Manager Repository.•PRPs are stored on the file server on specific directory which is shared as a samba share.•To apply PRPs to PUM source, user has to:1.Access the PRP share on the windows client VM.2.Copy them to D:\psft\pum_download on windows client.unch Change Assistante Apply PeopleSoft Release Patchset option to apply PRPs on PUM source.Note:Change Assistant is configured when an Add Target is performed,therefore an Add Target must be performed before you can apply a PRP.Clone to TemplateClone to template is used when users want to :•Baseline a lifted/shifted environment and make it available for self-service.•Create a clone of an environment to try new updates/upgrades.•Create a clone of a development environment for testing new changes.•Save a point-in-time copy of the environment (similar to a backup) before doing any major updates/upgrades to the environment.Additional Resources•OBE -Installing PeopleSoft Cloud Manager posted on the Oracle Learning Library•Online Help -PeopleSoft Cloud Manager•PeopleSoft Cloud Manager Home Page on My Oracle Support (Doc ID 2231255.2)•PeopleSoft Cloud Manager Concept page on the PeopleSoft Information PortalCopyright © 2017,Oracle and/or its affiliates. All rights reserved. |。

cloudera manage简单使用

cloudera manage简单使用一、首页使用admin/admin登陆后，便可看到此页面：此页面展示了所有已启动的服务以及集群的性能监控信息。

我们这个集群环境的版本是CDH5.0.0的，我们也可以使用cm 进行在线升级。

二、主机点击状态下的主机，可以看到：这里，我们可以看到所有的节点信息以及它上面所拥有的角色和它的状态等信息。

然后，我们点击“Parcel”可以看到：这里我们可以下载某些包，对我们的环境或某个服务进行升级。

三、YARN点击状态下的YARN可以看到：yarn是hadoop2.x中引入的，在上面可以运行MR以及其他的服务。

web ui提供了两个图形界面，首先，我们看下jobHistoryUI，如下：这个就是MR默认的job运行记录。

再来看看resourceManagerUI，如下：这个是YARN提供的application运行记录。

四、hbasehbase是一种提供列式存储结构的服务。

我们点击hbase，可以看到：我们可以在状态摘要看到，hbase安装后拥有的服务。

同时，也可以通过此图形化界面进行一些相关的配置。

接下来我们看看table statistic，如下：这里展示了hbase中表的统计信息。

然后，我们看看hbase web ui，可以看到：我们可以看到表的列族等信息。

五、hdfshdfs，大数据分布式文件系统，进入后，可看到：我们可以看到hdfs的容量状况，读写的情况。

另外，我们进入主节点NameNode,可以浏览hdfs中的文件信息，可看到：六、hivehive是大数据仓库，点击进入，便可看到：目前，hive好像还没提供一些对表数据的图形化界面，这里就简单看一下。

七、impala记得之前讲过impala与hive的区别，一个是在内存中运算，用于实时查询，另一个是启动MR运算，用于离线查询。

进入impala，可以看到：另外，我们可以点击查询，可以看到我们在impala-shell执行过的所有命令，如下：八、zookeeperzookeeper，动物管理，起到协调作用。

Cloudera大数据平台环境搭建

00 * * * /usr/sbin/ntpdate 192.168.137.101
3 reboot
第16页
Cloudera大数据平台环境搭建-系统环境
系统参数已启用透明大页面压缩，可能会导致重大性能问题。请运行： echo 10 > /proc/sys/vm/swappiness echo 'vm.swappiness=10'>> /etc/sysctl.conf echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件
），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的
提高了集群管理的效率。
CDH体系架构
批处理（M/R，Hive，Pig）
数据分析（Impala）
搜索引擎
流处理
机器学习（Spark、
第18页
Cloudera大数据平台环境搭建-数据库环境
本节主要统一介绍与数据库相关组件的安装，便于统一规划，因为这些组件在安装、应用过程中都有关联，这节配置基本与后续的数据库配置页面相关，随后再提，现在有个准备，保留。
数据库环境
1、 JDK
2、Mysql
3、JDBC
4、创建数据库
第19页

cloudera data platform使用

cloudera data platform使用（原创版）目录1.Cloudera Data Platform 简介2.Cloudera Data Platform 的主要组件3.Cloudera Data Platform 的应用场景4.Cloudera Data Platform 的优势与不足5.总结正文【1.Cloudera Data Platform 简介】Cloudera Data Platform（CDP）是 Cloudera 公司推出的一款大数据平台，它集成了数据存储、数据处理、数据分析和机器学习等多种功能，帮助企业实现数据的采集、存储、处理、分析和应用。

CDP 的目标是让企业能够更加高效地管理和利用海量数据，从而实现数据驱动的业务决策。

【2.Cloudera Data Platform 的主要组件】CDP 由以下几个主要组件构成：1.Cloudera Manager：Cloudera Manager 是 CDP 的管理界面，通过它，用户可以对整个平台进行监控、管理和配置。

2.Cloudera Data Platform (CDH)：CDH 是 CDP 的核心组件，它集成了 Hadoop、Spark、Hive、Pig、Flink 等大数据处理技术，提供了丰富的数据处理和分析功能。

3.Cloudera Data Warehouse (CDW)：CDW 是 CDP 的数据仓库组件，它提供了高效的数据存储和查询功能，支持 SQL 查询和机器学习模型的训练。

4.Cloudera Analytics Platform (CAP)：CAP 是 CDP 的数据分析和机器学习组件，它提供了可视化的数据分析工具和丰富的机器学习算法，支持实时和离线的数据分析。

5.Cloudera Collaborative Data Platform (CCP)：CCP 是 CDP 的数据共享和协作组件，它提供了安全的数据共享和协作功能，支持多种数据格式和协议。

cdh大数据处理流程

CDH大数据处理流程Cloudera的CDH（Cloudera's Distribution Including Apache Hadoop）是一个基于Apache Hadoop的大数据平台。

使用CDH进行大数据处理的基本流程包括以下几个步骤：1.环境准备：首先需要准备服务器。

安装CDH集群至少需要三台服务器，每台服务器的内存一般选用64G或32G。

2.配置主机名称映射：修改每个节点的主机名称，并确保所有节点的hostname都是唯一的。

然后修改/etc/hosts/文件，将主机名称和对应的IP地址进行映射。

修改完成后需要重启服务器。

3.安装JDK：在所有节点上安装JDK，版本必须为1.8或以上。

CDH默认识别JDK的路径为/usr，如果安装到别的路径，可能启动CDH时会报错。

4.选择集群服务组合：在CDH Manager中，可以选择一种集群服务组合。

如果不确定哪个组合更合适，选择“全部服务”也可以。

5.分配集群角色：这一步比较关键，需要根据实际需求将不同的角色（如NameNode、SecondaryNameNode、DataNode等）分配到相应的节点上。

这样做是为了简化数据节点的角色和职责，便于维护。

6.数据库设置：按照实际配置信息填写数据库设置。

CDHManager使用MySQL作为其后端数据库，用于存储集群的配置信息、运行状况数据和指标信息。

7.审核更改：检查DataNode和NameNode的数据目录设置是否正确。

默认情况下，副本数是3。

8.启动和监控集群：使用CDH Manager启动集群，并通过其提供的Web界面和API接口监控集群的运行状况。

以上是CDH大数据处理的基本流程。

在实际应用中，可能还需要根据具体需求进行更多的配置和优化。

ClouderaManager大数据平台部署指南

ClouderaManager大数据平台部署指南一、简介ClouderaManager是一款用于管理和监控大数据平台的工具，它提供了一套集中式的管理界面，可以帮助用户轻松部署、配置和监控大数据集群。

本文将详细介绍ClouderaManager的部署过程，包括环境准备、安装步骤和常见问题解决方法。

二、环境准备1. 操作系统要求ClouderaManager支持多种操作系统，包括CentOS、Red Hat Enterprise Linux、Ubuntu等。

在开始部署之前，请确保您的操作系统符合ClouderaManager的要求，并已经完成了基本的系统设置。

2. 硬件要求为了保证ClouderaManager的性能和稳定性，建议您在部署之前对硬件进行评估，并选择合适的硬件配置。

通常情况下，建议至少具备以下硬件配置：- CPU：双核或更高- 内存：8GB或更高- 硬盘：至少100GB的可用空间3. 网络要求ClouderaManager需要与集群中的各个节点进行通信，因此请确保网络连通性良好，并且所有节点都能够访问ClouderaManager的管理界面。

4. 软件要求在开始部署之前，您需要安装以下软件：- Java Development Kit (JDK)：ClouderaManager需要JDK来运行，请确保您已经安装了适当版本的JDK。

- 数据库：ClouderaManager需要一个数据库来存储配置信息和监控数据。

常见的选择包括MySQL、PostgreSQL等。

三、安装步骤1. 下载ClouderaManager首先，您需要从Cloudera官方网站上下载ClouderaManager的安装包。

请确保您选择了与您操作系统版本相对应的安装包。

2. 安装ClouderaManager Server在安装ClouderaManager Server之前，请确保您已经满足了所有的环境准备要求。

接下来，您可以按照以下步骤来安装ClouderaManager Server：- 解压安装包：使用适当的命令解压下载的安装包。

Cloudera平台部署架构建议方案

Cloudera平台参考部署架构Cloudera平台软件体系结构Cloudera的软件体系结构中包含了以下模块：系统部署和管理，数据存储，资源管理，处理引擎，安全，数据管理，工具库以及访问接口。

一些关键组件的角色信息：硬件配置集群服务器按照节点承担的任务分为管理节点和工作节点。

管理节点上一般部署各组件的管理角色，工作节点一般部署有各角色的存储、容器或计算角色。

根据业务类型不同，集群具体配置也有所区别：1.实时流处理服务集群：Hadoop实时流处理性能对节点内存和CPU有较高要求，基于Spark Streaming的流处理消息吞吐量可随着节点数量增加而线性增长。

管理节点工作节点处理器两路Intel®至强处理器，可选用E5-2630处理器两路Intel®至强处理器，可选用E5-2660处理器内核数6核/CPU（或者可选用8核/CPU)，主频2.3GHz或以上6核/CPU（或者可选用8核/CPU)，主频2.0GHz或以上内存128GB ECC DDR3 128GB ECC DDR3硬盘2个2TB的SAS硬盘（3.5寸),7200RPM， RAID1 4-12个4TB的SAS硬盘（3.5寸), 7200RPM，不使用RAID网络至少两个1GbE以太网电口，推荐使用光口提高性能。

可以两个网口链路聚合提供更高带宽。

至少两个1GbE以太网电口，推荐使用光口提高性能。

可以两个网口链路聚合提供更高带宽。

硬件尺寸1U或2U 1U或2U接入交换机48口千兆交换机，要求全千兆，可堆叠聚合交换机（可选）4口SFP+万兆光纤核心交换机，一般用于50节点以上大规模集群2. 在线分析业务集群：在线分析业务一般基于Impala等MPP SQL引擎，复杂的SQL计算对内存容量有较高要求，因此需要配置128G甚至更多的内存。

管理节点工作节点处理器两路Intel®至强处理器，可选用E5-2630处理器两路Intel®至强处理器，可选用E5-2650处理器内核数6核/CPU（或者可选用8核/CPU)，主频2.3GHz或以上6核/CPU（或者可选用8核/CPU)，主频2.0GHz或以上内存128GB ECC DDR3 128GB -256GB ECC DDR3硬盘2个2TB的SAS硬盘（3.5寸),7200RPM， RAID1 12个4TB的SAS硬盘（3.5寸), 7200RPM，不使用RAID网络至少两个1GbE以太网电口，推荐使用光口提高性能。

Cloudera Manager部署文档(v2.2)

文档控制变更记录目录1Cloudera简介 (5)1.1Cloudera Manager功能概述 (5)1.2CDH概述 (5)2系统环境 (6)2.1软件环境 (6)2.2硬件环境 (6)3基础环境配置搭建 (6)3.1关闭防火墙 (6)3.2关闭IPv6 (6)3.3关闭selinux (7)3.4在源服务器中安装web服务 (7)3.5打开网络 (8)3.6ssh无密码设置 (8)3.7网络配置（所有节点） (8)3.8安装Oracle的Java (9)3.9NTP设置 (9)4cloudera manager安装 (10)4.1下载安装包 (10)4.2修改Yum下载源 (10)4.3下载并修改cloudera manager安装文件权限 ........................... 错误！未定义书签。

4.4安装cloudera manager(主节点) (11)4.5cloudera-manage-agent安装（所有从节点） (12)5CDH安装 (13)5.1下载安装包 (13)5.2创建本地下载链接 (14)5.3cdh配置 (14)1Cloudera简介1.1Cloudera Manager功能概述Cloudera Manager是CDH市场领先的管理平台。

Cloudera Manager对CDH 的每个部件都提供了细粒度的可视化和控制.。

Cloudera Manager的目的是为了使得对于企业数据中心的管理变得简单和直观。

Cloudera Manager能够提供以下的功能：（1）方便集群部署，并且集中式的操作完整的大数据软件栈（2）提供实时的集群概况，例如节点、服务的运行状况；（3）提供了集中的中央控制台对集群的配置进行更改。

（4）包含全面的报告和诊断工具，帮助优化性能和利用率。

1.2CDH概述Hadoop是一个开源项目，所以很多公司在这个基础上进行商业化，Cloudera 对hadoop做了相应的改变。

cloudera安装部署手册

clouderaCDH安装修订记录目录1. 导言 (6)1.1. 说明 (6)1.2. 集群节点 (6)1.3. 硬件 (6)1.4. 软件版本 (6)2. 准备工作 (6)2.1. 操作系统 (6)2.2. 磁盘 (6)2.2.1. 是否需要raid (6)2.2.2. 磁盘划分 (6)2.2.3. 磁盘裸设备的挂载 (7)2.3. 关闭防火墙 (8)2.4. 修改主机名并配置Hosts (8)2.4.1. 修改主机名 (8)2.4.2. 设置每台主机的hosts (8)2.5. ssh免登陆配置 (9)2.5.1. 创建公钥和密钥 (9)2.5.2. 配置与其他机器的免密码登陆 (10)2.6. 同步集群时间ntp (10)2.6.1. 配置ntp server集群时钟 (11)2.6.2. ntp客户端配置 (12)2.6.3. 测试 (12)2.7. 上传安装包以及搭建yum源 (14)2.7.1. 安装cloudera需要的文件如下安装包 (14)2.7.2. 上传yum源需要的文件到/var/www/html目录下 (14)2.7.3. 启动httpd服务 (14)2.7.4. 测试HTTPD (15)2.7.5. 编辑yum源配置文件 (16)2.7.6. 安装createrepo (17)2.7.7. 创建源索引 (17)3. cm安装 (18)3.1. 上传cm安装启动程序 (18)3.2. 安装cm的install.bin (18)4. cdh安装 (21)4.1. 登陆CM (21)4.2. 指定主机 (22)4.3. 群集安装 (23)4.4. 安装parcel (23)4.4.1. 配置CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha1 (23)4.4.2. 配置parcel (24)4.5. 选择parcel和cm等 (27)4.6. 安装CM JDK和分发数据包等 (29)4.7. 分配parcel (31)4.8. 检查各个主机 (31)4.9. 选择需要安装的服务 (32)4.10. 分配角色并安装 (33)5. 验证和使用 (36)5.1. zookeeper (36)5.2. hbase (36)5.3. hdfs (36)5.4. 使用shell验证hbase安装 (37)1.导言1.1.说明本指导书以潍坊交警hadoop集群为例，指导安装CDH1.2.集群节点见hadoop服务器角色清单1.3.硬件共14台“华为RH2288-HV2 Xeon E5-2620，内存容量：192G，4块2T SATA硬盘”1.4.软件版本cdh5.3.02.准备工作2.1.操作系统操作系统使用64位CentOS6.52.2.磁盘2.2.1.是否需要raid集群datanode不需要安装raid磁盘，hadoop的hdfs本身具有冗余和并发机制，namenode为了保证数据安全，需要安装raid。

Centos6离线搭建安装配置Cloudera Manager5.9.3超详细

Centos6 离线搭建安装配置 Cloudera Manager5.9.3
3. 配置 ntp 从服务器 ........................................................................................................ 16 4. 启动所有服务器上的服务 ............................................................................................ 16 5. 验证 ntp 服务器是否开启 ............................................................................................ 17 四、配置 yum 源.................................................................................................................... 17 1. 配置网络 yum 源为阿里云源 ....................................................................................... 17 2. 搭建本地 yum 源........................................................................................................... 18 五、安装 Mysql 数据库 ......................................................................................................... 20 1. 安装 Mysql ..................................................................................................................... 20 2. 配置 Mysql ..................................................................................................................... 21 3.开启远程登陆 .................................................................................................................. 23 4. 将 Mysql 驱动包放入 Java 共享目录 .......................................................................... 25 5. 创建数据库及用户并添加权限 .................................................................................... 26 六、安装 Cloudera Manager.................................................................................................. 26 1. 安装 Cloudera Manager................................................................................................. 27 2. 配置 Mysql 数据库 ........................................................................................................ 28 3. 为 Cloudera Manager 配置 Mysql 数据库 .................................................................... 30 七、Cloudera Manager 添加大数据服务组件 ...................................................................... 33 八、部署完成 ......................................................................................................................... 53

ClouderaManager大数据平台部署指南

部署指南 Cloudera Manager CDH官方共给出了3中安装方式。

第一种方法必须要求所有机器都能连网，由于各种网络超时错误，基本没法用。

第二种方法使用CM的在线yum源，在线下载很多包，同样是超时严重。

第三种方法是全离线方式，实际情况是也只能用这个。

1、Cloudera Manager的部署条件•CDH不支持在容器中部署。

•支持Oracle JDK7，目前可使用的最新版本为1.7u80，C5.3.x及以上版本也支持使用oracle JDK8，同一个CDH集群中的所有节点使用的JDK版本必须一致。

•使用Python2.4及以上，不支持Python3•仅支持IPv4，且IPv6必须要disabled•基于tar压缩包的离线安装方式，会在6.0.0中停止支持该方式。

•支持selinux，但如果不熟悉使用方法，建议关闭。

•管理端口为7180，此外还有很多基础应用使用的端口，可以运行iptables，需要确认有恰当的授权控制，例如至少要对同网段的访问放开全部端口。

2、Cloudera Manager部署的几个阶段和可选择的方式注：因为Cloudera Manager的官方yum源位于国外，受网速影响而无法正常使用。

所以上述部署方式中，一般是使用PATH C，或者在预先下载好相关RPM包的条件下参照PATH B方式。

3、主机节点信息和基础配置（1）主机信息本次部署使用以下主机，前两个作为NameNode使用。

后四个主机，分别额外挂载一块1TB的磁盘到本地的/dfs/dn目录下。

注1：用于大数据平台的数据磁盘不要配置RAID，直接祼盘即可。

如果有RAID 控制器，则直接对每块盘设置一个单独的RAID0，仍然当作单盘使用。

注2：在有第二块数据盘的情况下，继续挂载到/dfs/dn2，更多的数据盘则按命名规则和挂盘规则扩展即可。

注3：对于生产环境而言，NameNode所在的节点一般不要同时做数据节点使用。

ClouderaManager集群部署文档内部离线安装绝密

1.ClouderaManager部署文档1.1 需求状况需要 ClouderaManager 部署 Hadoop 集群1.2 ClouderManager依赖服务1.各节点之间 ssh 免密码服务2.各节点启动 Ntp 服务3.各节点配置本 yum 源4.各节点/etc/hosts 或是 DNS 服务5.各节点 root 密码一致或是有 sudo 权限用户1.2.1 SSH服务ssh 服务配置如下：linuxA:10.3.162.207->linuxB:10.3.162.219 ssh-keygen -t rsa cpid_rsa.pub authorized_keys chmod 644 authorized_keys scpid_rsa.pub root@10.3.162.219:~/.ssh/authorized_keyslinuxB:10.3.162.219id_rsa.pub->./.ssh/authorized_keys备注：ip 地址替换为目标主机,此步骤轮流在 cdh 所有主机上(包括 yum 源服务器)执行，若目标服务器中已存在 authorized_keys 文件，则将 id_rsa.pub 中的内容追加到 authorized_keys 文件中。

配置成功截图：1.2.2 NTP服务Ntp 服务使用的现有 Ntp 服务器各节点客户端配置如下：vi /etc/ntp.conf注释掉如下三行：# server # server # server 添加下面这行，ip 为 ntp 同步服务器server 10.23.132.71备注：ClouderaManager 需要每台机器启动 Ntp 服务，负责回报时钟偏差2.启动 ntp 服务service ntpd startservice ntpd status 检查 ntpd 是否运行3.验证同服务器时钟偏差（状态正常）[root@hadoop-master1 ~]# ntpdc -c loopinfooffset: 0.000000 s frequency:0.000 ppm poll adjust: 0 watchdogtimer: 475469 s备注：若使用ntpdc -c loopinfo 进行时钟偏差校验过程中 offset 的值不为 0，则需先关闭 ntp 服务，与目标服务器进行手动校验，带调整过后，再重启服务，执行ntpdc -c loopinfo。

ClouderaManager大数据平台部署指南

ClouderaManager大数据平台部署指南一、介绍ClouderaManager是一款用于管理和监控大数据平台的工具，它提供了一套集中式的管理界面，可以简化大数据平台的部署、配置和监控。

本文将详细介绍如何使用ClouderaManager来部署大数据平台。

二、准备工作在开始部署之前，需要确保以下准备工作已完成：1. 硬件要求：根据实际需求，选择适合的硬件配置，包括服务器、存储和网络设备等。

2. 操作系统要求：ClouderaManager支持多种操作系统，如CentOS、Red Hat Enterprise Linux等。

选择适合的操作系统，并进行安装和配置。

3. Java环境：ClouderaManager依赖Java环境，确保已正确安装和配置Java。

4. 网络配置：设置正确的网络配置，确保各个节点可以相互通信。

三、安装ClouderaManager1. 下载ClouderaManager：访问Cloudera官方网站，下载适合于您的操作系统的ClouderaManager安装包。

2. 安装ClouderaManager：解压下载的安装包，并按照官方文档中的指引进行安装。

安装过程中，可以选择安装所有组件或者自定义安装。

3. 配置数据库：ClouderaManager需要使用数据库来存储配置信息和监控数据。

可以选择使用内置的Derby数据库或者外部数据库，如MySQL、Oracle等。

根据实际情况选择并配置数据库。

4. 启动ClouderaManager：安装完成后，启动ClouderaManager服务，并访问管理界面。

四、配置ClouderaManager1. 添加主机：在ClouderaManager管理界面中，选择“主机”选项卡，点击“添加新主机”按钮，将要部署大数据平台的主机添加到集群中。

2. 安装Agent：在添加主机后，选择“主机”选项卡，点击“一键安装Agent”按钮，将ClouderaManager Agent安装到所有主机上。

使用ClouderaManager安装Hadoop-spark集群最新版

使用ClouderaManager安装Hadoop-spark集群最新版Cloudera Manager 安装详细介绍目录1准备工作 (3)1.1说明 (3)1.2集群网络环境介绍 (3)2环境搭建 (5)2.1设置IP (5)2.2设置hosts (5)2.3关闭防火墙 (6)2.4关闭SElinux (8)2.5设置机器名 (8)3ClouderaManager安装 (11)3.1下载Cloudera Manager安装文件 (11)3.2下载Cloudera Manager所需的rpm包 (11)3.3安装rpm文件 (11)3.4安装CM (11)3.5登录CM (12)4 ClouderaManager配置及本地源配置 (13)4.1配置config.ini文件 (13)4.2配置本地源 (14)5 Hadoop及其组件安装 (17)5.1选择Cloudera版本 (17)5.2选中受管理的主机 (17)5.3选择安装方式（Cloudera推荐使用Parcel） (18)5.4把Parcel分配到主机 (18)5.5选择服务 (19)5.6测试数据库连接 (20)5.7等待所有服务启动 (20)6 向集群增加节点 (22)6.1添加主机 (22)6.2输入IP或主机名 (23)6.3 提供SSH登录凭据 (24)6.4 安装 (24)使用Cloudera Manager安装Hadoop 运行环境硬件环境l 操作系统：内存至少10G以上l 操作系统：CentOs 6.5版本以上l 节点建议至少4个或4个以上集群网络环境集群，节点之间局域网连接，可以相互ping通。

所有节点均是CentOS6.5以上同版本系统，防火墙iptables均禁用环境搭建(基础)本集群分为4个节点。

优先完成第一节点，余下节点，可通过添加主机来完成下载NTPYum install ntp同步时间命令ntpdate 设置IP(可不看)1. 设置该连接为手工方式，设置如下信息：IP地址： 192.168.23.100子网掩码：255.255.255.0网关：192.168.23.1DNS： 192.*.*.*vi /etc/sysconfig/network-scripts/ifcfg-eth0ifconifg eth0 upifconfig eth0 192.168.23.100设置JAVA(必看)1. 设置jdk-8u40-linux-x64.tar.gztar -xvzf jdk-8u40-linux-x64.tar.gzvim /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_40export JAVA_BIN=$JAVA_HOME/binexport JAVA_LIB=$JAVA_HOME/libexport CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jarexport PATH=$JAVA_BIN:$PATHsource /etc/profile配置机器名(可不看)以root用户登录，使用vi/etc/sysconfig/network 打开配置文件，修改主机名称为master配置权限(必看)赋予某一用户root权限查看某用户vim /etc/passed查看某用户组vim /etc/group修改用户组权限，并增加用户hadoop:x:497:hdfs,mapred,yarn修改为bigdata:x:0:hdfs,mapred,yarn,cloudera-scm,flume,zookeeper,sqoop,hive,sqoop2,oozie,hbase,spark,hue, kafka,mysql HDFS设置里面dfs.permissions取消【重点】配置时间(必看)选择局域网中的一台机器作为ntp服务器，在这台机器上需要安装并启动ntpd其他机器上要关闭ntpd，安装ntpdate注意其他机器的ntpd必须关闭：# service ntpd stop修改ntp服务器上的/etc/ntp.conf，加上以下的配置：server 127.127.1.0fudge 127.127.1.0 stratum 10后面哪个数字在0-15之间都可以，这样就将这台机器的本地时间作为ntp服务提供给客户端重启ntpd：# service ntpd restart等五六分钟，让ntpd完成自身的时间同步，这期间可以用：# watch ntpq -p查看状态，第6列达到17时就可以了。

cloudera-manager安装步骤图解详解

安装Cloudera-Manager1.配置服务器的静态IP:打开centos的服务终端输入vi /etc/sysconfig/network-scripts/ifcfg-eth0 如图所示：按i进入编辑模式修改IP地址为自己所需要的配置前：配置后：之后按esc接:wq保存修改并退出如图所示：设置之后可输入ifconfig查看eth0的状态如图所示：这里可以清楚地看到IP已经修改生效如图所示：同时这里也可以输入service network restart来重启网络服务如图所示：2.更改hosts、hostname：输入vi /etc/hosts如图所示：修改hosts为之前配置的静态IP修改hostname为自己的机器名称修改前：修改后：3.关闭防火墙：查看防火墙状态service iptables status 输入service iptables stop 停止防火墙如图所示：输入chkconfig iptables off为重启后永久生效如图所示：4.关闭selinux输入vi /etc/selinux/config修改SELINUX=disabled该操作需要重启才能生效如图所示：修改前:修改后：5.配置代理输入vi /etc/yum.conf随便在某处加入如下内容http_proxy=http://server:port 如图所示：修改前：修改后：6.安装本地yum库依赖的文件库createrepo因为是在不连外网的情况下安装，故需要以下3个安装包，安装包请自行准备：在找到以上3个安装包的情况下输入rpm -i 文件名即可执行安装：安装过程需要注意以上3个包的依赖关系，请按照下图的安装顺序安装：7.检测httpd服务是否运行输入service httpd status查看httpd的运行状态：上图显示服务已停止，而安装需要启动该服务，输入service httpd start启动它：输入chkconfig httpd on为重启后永久生效8.新建RPMS文件夹并放入安装包在/var/www/htm下新建RPMS文件夹输入mkdir /var/www/html/RPMS并将cloudera-manager的安装包放入该文件夹下，安装包请自行准备最后在该目录下执行createrepo .命令，注意空格成功后会在该目录下新生成一个repodata9.创建cloudera-manager.repo文件输入cd /etc/yum.repos.d/进入目标目录输入touch cloudera-manager.repo创建cloudera-manager.repo文件输入vi /etc/yum.repos.d/cloudera-manager.repo来编辑cloudera-manager.repo，内容如下：[cloudera-manager]name=Cloudera Managerbaseurl=http://host/RPMSenabled=1gpgcheck=010.移除同目录下的其他文件输入cd /etc/yum.repos.d/进入该目录再输入ls查看该目录下的文件名将cloudera-manager.repo以外的文件全部移除，我们这里输入mkdir bak来新建bak文件夹之后输入mv CentOS* /etc/yum.repos.d/bak/将文件移动到bak里11.mysql驱动将mysql驱动放入/usr/share/cmf/lib/下，如果没有该目录则自行创建，驱动请自行准备12.配置db.properties相关参数输入vi /etc/cloudera-scm-server/db.properties进行编辑修改后：13.配置f 输入vi /etc/f修改前:修改后：14.启动mysql并创建相关数据库输入service mysqld status查看mysql状态输入service mysqld start启动mysql输入mysql -uroot -p登录mysql刚装好的mysql在root下无密码，直接回车进入接下来创建数据库，具体命令如下：按文本里写的全部创建完毕：15.安装cloudera-manager输入cd /var/www/html/RPMS进入安装包所在目录再输入./cloudera-manager-installer.bin --skip_repo_package=1执行安装命令输入命令后弹出安装界面：之后一直按提示点next和yes就行，直至安装完成，如果中途出错，请查看相关日志。