Cloudera_Manager_5新增功能和改变 - 文档
Cloudera Manager大数据平台运维操作指南
Cloudera Manager大数据平台运维操作指南1登录Cloudera Manager首页使用谷歌或者火狐浏览器输入http://172.31.0.29:7180 进入Cloudera Manager管理系统登录页面,172.31.0.29为安装Cloudera Manage的机器IP地址,在BI集群里恰好是YUCLIENT的IP地址。
使用admin/admin登录到系统,如下图所示:2启动/停止/重启Cloudera Management Service2.1启动2.2重启2.3停止3启动/停止/重启Hadoop所有服务在启动Hadoop相关服务器前请务必保证已经启动了Cloudera Management Service相关服务!3.1启动当所有服务都启动成功后,各项服务均显示问绿灯状态才为正常,如下图所示:4启动/停止/重启Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper 这里以重启HDFS服务为例,其他服务与之完全相同。
5启动/停止/重启单个节点上的Hadoop某项服务如HDFS、Hive、MapReduce、ZooKeeper启动/停止/重启节点上的单个服务包括Namenode, Datanode, Hive Server, Hive Metastore, Resource Manager, Nodemanager, Zookeeper等。
这里以重启一台节点上的Datanode服务为例进行说明,启动或停止与之相同,其他服务的操作也与之相同。
等待重启成功,该操作完成。
6修改HDFS、Hive、MapReduce、ZooKeeper等配置参数修改参数包括修改全局参数以及单个节点的某个参数,全局参数指针对整个集群所有节点适用的参数。
下一章会介绍如何修改单个节点的参数。
这里以修改HDFS的blocksize为例进行说明,其他参数修改与之相同。
修改参数并保存修改成功后回到CM主页面,CM会提示是否需要部署客户端配置或者重启服务。
ClouderaManager5系列升级文档
ClouderaManager及CDH升级说明书升级内容1、升级Cloudera Manager Server到5.12.1版本2、升级Cloudera Manager Server DB 到5.12.1版本3、升级Cloudera Manager agent 到5.12.1版本4、升级CDH到5.12.1版本5、升级JDK到1.8版本6、按照Spark2.2升级步骤1、收集升级信息a)主机认证信息:集群使用hdroot用户安装。
b)当前CM版本号:Cloudera Express 5.4.8 (#7 built by jenkins on 20151023-1203git: d7dbdf29ac1d57ae9fb19958502d50dcf4e4fffd)c)当前CDH版本号:CDH 5.4.8, Parceld)Cloudera Manager用户名和密码e)集群启用的服务:i.Flumeii.Hbaseiii.HDFSiv.Hivev.Impalavi.Kafkavii.Sqoop2viii.YARNix.ZookKeeperx.Cloudera Management Servicef)集群使用Parcel安装,版本为CDH 5.4.8g)JDK版本:openjdk1.7h)操作系统版本:CentOS6.72、数据库备份a)Cloudera Manager数据库备份i.查看数据库连接信息:cat /etc/cloudera-scm-server/db.propertiesii.备份语句:pg_dump -h localhost -p 7432 -U scm >/home/clusterUpdate/scm_server_db_backup.$(date +%Y%m%d)b)元数据库备份i.Hive:mysqldump -uroot hive > /home/clusterUpdate/hive.sqlii.amon:mysqldump -uroot amon > /home/clusterUpdate/amon.sqliii.rman:mysqldump -uroot rman > /home/clusterUpdate/rman.sql3、升级Cloudera Managera)首先停止集群上的所有服务b)停止Cloudera Manager server:service cloudera-scm-server stopc)停止Cloudera Manager server DB:service cloudera-scm-server-db stopd)停止Cloudera Manager client:service cloudera-scm-agent stope)修改yum信息(所有服务器):i.vi cloudera-manager.repo[cloudera-manager]name = Cloudera Manager, Version 5.12.1baseurl = /cm5/redhat/6/x86_64/cm/5.12.1/gpgkey = /cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera gpgcheck = 1f)清理yum缓存:yum clean allg)建立yum索引:yum makecache allh)升级Cloudera Manager服务:yum upgrade cloudera-manager-*4、升级JDK(所有服务器)cd /home/clusterUpdate/tar -zxvf jdk-8u144-linux-x64.tar.gzmkdir -p /usr/local/javacp -R jdk1.8.0_144/ /usr/local/java/yum -y remove java*echo JAVA_HOME=/usr/local/java/jdk1.8.0_144 >> /etc/profileecho JRE_HOME=/usr/local/java/jdk1.8.0_144/jre >> /etc/profileecho SCALA_HOME=/opt/scala-2.11.4 >> /etc/profileecho SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354/lib/spark2 >> /etc/profileechoCLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar:\$JRE_HOME/lib >>/etc/ profileecho PATH=\$SCALA_HOME/bin:\$JAVA_HOME/bin:\$PATH >>/etc/profileecho export PATH JAVA_HOME CLASSPATH SCALA_HOMESPARK_HOME >>/etc/profilesource /etc/profileecho $JAVA_HOMEecho $CLASSPATHecho $PATHecho $SCALA_HOMEecho $SPARK_HOMEjava -version5、启动Cloudera Manager服务a)启动Cloudera Manager server DB:service cloudera-scm-server-db restartb)启动Cloudera Manager server:service cloudera-scm-server restartc)启动Cloudera Manager client:service cloudera-scm-agent restart6、升级客户端a)Web访问地址:http://<cloudera-server-IP>:7180/cmf/loginb)c)/cm5/redhat/6/x86_64/cm/5.12.1//cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-clouderad) e)f) g)h) i)j)k)l)修改内嵌数据库提示:i.搜索Enable Embedded Database Checkm)修改JDK_HOME:i.搜索Java:/usr/local/java/jdk1.8.0_1447、升级CDH到5.12.1a)备份NameNode数据(cloudera01服务器和cloudera02服务器)cd /mnt/app/dfs/nn1tar -cvf /home/clusterUpdate/nn1_backup_data.tar .cd /mnt/app/dfs/nn2tar -cvf /home/clusterUpdate/nn2_backup_data.tar .b)升级CDHc)d) e)。
cloudera manage简单使用
cloudera manage简单使用一、首页使用admin/admin登陆后,便可看到此页面:此页面展示了所有已启动的服务以及集群的性能监控信息。
我们这个集群环境的版本是CDH5.0.0的,我们也可以使用cm 进行在线升级。
二、主机点击状态下的主机,可以看到:这里,我们可以看到所有的节点信息以及它上面所拥有的角色和它的状态等信息。
然后,我们点击“Parcel”可以看到:这里我们可以下载某些包,对我们的环境或某个服务进行升级。
三、YARN点击状态下的YARN可以看到:yarn是hadoop2.x中引入的,在上面可以运行MR以及其他的服务。
web ui提供了两个图形界面,首先,我们看下jobHistoryUI,如下:这个就是MR默认的job运行记录。
再来看看resourceManagerUI,如下:这个是YARN提供的application运行记录。
四、hbasehbase是一种提供列式存储结构的服务。
我们点击hbase,可以看到:我们可以在状态摘要看到,hbase安装后拥有的服务。
同时,也可以通过此图形化界面进行一些相关的配置。
接下来我们看看table statistic,如下:这里展示了hbase中表的统计信息。
然后,我们看看hbase web ui,可以看到:我们可以看到表的列族等信息。
五、hdfshdfs,大数据分布式文件系统,进入后,可看到:我们可以看到hdfs的容量状况,读写的情况。
另外,我们进入主节点NameNode,可以浏览hdfs中的文件信息,可看到:六、hivehive是大数据仓库,点击进入,便可看到:目前,hive好像还没提供一些对表数据的图形化界面,这里就简单看一下。
七、impala记得之前讲过impala与hive的区别,一个是在内存中运算,用于实时查询,另一个是启动MR运算,用于离线查询。
进入impala,可以看到:另外,我们可以点击查询,可以看到我们在impala-shell执行过的所有命令,如下:八、zookeeperzookeeper,动物管理,起到协调作用。
浪潮云海 云数据中心管理平台 V5
浪潮云海·云数据中心管理平台V5.0 Inspur InCloud DataCenter Manager 超级管理员/域管理员操作手册浪潮(北京)电子信息产业有限公司2017年1月目录概述 (1)1.1系统结构 (1)1.2用户结构 (1)1.3业务场景分类 (2)快速入门指南 (4)2.1系统基础配置 (4)2.1.1系统注册 (4)2.1.2系统设置 (5)2.1.3添加虚拟控制中心 (5)2.1.4添加虚拟网络 (6)2.1.5创建组织 (6)2.1.6日志设置 (6)2.2业务场景一:两级用户无业务流程 (6)2.2.1超级管理员/域管理员创建及分配虚拟数据中心 (7)2.2.2超级管理员/域管理员创建及分配虚拟网络 (7)2.2.3超级管理员/域管理员更改虚拟数据中心配置 (7)2.2.4超级管理员/域管理员导入云物理机 (7)2.2.5超级管理员/域管理员创建云空间 (8)2.2.6超级管理员/域管理员创建云盘 (8)2.2.7组织管理员创建应用服务 (8)2.2.8组织管理员创建虚拟机 (8)2.2.9组织管理员更改虚拟机配置 (8)2.2.10组织管理员创建云盘空间 (9)2.2.11系统/域管理员配置kubernetes服务器 (9)2.2.12系统/域管理员配置容器镜像库 (9)2.2.13系统/域管理员导入容器实例 (9)2.2.14系统/域管理员启用容器服务 (9)2.2.15系统/域管理员禁用容器服务 (9)2.2.16组织用户/管理员添加容器实例 (10)2.2.17组织用户/管理员开启容器实例 (10)2.2.18组织用户/管理员关闭容器实例 (10)2.2.19组织用户/管理员删除容器实例 (10)2.2.20组织用户/管理员修改容器实例 (10)2.2.21组织用户/管理员查看容器实例详情 (10)2.2.22组织用户/管理员查看容器实例控制台信息 (11)2.2.23组织用户/管理员终止容器服务 (11)2.3业务场景二:两级用户有业务流程 (11)2.3.1超级管理员/域管理员添加业务流程 (11)2.3.2虚拟数据中心、虚拟网络、虚拟机、云服务的申请审批 (11)2.3.3组织管理员创建应用服务、虚拟机 (14)2.3.4组织管理员/用户申请开通容器服务、修改配额 (15)2.4业务场景三:三级用户无业务流程 (15)2.4.1超级管理员/域管理员创建及分配资源 (15)2.4.2组织用户注册 (16)2.4.3组织管理员创建应用服务、虚拟机 (16)2.4.4组织管理员分配应用服务/虚拟机给组织用户 (17)2.5业务场景四:三级用户有业务流程 (17)2.5.1超级管理员/域管理员添加业务流程 (17)2.5.2虚拟数据中心、虚拟网络、虚拟机、云服务的申请审批 (17)2.5.3组织用户注册 (20)2.5.4组织管理员添加业务流程 (20)2.5.5虚拟机的申请审批 (21)2.5.6更改虚拟机配置的申请审批 (21)功能介绍 (21)3.1起始页 (21)3.1.1查看首页 (21)3.1.2起始页设置 (22)3.1.3查看故障告警大屏 (22)3.1.4查看资源利用率大屏 (22)3.1.5查看TOPN大屏 (22)3.1.6查看云资源拓扑大屏 (23)3.1.7查看云概念大屏 (23)3.2云资源管理 (23)3.2.1虚拟控制中心管理 (23)3.2.2集群管理 (29)3.2.3主机管理 (40)3.2.4虚拟数据中心管理 (47)3.2.5虚拟机管理 (51)3.2.6网络管理 (69)3.2.7存储管理 (89)3.2.8 密钥管理 (97)3.2.9模板镜像管理 (99)3.2.10资源同步 (108)3.2.11拓扑图 (108)3.2.12设置 (109)3.2.13逻辑视图 (111)3.2.14组织视图 (111)3.2.15回收站 (111)3.2.16公有云 (112)3.3云服务 (116)3.3.1云物理机 (116)3.3.2云空间管理 (119)3.3.3云盘管理 (120)3.3.4协作云盘 (122)3.3.5 云监控管理 (125)3.3.6云桌面管理 (127)3.3.8大数据管理 (134)3.3.9卷服务 (138)3.3.10 云数据库 (140)3.4智能监控 (147)3.4.1起始页 (147)3.4.2资源视图 (148)3.4.3节点视图 (151)3.4.4区域视图 (151)3.4.5业务视图 (151)3.4.6拓扑视图 (154)3.4.7告警管理 (157)3.4.8性能管理 (164)3.4.9巡检管理 (166)3.4.10系统配置 (171)3.4.11日志集中管理 (184)3.4.12 3D机房管理 (194)3.5业务管理 (198)3.5.1业务流程管理 (198)3.5.2业务审批 (201)3.5.3 审批历史 (211)3.5.4 通知设置 (211)3.5.5 业务统计 (212)3.6计费管理 (212)3.6.1计费设置 (212)3.6.2计费等级管理 (215)3.6.3余额及充值 (217)3.6.4组织账户账单 (217)3.6.5计量管理 (219)3.6.6起始页 (220)3.7运维管理 (221)3.7.1资产管理 (221)3.7.2软件仓库 (236)3.7.3 故障管理 (244)3.7.4报表管理 (248)3.7.5服务器自动化 (256)3.7.6统一任务管理 (287)3.7.7运维配置 (288)3.8系统管理 (289)3.8.1资源域管理 (289)3.8.2组织管理 (290)3.8.3用户管理 (294)3.8.4角色管理 (300)3.8.5系统设置 (302)3.8.7任务管理 (311)3.8.8地区管理 (312)3.8.9部门管理 (314)3.9云安全 (315)3.9.1云防火墙管理 (315)3.9.2可信 (317)3.9.3Hypervisior安全 (318)3.9.4SDP(数据库安全审计加固系统) (319)3.10私有云 (321)3.10.1云控制中心 (321)3.10.2组织项目映射 (322)3.10.3虚拟机管理 (323)3.10.4网络与路由管理 (330)3.10.5卷 (335)3.10.6镜像管理 (337)3.10.7虚拟机类型管理 (339)概述浪潮云海∙云数据中心管理平台是云数据中心综合管理平台,简称InCloud Manager。
cloudera data platform使用
cloudera data platform使用(原创版)目录1.Cloudera Data Platform 简介2.Cloudera Data Platform 的主要组件3.Cloudera Data Platform 的应用场景4.Cloudera Data Platform 的优势与不足5.总结正文【1.Cloudera Data Platform 简介】Cloudera Data Platform(CDP)是 Cloudera 公司推出的一款大数据平台,它集成了数据存储、数据处理、数据分析和机器学习等多种功能,帮助企业实现数据的采集、存储、处理、分析和应用。
CDP 的目标是让企业能够更加高效地管理和利用海量数据,从而实现数据驱动的业务决策。
【2.Cloudera Data Platform 的主要组件】CDP 由以下几个主要组件构成:1.Cloudera Manager:Cloudera Manager 是 CDP 的管理界面,通过它,用户可以对整个平台进行监控、管理和配置。
2.Cloudera Data Platform (CDH):CDH 是 CDP 的核心组件,它集成了 Hadoop、Spark、Hive、Pig、Flink 等大数据处理技术,提供了丰富的数据处理和分析功能。
3.Cloudera Data Warehouse (CDW):CDW 是 CDP 的数据仓库组件,它提供了高效的数据存储和查询功能,支持 SQL 查询和机器学习模型的训练。
4.Cloudera Analytics Platform (CAP):CAP 是 CDP 的数据分析和机器学习组件,它提供了可视化的数据分析工具和丰富的机器学习算法,支持实时和离线的数据分析。
5.Cloudera Collaborative Data Platform (CCP):CCP 是 CDP 的数据共享和协作组件,它提供了安全的数据共享和协作功能,支持多种数据格式和协议。
ClouderaManager大数据平台部署指南
ClouderaManager大数据平台部署指南一、简介ClouderaManager是一款用于管理和监控大数据平台的工具,它提供了一套集中式的管理界面,可以帮助用户轻松部署、配置和监控大数据集群。
本文将详细介绍ClouderaManager的部署过程,包括环境准备、安装步骤和常见问题解决方法。
二、环境准备1. 操作系统要求ClouderaManager支持多种操作系统,包括CentOS、Red Hat Enterprise Linux、Ubuntu等。
在开始部署之前,请确保您的操作系统符合ClouderaManager的要求,并已经完成了基本的系统设置。
2. 硬件要求为了保证ClouderaManager的性能和稳定性,建议您在部署之前对硬件进行评估,并选择合适的硬件配置。
通常情况下,建议至少具备以下硬件配置:- CPU:双核或更高- 内存:8GB或更高- 硬盘:至少100GB的可用空间3. 网络要求ClouderaManager需要与集群中的各个节点进行通信,因此请确保网络连通性良好,并且所有节点都能够访问ClouderaManager的管理界面。
4. 软件要求在开始部署之前,您需要安装以下软件:- Java Development Kit (JDK):ClouderaManager需要JDK来运行,请确保您已经安装了适当版本的JDK。
- 数据库:ClouderaManager需要一个数据库来存储配置信息和监控数据。
常见的选择包括MySQL、PostgreSQL等。
三、安装步骤1. 下载ClouderaManager首先,您需要从Cloudera官方网站上下载ClouderaManager的安装包。
请确保您选择了与您操作系统版本相对应的安装包。
2. 安装ClouderaManager Server在安装ClouderaManager Server之前,请确保您已经满足了所有的环境准备要求。
接下来,您可以按照以下步骤来安装ClouderaManager Server:- 解压安装包:使用适当的命令解压下载的安装包。
CDP 使用指南说明书
CDP使用指南2021年05月12日目录1.文档说明 (8)2.CDP平台介绍 (8)2.1.CDP平台简介 (9)2.2.C LOUDERA M ANAGER概览 (10)2.3.C LOUDERA R UNTIME (11)2.4.工具 (11)2.5.设置对基于阿里云部署的CDP的访问权限 (12)2.5.1.配置SOCKS代理 (12)2.5.2.启动SOCKS代理 (12)2.5.3.配置Google Chrome浏览器以使用代理 (13)2.5.4.网络安全组 (14)3.CLOUDERA MANAGER (15)3.1.术语 (15)3.1.1.部署 (16)3.1.2.动态资源池 (16)3.1.3.集群 (16)3.1.4.主机 (16)3.1.5.机架 (16)3.1.6.服务 (16)3.1.7.服务实例 (17)3.1.8.角色 (17)3.1.9.角色实例 (17)3.1.10.角色组 (17)3.1.11.主机模板 (17)3.1.12.网关(Gateway) (17)3.1.13.Parcel (18)3.1.14.静态服务池 (18)3.2.C LOUDERA M ANAGER架构 (18)3.2.1.心跳 (19)3.3.状态管理 (19)3.4.C LOUDERA M ANAGER 管理控制台 (20)3.4.1.Cloudera Manager管理控制台主页 (24)3.4.2.自动登出 (28)3.5.进程管理 (30)3.6.主机管理 (30)3.7.C LOUDERA M ANAGER A GENT (31)3.7.1.cm_processes (31)3.8.资源管理 (32)3.9.用户管理 (33)3.10.安全管理 (33)3.11.使用C LOUDERA M ANAGER监控集群 (33)3.12.C LOUDERA M ANAGEMENT S ERVICE (35)3.12.1.健康测试 (35)3.12.2.指标收集和显示 (36)3.12.3.事件、警报和触发器 (36)3.13.集群配置概述 (37)3.14.服务器和客户端配置 (38)3.15.C LOUDERA M ANAGER API (39)3.16.虚拟专用集群和C LOUDERA SDX (39)3.16.1.分离计算和数据资源的优势 (40)3.16.2.架构 (40)3.16.3.权衡性能 (42)3.16.4.虚拟专用集群的兼容性注意事项 (42)3.16.5.虚拟专用集群的网络注意事项 (47)4.CDP核心组件 (53)4.1.C LOUDERA R UNTIME组件版本 (53)4.2.分布式文件系统HDFS (57)4.3.实时数据库HB ASE (58)4.4.列式存储引擎K UDU (60)4.5.统一资源管理和调度框架 (61)4.6.分布式计算框架–T EZ (66)4.7.数据仓库组件–H IVE (68)4.8.SQL分析引擎I MPALA (69)4.9.HB ASE SQL查询引擎P HOENIX (71)4.10.C LOUDERA整合全文检索引擎 (73)4.11.分布式内存计算框架–S PARK (76)4.12.数据库接入工具S QOOP (78)4.13.C LOUDERA一站式安全管理 (83)4.14.分布式消息队列K AFKA (93)4.15.A PACHE A TLAS (95)5.CLOUDERA安全概述 (98)5.1.概述 (98)5.1.1.安全要求 (99)5.1.2.安全等级 (99)5.1.3.Hadoop安全架构 (100)5.2.认证概述 (101)5.2.1.Kerberos概述 (102)5.2.2.Kerberos部署模型 (103)5.2.3.使用TLS/SSL进行安全的Keytab分发 (109)5.2.4.使用向导或手动过程来配置Kerberos身份验证 (110)5.2.5.集群组件使用的身份验证机制 (110)5.3.加密概述 (111)5.3.1.保护静态数据 (111)5.3.2.保护传输中的数据 (114)5.3.3.Hadoop项目中的数据保护 (115)5.3.4.加密机制概述 (117)5.4.授权概述 (117)5.4.1.Hadoop中的授权机制 (118)5.4.2.与身份验证机制的身份验证机制集成 (119)5.4.3.Hadoop项目中的授权 (120)5.5.治理概述 (121)5.5.1.什么是Apache Atlas? (121)5.5.2.Apache Atlas使用元数据创建血统关系 (121)5.5.3.添加到实体元数据使搜索更加容易 (121)5.5.4.Apache Atlas体系结构 (122)6.CLOUDERA最佳实践 (123)6.1.I MPALA分区 (123)6.1.1.文件计数和文件大小 (123)6.1.2.分区注意事项 (124)6.1.3.指南总结 (126)6.2.I MPALA性能 (126)6.2.1.Kudu RPC (126)6.2.2.设立专门的协调员 (127)6.2.3.按需元数据和元数据管理 (130)6.3.加速S PARK ML应用 (153)6.3.1.Spark ML的原生数学库 (153)6.3.2.启用libgfortran库 (154)6.3.3.启用英特尔MKL库 (156)6.3.4.性能比较 (157)7.故障排查 (159)7.1.安全故障排查 (159)7.1.1.错误信息和各种故障 (159)7.1.2.身份验证和Kerberos问题 (167)7.1.3.HDFS加密问题 (179)7.1.4.Key Trustee KMS加密问题 (181)7.1.5.对Cloudera Manager中的TLS/SSL问题进行故障排除 (182)7.2.YARN、MR V1和L INUX OS安全性 (185)7.2.1.MRv1和YARN:jsvc程序 (185)7.2.2.仅限MRv1:Linux TaskController (186)7.2.3.仅限YARN:Linux容器执行器 (186)7.3.对I MPALA进行故障排除 (187)7.3.1.使用Breakpad Minidumps进行崩溃报告 (188)7.4.对A PACHE Y ARN进行故障排查 (190)7.4.1.在YARN上对Docker进行故障排除 (190)7.4.2.对Linux Container Executor进行故障排除 (200)7.5.对HB ASE进行故障排除 (202)7.5.1.使用HBCK2工具修复HBase集群 (203)7.5.2.Thrift Server在收到无效数据后崩溃 (203)7.5.3.HBase正在使用比预期更多的磁盘空间 (204)7.5.4.对RegionServer分组进行故障排除 (205)7.6.对APACHE KUDU进行故障排除 (206)7.6.1.启动或重启主服务器或者Tablet服务器时出现问题 (206)7.6.2.磁盘空间使用问题 (207)7.6.3.性能问题 (208)7.6.4.可用性问题 (214)7.6.5.象征堆栈跟踪 (216)7.6.6.在多主服务器部署中从死掉的Kudu主服务器中恢复 (218)7.7.对C LOUDERA S EARCH进行故障排除 (218)7.7.1.故障排除 (218)7.7.2.动态Solr分析 (219)7.7.3.其他故障排除信息 (220)7.7.4.找出Cloudera Search部署中的问题 (220)7.7.5.Cloudera Search配置和日志文件 (223)7.8.对H UE进行故障排查 (226)7.8.1.Hue负载平衡器无法在各个Hue服务器之间平均分配用户 (226)7.8.2.无法使用SAML对Hue中的用户进行身份验证 (227)7.8.3.清理旧数据以提高性能 (227)7.8.4.无法使用提供的凭据连接到数据库 (229)7.8.5.在Hue UI上激活Hive查询编辑器 (230)7.8.6.查询执行在Hue中完成,但显示为在Cloudera Manager Impala查询页面上执行 (231)7.8.7.查找Hue超级用户列表 (232)7.8.8.通过Knox访问Hue时,用户名或密码不正确 (233)7.8.9.从Knox访问Hue UI时出现HTTP 403错误 (234)7.8.10.无法从Knox Gateway UI访问Hue (236)7.8.11.引荐检查失败,因为域与任何受信任的来源都不匹配 (239)7.8.12.无法查看Snappy压缩文件 (239)7.8.13.启用SAML时出现“未知属性名称”异常 (241)7.8.14.Impala查询因无效的查询句柄错误而失败 (242)7.8.15.PostgreSQL支持的服务失败或挂起 (243)7.8.16.验证Hue中的LDAP用户时出错 (244)7.8.17.从负载均衡器访问Hue时出现502代理错误 (245)7.8.18.提交Hive查询后,无效的方法名称:“ GetLog”错误 (246)7.8.19.在Hue中提交查询时出现“授权异常”错误 (246)7.8.20.无法更改Hue中的压缩表 (248)7.8.21.从Hue访问“搜索”应用程序(Solr)时出现连接失败错误 (249)7.8.22.从顺化下载查询结果需要时间 (250)7.8.23.启用TLS后,Hue Load Balancer无法启动 (250)7.8.24.无法终止以Kerberized集群运行的Hue作业浏览器中的Hive查询 (251)7.8.25.无法在受Knox保护的集群上的Hue中查看或创建Oozie工作流 (252)7.8.26.1040,“连接太多”异常 (253)8.参考资料 (254)1.文档说明本文档主要是基于阿里云部署的CDP的操作使用和介绍,关于CDP平台的操作和使用信息来源Cloudera官网,大家可以访问https:///cdp-private-cloud-bas e/latest/index.html来获取对应的信息。
永乐文档一体化管理软件及应用软件使用说明
7)备注:需要对题名进行必要说明的,可以在备注栏中加以
说明。如请示批复合为一件录入的,可以在备注栏中加以说明 “附请示”。或是此件详细内容在件的二级目录中的,可以注明 “见二级目录”等字样。
8)件的二级目录:“件的二级目录”是为了贯彻“细化检
索”的原则,对“文件级文档管理”的补充,用户将转发件和被 转发件、请求与批复、介绍信存根等作为一件归档时,在归档文 件目录中,只能出现一条目录,这样的目录对于检索更详细的内 容来说是不够的,为了弥补这种缺陷,我们需要在件的二级目录 中细化文件题名的录入工作,使能够更加细致地储存和检索有关 信息。
《永乐文档一体化管理软件及应用》
系统概述:
此系统是从档案管理的实际情况出发而研 发,在总体上,力求简明、实用和功能完备; 在操作风格上,尽可能地向大家所熟悉的、微 软的产品靠近。它具有文档一体化功能,乡镇、 机关档案室可以从收、发文登记开始管理,以 归档类目为桥梁,通过归档操作,最终完成归 档工作。此系统启运方便快捷,双击桌面上的 快捷图标即可(系统的初始默认姓名是 “LAMS”(大小写均可),口令是“2000”)。
6)保管期限:是对档案划定的存留年限。用数字表示,若
“保管期限”分别用永久、长期、短期表示,则其对应的数字代
码分别是1、2、3。保管期限项在计算机内以数字代码存储,而
给用户的提示是汉字值,本系统为用户提供“支持代码的下拉列 表”式编辑风格,即用户可以输入代码“1、2、3”,也可以输入
汉字“永久、长期、短期”,也可以在下拉列表中选择。
软件下载及安装
登陆江苏档案信息网,网址为 /,在网站的右下方找 到“档案软件服务”,点击进入,在档案室管理软 件下点击“永乐一体化管理软件”,进行下载。 对下载后的软件包进行解压缩,可以看到此软件 由三个文件构成,即DBMS、lams及window98 软件狗驱动程序。点击lams,点击SETUP.EXE, 进行安装,在桌面上形成一个“永乐文档一体化通 用软件”图标,安装结束。
ClouderaManager及CDH回退
ClouderaManager及CDH回退回退Cloudera Manager一、回退阶段与风险Cloudera Manager回退主要在升级失败阶段进行,升级成功不进行回退操作。
升级失败要可能出现在CM安装阶段,和CDH的安装阶段。
CM安装阶段出现故障先查看具体故障原因,若故障不能处理才进行回退。
回退的主要风险如下;1.CM升级阶段故障可能导致集群环境不能启动2.Zookeeper等服务不能启动,可导致其他服务不能启动。
二、回退准备工作1.Cloudera系统SCM等数据库备份文件2.CM4安装文件三、CM回退步骤四、CDH4升级CDH5过程应急处理CDH4升级CDH5过程自动分发部署文件到服务节点,若服务节点出现故障可根据具体错误进行相应处理。
故障处理原则如下;1.安装过程严格按照升级步骤进行。
2.能够进行错误处理则处理错误信息,不进行回退处理3.升级之前安装元数据备份方式进行备份4.错误处理不能完成的,安装元数据恢复的方式进行元数据恢复五、元数据备份恢复1.HDFS元数据HDFS元数据备份和恢复A.进入 HDFS service,选择 Configuration > View and Edit,找到"NameNode DataDirectories",里面的路径就是要备份的HDFS NameNode元数据所在的目录如/dfs/nn,如果有多个只需备份其中一个。
B.进入NameNode元数据所在的目录执行备份:$cd /dfs/nn$tar -cvf /root/nn_backup_data.tar .HDFS元数据恢复A.进入 HDFS service,选择 Configuration > View and Edit,找到"NameNode DataDirectories",里面的路径就是要备份的HDFS NameNode元数据所在的目录如/dfs/nn,如果有多个只需备份其中一个。
ClouderaManager大数据平台部署指南
ClouderaManager大数据平台部署指南一、介绍ClouderaManager是一款用于管理和监控大数据平台的工具,它提供了一套集中式的管理界面,可以简化大数据平台的部署、配置和监控。
本文将详细介绍如何使用ClouderaManager来部署大数据平台。
二、准备工作在开始部署之前,需要确保以下准备工作已完成:1. 硬件要求:根据实际需求,选择适合的硬件配置,包括服务器、存储和网络设备等。
2. 操作系统要求:ClouderaManager支持多种操作系统,如CentOS、Red Hat Enterprise Linux等。
选择适合的操作系统,并进行安装和配置。
3. Java环境:ClouderaManager依赖Java环境,确保已正确安装和配置Java。
4. 网络配置:设置正确的网络配置,确保各个节点可以相互通信。
三、安装ClouderaManager1. 下载ClouderaManager:访问Cloudera官方网站,下载适合于您的操作系统的ClouderaManager安装包。
2. 安装ClouderaManager:解压下载的安装包,并按照官方文档中的指引进行安装。
安装过程中,可以选择安装所有组件或者自定义安装。
3. 配置数据库:ClouderaManager需要使用数据库来存储配置信息和监控数据。
可以选择使用内置的Derby数据库或者外部数据库,如MySQL、Oracle等。
根据实际情况选择并配置数据库。
4. 启动ClouderaManager:安装完成后,启动ClouderaManager服务,并访问管理界面。
四、配置ClouderaManager1. 添加主机:在ClouderaManager管理界面中,选择“主机”选项卡,点击“添加新主机”按钮,将要部署大数据平台的主机添加到集群中。
2. 安装Agent:在添加主机后,选择“主机”选项卡,点击“一键安装Agent”按钮,将ClouderaManager Agent安装到所有主机上。
cloudera manager 主机管理 原理
cloudera manager 主机管理原理Cloudera Manager 主机管理原理Cloudera Manager 是一款用于管理 Apache Hadoop 生态系统的工具,其主要功能之一就是主机管理。
通过 Cloudera Manager,可以很方便地管理和监控集群中的主机。
Cloudera Manager 主机管理是基于以下原理和机制实现的:1. 主机发现:Cloudera Manager 可以通过扫描所在网络段,自动发现可用的主机,并将其列入管理范围。
该功能可以自动识别主机的操作系统类型和硬件配置。
2. 主机监控:一旦主机被添加到 Cloudera Manager 中,它会定期收集主机的各项指标数据,例如 CPU 利用率、内存使用情况、磁盘空间、网络流量等等。
这些数据可以帮助管理员了解主机的健康状态和负载情况。
3. 主机配置:Cloudera Manager 提供了一个可视化的界面,用于配置主机的各项参数。
管理员可以在此界面上设置主机的名称、IP 地址、SSH 配置、操作系统用户等信息。
此外,还可以集中管理主机上的服务和角色,如 Hadoop、Hive、Spark 等。
4. 主机部署和安装:Cloudera Manager 支持自动化的主机部署和软件安装过程。
管理员只需在界面上选择相应的操作系统和软件版本,Cloudera Manager 将自动下载、安装和配置所需的软件包,并在主机上启动相应的服务。
这样可以大大简化和加快集群的部署过程。
5. 主机维护:通过Cloudera Manager,管理员可以轻松地对主机进行维护操作,如重启、关闭、添加/删除主机等。
在进行维护操作时,Cloudera Manager 会自动监控集群的状态,避免服务中断或数据丢失。
总之,Cloudera Manager 的主机管理原理是通过自动发现、监控、配置、部署和维护的方式,提供了一个集中管理和控制 Hadoop 集群主机的解决方案。
cloudera manager 指标
cloudera manager 指标Cloudera Manager是一款用于管理和监控Hadoop集群的工具,它提供了丰富的指标来帮助用户了解集群的健康状况和性能表现。
下面将介绍一些常见的Cloudera Manager指标。
1. CPU利用率CPU利用率是衡量集群性能的重要指标之一。
Cloudera Manager提供了实时的CPU利用率数据,可以帮助用户了解集群中每个节点的CPU使用情况,以及整个集群的平均CPU利用率。
通过监控CPU利用率,用户可以及时发现节点负载过高的情况,避免因为节点过载导致的性能下降和任务失败。
2. 内存利用率内存利用率也是衡量集群性能的重要指标之一。
Cloudera Manager 提供了实时的内存利用率数据,可以帮助用户了解集群中每个节点的内存使用情况,以及整个集群的平均内存利用率。
通过监控内存利用率,用户可以及时发现节点内存不足的情况,避免因为内存不足导致的性能下降和任务失败。
3. 磁盘利用率磁盘利用率是衡量集群存储容量的重要指标之一。
Cloudera Manager提供了实时的磁盘利用率数据,可以帮助用户了解集群中每个节点的磁盘使用情况,以及整个集群的平均磁盘利用率。
通过监控磁盘利用率,用户可以及时发现节点磁盘空间不足的情况,避免因为磁盘空间不足导致的数据丢失和任务失败。
4. 网络流量网络流量是衡量集群通信性能的重要指标之一。
Cloudera Manager 提供了实时的网络流量数据,可以帮助用户了解集群中每个节点的网络使用情况,以及整个集群的平均网络流量。
通过监控网络流量,用户可以及时发现节点之间通信异常的情况,避免因为网络故障导致的任务失败和数据丢失。
5. 任务执行时间任务执行时间是衡量集群任务性能的重要指标之一。
Cloudera Manager提供了实时的任务执行时间数据,可以帮助用户了解集群中每个任务的执行时间,以及整个集群的平均任务执行时间。
通过监控任务执行时间,用户可以及时发现任务执行时间过长的情况,优化任务执行计划,提高任务执行效率。
Oracle Cloud Manager用户指南说明书
PeopleSoft Spotlight Series Cloud ManagerPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish Templates Self Service DeploymentLift and ShiftManage LifecyclePeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish Templates Self Service DeploymentLift and ShiftManage LifecycleEnterprise applications –Economics of Cloud•Evaluation of new features•Running development / test instances•ProductionSoftware as a ServiceInfrastructure as a ServicePlatform as a ServiceEnterprise application landscape is rapidly changing with more customers running workloads on Cloud.Oracle Compute Cloud ServiceInfrastructure-as-a-Service solutionOn-demand, scalable compute resources Self service businessapplicationsPredictable pricingBuilt-in identity management, high availability, elasticity,backup, and monitoringOracle Compute Cloud ServiceOracle Database Cloud Service (DBCS) Platform-as-a-Service (PaaS)Request for ServiceDatabaseReady for Use AllocateComputeAllocateStorageProvisionOSSet Keys &PrivilegesInstall &ConfigureDatabaseConfigureBackupsConfigureToolsConfigureAccessBenefitsReduced time and complexity to provision database services Increased standardizationof the “fleet”Also use to deploy with dataguard or Real ApplicationClusters (RAC)Platform Software & ServicesInfrastructure Components & ServicesApplication Software & ServicesPeopleSoft Cloud ManagerMigrate to Oracle Cloud•Lift and Shift existing environments to Oracle Cloud•Migration of your configuration, data, and customizations•Backup and restore to Oracle CloudCLOUD MANAGERCloud Computing•Elastic scaling based on demand •Always current, always patched technology platform •Industry leading secured environmentsLife Cycle Management•Subscription to update release channels•Complete environment management•Automated PeopleTools patchingSelf Service Provisioning•On-demand environments for specific use cases•Template driven provisioning enables business users •Unique topology definitionsPlatform Software & ServicesInfrastructure Components & ServicesApplication Software & ServicesAutomated DeploymentAutomated ConfigurationAPPS DPKTOOLS DPKDATABASEAPP SERVERWEB SERVERCloud IAAS, VM or Bare MetalYAMLConfigurationPeopleSoft Cloud ArchitecturePeopleSoft Deployment PackagesOn-premiseCloud Moving to Cloud•Flexibility and Control•Agile•CheaperPeopleSoft Cloud Architecture: Transformation to Cloud Manual AutomationHow you migrate and operate on Cloud matters.Use Cases•Deploy the latest PeopleSoft Update Image•Deploy PeopleSoft environments on-demand•Clone PeopleSoft environments (templatize)•Migrate your on-premise environment to Cloud•Apply PeopleTools patches and future PeopleTools releases •Apply PRPs•Monitor Cloud Environment•Scale Up or DownCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleOracle Compute Cloud Servicehttps:///marketplace/en_US/homePage.jspx MarketplaceCloud AdministratorOracle CloudOracle CloudCloud Administrator Cloud Manager Admin ProvisionLiftShiftTemplate-ize Psft Admin DPKManage Life CycleBootStrapMarketplace RepositoryMoSTemplates Topology Object Storage Cloud Manager AdminSelf Service user Auto-downloadDPK Custom DPK DPK Apps DPK DPK Custom DPK Set up for PUM Tools patches PRPsCloud Manager HomepageCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleDownload SubscriptionsTopologyPUM FulltierEnvironment TemplateShipped Security Users, Roles, and Permission Lists User–CLADM. "Cloud Administrator" role and other PeopleSoft administrative roles. Roles–Cloud Administrator (PACL_CAD)–Cloud PeopleSoft Administrator (PACL_PAD)–Self-Service User (PACL_SSC)Permission Lists–Cloud Administrator Permissions (PACL_001)–PeopleSoft Admin for Cloud (PACL_002)–Cloud Self Service (PACL_003)SummaryCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleRapid on-Demand DeploymentTemplatesProvisionTopologySelf Service userCloud ManagerAdminEnvironmentsActionsDetailsHealth CheckCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleClone to TemplateCreate a new environment based on customer DPK Oracle CloudObject StorageCustomer Environment RepositoryDPKCustom DPKUpload to Object Storage Clone to TemplateLift and Shift Topology and TemplateLift UtilityShiftCloud Manager TopicsPeopleSoft in the CloudCloud Manager OverviewSubscribe to Channels and Publish TemplatesSelf Service DeploymentLift and ShiftManage LifecycleSetting Up for Selective Adoption•Create Environment for PUM Source using PUM Fulltier template, this deploys:–one Linux VM (PUM Source)–one Windows VM for PeopleSoft Client with Change Assistant installed •Manage PUM Connections –Add Target–PUM Source database and target database details are configured in Change Assistant –Target database details uploaded to PUM source database•Apply PRP to PUM Source–Access PRP from file serverApplying PeopleTools Patch•Subscribe to the Tools Release channel.•Use the Environment > Detail page to apply the patch to a running environment.•When you select to apply the patch:–Change Assistant is upgraded to the new patch and the apply PeopleTools patch runs automatically.–When the patch is complete, you will get a message and the status will be updated.•If you want to baseline the updated environment and make it available to self service users, then you would clone the environment.Apply PeopleTools PatchApplying PRPs to PUM Source•PRPs are auto-downloaded to the Cloud Manager Repository.•PRPs are stored on the file server on specific directory which is shared as a samba share.•To apply PRPs to PUM source, user has to:1.Access the PRP share on the windows client VM.2.Copy them to D:\psft\pum_download on windows client.unch Change Assistante Apply PeopleSoft Release Patchset option to apply PRPs on PUM source.Note:Change Assistant is configured when an Add Target is performed,therefore an Add Target must be performed before you can apply a PRP.Clone to TemplateClone to template is used when users want to :•Baseline a lifted/shifted environment and make it available for self-service.•Create a clone of an environment to try new updates/upgrades.•Create a clone of a development environment for testing new changes.•Save a point-in-time copy of the environment (similar to a backup) before doing any major updates/upgrades to the environment.Additional Resources•OBE -Installing PeopleSoft Cloud Manager posted on the Oracle Learning Library•Online Help -PeopleSoft Cloud Manager•PeopleSoft Cloud Manager Home Page on My Oracle Support (Doc ID 2231255.2)•PeopleSoft Cloud Manager Concept page on the PeopleSoft Information PortalCopyright © 2017,Oracle and/or its affiliates. All rights reserved. |。
cdh的搭建流程
cdh的搭建流程
CDH的搭建流程如下:
1. 准备环境:确保所有节点都具备相应的硬件和软件要求,包括内存、存储、操作系统等。
2. 安装Cloudera Manager Server:在主节点上安装Cloudera Manager Server,可以按照官方文档的指引进行安装。
3. 配置节点:配置节点以供Cloudera Manager使用,包括设置主机名、
IP地址、端口等。
4. 安装Parcel:将CDH相关的Parcel包放到主节点的
/opt/cloudera/parcel-repo/目录中。
5. 配置Cloudera Manager:配置Cloudera Manager的各项参数,包括
集群名称、节点信息、用户权限等。
6. 启动服务:在主节点上启动Cloudera Manager Server,并在各个节点
上启动相应的服务。
7. 验证安装:通过浏览器访问Cloudera Manager的管理界面,检查各项
服务是否正常运行。
以上是CDH的搭建流程,具体步骤可能会因为不同的环境和版本而有所不同,建议参考Cloudera官方文档进行操作。
Cloudera Manager5及CDH5在线安装
我们选择Clouder Express。 当然你选择Clouder Enterprise试用版也可以。单击继续
为CDH集群安装指定主机 都通信完好,我们单击继续
选择存储库 都是采用的默认设置
配置 Java 加密
采用的是默认形式 提供ssh登录凭据
图2
这是一个很漫长的过程,不幸的是在下载完毕,执行分发的时候,这个过程被打断,安 装被终止。导致回不到图2,这个该如何解决? 难道真的要重装吗?花费了大半天功夫,又不得不重来。
这里面的问题是找不到cloudera manager5所管理的节点了? about云有这篇文章卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】 但是这篇文章是卸载Cloudera Manager以及CDH的,由于cloudera-scm-server和 cloudera-scm-agent查看都是运行正常的,如何查看状态,可以参考: Cloudera Manager Server5及Cloudera Manager Agents5命令整理(about云),所以 cloudera manager不需要卸载,卸载的是CDH的相关内容。 于是执行下面命令:
复制代码 1. echo 0 > /proc/sys/vm/swappiness
复制代码
官网介绍及cloudera-manager-installer.bin下载及安装视频 /v/RxMhfX02ffA/&rpid=409655810&resourceId=409655810_04_05_99/v.swf
单击NEXT
单击NEXT 按下Yes
单击NEXT 按下Yes
clouderamanager维护相关(系统日志相关)
clouderamanager维护相关(系统日志相关)今天登入上CM,发现报了很多警告,大致查看了一下,基本上都是日志目录的磁盘剩余空间低于预设的监控阀值了。
于是我查看了一下基本上服务的日志信息都保存在/var/log下面具体服务的目录下面。
然后我偷懒了,直接rm -rf /var/log,将/var/log下面的目录及文件全部删除了。
(其实我还考虑到如果集群还运行着去删日志可能会出问题,我还特地把集群都停了,然后再删的日志目录)然后我就悲剧了,集群起不来了。
然后我索性把机器装CM的机器也重启了一下,这下更好玩了,CM也起不来了!!火急火燎啊,CM本来装好了会添加到系统服务中开机自动启动了,这回竟然没起来,也没有日志文件!于是我手动执行了一下service cloudera-scm-server start ,终于问题暴露出来了,没有日志目录的写入权限。
这个问题就是我前面不小心把cm的日志目录删除掉了的原因导致的。
于是我按照控制台曝出的错误,我手工执行了如下命令: mkdir /var/log/cloudera-scm-serverchown cloudera-scm:cloudera-scm /var/log/cloudera-scm-serverchmod g+w /var/log/cloudera-scm-server恢复了cm server的目录。
然后我又运行了一下service cloudera-scm-agent start启动agent,曝出的也是同样的错误,于是执行如下命令恢复agent的日志目录:mkdir /var/log/cloudera-scm-agentchown cloudera-scm:cloudera-scm /var/log/cloudera-scm-agentchmod g+w /var/log/cloudera-scm-agent然后重新reboot机器,OK,CM终于自动启动起来了。
clouderamanager运维日志2018.02.27
clouderamanager运维日志2018.02.27
下午打开cm网页发现问题
运行报黄
分别查看cm2,cm3,cm4节点磁盘使用情况
CM2节点
CM3节点
CM4节点
发现磁盘使用率达到了90%以上,于是对各个文件夹进行排查
发现
dfs文件系统占用空间很大,于是经过查看发现是因为dn文件夹下的数据过大造成了
所以,进入hdfs的web界面,将不需要的文件做了删除
注意:这里是测试机,所以直接删除了,如果是生产上的机器,那么最好将数据文件移动到一个新的硬盘上并在原来的硬盘上做一个软连接链接到新的位置,保证数据不丢失(详细操作见文章底部)
顺便附上之前出现堆转储空间不足解决办法
在运维的时候发现几乎所有的角色都在报警告
具体警告如下:
于是,对于HBase进行如下修改:
各个其他角色节点分别执行对应的操作,修改堆转储文件目录和日志文件目录到较大的盘符下,或者直接将现在的目录做一个软连接,连接到空间大的位置
其他解决办法
注意:不要直接mv ‘/var/run’目录,这个目录会每次自动生成,我都是mv它的子目录
移动之前需要将相关的服务停掉。
cdh运维手册
cdh运维手册
Cloudera的运维手册(CDH运维手册)是一款数据处理和分析工具,可以帮助用户完成从数据采集、数据清洗、数据存储到数据分析的全过程。
它可以帮助用户提高数据处理的效率和准确性,让用户更轻松地获取有价值的数据信息。
Cloudera的运维手册主要涵盖了以下几个方面:
1. 数据采集:Cloudera的运维手册提供了多种数据采集方式,包括爬虫、API接口、数据库查询等,可以根据用户的需求进行选择。
2. 数据清洗:在数据采集完成后,数据需要进行清洗和处理,以消除异常值、缺失值等质量问题,提高数据的准确性和可用性。
Cloudera的运维手册提
供了多种数据清洗工具和技术,包括数据过滤、数据转换、数据映射等。
3. 数据存储:Cloudera的运维手册支持多种数据存储方式,包括关系型数
据库、NoSQL数据库、分布式文件系统等。
用户可以根据数据的特性和需
求选择合适的数据存储方式。
4. 数据分析:Cloudera的运维手册提供了多种数据分析工具和技术,包括
数据挖掘、机器学习、可视化分析等。
用户可以使用这些工具对数据进行深入的分析和挖掘,以获取有价值的信息和知识。
5. 集群管理:Cloudera的运维手册还提供了集群管理功能,包括节点管理、资源调度、监控与告警等。
这些功能可以帮助用户更好地管理和维护集群的运行状态,确保数据的稳定性和安全性。
总之,Cloudera的运维手册是一款功能强大的数据处理和分析工具,可以
帮助用户完成从数据采集、处理、存储到分析的全过程。
用户可以根据自己的需求选择相应的功能和技术,提高数据处理和分析的效率和准确性。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
可以配置 impala 查询直方图和 YARN job 属性可以用来过滤查询和应用程序列表 可伸缩的后端数据库监控指标 图表的改进
1.新图表类型:直方图和热图 2.新的 scale 类型:对数和幂 3.更新了 tsquery 语言:新的属性支持 YARN 和新的功能支持新的图表类型
翻译了几天,终于大功告成,如有错误或则不当之处,欢迎批评指正
1.Cloudera Manager 5新增加内容 Cloudera Manager 5.1.2新增加内容
解决了很多问题. 详细可以查看 Fixed Issues in Cloudera Manager 5.1.2 . 新的 SAML 配置选项
从 IDP 到 Cloudera Manager 你可以指定 AuthNResponses 协议。以前 Cloudera Manager 只能使用 HTTP-Artifact,现在你可以使用 HTTP-Post。但是默认绑定还是 HTTP-Artifact 2.Cloudera Manager 5.1.1新增加内容 解决了很多问题. 详细可以查看 Fixed Issues in Cloudera Manager 5.1.1 3.Cloudera Manager 5.1.0新增加内容 下面为原文 Important: Cloudera Manager 5.1.0 is no longer available for download from the Cloudera website or from due to the JCE policy file issue described in the Fixed Issues in Cloudera 5.1.1 section of the Release Notes. The download URL at for Cloudera Manager 5.1.0 now forwards to Cloudera Manager 5.1.1 for the RPM-based distributions for Linux RHEL and SLES.
HDFS
HDFS NFS 网关角色 支持从一个快照恢复 HDFS 数据
YARN YARN 的资源管理器(HAYARN Resource Manager HA) 资源池调度器
支持 Spark 服务 支持 accumulo 服务 支持服务的可扩展性 支持设置 Oozie 服务器高可用性 Granular 配置 staleness UI 支持设置最大文件描述符
监控
更新了 Oozie 监控 新的 Hive 元数据 Canary
UI
UI 更新提高扩展性,首页状态标签可以被配置为在一个完整的或简易格式显示集群,每个 集群有一个新的集群页面。主机和页面添加了 filters
4.Cloudera Manager 5.0.2 新增加内容 解决了很多问题. 详细可以查看 Fixed Issues in Cloudera Manager 5.0.2
重要:
1
Cloudera Manager 5.1.0 不能再从 Cloudera 网站或者 上下载了,因 为 the JCE policy file 的问题,这个问题已经在 Cloudera 5.1.1版本修正。Cloudera Manager 5.1.0 基于 RPM 的 Linux(RHEL 和 SLES),在 的下载链接指向了 Cloudera Manager 5.1.1
8.Cloudera Manager 5.0.0 Beta 1
CDH 版本
分别支持 CHD4 与 CDH5 支持从 CHD4 升级到 CDH5 支持 YARN 作为执行环境 MapReduce (MRv1) to YARN (MRv2)配置入口 基于 YARN 的 Impala 1.2 的资源管理器
Impala 增加了支持 Llama ApplicationMaster HA(高可用性)
用户角色(User Roles) 有 两 个 角 色 Operator 和 Configurator, 支 持 访问 Cloudera Manager 功 能 。 查 看 Cloudera Manager User Accounts.
JDK 版本
Cloudera Manager 5 支持 JDK 6 和 JDK 7.
资源管理对于 YARN 和 Impala 通过核心服务提供了一个静态的和动态的资源分区的配置向 导 对于 YATN、Impala 增加 Pool, 资源组, 和 队列管理 使用监控和统计
监控 YARN 服务监控 YARN (MRv2) job 监控
备份和灾难恢复(BDR)
支持调度快照 支持 YARN (MRv2): 复制 jobs 可以使用 YARN (MRv2) 代 MRv1 运行. 全局复制 Page: 所有预定的快照(HDFS 和 HBase),要么 HDFS 或 hive 复制 job 放在一个页面
其它 全局搜索框 可用性改进 综合检测配置变化: 服务重启, 刷新和客户端部署配置.
SSL 加密: HDFS, MapReduce, YARN and HBase 支持几个新的关于 SSL 的参数配置,这些允许配置和 启动加密洗牌以及 web UIs 加密这些服务。 可以查看 Configuring SSL Encryption in Cloudera Manager.
Sentry 服务: 一个新的 Sentry 服务存储授权元数据在底层的关系数据库,允许使用 Grant/Revok 语句修改权限。查看 The Sentry Service. 也可以配置 Sentry service,允许 Pig, MapReduce, 和 WebHCat queries 访问存储 在 hive 中的 Sentry-secured,查看 Configuring Pig and HCatalog for the Sentry Service.
5.Cloudera Manager 5.0.1 新增加内容
2
解决了很多问题. 详细可以查看 Fixed Issues in Cloudera Manager 5.0.1
监控
对于监控服务,主机监控, 和活动监控的 java 垃圾回收健康测试,被替换为新的 Java 暂停 时间健康测试。
重要: 因为触发器是一个新的和不断发展的特性,发行版之间的向后兼容性是没有保证的。
图表的改进 新表图表类型 从图表中显示数据和元数据有新的选项 支持从图表数据导出到 CSV 或 JSON 文件
管理设置
管理员功能新增角色类型如果内存用完,Cloudera Manager Server 和 all JVMs 会创建堆转 储 配置 parcel 目录的位置,和指定什么时候是否从集群移除旧的 parcels
----------------------------------------------------------------------------
Cloudera Manager 5 不兼容的改变 下面的部分描述了在 Cloudera Manager5 版本不兼容的改变。
Cloudera Manager 5.1.2 不兼容的改变 这个 Administrator 角色已经重命名为 Operator, Operator 角色在 Cloudera Manager Express 已不在可用。如果升级 Cloudera Manager Express。 Operator 角色的用户不能再 登录。Administrator 角色必须被授予读取权限或则具有 Administrator 角色的用户才能登录
可扩展性能否管理 ISV 应用程序和非 CDH 服务 (例如, Accumulo, Spark, 等等)
选择 ISV 是 Beta 1 的一部分
单点登录 支持 SAML 实现单点登录
Parcels
强制依赖确保不相容的 Parcels 不能一起使用 为了节省磁盘空间,可以选择不缓存下载 parcels 提高管理操作的错误报告
3
监控 支持监控 Cloudera Search/Solr 服务 新的 "failed" 和 "killed" 不成功的 Yarn 应用程序会显示标记 更多的属性可以过滤显示 YARN 应用程序和 Impala 查询 对于 HBase 表和命名空间, Impala 查询,和 YARN 应用程序 支 持 用 户 自 定 义 触 发 器 来 访 问 charts/tsquery 指 标 ( Support for creating user-defined triggers for metrics accessible via charts/tsquery)
当查看 service 和引用角色会显示集群名字,可能不匹配外部的集群的显示的名字
CDH 5 Hue 需要安装 Python 2.6 或则 2.6 以上版本, 放弃支持 Python 2.4 和 2.5. Hue 如果没有 Python 2.6 也能安装,但是不能启动.
Cloudera Manager 5.0 包 含 一 个 snmpTrapOID 值 的 改 变 , 早 期 的 版 本 设 置 的 值 snmpTrapOID(OID: .1.3.6.1.6.3.1.1.4.1.0) 错 误 对 于 clouderaManagerMIBNotifications (OID .1.3.6.1.4.1.38374.1.1.1). Cloudera Manager 5.0 纠 正 了 这 个 值 是 clouderaManagerAlert (OID .1.3.6.1.4.1.38374.1.1.1.1)。这一变化将 SNMP 服务器设置期 待 clouderaManagerMIBNotifications。Cloudera Manager 管理员应该配置 SNMP 接收器接 受纠正 OID。 下面配置的默认值已经改变包括:JVM 选项 .preferIPv4Stack=true,在在双栈机 IPv4 协议栈设置首选。在升级到 Cloudera Manager 5 任何的默认值都会自动改变成新的默认 值