TranswarpDataHub安装和使用手册v41

45 67 69 69 69 70 71 71 72 73 73 74 74 75 76 78 79
Transwarp Data Hub 4.1 安装和使用手册
8
1
1.1 公司介绍
简介
星环信息科技(上海)有限公司是目前中国国内极少数掌握企业级大数据Hadoop 和Spark 核心技术的高科技公司，从事大数据时代核心平台数据库软件的研发与服务。 Apache Hadoop技术已成为公认的替代传统数据库的大数据产品。公司产品 Transwarp Data Hub (TDH) 的整体架构及功能特性比肩硅谷同行，产品性能在业界 处于领先水平。
1.2 Transwarp Data Hub 介绍
Transwarp Data Hub（简称TDH）是国内首个全面支持Spark 的Hadoop发行版， 也是国内落地案例最多的商业版本，是国内外领先的高性能平台，比开源基于 Hadoop MapReduce计算框架的版本快10x~100x 倍。TDH应用范围覆盖各种规模和 不同数据量的企业，通过内存计算、高效索引、执行优化和高度容错的技术，使得 一个平台能够处理GB级到PB级的数据，并且在每个数量级上，都能比现有技术提 供更快的性能；企业客户不再需要混合架构，TDH可以伴随企业客户的数据增长， 动态不停机扩容，避免MPP或混合架构数据迁移的棘手问题。
Transwarp Data Hub 4.1 安装和使用手册
ቤተ መጻሕፍቲ ባይዱ
5
目录
目录 1 简介 1.1 公司介绍 1.2 Transwarp Data Hub 介绍 1.3 集群结构 1.4 构造集群的主要步骤 2 新版本管理界面增加的功能 2.1 新增加的功能 2.2 新的加强部分 3 安装准备 3.1 硬件环境要求 3.2 软件环境要求 3.4 Java 环境要求 3.5 支持的游览器 4 安装前的检查 4.1 系统磁盘分区要求 4.2 内存容量要求 4.3 网络设置
新的集群状态页面
新的集群状态页面将服务状态和操作集中放置在一个页面上，方便用户监控和 管理集群。
新的服务概况页面
新的服务概况页面展示服务状态、常用指标和操作。
新的 YARN Scheduler 配置页面
新的 Scheduler 配置页面方便用户配置队列与资源。
新的 Inceptor 资源配置页面
新的 Inceptor 资源配置页面方便用户配置资源。
如果你在系统安装，配置和使用中发现任何产品问题，可以通过以下方式反馈： email: support@transwarp.io 感谢你的支持和反馈，我们一直在努力！
星环信息技术有限公司 地址： 电话： 上海市徐汇区桂平路481号18幢 3层301室 4008 079 976
Transwarp Data Hub 4.1 安装和使用手册
3.4 Java 环境要求
TDH 支持以下 JDK 版本 Oracle JDK 1.7
Transwarp Data Hub 4.1 安装和使用手册
10
1.3 集群结构
创建一个集群前，首先必须保证将用于构造集群的服务器满足一些要求。 这些要求包括硬件要求、软件要求、内存要求、网络要求等。第二章将对这些 要求进行详细介绍。在满足这些要求的基础上，就可以开始进行系统安装。系 统安装包括以下步骤： 1. 2. 3. 在集群中所有的节点（包括管理节点及 Hadoop 集群中所有的节点）上安 在管理节点上安装 Transwarp®Hadoop。第五章将对此进行详细介绍。 使用管理节点上的 Web 用户界面——Transwarp®Manager for Apache 装所需要的操作系统。这将在第 6 章中进行介绍。
Transwarp Data Hub v4.1
包含 Apache Hadoop 2.5. 2 for Linux(x86-64) 安装和使用手册 T00141-01-021
文档版本： 2.1v 发布日期： 2015-06-11
星环科技信息（上海）有限公司
文档目的 本文档用于指导 Transwarp 用户安装、部署、验证和开始使用 Transwarp Data Hub 。
3
技术支持
感谢你使用星环信息科技（上海）有限公司的产品和服务。如您在产品使用或服务中有 任何技术问题，可以通过以下途径找到我们的技术人员给予解答。 email :support@transwarp.io 技术支持热线电话：18930357653 官方网址 ：www.transwarp.io
意见反馈
Hadoop——来把所有的节点加到集群中、对这些节点部署相关软件和配置，并 运行服务。第六章将给出相关的详细步骤。
1.4 构造集群的主要步骤
在创建集群前，你必须阅读并理解集群创建和管理的要求和推荐。这包括 对集群中的每个节点的网络连接及软硬件配置作出决定。
Transwarp Data Hub 4.1 安装和使用手册
Transwarp Data Hub 4.1 安装和使用手册
18 19 19 19 21 21 21 22 23 24 24 24 25 26 27 27 27 28 35 35 39 42 42
7
9.2 配置各项服务 9.3 服务的最后安装 10TDH 许可证授权的激活和认证 10.1 许可证管理 10.2 许可证激活和使用 10.3 查看许可证授权管理 11TDH Manager 的使用 11.1 状态页面的使用 11.2 热点图页面的使用 11.3 警报页面 11.4 操作页面 11.5 日志查询 11.6 审计查询 11.7 NTP 管理 12TDH 安装和设置问题汇总 13TDH 技术支持和维护 术语表
新版本增加了新的热点图功能，热点图用于集中展示集群中节点指标，用户 可以根据需要灵活选择需要监测的指标，并可以对比不同节点的指标。
新的告警页面功能
新版本增加了告警页面，新的告警页面集中展示 TDH 中的告警信息，可以方 便用户第一时间发现问题并解决。
操作页面
新的服务安装操作和状态页面可以集中展示 TDH 中的集群状态和服务管理状 态，用户可以进行集群和服务管理统一操作。
Transwarp Data Hub 4.1 安装和使用手册
6 9 9 9 11 11 12 12 13 14 14 14 14 15 16 16 17 18
6
4.4 集群和网络拓扑要求 4.5 NTP 服务设置 4.6 安全设置 4.7 系统的推荐设置 5TDH 服务的角色 5.1 Zookeeper 角色 5.2 HDFS 角色 5.3 YARN 角色 5.4 HyperBase 角色 5.5 Inceptor 角色 5.6 Streaming 角色 5.7 Sqoop 角色 5.7 Flume 角色 6 操作系统安装 7Transwarp 管理员的安装 7.1 安装前系统配置改动 7.2 安装介质 7.3 检查系统时间，时区及主机信息 8 用 Transwarp Manager 配置集群 8.1 添加集群服务器 8.2 删除集群中的服务器 9 用 Transwarp Manager 为集群安装各项服务 9.1 添加各项服务
Transwarp Data Hub 4.1 安装和使用手册
9
图1：TDH系统框架图
星环的大数据平台TDH包含四个组成部分: Transwarp Hadoop企业版， Transwarp Inceptor 分布式内存分析引擎，Transwarp Hyperbase分布式实时在线数 据处理引擎和Transwarp Stream流处理引擎，四个产品组件构成了完整的大数据平 台。 在统一的分布式存储之上数据平台上通过Transwarp YARN提供统一的资源管 理调度，结合LDAP与Kerberos 提供完备的权限管理控制，不同的部门以及使用租 户可以按需创建计算集群访问其授权数据，包括基于Spark 计算框架的SQL类统计分 析应用与数据挖掘类应用，或者基于MapReduce计算框架的应用。同时，平台通过 使用Hyperbase结合Inceptor，为用户提供基于SQL的高并发的查询以及分析能力。 在数据导入与交换方面，数据平台提供多样的数据导入与交换形式，包括Flume提 供海量数据文件的聚合汇总到HDFS的功能，FTP Over HDFS提供文件通过FTP传 入HDFS的通道，Sqoop提供与关系型数据库的数据交换以及Kafka消息队列集群接 收实时流数据。此外，TDH数据平台提供实时的流处理能力，通过消息队列Kafka接 收实时数据流，做到数据不丢不重，通过Transwarp Stream基于Spark Streaming 提供类似与批处理系统的计算能力、健壮性、扩展性的同时，将数据时延降低至秒 级甚至毫秒级。
免责声明
由于产品版本升级或其他原因，本文档内容会不定期进行更新。内容如有更改，恕不另 行通知。本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示 的担保。星环信息科技（上海）有限公司在编写该说明书的时候已尽最大努力保证期内容准 确可靠，但星环信息科技（上海）有限公司不对本说明书中的遗漏、不准确或印刷错误导致 的损失和损害承担责任。 Hadoop*，SPARK*是 Apache 软件基金会在美国和其他国家的商标或注册的商标。 Java* 是 Oracle 和/或其子公司的注册的商标。其他名称可能是商标各自所有者所有。
2
Transwarp Data Hub v4.1 包括 Apache Hadoop 2.5.2 for Linux(x86-64)安装和使用手册 T00141-01-021
版权所有 © 2013 年-2015 年星环信息科技（上海）有限公司。保留所有权利。
版权声明
本说明书的版权归星环信息科技（上海）有限公司所有。未得到星环信息科技（上海） 有限公司的书面许可，任何人不得以任何方式或形式对本说明书内的任何部分进行复制、摘 录、备份、修改、传播、翻译成其他语言、或将其全部或部分用于商业用途。星环信息科技 （上海）有限公司保留对本说明书及本声明的最终解释权和修改权。
4
修订历史记录
修改记录累积了每次文档更新的说明。最新版本的文档包含以前所有文档版本的更新内容。 文档版本T00141-01-020 (2015-04) 第一次发布。 文档版本T00140-01-010 (2014-12) 第一次发布。 文档版本T00130-01-010 (2013-12) 第一次发布。
11
2
全新的界面风格
新版本管理界面增加的功能
2.1 新增加的功能
我们重新设计了 TDH Manager 整个管理界面，风格同上一代 Transwarp Data Hub Manager 4.0v 完全不同，是全新的设计。它用扁平化风格和可视化界 面来展示 TDH 集群服务状态个指标等。
新的热点图功能
Transwarp Data Hub 4.1 安装和使用手册
13
3
3.1 硬件环境要求
必须具备以下最低配置 2 颗 6 核心或以上带超线程 x86 指令集 CPU 的服务器 64GB 以上内存 2 个 300G 以上的硬盘做 RAID1，作为系统盘 4 个以上的 600GB 容量以上的 硬盘作为数据存放硬盘 2 个千兆以上网卡
日志查询
日志页面可以根据不同的过滤条件查询服务日志。
审计查询
审计查询页面用来审计用户的操作。
Transwarp Data Hub 4.1 安装和使用手册
12
NTP 管理
NTP 管理模块用于管理内部和外部的 NTP 服务器，同时可以查看每个节点与 NTP 服务器的时间差。
2.2 新的加强部分
新版本在以下功能方面进行了更新。
安装准备
TDH 提供一个集群服务，集群系统必须是 3 台以上物理服务器组成，每台服务器
3.2 软件环境要求
所有集群中的节点，必须运行于同一操作系统。Transwarp® Data Hub 支持以下 操作系统见。 表1
操作系统 Red Hat Enterprise Linux CentOS SUSE* Linux Enterprise Server 版本 6.1 、6.2 、6.3 、6.4 、6.5 6.1 、6.2 、6.3 、6.4 、6.5 11 SP1 、11 SP2