GreenPlum数据库详细安装过程

合集下载

greenplum gdfdist使用手册

Greenplum GDFDist是一个用于Greenplum数据库的高速数据传输工具。它可以在分布式环境中实现数据的快速、可靠的传输和分发。本手册将详细介绍如何使用GDFDist来实现数据传输和分发的步骤和方法。

1. 安装和配置GDFDist

- 下载GDFDist软件包并解压。

- 配置GDFDist的环境变量，确保路径正确设置。

- 配置GDFDist的节点，包括主节点和从节点。

- 配置GDFDist的日志文件路径和日志级别。

2. 数据传输和分发

- 创建一个数据分发任务，定义源和目标。

- 指定数据传输的方式，可以选择复制模式或切片模式。

- 使用Greenplum命令行工具连接到数据库。

- 执行数据传输命令，将数据从源传输到目标。

3. 监控和管理任务

- 使用GDFDist提供的监控命令来查看任务的状态和进度。

- 使用GDFDist提供的管理命令来启动、停止、删除任务。

- 检查日志文件以查看任何错误或警告信息。

4. 最佳实践和注意事项

- 在传输大量数据之前，确保目标节点上有足够的存储空间。

- 维护良好的网络连接以确保数据传输的稳定性和速度。

- 定期备份GDFDist的配置文件和日志文件，以便恢复和故障排除。

总结：

通过本手册，您将学习到如何安装、配置和使用Greenplum GDFDist进行数据传输和分发的方法。了解如何监控和管理任务，并掌握一些最佳实践和注意事项，以确保数据传输的成功和可靠性。希望本手册能帮助您充分利用Greenplum GDFDist来应对数据分发的需求。

greenplum单机安装

greenplum单机安装环境：

服务器版本：centos 6.5

数据库版本：greenplum-db-4.2.8.5-build-1-RHEL5-x86_64.zip

1.创建⽤户和组gpadmin

groupadd -g 3030 gpadmin

useradd -u 3030 gpadmin -g gpadmin -d /home/gpadmin

passwd gpadmin

配置内核参数，添加如下内容：

vi /etc/sysctl.conf

#By greenplum

net.ipv4.ip_forward = 0

net.ipv4.conf.default.accept_source_route = 0

kernel.sysrq = 1

kernel.core_uses_pid = 1

net.ipv4.tcp_syncookies = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.sem = 250 64000 100 512

kernel.shmmax = 500000000

kernel.shmmni = 4096

kernel.shmall = 4000000000

kernel.sem = 250 64000 100 512

net.ipv4.tcp_tw_recycle=1

net.ipv4.tcp_max_syn_backlog=4096

dev_max_backlog=10000

vm.overcommit_memory=2

net.ipv4.conf.all.arp_filter = 1

gpexpand用法 -回复

gpexpand用法-回复

关于gpexpand的用法，我将逐步介绍该工具的使用流程和步骤。gpexpand是一个用于扩展Greenplum数据库的工具，它可以帮助用户增加集群的规模，以提高数据库的性能和可扩展性。下面是关于gpexpand 用法的详细步骤：

第一步：安装和配置Greenplum数据库扩展工具。

在开始使用gpexpand之前，首先需要安装和配置Greenplum数据库。确保已经完成了Greenplum数据库的安装和初始化，并且具备对数据库进行管理的权限。

第二步：数据库备份

在开始试图使用gpexpand来扩展Greenplum数据库之前，务必进行数据库的备份。由于gpexpand会对数据库的结构进行改变，备份可以帮助我们在出现问题时进行恢复。

第三步：创建扩展计划

创建一个扩展计划的过程需要考虑数据库的规模和需要扩展的容量。一个好的计划应该包括以下几个关键方面：

- 扩展的目的和范围

- 新增加的节点或主机的选择

- 数据迁移的过程和策略

- 数据库配置的修改

第四步：修改gpexpand配置文件

gpexpand使用一个配置文件来指导扩展操作。修改配置文件，配置文件中的一些关键参数包括：

- 扩展计划的名称

- 新增节点或主机的IP地址

- 数据库备份的路径和文件名

- 数据库的参数设置

第五步：运行gpexpand

在配置好gpexpand配置文件之后，可以使用gpexpand工具来执行扩展操作。运行以下命令启动扩展过程：

gpexpand -f <config_file>

其中，`<config_file>`是你所修改的gpexpand配置文件的路径和文件名。

GreenPlum数据库详细安装过程

1.1.GreenPlum数据库概述........................................

1.2.GreenPlum数据库架构原理....................................

2.SUSELinuxEnterprise1164-bit操作系统安装过程.....................

2.1.初始化阶段 .................................................

2.2.系统分区 ...................................................

2.3.软件选择和系统任务 .........................................

2.4.语言选择 ...................................................

2.5.Kdump设置..................................................

2.6.安装过程 ...................................................

3.配置网卡IP......................................................

4.GreenPlum中Master配置过程......................................

【PG】Greenplum-db-6.2.1的安装部署

⽬录

前置条件:

Greenplum⼀般集群，需要⼀个Master和三个Segment。这篇⽂档，只讲部署，不讲基本概念。

IP地址规划：

Mater:172.30.200.100

Segment：172.30.200.101,172.30.200.102,172.30.200.103

1配置host⽂件(所有节点)

[root@arpmdw ~]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

172.30.200.100 arpmdw

172.30.200.101 arpsdw1

172.30.200.102 arpsdw2

172.30.200.103 arpsdw3

当然每个主机，都需要配置⾃⼰的hostname，这⾥不赘述了。

2 配置⽤户

groupadd gpadmin

useradd gpadmin -g gpadmin

passwd gpadmin

3 配置/etc/sysctl.conf⽂件

fs.aio-max-nr = 1048576

fs.file-max = 6815744

kernel.shmall = 2147483648

kernel.shmmax = 68719476736

Greenplum环境安装配置步骤

分类：Greenplum 2014-03-10 10:23 1145人阅读评论(0) 收藏举报hadoop数据库emcgreenplumdatabase

1、环境准备

服务器分配

192.168.100.101--mdw

192.168.100.11--smdw

192.168.100.12--sdw1

192.168.100.13--sdw2

ms1与ms2之间的心跳ip配置

10.10.10.1--mdw

10.10.10.2--smdw

2、修改hosts文件(所有主机hosts文件必须全部修改）

vi /etc/hosts

192.168.100.101 mdw

192.168.100.11 smdw

192.168.100.12 sdw1

192.168.100.13 sdw2

3、关闭iptables和selinux

[root@mdw ~]# serviceiptables stop

[root@mdw ~]#

[root@mdw ~]# chkconfigiptables --list

iptables 0:鍏抽棴1:鍏抽棴2:鍏抽棴3:鍏抽棴4:鍏抽棴5:鍏抽棴6:鍏抽棴[root@mdw ~]# export LANG=zh_CN

[root@mdw ~]# chkconfigiptables --list

iptables 0:关闭1:关闭2:关闭3:关闭4:关闭5:关闭6:关闭

[root@mdw ~]# cat /etc/selinux/config

GreenPlum 数据库集群安装说明及使用手册v1.0

GreenPlum数据库集群

安装说明及使用手册

开心十二月总结

****年**月**日

1体系结构介绍 (4)

2安装 (10)

2.1安装 (10)

2.1.1安装准备 (10)

2.1.2安装gp-db (11)

2.1.3配置通讯 (13)

2.1.4建立数据存储池 (17)

2.1.5同步系统时间 (17)

2.1.6验证安装是否成功 (17)

2.1.7初始化 (17)

2.1.8数据库的启停 (18)

2.2Master双机热备 (19)

2.3Segment节点互备 (20)

3GP数据库的使用 (22)

3.1pgAdminIII工具 (22)

3.1.1安装和第一次使用pgAdminIII (22)

3.1.2主窗体 (23)

3.1.3导航菜单 (23)

3.1.4工具栏介绍 (24)

3.1.5数据库与表的创建 (25)

3.1.6使用pgAdminIII备份数据库 (25)

3.2JDBC配置 (26)

3.3GP数据库两个重要概念 (27)

3.3.1什么是Schema (27)

3.3.2数据分布存储 (28)

3.4GP的SQL语法 (28)

3.4.1数据加载 (28)

3.4.2SQL并行查询 (32)

3.4.3聚合函数 (32)

3.4.4索引 (32)

3.4.5分区 (34)

3.4.6函数 (35)

4维护数据库 (39)

4.1数据库启动gpstart (39)

4.2数据库停止gpstop (41)

4.3查看实例配置和状态 (41)

4.4查看数据库运行状态gpstate (42)

4.5查看用户会话和提交的查询等信息 (43)

Greenplum详细安装

Greenplum安装

一、环境准备

VMWARE6.5虚拟机上

Redhat5(虚拟两个32位的redhatOS)

每个虚拟OS的配置512M内存，8G硬盘容量

二、LINUX准备过程

1.查看OS的位数,确定GP的版本

#getconf LONG_BIT

#32

2.官网上下载32位的Greenplum安装文件

greenplum-db-3[1].3.6.1-build-1-RHEL5-i386.zip，大小44M，解压后也差不多44M，里面包含两个文件：一个是安装文件，一个是安装指导

3.解压命令：# unzip greenplum-db-3[1].3.6.1-build-1-RHEL5-i386.zip

在各台GP主机上编辑/etc/sysctl.conf文件，替换或新增以下参数,重启：

kernel.shmmax = 500000000

kernel.shmmni = 4096

kernel.shmall = 4000000000

kernel.sem = 250 64000 100 512

net.ipv4.tcp_tw_recycle=1

net.ipv4.tcp_max_syn_backlog=4096

dev_max_backlog=10000

vm.overcommit_memory=2

net.ipv4.ip_local_port_range = 1025 65535--文档上没有，新增的

在各台主机上同样编辑/etc/security/limits.conf

* soft nofile 65536

* hard nofile 65536

高效使用Greenplum：入门、进阶与数据中台

17.1项目背景 17.2项目需求 17.3项目技术实现 17.4智能数据应用 17.5典型技术方案分享 17.6典型业务方案分享 17.7项目总结
精彩摘录
这是《高效使用Greenplum：入门、进阶与数据中台》的读书笔记模板，可以替换为自己的精彩内容摘录。
作者介绍
这是《高效使用Greenplum：入门、进阶与数据中台》的读书笔记模板，暂无该书作者的介绍。
谢谢观看
这不仅是一本从原理到使用、从入门到进阶讲解Greenplum的著作，而且是一本指导企业用更省钱、更高效地方式使用Greenplum构建企业级数据仓库和数据中台的著作。作者在数据架构和数据仓库一线工作10余年，积累了丰富的项目经验，他用浅显易懂的语言、贴近生产环境的案例、丰富的示意图例写作了本书，能帮助读者快速掌握具有实战价值的知识。具体地，阅读本书你将收获如下内容：掌握数据仓库技术的发展历程和发展方向；理解MPP架构的架构特点和实现逻辑；Greenplum数据库的安装和基本操作；Greenplum数据库的工作原理；SQL 语句从入门到开发实战；Greenplum数据库ETL相关功能的具体用途；机器学习、文本处理、图计算、GIS等的入门知识；掌握Greenplum数据库的运维和监控要点；掌握Greenplum数据库的性能优化；数据中台的理念和建设路径；数据中台从接口到智能化应用的项目实战；零售行业数据中台的项目实战案例。

gpexpand用法 -回复

gpexpand用法-回复

gpexpand是一个用于扩展Greenplum数据库集群的工具，它可以自动进行数据迁移和重新分配任务以优化集群的性能和容量利用率。本文将逐步解释gpexpand的用法并提供详细指南。

第一步：安装和配置gpexpand

在使用gpexpand之前，首先需要安装和配置Greenplum数据库。确保所有节点已安装并可已正常运行。然后，进行以下操作来安装和配置gpexpand：

1. 下载gpexpand工具包：可以从Pivotal官方网站（

2. 解压缩工具包：使用解压缩工具将下载的gpexpand工具包解压缩到合适的目录。

3. 创建扩展配置文件：在解压缩的gpexpand工具包中，找到并编辑`expansion_schema.ini`文件。根据你的需求，配置文件应该包含一个或多个扩展节点。

4. 配置扩展节点：在`expansion_schema.ini`文件中，指定要用于扩展的节点。确保配置文件中的每个节点都包含正确的主机名、端口号和数据库名称。

5. 运行配置脚本：在命令行中，进入gpexpand工具包目录并运行

`configure_tool.sh`脚本。该脚本将检查配置文件的完整性并生成一个.sql 文件。

6. 执行SQL文件：使用Greenplum数据库客户端登录到主数据库节点，并执行之前生成的.sql文件。这将创建必要的函数、存储过程和表。

第二步：执行扩展操作

一旦安装和配置完成，就可以执行实际的扩展操作。以下是使用gpexpand 的基本步骤：

1. 启动扩展工具：在命令行中，进入gpexpand工具包目录并运行扩展工具。例如，运行`gpexpand_tool.py`。

GreenPlum安装笔记_计算机软件及应用_IT计算机_专业资料

2015/6/13 22:51 GP架构_1

与GreenPlum类似的产品:

IBM NITIZA(国内没人用)

Terndata

2007年被EMC收购

GreenPlum国外市场：纳斯达克，skype

GreenPlum国内市场：阿里，民生银行，深发展银行，电信业（MPP架构）

MPP架构：海量并行处理Massively Parallel Processing

share nothing 模式，每一个节点不进行资源共享，集群中每个节点有独立的CPU、内存、存储、总线等。

SMP架构：symmetric mass processing 对称多处理系统：耦合的多处理系统，共享总线、内存、IO资源，传统的ORCKLE，DB2是非常典型的产品

ORACLE_RAC 处于半共享状态，各节点连接共享存储，所以不能算MPP

GreenPlum 基于PostGreSQL8.2 之前在国内使用比较少，在国外使用广泛。

Mysql与PostGreSQL地位同等，但mysql被Oracle收购之后没落。

GreenPlum 在函数、dataloading、存储过程等继承了PostGreSQL

GP增加BI和数据仓库的支持：

A、外部表、并行加载（优势明显）

B、资源队列管理的优化，对角色、用户、组进行资源优化分配，管理。

C、GP在查询优化器的增强、分布支持、分区表、执行计划的优化、空间回收、数据分析，简化调优，架构时对称、数据分布均匀的话，可以免去调优

Master Host：

访问系统的入口，所有请求都需要从Master Host访问，正常来讲，管理员也不可以直接访问SegmentHost ，系统中只允许直接访问MasterHost ，单独操作SegmentHost 影响一致性和完整性。

gpload装载流程

以gpload装载流程为标题，我们来介绍一下gpload的装载流程。

一、什么是gpload？

gpload是Greenplum数据库中用于数据导入的工具。它能够以高速、高效的方式将数据加载到Greenplum数据库中，是一个十分方便的数据导入工具。

二、gpload的基本原理

gpload的基本原理是通过解析一个特定格式的配置文件，将数据从外部文件加载到Greenplum数据库中。配置文件中包含了数据源、目标表、字段映射关系等信息，通过解析配置文件，gpload可以自动完成数据导入的过程。

三、gpload的装载流程

1. 创建配置文件

我们需要创建一个配置文件，该文件包含了数据源、目标表、字段映射关系等信息。在配置文件中，我们需要指定数据源的位置、数据源的格式、目标表的名称以及字段映射关系等。

2. 配置文件解析

gpload会读取配置文件，并解析其中的内容。它会根据配置文件中的信息，确定数据源的位置、数据源的格式以及目标表的名称等。

3. 数据读取

gpload会根据配置文件中指定的数据源位置和数据源格式，读取数据源中的数据。它可以支持各种常见的数据格式，例如CSV、文本文件等。

4. 数据转换

在将数据加载到目标表之前，gpload会对数据进行转换。它会根据配置文件中指定的字段映射关系，将数据源中的数据转换成目标表中对应字段的格式。

5. 数据加载

gpload将转换后的数据加载到目标表中。它会根据配置文件中指定的目标表名称和字段映射关系，将数据写入到相应的字段中。

四、gpload的优势

gp数据库安装

#gp installation

vi /etc/sysctl.conf

xfs_mount_options = rw,noatime,inode64,allocsize=16m sysctl.kernel.shmmax = 500000000

sysctl.kernel.shmmni = 4096

sysctl.kernel.shmall = 4000000000

sysctl.kernel.sem = 250 512000 100 2048

sysctl.kernel.sysrq = 1

sysctl.kernel.core_uses_pid = 1

sysctl.kernel.msgmnb = 65536

sysctl.kernel.msgmax = 65536

sysctl.kernel.msgmni = 2048

.ipv4.tcp_syncookies = 1

.ipv4.ip_forward = 0

.ipv4.conf.default.accept_source_route = 0 .ipv4.tcp_tw_recycle = 1

.ipv4.tcp_max_syn_backlog = 4096

.ipv4.conf.all.arp_filter = 1

.ipv4.ip_local_port_range = 1025 65535 dev_max_backlog = 10000

sysctl.vm.overcommit_memory = 2

vi /etc/security/limits.conf

* soft nofile 65536

部署greenplum数据库

图1 添加环境变量

e x

M A S T E R

Greenplum数据库最佳实践

介绍

本文介绍Pivotal Greenplum Database数据库以下简称：Greenplum数据库,或GPDB的最佳实践;

最佳实践是指能持续产生比其他方法更好结果的方法或者技术,它来自于实战经验,并被证实了遵循这些方法可以获得可靠的预期结果;本最佳实践旨在通过利用所有可能的知识和技术为正确使用GPDB 提供有效参考;

本文目的不是要涵盖整个产品或者产品特性,而是概述GPDB实践中最重要的因素;本文不涉及依赖于GPDB具体特性的边缘用例,后者需要精通数据库特性和您的环境,包括SQL访问、查询执行、并发、负载和其他因素;

通过掌握这些最佳实践知识,会增加GPDB集群在维护、支持、性能和可扩展性等方面的成功率;

第一章最佳实践概述

本部分概述了Greenplum数据库最佳实践所涉及的概念与要点;

数据模型

GPDB 是一个基于大规模并行处理MPP和无共享架构的分析型数据库;这种数据库的数据模式与高度规范化的事务性SMP数据库显着不同;通过使用非规范化数据库模式,例如具有大事实表和小维度表的星型或者雪花模式,GPDB在处理MPP分析型业务时表现优异;

跨表关联JOIN时字段使用相同的数据类型;

详见数据库模式设计后续章节

堆存储和追加优化存储Append-Optimized,下称AO

若表和分区表需要进行迭代式的批处理或者频繁执行单个UPDATE、DELETE或INSERT操作,使用堆存储;

若表和分区表需要并发执行UPDATE、DELETE或INSERT操作,使用堆存储;

若表和分区表在数据初始加载后更新不频繁,且仅以批处理方式插入数据,则使用AO存储;

Linux下安装Greenplum实录

一、配置系统环境

A. 以root用户登录系统

B. 编辑/etc/sysctl.conf，添加以下内容：kernel.shmmax = 500000000

kernel.shmmin = 4096

kernel.shmall = 4000000000

kernel.sem = 250 64000 100 512

net.ipv4.tcp_tw_recycle=1

net.ipv4.tcp_max_syn_backlog=4096

dev_max_backlog=10000

net.ipv4.conf.default.arp_filter=1

net.ipv4.conf.all.arp_filter=1

vm.overcommit_memory=2

C. 编辑/etc/security/limits.conf，添加以下内容：

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072

D. 下载并安装greenplum-db。

wget

http://192.168.47.2:8080/greenplum-db-3.3.6.1-build-1-RHEL5-i386.zip unzip greenplum-db-3.3.6.1-build-1-RHEL5-i386.zip

rm -rf greenplum-db-3.3.6.1-build-1-RHEL5-i386.zip

./greenplum-db-3.3.6.1-build-1-RHEL5-i386.bin