Greenplum安装手册--完善版
greenplum gdfdist使用手册
greenplum gdfdist使用手册Greenplum GDFDist是一个用于Greenplum数据库的高速数据传输工具。
它可以在分布式环境中实现数据的快速、可靠的传输和分发。
本手册将详细介绍如何使用GDFDist来实现数据传输和分发的步骤和方法。
1. 安装和配置GDFDist- 下载GDFDist软件包并解压。
- 配置GDFDist的环境变量，确保路径正确设置。
- 配置GDFDist的节点，包括主节点和从节点。
- 配置GDFDist的日志文件路径和日志级别。
2. 数据传输和分发- 创建一个数据分发任务，定义源和目标。
- 指定数据传输的方式，可以选择复制模式或切片模式。
- 使用Greenplum命令行工具连接到数据库。
- 执行数据传输命令，将数据从源传输到目标。
3. 监控和管理任务- 使用GDFDist提供的监控命令来查看任务的状态和进度。
- 使用GDFDist提供的管理命令来启动、停止、删除任务。
- 检查日志文件以查看任何错误或警告信息。
4. 最佳实践和注意事项- 在传输大量数据之前，确保目标节点上有足够的存储空间。
- 维护良好的网络连接以确保数据传输的稳定性和速度。
- 定期备份GDFDist的配置文件和日志文件，以便恢复和故障排除。
总结：通过本手册，您将学习到如何安装、配置和使用Greenplum GDFDist进行数据传输和分发的方法。
了解如何监控和管理任务，并掌握一些最佳实践和注意事项，以确保数据传输的成功和可靠性。
希望本手册能帮助您充分利用Greenplum GDFDist来应对数据分发的需求。
greenplum单机安装
greenplum单机安装环境：服务器版本：centos 6.5数据库版本：greenplum-db-4.2.8.5-build-1-RHEL5-x86_64.zip1.创建⽤户和组gpadmingroupadd -g 3030 gpadminuseradd -u 3030 gpadmin -g gpadmin -d /home/gpadminpasswd gpadmin配置内核参数，添加如下内容：vi /etc/sysctl.conf#By greenplumnet.ipv4.ip_forward = 0net.ipv4.conf.default.accept_source_route = 0kernel.sysrq = 1kernel.core_uses_pid = 1net.ipv4.tcp_syncookies = 1kernel.msgmnb = 65536kernel.msgmax = 65536kernel.sem = 250 64000 100 512kernel.shmmax = 500000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 64000 100 512net.ipv4.tcp_tw_recycle=1net.ipv4.tcp_max_syn_backlog=4096dev_max_backlog=10000vm.overcommit_memory=2net.ipv4.conf.all.arp_filter = 1以上参数可以根据⾃⼰系统配置做适当修改⼿⼯执⾏命令，让参数⽣效[root@gpmaster ~]# sysctl -p在limits.conf⽂件中添加如下配置[root@gpmaster ~]# vi /etc/security/limits.conf# End of file* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard nproc 131072配置⽤户ssh⽤户⽆密码登录，单机也得配置[root@gpmaster ~]# su - gpadmin[gpadmin@gpmaster ~]$ mkdir ~/.ssh[gpadmin@gpmaster ~]$ chmod 700 ~/.ssh[gpadmin@gpmaster ~]$ cd .ssh/[gpadmin@gpmaster .ssh]$ ssh-keygen -t rsa[gpadmin@gpmaster .ssh]$ ssh gpmaster cat /home/gpadmin/.ssh/id_rsa.pub >>authorized_keys [gpadmin@gpmaster .ssh]$chmod 600 authorized_keys[gpadmin@gpmaster .ssh]$ ssh gpmaster date2.安装GP软件⽅式⼀：[root@gpmaster ~]# unzip greenplum-db-4.2.8.5-build-1-RHEL5-x86_64.zip[root@gpmaster ~]# ./greenplum-db-4.2.8.5-build-1-RHEL5-x86_64.bin⽅式⼆：[root@gpmaster ~]# rpm -ivh greenplum-db-4.2....创建instance需要的⽬录[root@gpmaster ~]# mkdir -p /app/master[root@gpmaster ~]# mkdir -p /app/data/gp1[root@gpmaster ~]# mkdir -p /app/data/gp2[root@gpmaster ~]# mkdir -p /app/data/gp3[root@gpmaster ~]# mkdir -p /app/data/gp4修改⽬录属主：[root@gpmaster ~]# chown -R gpadmin:gpadmin /usr/local/greenplum-db*[root@gpmaster ~]# chown -R gpadmin:gpadmin /app/master[root@gpmaster ~]# chown -R gpadmin:gpadmin /app/data/gp1[root@gpmaster ~]# chown -R gpadmin:gpadmin /app/data/gp2[root@gpmaster ~]# chown -R gpadmin:gpadmin /app/data/gp3[root@gpmaster ~]# chown -R gpadmin:gpadmin /app/data/gp4修改gpadmin⽤户环境配置：[root@gpmaster ~]# su - gpadmin[gpadmin@gpmaster ~]$ vi .bash_profilesource /usr/local/greenplum-db/greenplum_path.shexport MASTER_DATA_DIRECTORY=/app/master/gpseg-1export PGPORT=5432export PGUSER=gpadminexport PGDATABASE=gpmaster⽣效：[gpadmin@gpmaster ~]$ source .bash_profile编辑all_hosts_file⽂件，添加如下内容：[gpadmin@gpmaster ~]$ vi all_hosts_filegpmaster执⾏如下命令验证⽤户等效性[gpadmin@gpmaster ~]$ gpssh-exkeys -f all_hosts_file3.初始化系统：编辑系统初始化的参数⽂件，这个⽂件的编辑可以使⽤模版，模板⽂件所在⽬录如下：[gpadmin@gpmaster ~]$ cp /usr/local/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config /home/gpadmin/编辑gp参数⽂件，修改如下配置：[gpadmin@gpmaster ~]$ vi gpinitsystem_configdeclare -a DATA_DIRECTORY=(/app/data/gp1 /app/data/gp2 /app/data/gp3 /app/data/gp4)MASTER_HOSTNAME=gpmasterMASTER_DIRECTORY=/app/masterDATABASE_NAME=gpmaster编辑seg_hosts_file⽂件[gpadmin@gpmaster ~]$ vi seg_hosts_filegpmaster执⾏初始化系统命令：[gpadmin@gpmaster ~]$ gpinitsystem -c gpinitsystem_config -h seg_hosts_file系统开始初始化，之后会看到如下提⽰：Continue with Greenplum creation Yy/Nn>输⼊ Y ，按回车，系统会初始化完成安装结束可以连接GP数据库了：[gpadmin@gpmaster ~]$ psql -d gpmasterpsql (8.2.15)Type "help" for help.gpmaster=#创建数据库[gpadmin@gpmaster ~]$ createdb testDB -E utf-8给数据库权限[gpadmin@gpmaster ~]$ psql -d gpmasterpsql (8.2.15)Type "help" for help.gpmaster=# \c testDBYou are now connected to database "testDB" as user "gpadmin".testDB=# alter role gpadmin with password 'gpadmin';远程权限[gpadmin@gpmaster ~]$ cd $MASTER_DATA_DIRECTORY/[gpadmin@gpmaster gpseg-1]$ lsbase pg_distributedlog pg_stat_tmp pg_xlogglobal pg_distributedxidmap pg_subtrans postgresql.confgp_dbid pg_hba.conf pg_tblspc postmaster.opts gpperfmon pg_ident.conf pg_twophase postmaster.pidpg_changetracking pg_log pg_utilitymodedtmredopg_clog pg_multixact PG_VERSION[gpadmin@gpmaster gpseg-1]$[gpadmin@gpmaster gpseg-1]$ vi pg_hba.confhost testDB gpadmin 192.168.96.1/32 md5通过gpstop -u命令使配置⽣效[gpadmin@gpmaster gpseg-1]$ gpstop -u通过其他机器登录数据库$ psql -h192.168.96.128 -p5432 -d testDB -Ugpadmin。
Greenplum环境安装配置步骤
Greenplum环境安装配置步骤分类：Greenplum 2021-03-10 10:23 1145人阅读评论(0) 收藏举报hadoop数据库emcgreenplumdatabase1、环境准备服务器分配192.168.100.101--mdw 192.168.100.11--smdw 192.168.100.12--sdw1192.168.100.13--sdw2ms1与ms2之间的心跳ip配置 10.10.10.1--mdw 10.10.10.2--smdw2、修改hosts文件(所有主机hosts文件必须全部修改）vi /etc/hosts192.168.100.101 mdw 192.168.100.11 smdw 192.168.100.12 sdw1 192.168.100.13 sdw23、关闭iptables和selinux[root@mdw ~]# serviceiptables stop [root@mdw ~]# [root@mdw ~]# [root@mdw ~]# [root@mdw ~]#[root@mdw ~]# chkconfigiptables --listiptables 0:��抽�� 1:��抽�� 2:��抽��3:��抽�� [root@mdw ~]# export LANG=zh_CN [root@mdw ~]# chkconfigiptables --listiptables 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关闭[root@mdw ~]# cat /etc/selinux/config# This file controls the state of SELinux on the system. # SELINUX= can take one of these three values:4:��抽��5:��抽�� 6:��抽�� # enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. SELINUX=disabled# SELINUXTYPE= can take one of these two values: # targeted - Targeted processes are protected, # mls - Multi Level Security protection. SELINUXTYPE=targeted[root@mdw ~]# setenforce 04、修改系统参数 1）vi /etc/sysctl.conf [root@mdw ~]# sysctl -pnet.ipv4.ip_forward = 0net.ipv4.conf.default.rp_filter = 1net.ipv4.conf.default.accept_source_route = 0 kernel.sysrq = 1kernel.core_uses_pid = 1 net.ipv4.tcp_syncookies = 1error: \error: \error: \kernel.msgmnb = 65536 kernel.msgmax = 65536 kernel.shmmax = 68719476736 kernel.shmall = 4294967296error: \vm.overcommit_memory = 2error: \net.ipv4.tcp_max_syn_backlog = 4096 net.ipv4.conf.all.arp_filter = 1error: \dev_max_backlog = 10000 error: \kernel.shmmni = 4096kernel.sem = 250 512000 100 2048 net.ipv4.tcp_tw_recycle = 1net.ipv4.conf.default.arp_filter = 1kernel.msgmni = 20482) vi /etc/security/limits.conf* softnofile 65536 * hardnofile 65536 * softnproc 131072 * hardnproc 131072在RHEL6.x版本需要修改文件 /etc/security/limits.d/90-nproc.conf，增加如下内容： * softnproc 131072 * hardnproc 1310724、修改完系统参数后重启服务器5、创建gpadmin用户 useraddgpadmin6、安装GP1) 上传安装文件解压缩 2）执行安装文件[root@mdw GPDB]# ./greenplum-db-4.2.6.3-build-2-RHEL5-x86_64.binI HAVE READ AND AGREE TO THE TERMS OF THE ABOVE EMC SOFTWARE LICENSE AGREEMENT.****************************************************************************** ** Do you accept the EMC Database license agreement? [yes|no]****************************************************************************** ** yes****************************************************************************** ** Provide the installation path for Greenplum Database or press ENTER to accept the default installation path: /usr/local/greenplum-db-4.2.6.3****************************************************************************** **/home/gpadmin/GPDB/install****************************************************************************** ** Install Greenplum Database into ? [yes|no]****************************************************************************** ** yes****************************************************************************** ** [Optional] Provide the path to a previous installation of Greenplum Database, or press ENTER to skip this step. e.g. /usr/local/greenplum-db-4.1.1.3This installation step will migrate any Greenplum Database extensions from the provided path to the version currently being installed. This step is optional and can be run later with:gppkg --migrate /home/gpadmin/GPDB/install****************************************************************************** **Extracting product to /home/gpadmin/GPDB/installSkipping migration of Greenplum Database extensions...******************************************************************************** Installation complete.Greenplum Database is installed in /home/gpadmin/GPDB/installGreenplum Database documentation is available for download at.****************************************************************************** ** [root@mdw GPDB]#[root@mdw install]# source greenplum_path.sh [root@mdw install]#3）准备allnotes文件 [root@mdw install]# pwd /home/gpadmin/GPDB/install [root@mdw install]# [root@mdw install]# [root@mdw install]# [root@mdwinstall]# lsallnotes bin demo docs etc ext GPDB-LICENSE.txt greenplum_path.sh include lib LICENSE.thirdparty sbin share[root@mdw install]# catallnotes sdw1 sdw2 smdw4）建立多机互信[root@mdw install]# gpssh-exkeys -f allnotes[STEP 1 of 5] create local ID and authorize on local host .../root/.ssh/id_rsa file exists ... key generation skipped[STEP 2 of 5] keyscan all hosts and update known_hosts file[STEP 3 of 5] authorize current user on remote hosts ... send tosdw1 ... send to sdw2 ****** Enter password for sdw2: ... send to smdw[STEP 4 of 5] determine common authentication file content[STEP 5 of 5] copy authentication files to all remote hosts ... finished key exchange with sdw1[ERROR] unable to copy authentication files to sdw2 lost connection[ERROR] unable to copy authentication files to smdw lost connection上述报错解决办法：删除mdw /root/.ssh/目录下的内容重新执行gpssh-exkeys -f allnotes5）创建存放数据的目录[root@mdw GPDB]# mkdir data [root@mdw GPDB]# mkdir data/master[root@mdw GPDB]# chowngpadmin:gpadmin data -R [root@mdw GPDB]#感谢您的阅读，祝您生活愉快。
GreenPlum使用手册
GreenPlum数据库集群安装说明及使用手册开心十二月总结****年**月**日目录1体系结构介绍 (4)2安装 (10)2.1安装 (10)2.1.1安装准备 (10)2.1.2安装gp-db (11)2.1.3配置通讯 (13)2.1.4建立数据存储池 (17)2.1.5同步系统时间 (17)2.1.6验证安装是否成功 (17)2.1.7初始化 (17)2.1.8数据库的启停 (18)2.2Master双机热备 (19)2.3Segment节点互备 (20)3GP数据库的使用 (22)3.1pgAdminIII工具 (22)3.1.1安装和第一次使用pgAdminIII (22)3.1.2主窗体 (23)3.1.3导航菜单 (23)3.1.4工具栏介绍 (24)3.1.5数据库与表的创建 (25)3.1.6使用pgAdminIII备份数据库 (25)3.2JDBC配置 (26)3.3GP数据库两个重要概念 (27)3.3.1什么是Schema (27)3.3.2数据分布存储 (28)3.4GP的SQL语法 (28)3.4.1数据加载 (28)3.4.2SQL并行查询 (32)3.4.3聚合函数 (32)3.4.4索引 (32)3.4.5分区 (34)3.4.6函数 (35)4维护数据库 (39)4.1数据库启动gpstart (39)4.2数据库停止gpstop (41)4.3查看实例配置和状态 (41)4.4查看数据库运行状态gpstate (42)4.5查看用户会话和提交的查询等信息 (43)4.6查看数据库、表占用空间 (43)4.7查看数据分布情况 (44)4.8实例恢复gprecoverseg (44)4.9查看锁信息 (44)4.10数据库的备份与恢复 (44)5调优、排错 (44)6附件 (44)6.1DBA常用命令 (44)7Q&A (45)7.1不支持触发器 (45)7.2更新操作中的若干问题 (45)1体系结构介绍Greenplum数据库产品——下一代数据仓库引擎和分析方法Greenplum公司是企业数据云计算解决方案的创始人，为客户提供灵活的数据商业智能和分析方法。
Greenplum环境安装配置步骤
Greenplum环境安装配置步骤分类：Greenplum 2014-03-10 10:23 1145人阅读评论(0) 收藏举报hadoop数据库emcgreenplumdatabase1、环境准备服务器分配192.168.100.101--mdw192.168.100.11--smdw192.168.100.12--sdw1192.168.100.13--sdw2ms1与ms2之间的心跳ip配置10.10.10.1--mdw10.10.10.2--smdw2、修改hosts文件(所有主机hosts文件必须全部修改）vi /etc/hosts192.168.100.101 mdw192.168.100.11 smdw192.168.100.12 sdw1192.168.100.13 sdw23、关闭iptables和selinux[root@mdw ~]# serviceiptables stop[root@mdw ~]#[root@mdw ~]#[root@mdw ~]#[root@mdw ~]#[root@mdw ~]# chkconfigiptables --listiptables 0:鍏抽棴1:鍏抽棴2:鍏抽棴3:鍏抽棴4:鍏抽棴5:鍏抽棴6:鍏抽棴[root@mdw ~]# export LANG=zh_CN[root@mdw ~]# chkconfigiptables --listiptables 0:关闭1:关闭2:关闭3:关闭4:关闭5:关闭6:关闭[root@mdw ~]# cat /etc/selinux/config# This file controls the state of SELinux on the system.# enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing.# disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of these two values:# targeted - Targeted processes are protected,# mls - Multi Level Security protection.SELINUXTYPE=targeted[root@mdw ~]# setenforce 04、修改系统参数1）vi /etc/sysctl.conf[root@mdw ~]# sysctl -pnet.ipv4.ip_forward = 0net.ipv4.conf.default.rp_filter = 1net.ipv4.conf.default.accept_source_route = 0kernel.sysrq = 1kernel.core_uses_pid = 1net.ipv4.tcp_syncookies = 1error: "net.bridge.bridge-nf-call-ip6tables" is an unknown key error: "net.bridge.bridge-nf-call-iptables" is an unknown key error: "net.bridge.bridge-nf-call-arptables" is an unknown key kernel.msgmnb = 65536kernel.msgmax = 65536kernel.shmmax = 68719476736kernel.shmall = 4294967296error: "kernel.msgmin" is an unknown keyvm.overcommit_memory = 2error: "net.ipv4.cp_tw_recycle" is an unknown keynet.ipv4.tcp_max_syn_backlog = 4096net.ipv4.conf.all.arp_filter = 1error: "Invalid argument" setting key "net.ipv4.ip_local_port_range" dev_max_backlog = 10000error: "xfs_mount_options" is an unknown keykernel.shmmni = 4096kernel.sem = 250 512000 100 2048net.ipv4.tcp_tw_recycle = 1kernel.msgmni = 20482) vi /etc/security/limits.conf* softnofile 65536* hardnofile 65536* softnproc 131072* hardnproc 131072在RHEL6.x版本需要修改文件/etc/security/limits.d/90-nproc.conf，增加如下内容：* softnproc 131072* hardnproc 1310724、修改完系统参数后重启服务器5、创建gpadmin用户useraddgpadmin6、安装GP1) 上传安装文件解压缩2）执行安装文件[root@mdw GPDB]# ./greenplum-db-4.2.6.3-build-2-RHEL5-x86_64.binI HAVE READ AND AGREE TO THE TERMS OF THE ABOVE EMC SOFTWARELICENSE AGREEMENT.******************************************************************************** Do you accept the EMC Database license agreement? [yes|no]******************************************************************************** yes******************************************************************************** Provide the installation path for Greenplum Database or press ENTER toaccept the default installation path: /usr/local/greenplum-db-4.2.6.3******************************************************************************** /home/gpadmin/GPDB/install******************************************************************************** Install Greenplum Database into </home/gpadmin/GPDB/install>? [yes|no]********************************************************************************yes******************************************************************************** [Optional] Provide the path to a previous installation of Greenplum Database,or press ENTER to skip this step. e.g. /usr/local/greenplum-db-4.1.1.3This installation step will migrate any Greenplum Database extensions from theprovided path to the version currently being installed. This step is optionaland can be run later with:gppkg --migrate <path_to_old_gphome> /home/gpadmin/GPDB/install********************************************************************************Extracting product to /home/gpadmin/GPDB/installSkipping migration of Greenplum Database extensions...************************* ******************************************************* Installation complete.Greenplum Database is installed in /home/gpadmin/GPDB/installGreenplum Database documentation is available for downloadat .******************************************************************************** [root@mdw GPDB]#[root@mdw install]# source greenplum_path.sh[root@mdw install]#3）准备allnotes文件[root@mdw install]# pwd/home/gpadmin/GPDB/install[root@mdw install]#[root@mdw install]#[root@mdw install]#allnotes bin demo docs etc ext GPDB-LICENSE.txt greenplum_path.sh include lib LICENSE.thirdparty sbin share[root@mdw install]# catallnotessdw1sdw2smdw4）建立多机互信[root@mdw install]# gpssh-exkeys -f allnotes[STEP 1 of 5] create local ID and authorize on local host... /root/.ssh/id_rsa file exists ... key generation skipped[STEP 2 of 5] keyscan all hosts and update known_hosts file[STEP 3 of 5] authorize current user on remote hosts... send to sdw1... send to sdw2****** Enter password for sdw2:... send to smdw[STEP 4 of 5] determine common authentication file content[STEP 5 of 5] copy authentication files to all remote hosts... finished key exchange with sdw1[ERROR] unable to copy authentication files to sdw2lost connection[ERROR] unable to copy authentication files to smdwlost connection上述报错解决办法：删除mdw /root/.ssh/目录下的内容重新执行gpssh-exkeys -f allnotes5）创建存放数据的目录[root@mdw GPDB]# mkdir data[root@mdw GPDB]# mkdir data/master[root@mdw GPDB]# chowngpadmin:gpadmin data -R[root@mdw GPDB]#[root@mdw GPDB]# ll鎬荤敤閲109588drwxr-xr-x 3gpadmingpadmin 4096 2鏈20 16:21 datalrwxrwxrwx 1 root root 9 2鏈20 16:02 greenplum-db-> ./install-rwxr-xr-x 1 root root 56782500 10鏈8 06:45 greenplum-db-4.2.6.3-build-2-RHEL5-x86_64.bin-rw-r--r-- 1 root root 55417563 11鏈25 11:44 greenplum-db-4.2.6.3-build-2-RHEL5-x86_64.zip drwxr-xr-x 11 root root 4096 2鏈20 16:04 install-r--r--r-- 1 root root 6935 10鏈8 06:45 README_INSTALL[root@mdw GPDB]#6）其他机器安装GP[root@mdw install]# catallsegsmdwsdw1sdw2使用gpseginstall安装[root@mdw install]# gpseginstall -f allseg -u gpadmin20140220:16:28:05:003251 gpseginstall:mdw:root-[INFO]:-Installation Info:link_namegreenplum-dbbinary_path /home/gpadmin/GPDB/installbinary_dir_location /home/gpadmin/GPDBbinary_dir_name install20140220:16:28:05:003251 gpseginstall:mdw:root-[INFO]:-check cluster password access20140220:16:28:06:003251 gpseginstall:mdw:root-[INFO]:-de-duplicate hostnames20140220:16:28:06:003251 gpseginstall:mdw:root-[INFO]:-master hostname: mdw20140220:16:28:07:003251 gpseginstall:mdw:root-[INFO]:-check for user gpadmin on cluster 20140220:16:28:07:003251 gpseginstall:mdw:root-[INFO]:-add user gpadmin on master20140220:16:28:08:003251 gpseginstall:mdw:root-[INFO]:-add user gpadmin on cluster20140220:16:28:08:003251 gpseginstall:mdw:root-[INFO]:-chown -R gpadmin:gpadmin/home/gpadmin/GPDB/greenplum-db20140220:16:28:08:003251 gpseginstall:mdw:root-[INFO]:-chown -R gpadmin:gpadmin/home/gpadmin/GPDB/install20140220:16:28:08:003251 gpseginstall:mdw:root-[INFO]:-rm -f /home/gpadmin/GPDB/install.tar; rm -f/home/gpadmin/GPDB/install.tar.gz20140220:16:28:08:003251 gpseginstall:mdw:root-[INFO]:-cd /home/gpadmin/GPDB; tar cf install.tar install20140220:16:28:22:003251 gpseginstall:mdw:root-[INFO]:-remote command: mkdir -p /home/gpadmin/GPDB 20140220:16:28:22:003251 gpseginstall:mdw:root-[INFO]:-remote command: rm -rf/home/gpadmin/GPDB/install20140220:16:28:23:003251 gpseginstall:mdw:root-[INFO]:-scp software to remote location20140220:16:28:38:003251 gpseginstall:mdw:root-[INFO]:-remote command: gzip -f -d/home/gpadmin/GPDB/install.tar.gz20140220:16:28:40:003251 gpseginstall:mdw:root-[INFO]:-md5 check on remote location20140220:16:28:42:003251 gpseginstall:mdw:root-[INFO]:-remote command: cd /home/gpadmin/GPDB; tar xf install.tar20140220:16:28:43:003251 gpseginstall:mdw:root-[INFO]:-remote command: rm -f/home/gpadmin/GPDB/install.tar20140220:16:28:44:003251 gpseginstall:mdw:root-[INFO]:-remote command: cd /home/gpadmin/GPDB; rm -f greenplum-db; ln -fs install greenplum-db20140220:16:28:44:003251 gpseginstall:mdw:root-[INFO]:-remote command: chown -R gpadmin:gpadmin/home/gpadmin/GPDB/greenplum-db20140220:16:28:45:003251 gpseginstall:mdw:root-[INFO]:-remote command: chown -R gpadmin:gpadmin/home/gpadmin/GPDB/install20140220:16:28:45:003251 gpseginstall:mdw:root-[INFO]:-rm -f /home/gpadmin/GPDB/install.tar.gzPlease enter a password:Confirm password:20140220:16:29:19:003251 gpseginstall:mdw:root-[INFO]:-Changing system passwords ...20140220:16:29:20:003251 gpseginstall:mdw:root-[INFO]:-exchange ssh keys for user root20140220:16:29:23:003251 gpseginstall:mdw:root-[INFO]:-exchange ssh keys for user gpadmin 20140220:16:29:24:003251 gpseginstall:mdw:root-[INFO]:-Exception running cmd: sugpadmin -c "gpssh-exkeys -f allseg"20140220:16:29:24:003251 gpseginstall:mdw:root-[INFO]:-write() argument 2 must be string or buffer, not None 20140220:16:29:24:003251 gpseginstall:mdw:root-[INFO]:-gppsh-exkeys failed running from within pexpect ... now try outside of pexpect[STEP 1 of 5] create local ID and authorize on local host... /home/gpadmin/.ssh/id_rsa file exists ... key generation skipped[STEP 2 of 5] keyscan all hosts and update known_hosts file[STEP 3 of 5] authorize current user on remote hosts... send to smdw****** Enter password for smdw:... send to sdw1[STEP 4 of 5] determine common authentication file content[STEP 5 of 5] copy authentication files to all remote hosts... finished key exchange with smdw... finished key exchange with sdw1... finished key exchange with sdw2[INFO] completed successfully20140220:16:29:31:003251gpseginstall:mdw:root-[INFO]:-/home/gpadmin/GPDB/greenplum-db/./sbin/gpfixuserlimts -f/etc/security/limits.conf -u gpadmin20140220:16:29:31:003251 gpseginstall:mdw:root-[INFO]:-remote command: ./home/gpadmin/GPDB/greenplum-db/./greenplum_path.sh;/home/gpadmin/GPDB/greenplum-db/./sbin/gpfixuserlimts -f /etc/security/limits.conf -u gpadmin 20140220:16:29:32:003251 gpseginstall:mdw:root-[INFO]:-version string on master: gpssh version 4.2.6.3 build 220140220:16:29:32:003251 gpseginstall:mdw:root-[INFO]:-remote command: ./home/gpadmin/GPDB/greenplum-db/./greenplum_path.sh; /home/gpadmin/GPDB/greenplum-db/./bin/gpssh --version20140220:16:29:33:003251 gpseginstall:mdw:root-[INFO]:-remote command: ./home/gpadmin/GPDB/install/greenplum_path.sh; /home/gpadmin/GPDB/install/bin/gpssh --version 20140220:16:29:39:003251 gpseginstall:mdw:root-[INFO]:-SUCCESS -- Requested commands completed[root@mdw greenplum-db-4.2.6.3]# gpssh -f allnotesmkdir -p /data/d1 /data/d2 /data/m1 /data/m2[sdw1][sdw2][root@mdw greenplum-db-4.2.6.3]# gpssh -f allnoteschowngpadmin:gpadmin /data/d1 /data/d2 /data/m1/data/m2 -R[sdw1][sdw2]安装完成7、数据库初始化1）创建数据节点文件[root@mdw install]# cat notessdw22）创建初始化参数文件[root@mdw install]# catgpinitsystem_configARRAY_NAME="Greenplum"SEG_PREFIX=gpsegPORT_BASE=50000declare -a DATA_DIRECTORY=(/home/gpadmin/GPDB/data/d1 /home/gpadmin/GPDB/data/d2) MASTER_HOSTNAME=mdwMASTER_DIRECTORY=/home/gpadmin/GPDB/data/masterMASTER_PORT=5432TRUSTED_SHELL=sshCHECK_POINT_SEGMENTS=8ENCODING=UNICODEMIRROR_PORT_BASE=60000REPLICATION_PORT_BASE=41000MIRROR_REPLICATION_PORT_BASE=51000declare -a MIRROR_DATA_DIRECTORY=(/home/gpadmin/GPDB/data/m1 /home/gpadmin/GPDB/data/m2) 3) 数据初始化su - gpadmin[gpadmin@mdw install]$ gpinitsystem -c gpinitsystem_config -h notesvi .bashrc#greenplumexport MASTER_DATA_DIRECTORY=/data/master/gpseg-1vi $MASTER_DATA_DIRECTORY/pg_hba.confhost all all 0/0 md53) 数据初始化su - gpadmin。
greenplum安装文档-v1
大纲本教程主要是讲解GP分布式数据库的部署相关准备及过程，以及在部署中遇到过的问题解决方案描述。
第一章准备工作1. 准备文件：虚拟机三个主机：CentOS release 6.5 (Final)GP安装包：greenplum-db-4.3.5.2-build-1-RHEL5-x86_64.bin初始化文件：gpinitsystem_config2. 这里GP部署是在虚拟机上实现的，一共三台虚拟机。
虚拟机之间要实现通信是一个非常重要的问题，否则在所有的用户和配置文件都正确配置以后，也会因为通信问题产生错误。
这里主要列出在安装中遇到的重要问题，其他的一般配置按照第二节配置过程描述。
安装中要注意的问题包括，设置静态ip，关闭防火墙，建立用户及其分配用户组，配置每个主机的所有集群中的主机地址和主机名的映射文件/etc/hosts，具体的配置过程会在下面章节给出。
第二章配置过程1. 设置静态IP若不设置静态IP，则虚拟机的IP地址可能会发生变动，在所有的主节点和子节点上配置的主机映射文件就会失效，导致不能找到主机，另外，在主节点Master上配置的子节点表segment也找不到主机。
设置静态IP如下：vim /etc/sysconfig/network-scripts/ifcfg-eth0按照这个顺序，图2.1静态IP配置，将除了HWADDR、UUID之外的其他项更改。
其中IPADDR、NETMASK、GATEWAY是可以在电脑网络管理中可以找到，如图2.1Windows网络管理图2.1 静态IP配置2.2 Windows网络管理2. 关闭防火墙在数据库初始化之前一定要关闭防火墙，避免主机之间通信中断。
典型的问题有，在所有配置若都完全正确，防火墙未关闭时候，初始化中提示输入y之后，接下来后期会报如下错误。
2.3 未关闭防火墙报错正确解决方法是root权限关闭防火墙即可：[root@duancy-host01 ~]# service iptables stop[root@duancy-host01 ~]# service ip6tables stop3.修改/etc/sysctl.conf文件将/etc/sysctl.conf的内容修改为如下内容，重启生效(或执行sysctl -p生效) （从此处开始即对系统文件和用户配置文件做相应配置。
greenplum gdfdist使用手册
greenplum gdfdist使用手册Greenplum GDFDist 使用手册概述Greenplum GDFDist 是一个用于在 Greenplum 数据库集群中进行分布式数据传输和加载的工具。
它提供了高效、可靠和并行的数据传输功能，能够加速数据导入和导出的过程。
本手册将向您介绍 GDFDist 的安装和配置方法，并提供一些常见的使用示例。
安装和配置1. 安装 GDFDistGDFDist 是作为 Greenplum 数据库分发功能的一部分提供的。
在安装 Greenplum 数据库时，GDFDist 已经被自动包括在内。
确保已正确安装 Greenplum 数据库版本来使用 GDFDist。
2. 配置 GDFDist在开始使用 GDFDist 之前，需要进行一些配置。
打开 Greenplum 数据库配置文件（通常位于 `$MASTER_DATA_DIRECTORY/gpseg-1/postgresql.conf`），找到以下配置项，并根据需要进行修改： - `gp_external_enable`：确保该配置项的值为 `on`，以启用外部表和 GDFDist 功能。
- `gp_external_max_segs`：根据您的集群规模和性能需求，适当调整此配置项的值。
它控制了能使用 GDFDist 进行数据传输的并行进程数量。
完成配置后，重新加载Greenplum 数据库配置文件以使更改生效。
使用示例以下是一些常见的 GDFDist 使用示例，展示了不同场景下如何高效地使用数据传输功能。
1. 从本地文件导入数据到 Greenplum 数据库使用 `COPY` 命令结合 GDFDist，可以将本地文件中的数据快速导入到 Greenplum 数据库中。
示例命令如下：```COPY my_table FROM PROGRAM 'gdfdist -F text -b my_file.txt' WITH (FORMAT CSV, HEADER);```在上述命令中，`my_table` 是指目标表的名称，`my_file.txt` 是指本地文件的路径名。
greenplum集群安装
Greenplum集群安装备注：本次安装未安装备份机机器名192.168.20.203 slave203192.168.20.230 slave230192.168.20.202 slave202192.168.20.200 slave200192.168.20.201 master201把安装包greenplum-db-4.2.2.4-build-1-CE-RHEL5-i386.zip拷贝到master201主机上解压安装包[root@master201 ~]# unzip greenplum-db-4.2.2.4-build-1-CE-RHEL5-i386.zip解压后会生成一个.bin文件，还会生成一个README_INSTALL文件运行.bin文件[root@master201 ~]# /bin/bash greenplum-db-4.2.2.4-build-1-CE-RHEL5-i386.bin出现如下安装提示，输入yes然后会提示是否安装到默认路径下：ENTER键默认安装yes如果没有该路径会提示是否创建点创建就可以了安装完成。
二、配置参数在Greenplum的每台主机/etc/sysctl.conf中设定如下参数并重新启动kernel.shmmax = 500000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 512000 100 2048kernel.sysrq = 1kernel.core_uses_pid = 1kernel.msgmnb = 65536kernel.msgmax = 65536kernel.msgmni = 2048net.ipv4.tcp_syncookies = 1net.ipv4.ip_forward = 0net.ipv4.conf.default.accept_source_route = 0net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_max_syn_backlog = 4096net.ipv4.conf.all.arp_filter = 1net.ipv4.ip_local_port_range = 1025 65535dev_max_backlog = 10000vm.overcommit_memory = 2在Greenplum的每一台主机/etc/security/limits.conf中设置如下参数：* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard nproc 131072创建gpadmin用户[root@master201 ~]# useradd gpadmin[root@master201 ~]# passwd gpadmin在master201 的/home/gpadmin文件夹下面创建seg_hosts和all_hosts文件all_hosts 下添加主机，备份机，节点机的机器名seg_hosts下添加节点机的机器名然后交换秘钥[root@master201 ~]source /usr/local/greenplum-db/greenplum_path.sh[root@master201 ~]gpssh-exkeys -f /home/gpadmin/all_hosts交换节点机的秘钥压缩greenplum文件安装到/home/gpadmin下[root@master201 local]#gtar -cvf /home/gpadmin/gp.tar greenplum-db-4.2.2.4 用gpscp命令将安装文件复制到各个区段服务器[root@master201 gpadmin]# gpscp -f seg_hosts gp.tar =:/usr/local然后用ssh登陆到个节点机上[root@master201 ~]# gpssh -f /home/gpadmin/seg=> gtar --directory /usr/local -xvf /usr/local/gp.tar=> ls /usr/local/greenplum-db-4.2.2.4创建快捷方式=> ln -s /usr/local/greenplum-db-4.2.2.4 /usr/local/greenplum-db赋权限=> cd /usr/local=> pwd=> chown -R gpadmin:gpadmin greenplum-db-4.2.2.4/=> chown -R gpadmin:gpadmin greenplum-db创建数据节点和数据镜像节点文件夹=>mkdir /segdata=> cd /segdata[slave200][slave203][slave202]=> pwd[slave200] /segdata[slave203] /segdata[slave202] /segdata=> mkdir seg_p1[slave200][slave203][slave202]=> ls[slave200] seg_p1[slave203] seg_p1[slave202] seg_p1=> mkdir seg_p2[slave200][slave203][slave202]=> ls[slave200] seg_p1 seg_p2[slave203] seg_p1 seg_p2[slave202] seg_p1 seg_p2=> mkdir seg_m1[slave200][slave203][slave202]=> mkdir seg_m2[slave200][slave203][slave202]=> ls[slave200] seg_m1 seg_m2 seg_p1 seg_p2[slave203] seg_m1 seg_m2 seg_p1 seg_p2[slave202] seg_m1 seg_m2 seg_p1 seg_p2=> cd /[slave200][slave203][slave202]=> ls[slave200] bin data etc lib media opt root segdata srv tmp var[slave200] boot dev home lost+found mnt proc sbin selinux sys usr[slave203] bin data etc lib media opt root segdata srv tmp var[slave203] boot dev home lost+found mnt proc sbin selinux sys usr[slave202] bin data etc lib media opt root segdata srv tmp var[slave202] boot dev home lost+found mnt proc sbin selinux sys usr=> chown -R gpadmin:gpadmin /segdata[slave200][slave203][slave202]同步系统时钟gpadmin用户交换密钥先执行source /usr/local/greenplum-db/greenplum-db.sh 文件 测试磁盘读取速度master201赋权限chown –R gpadmin:gpadmin /usr/local/greenplum-db-4.2.2.4/ chown –R gpadmin:gpadmin /usr/local/greenplum-db 添加gpadmin 用户的greenplum 环境变量 在.bashrc 下加入source /usr/local/greenplum-db/greenplum-db.sh 然后在source .bashrc 再gpadmin 用户交换秘钥[gpadmin@master201 -]$gpssh-exkeys –f /home/gpadmin/seg_hosts 初始化greenplum database在gpadmin 文件夹下创建gpconfigs 目录 mkdir gpconfigs将初始化文件gpinitsystem_config 拷贝到gpconfigs 目录下[gpadmin@master201 -]$cp $GPHOME/docs/cli_help/gpconfigs/gpinitsystem_config /home/gpadmin/gpconfigs/gpinitsystem_config 然后再编辑gpinitsystem_config 文件修改下面参数ARRAY_NAME="EMC Greenplum DW" SEG_PREFIX=gpseg PORT_BASE=40000declare -a DATA_DIRECTORY=(/segdata/seg_p1 /segdata/seg_p2) MASTER_HOSTNAME=master201MASTER_DIRECTORY=/gpmasterMASTER_PORT=5432TRUSTED_SHELL=sshCHECK_POINT_SEGMENTS=8ENCODING=UNICODEMACHINE_LIST_FILE=/home/gpadmin/seg_hosts如果设置了镜像还需要添加镜像节点初始化[gpadmin@master201 ~]$ gpinitsystem -c /home/gpadmin/gpconfigs/gpinitsystem_config 设置MASTER_DATA_DIRECTORY环境变量--在.bashrc中添加MASTER_DATA_DIRECTORY=/gpmaster/gpseg-1 export MASTER_DATA_DIRECTORY 10、尝试连接greenplum数据库[gpadmin@master201- ]$ gpstate –s //查看数据库状态[gpadmin@master201- ]$ psql –d postgres@By 小武哥。
Greenplum详细安装
Greenplum安装一、环境准备VMWARE6.5虚拟机上Redhat5(虚拟两个32位的redhatOS)每个虚拟OS的配置512M内存，8G硬盘容量二、LINUX准备过程1.查看OS的位数,确定GP的版本#getconf LONG_BIT#322.官网上下载32位的Greenplum安装文件greenplum-db-3[1].3.6.1-build-1-RHEL5-i386.zip，大小44M，解压后也差不多44M，里面包含两个文件：一个是安装文件，一个是安装指导3.解压命令：# unzip greenplum-db-3[1].3.6.1-build-1-RHEL5-i386.zip在各台GP主机上编辑/etc/sysctl.conf文件，替换或新增以下参数,重启：kernel.shmmax = 500000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 64000 100 512net.ipv4.tcp_tw_recycle=1net.ipv4.tcp_max_syn_backlog=4096dev_max_backlog=10000vm.overcommit_memory=2net.ipv4.ip_local_port_range = 1025 65535--文档上没有，新增的在各台主机上同样编辑/etc/security/limits.conf* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard nproc 131072三、软件安装及准备配置1.将master主机改名为local_master，segment主机改名为local_segment;分别修改/etc/hosts为：Local_master:127.0.0.1 localhost.localdomain localhost192.168.224.128 local_masterLocal_segment:127.0.0.1 localhost.localdomain localhost192.168.224.131 local_segment/etc/sysconfig/network为：Local_master:NETWORKING=yesNETWORKING_IPV6=no#HOSTNAME=localhost.localdomainHOSTNAME=local_masterLocal_segment:NETWORKING=yesNETWORKING_IPV6=no#HOSTNAME=localhost.localdomainHOSTNAME=local_segment改完后生效：#service network restart改完后查看：#hostname2.在master安装GP软件：#/bin/bash greenplum-db-3.3.6.1-build-1-RHEL5-i386.bin然后lience accept yes,安装GP路径：/opt/greenplum-db-3.3.6.1安装好了文件夹greenplum-db-3.3.6.1里面会出现以下文件：bin demo docs etc ext greenplum_path.sh include lib LICENSE sbin share 另外外部还会出现一个软链接：[root@local_master opt]# ls -ltotal 12lrwxrwxrwx 1 root root 22 Apr 19 18:52 greenplum-db -> ./greenplum-db-3.3.6.1 drwxr-xr-x 11 root root 4096 Apr 19 18:52 greenplum-db-3.3.6.1四、Master主机配置1.新增Greenplum用户并指定密码，在root用户下执行# useradd gpadmin# passwd gpadmin# New password: gpadmin# Retype new password: gpadmin2.创建用户组,把gpadmin用户放入组gpadmin中# groupadd gpadmin# usermod -g gpadmin gpadmin3.更改所有者,将创建的Greenplum文件用户更换为gpadminchown -R gpadmin greenplum-db-3.3.6.1chgrp -R gpadmin greenplum-db-3.3.6.1chown -R gpadmin greenplum-dbchgrp -R gpadmin greenplum-db4.配置环境变量greenplum_path.sh这个文件是用来配置环境变量和安装路径的,具体内容：# cat /opt/greenplum-db/greenplum_path.shGPHOME=/opt/greenplum-db-3.3.6.1# Replace with symlink path if it is present and correctif [ -h ${GPHOME}/../greenplum-db ]; thenGPHOME_BY_SYMLINK=`(cd ${GPHOME}/../greenplum-db/ && pwd -P)`if [ x"${GPHOME_BY_SYMLINK}" = x"${GPHOME}" ]; thenGPHOME=`(cd ${GPHOME}/../greenplum-db/ && pwd -L)`/.fiunset GPHOME_BY_SYMLINKfiPATH=$GPHOME/bin:$GPHOME/ext/python/bin:$PATHLD_LIBRARY_PATH=$GPHOME/lib:$GPHOME/ext/python/lib:$LD_LIBRARY_PA THPYTHONPATH=$GPHOME/lib/pythonPYTHONHOME=$GPHOME/ext/pythonexport GPHOMEexport PATHexport LD_LIBRARY_PATHexport PYTHONPATHexport PYTHONHOME切换到gpadmin用户下,修改.bash_profile文件为#su – gpadmin#cat .bash_profile# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then. ~/.bashrcfi# User specific environment and startup programsGPHOME=/opt/Greenplum# Replace with symlink path if it is present and correctif [ -h ${GPHOME}/../greenplum-db ]; thenGPHOME_BY_SYMLINK=`(cd ${GPHOME}/../greenplum-db/ && pwd -P)`if [ x"${GPHOME_BY_SYMLINK}" = x"${GPHOME}" ]; thenGPHOME=`(cd ${GPHOME}/../greenplum-db/ && pwd -L)`/.fiunset GPHOME_BY_SYMLINKfiPATH=$GPHOME/bin:$GPHOME/ext/python/bin:$PATHLD_LIBRARY_PATH=$GPHOME/lib:$GPHOME/ext/python/lib:$LD_LIBRARY_PA THPYTHONPATH=$GPHOME/lib/pythonPYTHONHOME=$GPHOME/ext/pythonexport GPHOMEexport PATHexport LD_LIBRARY_PATHexport PYTHONPATHexport PYTHONHOME初始化(gpadmin下)source ./bash_profile5.创建master数据文件以root用户创建master的数据存放路径,该目录只存放系统数据，不会存放其他用户数据，并更改所有者#mkdir /opt/master_database#chown gpadmin /opt/ master_database#chgrp gpadmin /opt/ master_database五、Segment主机配置1.建立主机文件阵列以root用户先在master上建立一个包含所有(master,segment,backup master)主机名的文件如下：[root@local_master ~]# cat /etc/all_hostslocal_masterlocal_segment2.修改master的hosts文件分别查看虚拟机OS的ip地址，并加入master（选其中的一台）#ifconfig -ainet addr:192.168.224.128 --masterinet addr:192.168.224.131 --segment以128作为master，修改/etc/hosts文件为# Do not remove the following line, or various programs# that require network functionality will fail.127.0.0.1 localhost.localdomain localhost192.168.224.128 local_master192.168.224.131 local_segment建立信任的主机环境,在master上以root用户登录，初始化参数#source /opt/greenplum-db-3.3.6.1/greenplum_path.sh测试master与segment的连接，采用Gp自带的包,测试过程如下：[root@local_master ~]# gpssh-exkeys -f /etc/all_hosts[STEP 1 of 5] create local ID and authorize on local host... /root/.ssh/id_rsa file exists ... key generation skipped[STEP 2 of 5] keyscan all hosts and update known_hosts file[STEP 3 of 5] authorize current user on remote hosts... send to local_segment****** Enter password for local_segment:[STEP 4 of 5] determine common authentication file content[STEP 5 of 5] copy authentication files to all remote hosts... finished key exchange with local_segment[INFO] completed successfully期间会要求输入segment端root用户的密码，该过程主要是check远程的segment主机以及验证两个主机间的通信顺畅。
Greenplum安装部署参考手册
Greenplum安装部署参考⼿册Greenplum安装部署参考⼿册V1.02016年3⽉⽬录第⼀章硬件环境部署 (2)1.1 服务器与机柜 (2)1.2 ⽹络部署 (2)1.2.1服务器⽹络连接 (2)1.2.2⽹卡绑定（bond）推荐模式 (3)1.3 raid及⽂件系统规划 (3)1.3.1 Master服务器配置 (3)1.3.2 Segment服务器配置 (4)第⼆章 GP软件环境部署 (5)2.1 操作系统环境安装部署 (5)2.2.1 BIOS设置开启超线程 (5)2.2.2 安装操作系统基础包 (5)2.2.3 安装系统语⾔ (5)2.2.4 安装系统⼯具包 (6)2.2.5 开发语⾔连接驱动 (8)2.2.6 时区配置 (8)2.2.7 ⽂件系统和分区配置 (9)2.2.8 ⽹卡配置 (10)2.2.9 操作系统安全配置 (11)2.2.10 操作系统⽤户组和⽤户 (13)2.2.11 ⽹络IP配置 (14)2.2.12 对外服务VIP设置 (15)2.2.13 集群NTP服务时钟同步配置 (15)2.2.14 ssh服务参数调整 (15)2.2 操作系统参数设置 (15)2.3 数据库系统安装部署 (18)Greenplum软件安装 (18)数据库初始化 (21)2.6 后续⼯作 (24)第⼀章硬件环境部署1.1服务器与机柜服务器器与机柜的摆放应需要充分考虑机器散热的问题，不建议每个机柜都完全放满。
1.2⽹络部署1.2.1服务器⽹络连接Greenplum集群内部各节点服务器通过独⽴的万兆以太⽹交换机连接，交换机为集群内部私有，配置两台，两台交换机直连，以双活⽅式⼯作。
每台集群内部服务器需配置两个万兆⽹⼝，每个⽹⼝连接⼀个交换机，同时两个万兆⽹⼝以mode4 ⽅式邦定，配置⼀个IP。
如下图所⽰，每台服务器的第⼀张⽹卡都连接到⼀台交换机上，同理另⼀张⽹卡都连接到另⼀台交换机上。
每台服务器的第⼀张⽹卡统⼀连接到⼀台交换机上两台交换机之间也需要互联，双活⽅式⼯作。
GREENPLUM安装(总结+注释)
GREENPLUM安装(总结+注释)2013-05-05 12:07 2592人阅读评论(0) 收藏举报分类：greenplum（24）原文：/25548387/viewspace-690174GREENPLUM的安装，应该说是极其简单的。
大致的过程可以分成四大部分。
1、准备硬件2、准备操作系统3、安装GP软件4、初始化系统。
1.硬件环境的准备（如果只是构建测试平台，不考虑性能，这部分内容可以忽略）首先就是硬件准备。
GREENPLUM本身只能运行X86架构的服务器上。
因此甭管是普通的PC机还是PC SERVER，甚至是虚拟机都可以运行GREENPLUM。
唯一的差别就是效率。
按照官方文档的说法，主要是针对生产环境，构造一个标准的GREENPLUM系统需要三台PC服务器。
根据实际使用经验，这些服务器至少应该是XEON以上的CPU，1，MASTER节点需要16GB内存，如果使用千兆网卡构建内联环境，至少5块千兆网卡，其中四块千兆网卡用来构建系统的INTERCONNECT，一块用来作为连接系统的PUBLIC 网卡。
当然如果有条件的话，内联可以用万兆网卡或者IB，效率会更高。
MASTER的存储没有什么特殊要求。
2，SEGMENT节点(分节点)需要32G内存。
如果使用千兆网卡构建内联环境，至少4块千兆网卡，不需要外联网卡。
数据存储可以使用PC SERVER内置硬盘，也可以使用外置存储阵列方式（取决于成本和性能的平衡），总数据量不超过可用存储的70%既可。
GP提供了一个叫做gpcheckperf的工具可以帮助你检测当前硬件配置的性能情况，并给出报告。
为了获取准确的测试数据，建议多运行几次，取平均值。
总体而言，与专用设备和系统相比，构建GREENPLUM的生产环境的硬件成本是很低廉的。
2.操作系统的准备支持GREENPLUM运行的操作系统平台主要包括LINUX（REDHAT 5.4 orlater/CENTOS 5.4 or later/SUSE 10.2 or later) 32bit/64bit，solaris x86 64bit，以及MAC OS 64bit。
Linux下安装Greenplum实录
Linux下安装Greenplum实录一、配置系统环境A. 以root用户登录系统B. 编辑/etc/sysctl.conf，添加以下内容：kernel.shmmax = 500000000kernel.shmmin = 4096kernel.shmall = 4000000000kernel.sem = 250 64000 100 512net.ipv4.tcp_tw_recycle=1net.ipv4.tcp_max_syn_backlog=4096dev_max_backlog=10000net.ipv4.conf.default.arp_filter=1net.ipv4.conf.all.arp_filter=1vm.overcommit_memory=2C. 编辑/etc/security/limits.conf，添加以下内容：* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard nproc 131072D. 下载并安装greenplum-db。
wgethttp://192.168.47.2:8080/greenplum-db-3.3.6.1-build-1-RHEL5-i386.zip unzip greenplum-db-3.3.6.1-build-1-RHEL5-i386.ziprm -rf greenplum-db-3.3.6.1-build-1-RHEL5-i386.zip./greenplum-db-3.3.6.1-build-1-RHEL5-i386.binrm -rf greenplum-db-3.3.6.1-build-1-RHEL5-i386.bincd /usr/local/greenplum-dbE. 修改/etc/sysconfig/network以修改本机名，修改以下内容：HOSTNAME=mdwF. 修改/etc/sysconfig/network-scripts/ifcfg-eth0使用固定IP（192.168.47.155），添加以下内容：NAME=eth0BOOTPROTO=staticIPADDR=192.168.47.155NETMASK=255.255.255.0//USERCONTROL=noUSERCTL=noG. 修改/etc/hosts以使segment节点也指向本机，（本机固定为192.168.47.155，sdw1和sdw2是两个segment节点，因为实验性质，而同样指向本机，）修改及添加以下内容：192.168.47.155 mdw.localdomain mdw127.0.0.1 localhost.localdomain localhost127.0.0.1 sdw1.localdomain sdw1127.0.0.1 sdw2.localdomain sdw2H. 重启系统以使IP配置生效。
(word完整版)Greenplum 日常维护手册
Greenplum 日常维护手册1. 数据库启动：gpstart常用可选参数： -a ：直接启动，不提示终端用户输入确认—m：只启动master 实例，主要在故障处理时使用2。
数据库停止：gpstop：常用可选参数：—a：直接停止，不提示终端用户输入确认—m:只停止master 实例，与gpstart –m 对应使用—M fast：停止数据库，中断所有数据库连接，回滚正在运行的事务-u：不停止数据库，只加载pg_hba。
conf 和postgresql。
conf中运行时参数,当改动参数配置时候使用。
评：—a用在shell里，最多用的还是-M fast。
3. 查看实例配置和状态select * from gp_configuration order by 1 ；主要字段说明:Content：该字段相等的两个实例，是一对Ｐ（primary instance)和Ｍ（mirrorInstance）Isprimary：实例是否作为primary instance 运行Valid:实例是否有效，如处于false 状态，则说明该实例已经down 掉。
Port：实例运行的端口Datadir：实例对应的数据目录4. gpstate ：显示Greenplum数据库运行状态，详细配置等信息常用可选参数：-c：primary instance 和 mirror instance 的对应关系-m：只列出mirror 实例的状态和配置信息—f：显示standby master 的详细信息-Q:显示状态综合信息该命令默认列出数据库运行状态汇总信息,常用于日常巡检。
评：最开始由于网卡驱动的问题，做了mirror后,segment经常down掉,用-Q参数查询综合信息还是比较有用的.5. 查看用户会话和提交的查询等信息select ＊ from pg_stat_activity 该表能查看到当前数据库连接的IP 地址，用户名，提交的查询等。
GreenPlum 使用指南
GreenPlum 使用指南连接数据库psql -d postgres集群部署1.安装依赖库所有节点执行# yum -y install rsync coreutils glib2 lrzsz sysstat e4fsprogs xfsprogs ntp readline-devel zlib zlib-devel openssl openssl-devel pam-devel libxml2-devel libxslt-devel python-devel tcl-devel gcc make smartmontools flex bison perl perl-devel perl-ExtUtils* OpenIPMI-tools openldap openldap-devel logrotate python-py gcc-c++ libevent-devel apr-devel libcurl-devel bzip2-devel libyaml-develeasy_install pippip install paramikopip install psutilpip install lockfile2.修改内核参数# vi /etc/sysctl.conf#dev_max_backlog = 2500->10000#add by langke install greenplumkernel.shmmni = 4096kernel.sem = 50100 64128000 50100 1280kernel.msgmni = 2048net.ipv4.conf.all.arp_filter = 1filter.ip_conntrack_max = 655360net.ipv4.tcp_keepalive_probes = 9net.ipv4.tcp_keepalive_intvl = 7vm.overcommit_memory = 2fs.file-max = 7672460fs.aio-max-nr = 1048576上面这个内核参数设置之后影响elasticsearch进程（进程自动退出，报OOM：Native memory allocation (mmap) failed to map 11314593792 bytes for committing reserved memory,可能是vm.overcommit_memory，参数影响）kernel.shmmni = 4096kernel.sem =250 32000 32 128kernel.msgmni = 32768net.ipv4.conf.all.arp_filter = 0net.ipv4.tcp_keepalive_probes = 9net.ipv4.tcp_keepalive_intvl = 75vm.overcommit_memory = 0fs.file-max = 7672460fs.aio-max-nr = 1048576# sysctl -p受内核参数影响kafka java客户端推送数据也受影响，soa_logs队列推送很慢，内核参数一直调整无效，最终迁移kafka节点：所以内核参数最好还是不要修改# rm -f /etc/security/limits.d/90-nproc.conf# vi /etc/security/limits.conf* soft nproc 204800* hard nproc 204800* soft memlock unlimited* hard memlock unlimited设置块设备预读大小/sbin/blockdev --setra 16384 /dev/sda1/sbin/blockdev --setra 16384 /dev/sdb1/sbin/blockdev --setra 16384 /dev/sdc1/sbin/blockdev --setra 16384 /dev/sdd13.初始化安装环境#切换到hadoop用户su hadoopmaster节点:mkdir -p /data/disk1/gp/masterchown -R hadoop /data/disk1/gp/masterchmod 700 /data/disk1/gp/master所有segment 节点:mkdir -p /data/disk1/gp/datamkdir -p /data/disk2/gp/datamkdir -p /data/disk3/gp/datamkdir -p /data/disk4/gp/datamkdir -p /data/disk1/gp/mirrormkdir -p /data/disk2/gp/mirrormkdir -p /data/disk3/gp/mirrormkdir -p /data/disk4/gp/mirrorchown -R hadoop /data/disk1/gp/datachmod -R 700 /data/disk1/gp/data4.安装：./greenplum-db-4.3.9.1-build-1-rhel5-x86_64.bin安装到/opt/17173_install/greenplum-db-4.3.9.1安装完成cd greenplum-db/bin./pg_configcd ..cat greenplum_path.sh添加到用户的环境变量cat greenplum_path.sh >> ~/.bash_profile. ~/.bash_profile创建主机文件，包括所有节点以及主节点本身vi hostsea2sea3sea4sea5sea6交换KEY，master 访问所有的segment不需要输入密码，master pub拷贝到所有的segment authorized_keys,安装过hadoop可以略过gpssh-exkeys -f ./host安装软件到segment hostsgpseginstall -f ./host -u hadoop5.初始化数据库配置文件cp docs/cli_help/gpconfigs/gpinitsystem_config ./chmod 644 ./gpinitsystem_configvi ./gpinitsystem_configdeclare -a DATA_DIRECTORY=(/data/disk1/gp/data /data/disk2/gp/data/data/disk3/gp/data /data/disk4/gp/data)MASTER_HOSTNAME=sea6MASTER_DIRECTORY=/data/disk1/gp/masterMIRROR_PORT_BASE=50000REPLICATION_PORT_BASE=41000MIRROR_REPLICATION_PORT_BASE=51000declare -a MIRROR_DATA_DIRECTORY=(/data/disk1/gp/mirror/data/disk2/gp/mirror /data/disk3/gp/mirror /data/disk4/gp/mirror) DATABASE_NAME=seaMACHINE_LIST_FILE=/opt/17173_install/greenplum-db/host_segment编辑主机文件，不要包含master, standby，除非master,standby节点也需要当segment node使用.vi host_segmentsea2sea3sea4sea5sea6初始化数据库gpinitsystem -c ./gpinitsystem_config6.增加standby一个gp集群只有一个master肯定会让人不放心，还好有备用，当master宕掉后，会自动启用standby作为master，下面来看一下standby怎么添加在standby服务器上执行,sea5作为standbymkdir /data/disk1/gp/masterchown hadoop /data/disk1/gp/master在master服务器上执行gpinitstandby -s sea5中间输入一次Y7.增加mirrormirror就是镜像，也叫数据备份。
Greenplum使用简明手册
Greenplum使⽤简明⼿册GP服务启停su - gpadmingpstart #正常启动gpstop #正常关闭gpstop -M fast #快速关闭gpstop –r #重启gpstop –u #重新加载配置⽂件登陆与退出Greenplum#正常登陆psql gpdbpsql -d gpdb -h gphostm -p 5432 -U gpadmin#使⽤utility⽅式PGOPTIONS="-c gp_session_role=utility" psql -h -d dbname hostname -p port#退出在psql命令⾏执⾏\q参数查询psql -c 'SHOW ALL;' -d gpdbgpconfig --show max_connections创建数据库 createdb -h localhost -p 5432 dhdw创建GP⽂件系统# ⽂件系统名gpfsdw# ⼦节点，视segment数创建⽬录mkdir -p /gpfsdw/seg1mkdir -p /gpfsdw/seg2chown -R gpadmin:gpadmin /gpfsdw# 主节点mkdir -p /gpfsdw/masterchown -R gpadmin:gpadmin /gpfsdwgpfilespace -o gpfilespace_configgpfilespace -c gpfilespace_config创建GP表空间psql gpdbcreate tablespace TBS_DW_DATA filespace gpfsdw;SET default_tablespace = TBS_DW_DATA;删除GP数据库 gpdeletesystem -d /gpmaster/gpseg-1 -f查看segment配置 select * from gp_segment_configuration;⽂件系统 select * from pg_filespace_entry;磁盘、数据库空间SELECT * FROM gp_toolkit.gp_disk_free ORDER BY dfsegment;SELECT * FROM gp_toolkit.gp_size_of_database ORDER BY sodddatname;⽇志SELECT * FROM gp_toolkit.__gp_log_master_ext;SELECT * FROM gp_toolkit.__gp_log_segment_ext;表描述 /d+ <tablename>表分析 VACUUM ANALYZE tablename;表数据分布 SELECT gp_segment_id, count(*) FROM <table_name> GROUP BY gp_segment_id;表占⽤空间SELECT relname as name, sotdsize/1024/1024 as size_MB, sotdtoastsize as toast, sotdadditionalsize as otherFROM gp_toolkit.gp_size_of_table_disk as sotd, pg_classWHERE sotd.sotdoid = pg_class.oid ORDER BY relname;索引占⽤空间SELECT soisize/1024/1024 as size_MB, relname as indexnameFROM pg_class, gp_toolkit.gp_size_of_indexWHERE pg_class.oid = gp_size_of_index.soioidAND pg_class.relkind='i';OBJECT的操作统计SELECT schemaname as schema, objname as table, usename as role, actionname as action, subtype as type, statime as time FROM pg_stat_operationsWHERE objname = '<name>';锁SELECT locktype, database, c.relname, l.relation, l.transactionid, l.transaction, l.pid, l.mode, l.granted, a.current_queryFROM pg_locks l, pg_class c, pg_stat_activity aWHERE l.relation=c.oidAND l.pid=a.procpidORDER BY c.relname;队列 SELECT * FROM pg_resqueue_status查看指定数据库select pg_size_pretty(pg_database_size('<database_name>'));所有数据库 select datname,pg_size_pretty(pg_database_size(<database_name>)) from pg_database;查看数据库表清单(包括临时表) pg_tables主表与分区表 pg_partitions字段清单 information_schema.columns视图 pg_views字典 schema : information_schemaGP中查询表和视图清单，视图的字段及其类型查询schema_name.view_name的字段及其类型：select a.attname, pg_catalog.format_type(a.atttypid, a.atttypmod) as type,a.attnotnullfrom pg_catalog.pg_attribute a,pg_catalog.pg_class c, pg_catalog.pg_namespace nwhere a.attrelid=c.oidand c.relname='view_name'and a.attnum>0 AND NOT a.attisdroppedand n.oid = c.relnamespaceand n.nspname='schema_name'order by a.attnum查询指定schema下view的清单：select c.relnamefrom pg_catalog.pg_class c, pg_catalog.pg_namespace nwhere n.oid = c.relnamespaceand n.nspname='schema_name'and c.relkind='v'查询指定schema下所有table的清单：select c.relnamefrom pg_catalog.pg_class c, pg_catalog.pg_namespace nwhere n.oid = c.relnamespaceand n.nspname='schema_name'and c.relkind='r'查询指定schema下所有外部表的清单：select c.relnamefrom pg_catalog.pg_class c, pg_catalog.pg_namespace nwhere n.oid = c.relnamespaceand n.nspname='schema_name'and c.relkind='r' and relstorage='x'查询指定schema下所有普通表的清单：select c.relnamefrom pg_catalog.pg_class c, pg_catalog.pg_namespace nwhere n.oid = c.relnamespaceand n.nspname='schema_name'and c.relkind='r' and relstorage in ('h','a');注意，relstorage字段取值“x”表⽰外部表，“h”表⽰heap表，“a”表⽰append-only表，“v”表⽰virtual表。
GreenPlum数据库详细安装过程
目录1. 概述 (1)1.1.GreenPlum数据库概述 (1)1.2.GreenPlum数据库架构原理 (1)2.SUSE Linux Enterprise 11 64-bit操作系统安装过程 (2)2.1.初始化阶段 (2)2.2.系统分区 (3)2.3.软件选择和系统任务 (5)2.4.语言选择 (5)2.5.Kdump设置 (6)2.6.安装过程 (6)3.配置网卡IP (6)4.GreenPlum中Master配置过程 (8)4.1.建立gpadmin用户 (9)4.2.关闭防火墙 (9)4.3.启动FTP (9)4.4.使用FlashXP上传GreenPlum数据 (10)4.5.使用putty.exe工具配置GreenPlum数据库 (10)4.6.GreenPlum数据库配置详情 (11)4.6.1.GrennPlum数据库的初始化 (12)4.6.2.修改GreenPlum数据库账户的权限 (12)附录A (i)附录B (ii)1.概述1.1.GreenPlum数据库概述1.2.GreenPlum数据库架构原理本系统中GreenPlum由一个主节点（master）和四个从节点(segment)构成，主节点和从节点由一台千兆交换机进行连接。
客户端（Client）发送的命令通过主节点的主控作用，然后分发到从节点；从节点将用户需要的结果汇总到主节点，由主节点进行整合然后再将结果返回给客户端。
主节点与从节点的链接规则是保证每台服务器中网口的IP地址不是互联互通的，但是与其他的服务器之间可以通信。
换句换说保障同一台服务器中的IP 地址不是处于同一网段，但是不同服务器中的相同网口属于同一网段。
在此需要特别提醒用户Master中一共拥有五块网卡，第五块网卡是与client进行连接的网口。
负责外部用户的访问和数据传输。
网线连接顺序GP数据库网线的接线示意图2.SUSE Linux Enterprise 11 64-bit操作系统安装过程安装GreenPlum数据库的服务器，在安装SUSE Linux Enterprise 11操作系统之前首先需要进行磁盘阵列的设置。
Greenplum安装管理守则--完善版
Greenplum数据库安装手册目录第一章文档概述 .......................................................................................... 错误！未指定书签。
1.1适用范围 ................................................................................................ 错误！未指定书签。
1.2文档说明 ................................................................................................ 错误！未指定书签。
第二章安装前准备....................................................................................... 错误！未指定书签。
2.1网络规划 ................................................................................................ 错误！未指定书签。
2.2存储空间规划 ........................................................................................ 错误！未指定书签。
2.3数据库实例规划 .................................................................................... 错误！未指定书签。
第三章安装介质 .......................................................................................... 错误！未指定书签。
greenplum安装配置2.0
greenplum安装配置2.0greenplum4.2安装配置日期:2013-8-19**:***Q Q: 77113981GreenplumQQ群：369672760e-mail:**********************文档属性目录1文档说明 (5)1.1编写目的 (5)1.2适用范围 (5)2简介 (6)2.1Greenplum架构 (6)2.2大规模存储 (6)2.3并行处理 (7)2.4工作原理: (8)3安装配置 (9)3.1.1软件环境 (9)3.1.2硬件资源 (9)3.1.3环境配置 (9)3.1.4虚拟机配置 (9)3.2系统参数配置 (10)3.2.1修改内核参数 (10)3.2.2不重启内核参数生效 (10)3.2.3设置安全限制参数 (11)3.3修改主机名和hosts文件 (11)3.3.1修改三个节点/tec/hosts， (11)3.3.2修改主机名 (12)3.4三个节点添加用户和组 (13)3.5创建目录 (13)3.6greenplum安装 (17)3.6.1Master节点解压 (17)3.6.2Master节点安装 (17)3.6.3将安装目录上传另两个节点 (23)3.7节点配置 (28)3.7.1创建master节点配置文件 (28)3.7.2设置master节点gpadmin用户环境变量 (28)3.7.3为安装用户设置各个节点的SSH连接 (29)3.7.4编辑安装配置文件gpinitsystem_config (31)3.7.5同步时钟 (33)3.7.6检查下OS配置是否满足需求 (34)3.7.7关闭防火墙 (34)4初始化数据库 (35)4.1初始化 (35)4.2设置gp环境变量 (46)5数据库操作 (48)5.1连接数据库 (48)5.2数据库启动 (49)5.3数据库关闭 (54)5.4数据库状态 (54)6常用特性 (58)7性能测试 (59)8镜像和master/stand by (60)9优化 (61)10其他 (62)11Troubleshooting (63)11.1数据库创建成功，但不能连接 (63)11.1.1现象 (63)11.1.2解决方案 (64)11.2系统重启后，无法启动数据库 (65)11.2.1现象 (65)11.2.2解决方案 (65)12图表目录 (67)1 文档说明1.1 编写目的通过Window Xp 下vm server2.0下redhat 5.4模拟greenplum 群集，加深对greenplum 架构的理解和掌握。
Greenplum Linux安装文档
Greenplum Linux安装文档greenplum-linux安装文档安装greenplum(1)1评估存储能力实验环境系统设置（所有节点）课程目标2排序需用的空间步骤1：初始存储能力=硬盘大小*硬盘数步骤2：布局raid10，格式化磁盘空间=(起始存储能力*0.9)/2步骤3：需用磁盘空间=格式化磁盘空间*0.7步骤4：用户数据采用空间采用镜像：(2*用户数据)+用户数据/3=需用磁盘空间不采用镜像：用户数据+用户数据/3=需用磁盘空间排序用户数据大小平均来说，实际占用磁盘空间大小=用户数据*1.4页面开销：32kb页面需要20bytes行开支：每行24bytes，'append-only'表中须要4bytes索引开支：b-tree:唯一值*(数据类型大小+24bytes)bitmap:(唯一值*行数*1bit*放大比率/8)+(唯一值*32)评估存储能力3为元数据和日志排序空间市场需求系统元数据：20m预写日志(wal)：wal被拆分成多个64m的文件，wal文件数最多为2*checkpoint_segments+1，checkpoint_segments默认值为8。
也就意味著每个实例须要1088mb的wal空间gp数据库日志文件：日志轮转性能监控数据评估存储能力4硬件环境vmware虚拟机软件8.0三台linux虚拟机：redhatenterpriselinuxserverrelease5.2数据库：greenplum-db-4.2.2.4-build-1-ce-rhel5-i386虚拟机布局实验环境节点mdwsdw2sdw3ip内存硬盘8g8g8g192.168.4.108400m192.168.4.110400m192.168.4.111400m5系统参数共享内存网络用户管制修改或添加/etc/sysctl.conf三个节点全部都作如下设置：xfs_mount_options=rw,noatime,inode64,allocsize=16mkernel.shmmax=500000000kerne l.shmmni=4096kernel.shmall=4000000000kernel.sem=2505120001002048kernel.sysrq=1kernel.core_uses_pid=1kernel.msgmnb=65536kernel.msgmax=65536kernel.msgmni=2048net.ipv4.tcp_syncookies=1net.ipv4.ip_forward=0net.ipv4.conf.default.accept_source_route=0net.ipv4.tcp_tw_recycle=1net.ipv4.tcp_max_syn_backlog=4096net.ipv4.conf.all.arp_filter=1布局/etc/security/limits.conf文件*softnofile65536*hardnofile65536*softnproc131072*hardnproc131072设置磁盘访问i/o调度策略#echodeadline>/sys/block/sda/queue/scheduler#echodeadline>/sys/block/fd0/queue/scheduler#echodeadline>/sys/block/hdc/queue /scheduler[root@mdw~]#cat/sys/block/sda/queue/schedulernoopanticipatorydeadline[cfq][root@mdw~]#echodeadline>/sys/block/sda/queue/scheduler[root@mdw~]#[root@mdw~]#cat/sys/block/sda/queue/schedulernoopanticipatory[deadline]cfq[root@sdw1~]#echodeadline>/sys/block/sda/queue/scheduler[root@sdw1~]#cat/sys/b lock/sda/queue/schedulernoopanticipatory[deadline]cfq[root@sdw1~]#[root@sdw2~]#echodeadline>/sys/block/sda/queue/scheduler[root@sdw2~]#cat/sys/b lock/sda/queue/schedulernoopanticipatory[deadline]cfq[root@sdw2~]#系统设置（所有节点）3设置预读块的值16384#/sbin/blockdev--getra/dev/sda#/sbin/blockdev--setra16384/dev/sda#/sbin/blockdev--setra16384/dev/sda1#/sbin/blockdev--setra16384/dev/sda2#/sbin/blockdev--setra16384/dev/sda3[root@mdw~]#blockdev--getra/dev/sda（所有节点都照此设置）256[root@mdw~]#df-hfilesystemsizeusedavailuse%mountedon/dev/sda26.8g2.1g4.3g33%//dev/sda1289m16m259m6%/boottmpfs197m0197m0%/dev/shm[root@mdw~]#[root@mdw~]#fdisk-ldisk/dev/sda:8589mb,8589934592bytes255heads,63sectors/track,1044cylinders units=cylindersof16065*512=8225280bytesdevicebootstartendblocksidsystem/dev/sda1*138305203+83linux/dev/sda2399437269412+83linux/dev/sda39441044811282+82linuxswap/solaris[root@mdw~]#blockdev--setra16384/dev/sda[root@mdw~]#blockdev--setra16384/dev/sda1[root@mdw~]#blockdev--setra16384/dev/sda2[root@mdw~]#blockdev--setra16384/dev/sda3[root@mdw~]#[root@mdw~]#[root@mdw~]#blockdev--getra/dev/sda16384[root@mdw~]#修改/etc/hosts，添加如下内容192.168.4.108mdw192.l68.4.109sdw1192.168.4.110sdw2[root@mdw~]#cat/etc/hosts#donotremovethefollowingline,orvariousprograms#thatrequirenetworkfunctionality willfail.127.0.0.1localhost.localdomainlocalhostmdw::1localhost6.localdomain6localhost6 192.168.4.108mdw192.l68.4.109sdw1192.168.4.110sdw2192.168.4.111sdw3[root@mdw~]#hostnamemdw[root@sdw1~]#cat/etc/hosts#donotremovethefollowingline,orvariousprograms#thatrequirenetworkfunctionality willfail.127.0.0.1localhost.localdomainlocalhost::1localhost6.localdomain6localhost6192.168.4.108mdw192.l68.4.109sdw1192.168.4.110sdw2[root@sdw1~]#hostnamesdw1[root@sdw1~]#pingsdw2pingsdw2(192.168.4.110)56(84)bytesofdata.64bytesfromsdw2(192.168.4.110):icmp_seq=1ttl=64time=2.35ms[root@sdw2~]#cat/etc/hosts#donotremovethefollowingline,orvariousprograms#thatrequirenetworkfunctionality willfail.127.0.0.1localhost.localdomainlocalhost::1localhost6.localdomain6localhost6192.168.4.108mdw192.l68.4.109sdw1192.168.4.110sdw2[root@sdw2~]#hostnamesdw2[root@sdw2~]#pingmdwpingmdw(192.168.4.108)56(84)bytesofdata.64bytesfrommdw(192.168.4.108):icmp_seq=1ttl=64time=0.910ms64bytesfrommdw(192.1 68.4.108):icmp_seq=2ttl=64time=0.257ms4在master节点上安装greenplum软件redhat停用selinux和防火墙的办法redhat使用了selinux来增强安全，关闭的办法为：1.永久有效修正/etc/selinux/config文件中的selinux=\为disabled，然后重新启动。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
GREENPLUM部署文档Greenplum数据库安装手册目录第一章文档概述 (4)1.1适用范围 (4)1.2文档说明 (4)第二章安装前准备 (5)2.1网络规划 (5)2.2存储空间规划 (5)2.3数据库实例规划 (6)第三章安装介质 (7)3.1R EDHAT (7)3.1.1系统补丁 (7)3.1.2Greenplum安装介质 (7)3.1.3操作系统建议 (8)第四章操作系统准备 (9)4.1修改主机名 (9)4.2修改/ETC/HOSTS文件 (9)4.3关闭相关服务 (11)4.4修改系统参数（R EDHAT） (11)4.4.1修改系统参数/etc/sysctl.conf (12)4.4.2修改系统参数/etc/security/limits.conf (12)4.4.3修改磁盘预读参数 (13)4.4.4修改配置/boot/grub/menu.lst .......................................................... 错误!未定义书签。
4.4.5修改配置/etc/sysconfig/language ..................................................... 错误!未定义书签。
4.5启动IPMI服务 .......................................................................................... 错误!未定义书签。
4.6修改启动配置 ........................................................................................... 错误!未定义书签。
4.7关闭非必要的服务.................................................................................... 错误!未定义书签。
4.8重启各台服务器 (14)5.1L INUX系统采用XFS文件系统 (15)5.1.1Master 和Standby Master主机 (15)5.1.2Segment 主机 (15)第六章MASTER安装GREENPLUM (17)6.1运行安装文件 (17)6.2配置HOSTNAME文件（用于建立多机信任） (17)第七章建立多机信任 (19)7.1ROOT用户建立多机信任 (19)7.2建立用户和组 (19)7.3修改GPADMIN用户配置 (20)7.4GPADMIN用户建立多机信任 (20)第八章时钟同步 (21)第九章其他机器安装GREENPLUM (23)9.1配置HOSTNAME文件 (23)9.2方法一（4.0版本以上支持，推荐使用） (23)9.3方法二（4.0版本一下使用） (23)第十章系统检查 (25)10.1参数配置检查（非必要） (25)10.2性能检查 (25)10.2.1网络性能检查 (25)10.2.2磁盘性能检查 (26)第十一章初始化数据库 (28)11.1配置文件 (28)11.1.1Greenplum4.x版本 (28)11.2实例列表ALL_SEGS (29)11.4修改访问权限 (30)第十二章安装COMMAND CENTER (31)12.1安装A GENT (31)12.2安装C OMMAND C ENTER控制台 (32)第十三章AIX下安装工具包 (33)第十四章附录 (34)14.1DD测试 (34)14.2多次初始化 (34)14.3反复初始化数据库 (34)14.4安装后修改数据库参数（非必要） (35)14.5安装G REENPLUM CLIENTS (36)14.6安装G REENPLUM LOADER (36)14.7安装后数据测试 (37)14.8T ABLE S PACE使用 (41)14.8.1创建TableSpace (41)14.8.2TableSpace合理使用 (43)14.9常见问题处理 (43)14.9.1字符集问题处理 (43)14.9.2重新建立多机信任密钥问题 (44)第一章文档概述1.1 适用范围1、本安装手册所涉及到的操作系统相关参数调整，主要针对Redhat Linux操作系统，其他操作系统（如：SUSE、Solaris等）参数配置上会存在差异，后续逐步补充完善。
1.2 文档说明1、下文红色字体部分，如无特殊说明则表示命令执行时是需要根据实际情况进行修改才可以执行。
第二章安装前准备2.1 网络规划Greenplum数据库系统常见的拓扑图如上图所示，由Master主机和Segment主机组成。
Master主机和Segment主机之间会组成一个内部网络（LAN）。
为了充分发挥Greenplum数据库并行处理的性能，对网络带宽要求较高。
服务器会配置多个网卡，内部网需要配置多个网段的IP。
需要对外连接的服务器需配置外部IP。
建议在Greenplum数据库系统安装之前，把网络配置规划好。
2.2 存储空间规划首先，需要评估目标数据库数据所需要的空间容量。
建议了解客户搭建Greenplum数据库的具体应用。
举例：估计数据库所需空间为U，数据库需要启用Mirror，磁盘阵列总可用空间为D（Raid之后）。
空间规划服务和如下公式：2 * U + U /3 = D * 70%磁盘空间D平均分配到各个Segment服务器上。
Master需要相应的空间。
使用服务器内置硬盘的计算方式类似。
2.3 数据库实例规划规划每个Segment服务器上建立的数据库实例的数量（instance数量），通常建议每2个CPU内核（core）对应一个数据库实例。
如：2*4核CPU的服务区，可配置4个实例。
第三章安装介质3.1 Redhat3.1.1 系统补丁1. gccyum -y install gcc;yum -y install gcc-c++;yum install make2. scp yum install openssh-clients3. ed yum install ed 重要！4. 若使用gpconfig命令，需要安装perlyum install perl3.1.2 Greenplum安装介质GP安装介质需根据实际需要从Download Center上下载对应的版本。
Greenplum安装包可提前执行，可利用其gpscp、gpssh等工具。
3.1.3 操作系统建议Segment节点建议不安装X-Windows, Gnome, KDE, and Printers。
第四章操作系统准备4.1 修改主机名修改各台主机的主机名称。
一般建议的命名规则如下：Master：mdwStandby Master：smdwSegment Host：sdw1、sdw2……sdwn修改操作：1、hostname mdw2、修改/etc/sysconfig/network 或者/etc/hostname 配置文件中的hostname4.2 修改/etc/hosts文件通常Master和Standby Master主机都配置外部IP和内部IP。
Segment 主机可只配置内部IP。
所有主机的hosts文件内容必须保持一致。
如下为配置例子：21.104.138.21mdw-ext1192.168.1.254 mdw-1 mdw192.168.2.254 mdw-2192.168.3.254 mdw-3192.168.4.254 mdw-4192.168.5.254 mdw-5192.168.6.254 mdw-621.104.138.22smdw-ext1192.168.1.253 smdw-1 smdw192.168.2.253 smdw-2192.168.3.253 smdw-3192.168.4.253 smdw-4192.168.5.253 smdw-5192.168.6.253 smdw-621.104.138.23 sdw1-ext1loghost 192.168.1.1 sdw1-1 sdw1192.168.2.1 sdw1-2192.168.3.1 sdw1-3192.168.4.1 sdw1-4192.168.5.1 sdw1-5192.168.6.1 sdw1-621.104.138.24sdw2-ext1192.168.1.2 sdw2-1 sdw2192.168.2.2 sdw2-2192.168.3.2 sdw2-3192.168.4.2 sdw2-4192.168.5.2 sdw2-5192.168.6.2 sdw2-621.104.138.25sdw3-ext1192.168.1.3 sdw3-1 sdw3192.168.2.3 sdw3-2192.168.3.3 sdw3-3192.168.4.3 sdw3-4192.168.5.3 sdw3-5192.168.6.3 sdw3-621.104.138.26 sdw4-ext1192.168.1.4 sdw4-1 sdw4192.168.2.4 sdw4-2192.168.3.4 sdw4-3192.168.4.4 sdw4-4192.168.5.4 sdw4-5192.168.6.4 sdw4-64.3 关闭相关服务【涉及机器】：所有服务器关闭防火墙service iptables saveservice iptables stopchkconfig iptables offservice ip6tables saveservice ip6tables stopchkconfig ip6tables off针对RedHat7.0以上的关闭防火墙命令：systemctl disable firewalld systemctl stop firewalld【需要关闭iptables防火墙】查看防火墙状态：/etc/init.d/iptables statusRedHat7.0以上的版本，查看防火墙状态的命令：systemctl status firewalld4.4 修改系统参数（Redhat）【涉及机器】：所有服务器使用root用户进行修改，重启后生效。
4.4.1 修改系统参数/etc/sysctl.conf（Sysctl是一个允许您改变正在运行中的Linux系统的接口。
它包含一些TCP/IP 堆栈和虚拟内存系统的高级选项）kernel.shmmax = 500000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 512000 100 2048kernel.sysrq = 1kernel.core_uses_pid = 1kernel.msgmnb = 65536kernel.msgmax = 65536net.ipv4.tcp_syncookies = 1net.ipv4.ip_forward = 0net.ipv4.conf.default.accept_source_route = 0net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_max_syn_backlog = 4096net.ipv4.conf.all.arp_filter = 1net.ipv4.conf.default.arp_filter = 1dev_max_backlog = 10000vm.overcommit_memory = 2kernel.msgmni = 2048net.ipv4.ip_local_port_range = 1025 655354.4.2 修改系统参数/etc/security/limits.conf* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard nproc 131072在RHEL6.x版本需要修改文件/etc/security/limits.d/90-nproc.conf，增加如下内容：* soft nproc 131072* hard nproc 131072centos7修改/etc/security/limits.d/20-nproc.conf* soft nproc 65536root soft nproc unlimited不把这些参数调大的话并发一上去就报错4.4.3 修改磁盘预读参数在参数文件/etc/rc.d/rc.local中增加blockdev --setra 65536 /dev/sd*（红色部分为数据目录所在的磁盘，如/dev/sda, /dev/sdb等）chmod +x /etc/rc.d/rc.local临时生效blockdev --getra 65536 /dev/sd*4.5 关闭selinux【永久性关闭selinux】sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config 【临时关闭】临时关闭setenforce 04.6 重启各台服务器必须完成上述步骤之后，才重启各台服务器。