GBase 8A MPP Cluster 产品培训-日常维护
南大通用大数据新型列存储数据库GBase 8a透明网关参考手册
南大通用大数据新型列存储数据库GBase 8a透明网关参考手册南大通用大数据新型列存储数据库GBase 8a透明网关参考手册引言本文档为南大通用大数据新型列存储数据库GBase 8a透明网关的参考手册，旨在为用户提供详细的使用指南和技术支持。
本手册将介绍GBase 8a透明网关的功能和操作方法，并提供相关示例和案例，以帮助用户全面了解和使用该产品。
章节一、产品概述1.1 产品介绍1.1.1 GBase 8a透明网关的作用和优势1.1.2 适用场景和使用范围1.1.3 系统环境要求1.2 主要功能特性1.2.1 数据安全性和隐私保护1.2.2 数据传输效率和性能1.2.3 数据连接和集成1.2.4 数据存储和管理1.2.5 监控和日志管理1.3 系统组成和架构1.3.1 系统组件和模块1.3.2 系统架构图1.3.3 数据流和传输路径章节二、安装与配置2.1 安装准备2.1.1 硬件和软件要求2.1.2 系统文件和目录结构 2.1.3 安装包和2.2 安装步骤2.2.1 安装前准备工作2.2.2 安装过程和注意事项 2.2.3 安装后配置和初始化2.3 网关管理和设置2.3.1 网关管理控制台介绍2.3.2 系统设置和配置2.3.3 用户管理和权限设置章节三、数据传输与集成3.1 数据源配置和连接3.1.1 数据源类型和兼容性 3.1.2 数据源连接方法和参数 3.1.3 连接池管理和优化3.2 数据传输和同步3.2.1 数据传输模式和方式 3.2.2 数据同步策略和机制 3.2.3 数据过滤和转换3.3 数据集成和交互3.3.1 数据集成工具和方法 3.3.2 数据交互接口和格式 3.3.3 数据映射和转换规则章节四、数据存储与管理4.1 数据存储结构和管理4.1.1 数据表和表空间4.1.2 数据索引和分区4.1.3 数据备份和恢复4.2 数据查询和操作4.2.1 SQL查询语句和优化 4.2.2 数据增删改操作4.2.3 事务处理和并发控制4.3 数据安全和权限管理4.3.1 数据权限和访问控制 4.3.2 数据加密和解密4.3.3 审计和日志记录章节五、监控与维护5.1 系统监控和管理5.1.1 系统性能监控和调优 5.1.2 错误日志和告警处理 5.1.3 运行状态和资源管理5.2 数据库维护和优化5.2.1 数据库备份和恢复5.2.2 索引和查询优化5.2.3 数据碎片整理和压缩5.3 系统升级和升级5.3.1 安全升级和漏洞修复5.3.2 新功能和版本兼容性5.3.3 系统配置和参数修改附件：本文档涉及附件，如数据库安装包、配置文件示例、使用案例、问题排查指南等，请参考附件部分。
南大通用大数据新型列存储数据库GBase 8a 技术白皮书
皮书
GBase 8a 产品介绍
3. GBase 8a 产品介绍
GBase 8a 的架构设计充分满足了海量数据分析需求， 是具有高效复杂统计和分析 能力的列存储关系型数据库管理系统。 GBase 8a 面向分析型应用领域， 以列为基本存 储结构和数据运算对象，结合列数据压缩处理、并行处理、智能索引等新型数据处理 技术。下图展现了 GBase 8a 的体系结构。
GBase 8a 技术白皮书
GBase 8a 产品简介
1. 分析型数据库
1.1. 分析型应用的产生背景
在过去的十年里，数据的有效利用已经成为各单位议事日程上最优先的项目之 一。近几年来，企业和政府机构已经完成了信息化建设的初步阶段，即数据的采集和 事务应用。但随之而来产生了新的问题： 如何对已有海量数据进行有效利用； 如何对数据进行挖掘、分析； 如何从历史数据中获取规律，以指导企业的规划和决策； 怎样支持海量数据的即席查询、数据比对； 如何有效解决这些问题是信息化建设新的阶段和发展方向。 有这样一个案例： 某电信运营商发现用户在已经拥有一个移动号码的情况下，再次购买归属的同一 运营商的新号码入网，新号码全部或者部分替代原有旧号码，这种现象称为“重入网 现象” 。重入网泛滥使得该运营商营销渠道成本剧增，导致卡资源号码资源的紧缺， 严重影响正常运营。运营商非常希望找到一种方法，识别出重入网用户。但面对每月 新增 70 万用户和已有的 40 TB 历史数据，如何及时准确的甄别出重入用户，使用传 统事务型数据库管理系统几乎是不可能完成的。这一应用场景需要专为海量数据分析 处理使用的新型列存数据库管理系统的支持。 面对这类日益增加的海量数据分析需求，现有的传统数据库有明显的缺陷。这些 弊端包括： 低下的数据查询性能（传统数据库对上述案例的响应时间为几个小时） ； 对异构数据库访问困难； 惊人的存储成本； 沉重的维护成本。
GBASE培训总结教程文件
问题10PB/节点有效数据？支持infiniband网络？PB级支持能力？pdf2ppt?备份库不能选库必须为全量？集群内跨库操作映射不支持？按秒存储时间？背景：三大应用OLTP-OLAP-NOSQLOne size fits all to much size fit all集群架构特征：应用程序(接口层SQL->任一节点访问)数据库节点(集群)(负载平衡)数据分发节点（ETL）外部数据来源集群结构：节点192个规格（64组*3节点），内部高速互联分布式任务下发与回应集群管理工具-集群节点N节点GCCLUSTER数据管理层分解SQL任务管理，不进行计算节点NODE数据存储计算实例，直接加载数据，不需经过GCCLSTER节点GCWARE节点管理,节点为单位，非数据位单位SAFE GROUP：多个节点组成，数据互为备份，根据数据量高可用要求进行配置节点数，组数，扩展时以safe group为单位进行，不是以节点为单位扩展，多副本（目前最多2副本，3节点1个组）上部是应用接口层下部是基础层（UNIX系统）再下是数据分发节点及外部数据来源核心技术：1，列存储，数量大越大效率越高2，高效压缩1:20，提升I/O性能,以列为单位选择灵活压缩，表级压缩，配置文件配置全局压缩，优先级列-表-全局三层压缩;列压缩方式选择（0,0）（1,3）(5,5)，新建表才能改数据列压缩模式，旧的存储不能更改。
3，智能索引：以数据包为单位建立索引，可扩展，占领空间小4，双向并行：单表300GB/小时，多表300GB/小时，集群（20节点以上）2TB/小时5，全文检索：增加工具doc2txt,建立全文检索等模块，并行完成理论极值：列存1TB-100GB自适应压缩100GB-10GB智能索引10GB-1GB并行逐步提升处理效率架构演进：单机数据库计算集中，存储集中共享数据库计算分布存储集中MPP+Shared nothing 计算分布存储分布场景应用：分析类应用查询统计数据挖掘全文检索优势体现：优秀与适合比较PCSERVER+LINUX+SATA vs 小型机+UNIX+阵列硬件成本几万元目标：2014结构化+半结构+非结构（30PB,500节点）对接HADOOP可以处理非机构化数据如语音，视频等数据流继续优化2013实现的功能包括阵列混存等安装与卸载集群规划a.数据模型规划数据部署方式：复制表（节点内，小表，或与其他表join较多的as复制表）分布表（组内节点间，大表as分布表）分布表：随机分布表轮询，易有瓶颈；HASH分布表，以某一列做HASH计算，算出每个行（现在已经是块，65536行就是一个块，不是行）的HASH值进行节点分布，若HASH值分布密集也可能存在瓶颈b.空间规划2节点or 3节点做安全组单节点：数据存储空间（复制表，分布表，分布表复件，索引），运算存储空间硬件高可用多网卡绑定：适配器容错，主备方式；负载均衡系统占用1TB空间，ext4格式化，OPT目录存储业务数据及元数据gcnode，索引与元数据Gccluster目录大小：节点/ 50GB, /opt TB级别客户端安装企业管理器JDBC节点或者Gccli 用户文件复制客户端cat ~/日常维护命令行方式Gcadmin 查看正常的集群工作状态active（前集群中Olline的节点个数大于1/2时），locked （当前集群中Online的节点个数小于等于1/2 时），模式noarmal readonly recover节点工作状态online offiline 各模组进程的工作状态open close，datastate 节点数据一致性[0] [1] nodestate节点一致性offline检查（节点硬件，gcware启动，）模组进程close排除（7进程，ps –ef|grep进程名，service进程名status，单独启动、停止数据恢复datastate状态为1的故障排除（自动修复，节点内尽快恢复，集群层面加锁恢复后解锁，几秒周期比对，检查错误日志发现即触发，先DDL对表架构无操作后DML对表有增删改有操作）手工节点故障排除（短时间无法修复需设置节点状态failure gcadmin setnodestate nodeip 192.168.1.2 failure）此时所有表锁住，然后自动恢复数据normal后再解锁。
gccli 参数
GCCLI是一个用于连接和操作GBase 8a MPP Cluster的命令行工具，具有自己的命令行参数和用法。
例如，用于创建资源的“gccli create”参数的格式如下：
css复制代码
gccli create [参数] <资源名称> --<资源属性>=<属性值> ...
其中，“<资源名称>”是要创建的资源的名称，“--<资源属性>=<属性值>”是资源的属性及其对应的值。
又如，用于删除资源的“gccli delete”参数的格式如下：
css复制代码
gccli delete <资源名称>
其中，“<资源名称>”是要删除的资源的名称。
此外，GCCLI还提供了其他参数，如“-u”用于指定连接数据库的用户名，“-p”用于指定连接数据库的密码，“-h”用于指定连接数据库的IP地址或主机名，“-P”用于指定连接数据库的端口号，“-D”用于指定要连接的数据库名称等等。
更详细的参数说明和使用方法，请参考GCCLI的官方文档或使用“gccli --help”命令获取。
GBase MPP数据库产品介绍
APP APP APP OS OS OS
APP APP APP OS OS OS Memory
CPU
APP APP APP OS OS OS Memory
CPU
APP APP APP OS OS OS
业务系统 A
Memory
CPU
APP APP APP OS OS OS
APP APP APP OS OS OS
APP APP CPU OS OS IO
APP APP CPU OS OS IO
APP APP CPU OS OS IO
MPP集群的分布式存储
•数据部署方式：复制(Replicated)和分布(Distributed)两种
复制表 分布表
table 副本 table 副本
table 副本
table 分片_1 table 分片_2
table 分片_3
集群的分布式存储
•分布表的分布方式：hash分布和随机分布两种
随机分布表
…
memory
disks
disks
disks
disks
数据
GBase 8a MPP Cluster的技术架构 Apps
M
M
M
M
1 – 扁平架构
Apps
M M M
多Masters
2 – 联邦架构
GCware
GBase 8a MPP Cluster 产品软件架构
• 统一接口层： • GCluster：
分布式任务
Parser Optimizer Coordinator
• GCWare：
• GNode：
GCWare 用于各节点GCluster 实例 间共享信息，以及控制多副本数据 分布式 操作时，提供可操作节点，并在多 数据管理层 副本操作中，控制各节点数据一致 性状态。
且看群英共舞 奏响数据华章——记天津南大通用数据技术股份有限公司总经理武新
且看群英共舞奏响数据华章——记天津南大通用数据技术股份有限公司总经理武新作者：暂无来源：《科学中国人》 2018年第16期专家简介：武新，天津南大通用数据技术股份有限公司总经理兼首席技术官，第5批国家“千人计划”专家。
曾担任法国EKIP软件公司技术负责人、法国电信软件开发架构师，并作为资深数据库专家在甲骨文公司（法国）任职11年，指导了法国T o p40的大型企业核心数据平台设计、技术支撑和实施优化等工作，积累了丰富的大型数据库设计、开发及行业应用经验。
回国10年间，作为数据库技术的领航人，他主导设计和研发了业内先进的GBase 8a列存储数据库、GBase 8a MPP Cluster大规模并行数据库集群、GBase UP关系与非关系模型融合平台、GBase InfiniData数据库一体机等一系列产品，以创新驱动数据库核心技术发展，打破了国外数据库厂商对国内市场的长期垄断局面。
系列产品现已普遍应用于金融、电信、电力及政府监管机关等单位，以优秀的性能，良好的稳定性、高可用性等特点收获业界好评。
在节约资金、人力和时间成本的同时，极大提升了国家政企部门的运营能力及效率。
“让世界用上中国的数据库”，是自2004年成立至今，天津南大通用数据技术股份有限公司（以下简称“南大通用”）始终牢记的使命。
正是基于这份使命感，公司总经理兼首席技术官武新带领核心研发团队历经10年磨砺，以市场需求驱动核心产品的研发，在国际数据库软件群雄割据的状态下突破技术壁垒，凭借自主品牌G B a s e数据库系列产品走出一条独特而卓越的创新之路。
构建世界首个基于融合架构的关系与非关系模型、O L T P与O L A P融合的平台产品，是这家企业阐明优越价值的开始；凭借G B a s e数据库系列产品和技术，以亚太地区唯一一家独立软件公司的身份入选世界顶级咨询机构Gartner魔力象限，是它备受领域肯定的表现之一；连续5年在赛迪顾问发布的《平台软件市场研究报告》中勇夺国产数据库销售额桂冠，打破了国外数据库厂商对国内市场的长期垄断局面，是市场对由它所形成产业影响的高度评价。
南大通用GBase 8a分析型数据库集群介绍
20
GBase MPP集群：列存储DBMS + MPP
21
GBase MPP集群：列存储DBMS + MPP
22
GBase MPP集群：列存储DBMS + MPP
GBase Cluster Control
GBase Cluster database
数据按列存储 ，每一列单独存放 只访问查询涉及的列，大量降低I/O 数据类型一致，方便压缩 数据包建索引，数据即索引
r1 r2 r3 r4 r5
13
GBase 8a 的列存储架构
定义 •表：虚拟的逻辑层，由所有列 组成
DC
DC DC DC DC DC DC DC DC DC DC
1TB à 100GB
自适应压缩
100GB à 10GB
10GB à 1GB
智能索引
1GB à 100MB
并行加载， 单表 200GB / 小时 多表 500GB / 小时 集群 1TB / 小时
11
列存储简介
逻辑模型
映射规则
物理模型
12
列存数据库 Vs. 行存数据库
9
GBase 8a 功能结构
10
GBase 8a的主要技术和理论极值
列存 1.I/O降低到国际 传统数据库的 1/10以下 2.压缩比至少1/10 3.复杂查询和随机 查询性能是传统 数据库的10倍以上 4.简单易用， 降低使用成本 并行 水平分区
J2EE Server
J2EE
GBase Cluster database
8a Repository
GBase Cluster database Gbase Cluster Safegroup s
gbase8a管理手册
GBase 8A 管理手册概述GBase 8A 是一款高性能、可靠性强的数据库管理系统软件。
本手册旨在为用户提供关于 GBase 8A 的详细管理指南，方便用户更好地了解和使用该软件。
安装与配置1.安装–下载 GBase 8A 安装包并解压。
–执行安装脚本进行安装，并按照提示进行相应配置。
2.配置–修改配置文件，包括数据库参数设置、日志路径配置等。
数据库管理1.数据库创建–使用CREATE DATABASE命令创建新数据库。
–指定数据库名称、字符集和校对规则。
2.用户管理–使用CREATE USER命令创建新用户。
–分配用户权限，包括读、写、管理数据库等权限设置。
3.备份与恢复–使用备份命令BACKUP DATABASE对数据库进行备份。
–使用恢复命令RESTORE DATABASE进行数据库恢复。
性能优化1.索引优化–通过创建合适的索引来提高查询效率。
–定期对索引进行优化和维护。
2.查询优化–避免全表扫描，尽量使用索引加快查询速度。
–尽量避免复杂的联合查询，减少查询时间。
安全管理1.用户权限管理–定期审查用户权限，避免权限过大或过小。
–合理分配用户权限，避免数据泄露和损坏。
2.数据加密–使用 SSL/TLS 加密保护数据库通信安全。
–对重要数据进行加密存储，以防止数据泄露。
故障处理1.日志监控–定期监控日志文件，检查是否有异常报错信息。
–及时处理异常，以避免影响系统正常运行。
2.故障恢复–在发生数据库故障时，及时备份数据，并尝试进行恢复。
–针对不同类型的故障，采取相应的应急措施。
升级与维护1.版本升级–定期检查官方发布的版本更新，及时进行软件升级。
–在升级过程中，确保备份数据和配置文件，以免数据丢失。
2.性能监控–使用监控工具对数据库性能进行监控，发现问题及时解决。
–对数据库进行定期的性能优化和调整。
结语通过本手册的了解和实践，相信您能更好地管理和运维 GBase 8A 数据库，保障系统的稳定运行。
GBase 8a MPP集群
GBase 8a MPP集群数据分片手工同步手册1.查看GBase集群数据分片状态1.1用途当GBase集群采用多个节点部署的时候，会有多个数据分片分散存储数据库数据。
GBase集群提供了命令以便查看数据分片分布情况，显示集群每个分片的主副本所在节点情况。
1.2使用命令gcadmin showdistribution1.3使用样例如上是一个副本的的情况。
比如主本：192.168.174.61，第一个副本在192.168.174.62如果2个副本，最后的副本部分会多行。
2.手工同步表分片数据1.1 作用当节点主备分片不一致时，如果集群由于某些原因(磁盘无法写入，断电或磁盘故障)没有设置不一致自动同步标志，可以进行手工同步。
1.2 使用方法1.2.1 确认分片故障分别登录主备分片的服务器，运行gncliselect count(*) from DbName.TableName_nX如果两个相同的分片，行数不同，则确认分片故障了。
判断故障分片方法：1、分片所在服务器发生过故障，比如断电、磁盘满，只读等。
2、相对行数少的(多了可以删除，少了就真的没了)。
3、如行数相同，但集群查询或加载时依然报不一致错误，可以强行同步(由于数据相同，以任何一个为准均可)1.2.2 重建方式如果表数据量非常少，且select * from TableName 可以使用，可以重建表方式。
如果数据量多，再用同步方式。
show full create table TableName;获得表结构，然后新建表create table tableName_NEW (….. )…转数据insert into tableName_NEW select * from table Name;如果执行成功，则将表改名。
rename table tableName to tableName_OLD;rename table tableName_NEW to tableName;确认新表使用正常，老表根据情况考虑删除。
GBase 8A MPP Cluster 产品培训-日常维护
18
E: 独占锁
gcadmin查看集群锁
• 查看集群锁
• gcadmin showlock
19
检查内存使用率
• 使用top（LINUX）, nmon（/opt/gnode/server/bin/目录下)等 工具进行监控
/opt/gnode/server/bin/nmon
16
gcadmin切换集群模式
• 集群模式
集群模式分为： normal ：正常，能执行所有SQL操作 readonly：只读，只能执行查询SQL，用于数据备份操作。 recovery：恢复，不能进行任何SQL操作，用于数据恢复操作。
• 举例：
备份之前设置集群模式为readonly。 gcadmin switchmode readonly 备份结束之后，将集群模式设置为normal gcadmin switchmode normal
• 检查进程是否正常命令
ps –ef |grep 进程名
• 如果有进程不存在，需重新启动该节点gcware服务
service gcware restart (service gcware restart 会启动所有模组进程，需使用root帐号启动服务)
9
模组进程close状态故障排除
• 查看模组进程状态命令：
• 数据会自动恢复。
15 15
集群命令行gcadmin管理工具
• 命令行工具gcadmin可以为管理员提供管理集群的操作，包括：添加 SafeGroup、查看集群状态、切换集群状态、查询集群表锁等常用功能。
• 主要功能：
gcadmin --help 列出所有命令 gcadmin addsg --nodes <ip1[,[ip2]]> --names <name1[,[name2]] 增加组
8agdca认证考试题
8agdca认证考试题
GBase 8a GDCA认证考试题目如下：
1. 在GBase 8a MPP Cluster中，使用以开头的变量是：
A. 局部变量
B. 系统变量
C. 用户变量
D. 全局变量
答案：C
2. 快速UPDATE模式，需要开启的参数开关是：
A. gbase_fast_update
B. fast_update
C. _t_gbase_fast_update
D. _fast_update
答案：A
3. 关于以下命令$gcadmin distribution p2 d1 pattern1描述正确的是：
A. 节点信息文件的名字不能修改。
B. 该命令中的pattern1可以省略。
C. 该命令指定为主分片生成1个副本。
D. 通过该命令可以得知集群的rack（机架）数量为2。
答案：B
4. 其他数据库表要迁移到GBase8aMPPCluster时，当遇到跟8a支持的数据类型关键词不一致时，必须要把列的数据类型完全改写成8a支持的数据类型才能正确建表：
A. 正确
B. 错误
答案：B
5. 使用ALTER TABLE语句能修改表字段的：
A. 数据类型
B. 默认值
C. varchar类型的长度
D. 名字
答案：D。
GBase 8a学习总结
技术产品规范／项目名称设计方案朗新云商项目开发部201７年10月目录1GBase数据类型及ＳＱL语句1.1GBaｓe 8a数据类型GBase ８a MPP Clusｔer 支持SQL9２中定义得绝大多数数据类型,同时也支持SQL9９与SQL2000 中定义得数据类型。
GBase 8ａ MPＰCｌuster 支持得数据类型,如下表所示:1.1.1数值类型1.1.2字符类型GBase 8ａ MPP Cｌｕｓter 目前支持三种字符类型,如下表所示:1.1.3二进制数据类型目前支持以下二进制数据类型,如下表所示:GBase 8a MPP Ｃluster➢ＢＬOＢ列支持32KB 得存储容量。
➢创建表时,ＢLOB 列不可以有DEFAＵＬT 值。
➢查询语句中,ＢＬOＢ列不支持过滤条件。
➢查询语句中,ＢLOＢ列不支持ＯLＡP 函数。
1.1.4日期与时间类型以下限制说明,就是针对TIＭＥSTＡＭＰ数据列自动更新时得场景:1、在一张表中,只能自动更新表中第一个出现得TIMESTAMP 列,并且必须使用DEFAUＬＴ CURRENT_ＴIMESTAMP ON UPＤAＴE CURREＮＴ＿ＴIMESTAＭP来定义、2。
在一张表中,使用DＥFAＵLT CUＲREＮT_ＴＩMESTAＭP ON UPDATECＵRRENT_TＩMESTAMＰ来指定TＩMESＴAMP 列自动更新时,只能使用一次, 且用于第一个ＴIMEＳTＡMＰ列、3。
从不同节点发起得SQL 语句,ＴIＭESTＡMP 列更新得时间为发起节点得本地时间;如果从不同得发起点发起ＳQL,而各个节点得本地时间又不同步,则无法保证TIMEＳTAMP 列更新值一致。
1.2SQＬ语言基础本章对GＢasｅ８a MPP Cluster 得ＳQL 语句得下列元素进行讨论:数值,例如字符串与数字;标识符,比如表与列名字;用户与系统变量;注释。
1.2.1数值这部分主要介绍在GBase 8a MPP Cｌusｔer 中使用得数值、包括字符串,数字,十六进制值,布尔值与NＵLL、1.2.1.1字符串字符串就是多个字符组成得一个字符序列,由单引号‚’‛或双引号‚＂‛字符包围、例如:'a string’在一个字符串中,确定得序列具有特殊得含义,每个序列以反斜线符号‚＼‛开头,称为转义字符。
GBase 8A MPP Cluster 产品培训-SQL指南
视图 索引
16
GBase 8a MPP Cluster的数据库对象及DDL
数据库对象 数据库对象 存储过程 自定义function 用户 用户权限 分布列 使用及约束 支持用户自定义存储过程的创建、删除； 支持用户自定义创建function； 集群支持账户的创建，删除，更名； 支持对用户的赋权及权限回收； DDL创建表时如果需要指定distributed by列，只能指定 表中一列为distributed by列；
3
GBase 8a MPP Cluster的数据类型
数值型范围
类型名称
TINYINT
SMALLINT INT(INTEGER) BIGINT FLOAT[(M[, D])] DOUBLE[(M, D)] DECIMAL[(M[, D])]
最小值
-127
-32767 -2147483647 -9.22337E+18 -3.40E+38 -1.7976931348623157E+308 -(1E+M -1)/(1E+D)
•
Oracle lengthb() 同 gbase length()
9
函数差异举例
• 取结果集中指定位置的记录
oracle： rownum 针对结果集，从1开始
SELECT * FROM TABLE rownum <=100 gbase：使用limit替换rownum，可用临时表替换临时结果集 语法：SELECT * FROM TABLE LIMIT start_rows,rows ;
详细信息可查看《GBase 8a MPP Cluster SQL参考手册》
GBase 8a MPP企业级大数据平台-性能测试报告
GBase 8a MPP企业级大数据平台性能测试报告目录第1章测试定义 (1)1.1测试背景 (1)1.2测试目的 (1)1.3测试时间 (1)第2章测试环境 (2)2.1硬件环境 (2)2.2软件环境 (2)2.3测试数据 (2)2.3.1 测试数据加载 (3)第3章测试内容 (6)3.1测试项目 (6)3.2测试内容 (6)3.2.1 13个标准sql的串行执行测试 (6)3.2.2 小查询并发性能测试 (7)3.2.3 大查询并发性能测试 (8)3.2.4 并发插入性能测试 (9)3.2.5 并发加载性能测试 (10)第4章性能测试结果 (10)4.1测试结果 (10)4.1.1 十三条sql (10)4.1.2 并发性能 (11)4.1.3 加载性能 (12)4.2测试资源使用情况 (14)4.2.1 十三条sql执行过程 (14)4.2.2 Sql并发压力测试 (16)4.2.3 三加载机并发加载 (18)4.2.4 单加载机多加载进程测试 (19)第5章附件 (21)5.1标准查询13个SQL (21)5.2经改造的SQL12 (21)5.3 SSB测试包 (21)4.2测试脚本 (22)第1章测试定义1.1测试背景本次测试是建立在36节点GBase8a MPP集群数据库环境上，测试数据均为在其他负载的情况看下测得，能够比较客观的反应出GBase8a MPP集群数据库在该环境下的性能表现。
1.2测试目的本次测试旨在评估GBase8a MPP集群数据库在串行、小查询并行、大查询并行、加载模式并行的场景下其的性能表现，以及评估在类场景下系统资源的使用情况。
1.3测试时间第2章测试环境2.1硬件环境2.2软件环境2.3测试数据测试对象表：lineorder customer part dwdate supplier标准查询：13个标准查询数据规模1000 scales数据加载方式通过gbase加载工具dispcli和dispserver，加载数据文件，直接入库的方式。
GBase a学习总结
常量TURE 相当于1，而常量FALSE 相当于0。
常量的名字对大小写不敏感。
示例1：查询TRUE 和FALSE 对应的值。
gbase> SELECT TRUE, true, FALSE, false FROM t;
+------+------+-------+-------+
| TRUE | TRUE | FALSE | FALSE |
GBase 8a MPP Cluster的数据类型
数值型
TINYINT
INT
BIGINT
FLOAT
DOUBLE
DECIMAL
字符型
CHAR
VARCHAR
TEXT
二进制类型
BLOB
日期和时间型
DATE
DATETIME
TIME
TIMESTAMP
1.1.1
GBase 8a MPP Cluster支持的数值类型，如下表所示：
在一个字符串中，确定的序列具有特殊的含义，每个序列以反斜线符号‚\‛开头，称为转义字符。GBase 8a MPP Cluster识别下列转义字II 0 (NUL)字符。
\’
ASCII 39单引号‚'‛字符。
\”
ASCII 34双引号‚"‛字符。
\b
ASCII 8退格符。
\n
VARCHAR
10922
不足指定长度，不会补充
TEXT
10922
不能为它指定DEFAULT 值
1.1.3
GBase 8a MPP Cluster 目前支持以下二进制数据类型，如下表所示：
类型名称
最大长度（字节）
GBase8a学习总结
GBase8a学习总结技术产品规范/项⽬名称设计⽅案朗新云商项⽬开发部2017年10⽉⽬录1概述......................................... 错误!未定义书签。
项⽬介绍 ...................................... 错误!未定义书签。
三级........................................... 错误!未定义书签。
修改履历1GBase数据类型及SQL语句1.1GBase 8a数据类型GBase 8a MPP Cluster ⽀持SQL92 中定义的绝⼤多数数据类型，同时也⽀持SQL99 和SQL2000 中定义的数据类型。
GBase 8a MPP Cluster ⽀持的数据类型，如下表所⽰：1.1.1数值类型DOUBLE+308+3088DECIMAL[(M[,D ])]-(1E+M -1)/(1E+D)(1E+M -1)/(1E+D)动态计算1.1.2字符类型GBase 8a MPP Cluster ⽬前⽀持三种字符类型，如下表所⽰：类型名称最⼤长度（字符）备注CHAR255不⾜指定长度，右边空格补充VARCHAR10922不⾜指定长度，不会补充TEXT10922不能为它指定DEFAULT值1.1.3⼆进制数据类型GBase 8a MPP Cluster ⽬前⽀持以下⼆进制数据类型，如下表所⽰：类型名称最⼤长度（字节）BLOB32767使⽤BLOB 数据类型，有如下约束：BLOB 列⽀持32KB 的存储容量。
创建表时，BLOB 列不可以有DEFAULT 值。
查询语句中，BLOB 列不⽀持过滤条件。
查询语句中，BLOB 列不⽀持OLAP 函数。
1.1.4⽇期和时间类型类型名称最⼩值最⼤值格式DATE0001-01-019999-12-31YYYY-MM-ddDATETIME0001-01-0100:00:9999-12-3123:59:59YYYY-MM-ddHH:MI:TIME-838:59:59838:59:59HHH:MI:SS TIMESTAMP1970-01-012038-01-01YYYY-MM-DDTIMESTAMP 使⽤限制：以下限制说明，是针对TIMESTAMP 数据列⾃动更新时的场景：1. 在⼀张表中，只能⾃动更新表中第⼀个出现的TIMESTAMP 列，并且必须使⽤DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP来定义。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
17 17
gcadmin查看集群锁
• 查看集群锁
• 命令: gcadmin showlock • 功能：查看目前集群中的表级锁。 • 示例：
• Table name：锁加在哪个表上
• Owner: 哪个节点加的这把锁 • Content: 锁的备注
• Create time: 锁的创建时间(以加锁的节点的时间为准)
用户管理
• 创建用户：
CREATE USER admin IDENTIFIED BY ‘123456'; admin是新用户名，123456是密码
• 删除用户
DROP USER admin; • 修改用户名 RENAME USER old_user TO new_user • 设置/修改密码 SET PASSWORD = PASSWORD('adminnew'); SET PASSWORD FOR 'admin1' = PASSWORD('admin'); • 查询用户： SELECT TRIM(host) host, TRIM(user) user,password FROM er;
service 进程名 status
• 单独启动/停止各模组进程命令如下：(需使用root帐号启动服务)
• • • • • • •
10
gcluster进程启停命令： service gclusterd start/stop gnode进程启停命令： service gbased start/stop gcsync同步进程启停命令： service gcsync start/stop gcware进程启停命令： service corosync start/stop monit监控工具启停命令： service monit start/stop 元数据恢复工具启停命令： service gcmetarecover start/stop 数据恢复工具启停命令： service gcdatarecover start/stop
• 各模组进程的工作状态分为:
• Open 状态：该模组进程为正常状态 。 • Close 状态：则表示该模组进程启动失败或消失。
• datastate 数据的一致性状态分为:
• [0]：该节点数据一致性正常。 • [1] ：该节点数据一致性已不正常。
• nodestate 节点的一致性状态分为:
• [0]：该节点正常。 • [1] ：该节点不正常（长期故障）。
• 监控内存使用情况
• 帐号、权限管理 • 系统日志查看
4
集群状态
• 使用gcadmin命令查看正常的集群状态（命令行方式）
• 上图为正常的集群状态和节点状态。 • 当集群/节点某个状态不正常时，相应文字会闪烁。
5
集群状态
• 集群的工作状态分为:
• ACTIVED 状态： 当前集群中Online 的节点个数大于1/2 时，集群总的状态为ACTIVED 状态。 • LOCKED 状态： 当前集群中Online 的节点个数小于等于1/2 时，集群总的状态为 LOCKED 状态。 集群不再执行SQL操作。
• 查看gcware日志分析原因。 vi /var/log/corosync.log 查找lost的记录
8
模组进程close状态故障排除
• 节点服务启动后，正常有以下模组进程启动：
• • • • • • • gcluster进程名：gclusterd gnode进程名：gbased gcsync同步进程名：gc_sync_server gcware进程名：corosync 监控工具：monit 元数据恢复工具：gcmetarecover 数据恢复工具：gcdatarecover
• 检查进程是否正常命令
ps –ef |grep 进程名
• 如果有进程不存在，需重新启动该节点gcware服务
service gcware restart (service gcware restart 会启动所有模组进程，需使用root帐号启动服务)
9
模组进程close状态故障排除
• 查看模组进程状态命令：
• 如果空间快满，需考虑是否增加磁盘或者集群扩容。
21
连接集群数据库几种方法
• 通过GBase Shell方式连接集群（命令行方式）
$ gccli -ugbase -pgbase20110531 –h172.17.254.106(101108,111-118) -P5258 $ /opt/gcluster/server/bin/gbase -ugbase -pgbase20110531 P5258
16
gcadmin切换集群模式
• 集群模式
集群模式分为： normal ：正常，能执行所有SQL操作 readonly：只读，只能执行查询SQL，用于数据备份操作。 recovery：恢复，不能进行任何SQL操作，用于数据恢复操作。
• 举例：
备份之前设置集群模式为readonly。 gcadmin switchmode readonly 备份结束之后，将集群模式设置为normal gcadmin switchmode normal
节点故障排除
• 当某个节点出现故障时，短时间无法修复，需设置节点状态failure
gcadmin setnodestate nodeip 192.168.12.53 failure
• 当故障修复完毕，则将节点状态设置为normal
gcadmin setnodestate nodeip 192.168.12.53 normal
20
检查磁盘空间使用情况
• 使用 df –h 命令 查看磁盘的使用率和剩余空间
[root@TEST10138 ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/VolGroup00-LogVol00 209G 113G 86G 57% / /dev/sda6 92M 24M 64M 27% /boot tmpfs 2.0G 0 2.0G 0% /dev/shm
<Insert Picture Here>
GBase 8a MPP Cluster 日常维护
南大通用数据技术股份有限公司
GBASE版权所有©2004-2013
目录
一
维护管理规范介绍
二
数据库日常维护
三
问题解答
2
目录
一
维护管理规范介绍
二
数据库日常维护
三
问题解答
3
日常维护
• 检查集群状态 • 查询磁盘空间
gcadmin removesg <sgname> 移除组（有数据时慎用）
gcadmin [showcluster] 查看集群信息 gcadmin switchmode {normal|readonly|recovery} 切换集群模式
gcadmin showlock 查看集群锁（表级）
gcadmin setnodestate <IpAddress > {normal|failure} 节点出现故障时，设置节点状态为failure，修好以后，设置节点状态为normal
23
实用SQL语句-帐号管理
• GRANT 和REVOKE 语句允许系统管理员创建8a 集群用户帐号，并处理 用户权限的赋予与收回。 • 授权语法：
GRANT ALL ON TEST.* TO 'admin' WITH MAX_QUERIES_PER_HOUR 20 MAX_UPDATES_PER_HOUR 10 MAX_CONNECTIONS_PER_HOUR 5 MAX_USER_CONNECTIONS 2 ; MAX_QUERIES_PER_HOUR：每节点上限制每用户每小时发出的查询数 MAX_UPDATES_PER_HOUR：每节点上限制每用户每小时发出的更新数 MAX_CONNECTIONS_PER_HOUR：每节点上限制每用户每小时可连接服务器的 次数
• 数据会自动恢复。ห้องสมุดไป่ตู้
15 15
集群命令行gcadmin管理工具
• 命令行工具gcadmin可以为管理员提供管理集群的操作，包括：添加 SafeGroup、查看集群状态、切换集群状态、查询集群表锁等常用功能。
• 主要功能：
gcadmin --help 列出所有命令 gcadmin addsg --nodes <ip1[,[ip2]]> --names <name1[,[name2]] 增加组
• 集群的模式分为:
• normal ：正常，能执行所有SQL操作 • readonly：只读，只能执行查询SQL，用于数据备份操作。 • recovery：恢复，不能进行任何SQL操作，用于数据恢复操作。
6
节点状态
• 节点的工作状态分为:
• Online 状态：节点为正常状态 。 • Offline 状态：则表示节点断线或者集群 gcware 服务未启动。
7
模组进程故障排除
• 节点的工作状态为Offline 状态
• 排查是否掉电、断网等硬件、网络问题。
• 重新启动该节点的gcware服务。 service gcware start • 整体集群重启操作 172.17.254.101节点root用户 Cexecs service gcware restart
• 批处理SQL文件
$ gccli -ugbase -pgbase20110531 -Dtest -vvv -f <sql/sql1.txt >>sql/result.txt 2> sql/result.err
• 企业管理器可连接（windows下的图形化客户端） • 应用程序访问