南大通用大数据新型列存储数据库GBase 8a 技术白皮书

合集下载

南大通用大数据新型列存储数据库GBase 8a透明网关参考手册

南大通用大数据新型列存储数据库GBase 8a透明网关参考手册南大通用大数据新型列存储数据库GBase 8a透明网关参考手册引言本文档为南大通用大数据新型列存储数据库GBase 8a透明网关的参考手册，旨在为用户提供详细的使用指南和技术支持。

本手册将介绍GBase 8a透明网关的功能和操作方法，并提供相关示例和案例，以帮助用户全面了解和使用该产品。

章节一、产品概述1.1 产品介绍1.1.1 GBase 8a透明网关的作用和优势1.1.2 适用场景和使用范围1.1.3 系统环境要求1.2 主要功能特性1.2.1 数据安全性和隐私保护1.2.2 数据传输效率和性能1.2.3 数据连接和集成1.2.4 数据存储和管理1.2.5 监控和日志管理1.3 系统组成和架构1.3.1 系统组件和模块1.3.2 系统架构图1.3.3 数据流和传输路径章节二、安装与配置2.1 安装准备2.1.1 硬件和软件要求2.1.2 系统文件和目录结构 2.1.3 安装包和2.2 安装步骤2.2.1 安装前准备工作2.2.2 安装过程和注意事项 2.2.3 安装后配置和初始化2.3 网关管理和设置2.3.1 网关管理控制台介绍2.3.2 系统设置和配置2.3.3 用户管理和权限设置章节三、数据传输与集成3.1 数据源配置和连接3.1.1 数据源类型和兼容性 3.1.2 数据源连接方法和参数 3.1.3 连接池管理和优化3.2 数据传输和同步3.2.1 数据传输模式和方式 3.2.2 数据同步策略和机制 3.2.3 数据过滤和转换3.3 数据集成和交互3.3.1 数据集成工具和方法 3.3.2 数据交互接口和格式 3.3.3 数据映射和转换规则章节四、数据存储与管理4.1 数据存储结构和管理4.1.1 数据表和表空间4.1.2 数据索引和分区4.1.3 数据备份和恢复4.2 数据查询和操作4.2.1 SQL查询语句和优化 4.2.2 数据增删改操作4.2.3 事务处理和并发控制4.3 数据安全和权限管理4.3.1 数据权限和访问控制 4.3.2 数据加密和解密4.3.3 审计和日志记录章节五、监控与维护5.1 系统监控和管理5.1.1 系统性能监控和调优 5.1.2 错误日志和告警处理 5.1.3 运行状态和资源管理5.2 数据库维护和优化5.2.1 数据库备份和恢复5.2.2 索引和查询优化5.2.3 数据碎片整理和压缩5.3 系统升级和升级5.3.1 安全升级和漏洞修复5.3.2 新功能和版本兼容性5.3.3 系统配置和参数修改附件：本文档涉及附件，如数据库安装包、配置文件示例、使用案例、问题排查指南等，请参考附件部分。

南大通用范多锋---MPP数据库技术,支撑行业大数据应用

万兆网络
存储+计算节点
Interconnect
..
2
MPP RDBMS的主要特征和价值
核心功能
支持严格的关系模型：SQL92，加扩展，加存储过程支持事务、保证数据强一致性：2阶段提交，ACID特征数据存储格式和存储分布优化：很好的OLAP性能和扩展能力深度优化的分布式、单节点SQL优化器：核心价值软件定义的架构：基于通用硬件高性能：大表关联、复杂SQL、即席统计、多维分析易用性：对应用透明可靠性：自动故障诊断、修复、硬件在线替换能力安全性：用户权限、审计
大规模MPP数据库集群（NewSQL）传统数据库（OldSQL）
8
查询复杂度
大数据的宏观视图：行业与互联网大数据
大数据行业大数据经营类
电信信令电信话单金融细账金融票据电力调度智能电网经营分析结构化为主
互联网大数据专业类
音视频地震勘探气象云图卫星遥感雷达数据物联网非结构为主 10%结构化 30%半结构化 60%非结构化价值密度结构化 >半结构化 >>非结构化
DWA DWD ODS
网络信令网络信令网络信令
……
……
……
URL类别库
分词库
数据采集与交换
业务类数据通信类数据互联网数据日志类数据
78
目录
一二三四
MPP数据库技术及实践 GBase 8a MPP Cluter产品特性 GBase 8a MPP 电信和金融案例企业简介
12
*
GBase 8a 列存储数据库单机版架构
16
行列混合存储 – 兼顾统计与内容查询

列式数据库介绍

不适合扫描小量的数据不适合随机的更新不适合做含有删除和更新的实时操作只适合做联机分析处理（OLAP），不适合做联机事务处理（OLTP）对中文的支持较差比较复杂，安装、部署和管理需要专门的精通它的数据库管理专家来做
列式数据库适合存储的数据
列式数据库适合存储的数据特点 1、在进行大数据处理时，查询性能要高于处理性能。（运营商的数据是一直在生成的，所以处理性能要高于查询性能）。 2、数据处理完毕后最好不要对已完成处理的数据进行更改（运营商的数据是有延时的，所以有时必须要修改已经处理完成的数据）。
列式数据库的优点
极高的装载速度(最高可以等于所有硬盘IO 的总和，基本是极限了) 适合大量的数据而不是小数据实时加载数据仅限于增加(删除和更新需要解压缩 Block 然后计算然后重新压缩储存) 高效的压缩率，不仅节省储存空间也节省计算内存和CPU。非常适合做聚合操段，工资。这个表存储在电脑的内存和硬盘中。虽然内存和硬盘在机制上不同，电脑的操作系统是以同样的方式存储的。数据库必须把这个二维表存储在一系列一维的“字节” 中，操作系统再写到内存或硬盘中。行式数据库把一行中的数据值串在一起存储起来，然后再存储下一行的数据，以此类推。1，Smith，Joe， 40000；2，Jones，Mary，50000；3，Johnson，Cathy，44000；列式数据库把一列中的数据值串在一起存储起来，然后再存储下一列的数据，以此类推。1，2，3；Smith，Jones，Johnson；Joe，Mary，Cathy； 40000，50000，44000；这是对列式数据库的一个简化的说法。
Gbase 8a案例银监会现场检查系统项目
解决方案
列式数据库的存储原理

GBase 8a 大数据数据库平台介绍

优点: 进一步高效降低I/O 突破传统基于行存储的索引技术的局限性全部字段都自动建索引，自动优化提供统计信息，直接在索引上进行聚合运算
GBase 8a 使用智能索引原理
Select a, sum(b) as b from mytab
结果集
A<=‘100101’ ?
Where a<=‘100101’
• Oracle Exadata：hybrid columnar compression • SQL Server 2008 R2：column index • Vertica ：column store + projection
x-86平台的崛起
3
新的列存储架构优势
• Greenplum ： row + column store • Sybase IQ：column store • GBase 8a ：column store • Hbase ：column KV store •Teradata V14 : column store
在这个案例中，GBase 8a需要的IO只是行存数据库的1/10。
高效自适应压缩 - 提升I/O性能
create table lineorder (
lo_orderkey bigint, lo_linenumber int compress(2), lo_custkey int, lo_partkey int, lo_suppkey int, lo_orderdate int, lo_orderpriority varchar(15) compress(0), lo_shippriority varchar(1) , lo_quantity int, lo_extendedprice int, lo_ordtotalprice int, lo_discount int, lo_revenue int, lo_supplycost int, lo_tax int, lo_commitdate int, lo_shipmode varchar(10) ) compress(1,3);

GBase MPP数据库产品介绍

<Insert Picture Here>
数据库产品介绍
GBase 8a MPP Cluster
目录
1
GBase 8a MPP 产品简介及技术分析 GBase 8a MPP 应用场景及行业典型案例 GBase 8a MPP 平台稳定性及运维支撑体系
2
3
大数据≠任何单一的数据处理技术
Hadoop
NoSQL，互联网、非结构化
合适的技术解决针对的问题
NewSQL
传统数据库
OldSQL，交易、联机事务
MPP数据库
NewSQL,分析应用、结构化行业大数据
OldSQL
＋
NoSQL
大数据平台混搭架构
大数据
多种数据处理技术的组合
One Size Doesn’t Fit All！
GBase 8a MPP Cluster 产品简介
分布式任务
Parser Optimizer Coordinator
• GCWare：
• GNode：
GCWare 用于各节点GCluster 实例间共享信息，以及控制多副本数据分布式操作时，提供可操作节点，并在多数据管理层副本操作中，控制各节点数据一致性状态。
GNode 是GCluster 中最基本的存储和计算单元。GNode 负责集群数据在节点上的实际存储，并从分布式 GCluster 接收和执行经分解的SQL 集群管理层执行计划，执行结果返回给 GCluster。
应用平台
混搭结构பைடு நூலகம்数据平台
统一接入管理
关系模型存储过程 SQL 星型模型 ACID 雪花模型数据交换
HBase

南大通用数据库技术白皮_Gbase8g_V2.3

General Data Technology Co., Ltd.
GBase 版权所有（©2004-2010）
天津中心：天津华苑产业区海泰发展六道 6 号海泰绿色产业基地 J 座电话：022-58815881 传真：022-58815882 北京中心：北京市海淀区金源时代商务中心 2 号楼 B 区 1205-1206 电话：010-88866866 传真：010-88864556 客服专线：400-817-9696 Email:info@
4.1.1. 数据类型...........................................................................................................8 4.1.1.1. 标准数据类型...........................................................................................8 4.1.1.2. 扩展数据类型...........................................................................................8
目录
1. GBase 8g 产品简介..................................................................................................................1 1.1. GBase 8g 产品开发背景...............................................................................................1 1.2. GBase 8g 产品特点.......................................................................................................1 1.3. GBase 8g 产品功能简介..............................................................................................3

南大通用GBase 8a分析型数据库集群介绍

20
GBase MPP集群：列存储DBMS + MPP

21
GBase MPP集群：列存储DBMS + MPP

22
GBase MPP集群：列存储DBMS + MPP
GBase Cluster Control
GBase Cluster database
数据按列存储，每一列单独存放只访问查询涉及的列，大量降低I/O 数据类型一致，方便压缩数据包建索引，数据即索引
r1 r2 r3 r4 r5

13
GBase 8a 的列存储架构
定义 •表：虚拟的逻辑层，由所有列组成
DC
DC DC DC DC DC DC DC DC DC DC
1TB à 100GB
自适应压缩
100GB à 10GB
10GB à 1GB
智能索引
1GB à 100MB
并行加载，单表 200GB / 小时多表 500GB / 小时集群 1TB / 小时
11

列存储简介
逻辑模型
映射规则
物理模型

12
列存数据库 Vs. 行存数据库

9
GBase 8a 功能结构

10
GBase 8a的主要技术和理论极值
列存 1.I/O降低到国际传统数据库的 1/10以下 2.压缩比至少1/10 3.复杂查询和随机查询性能是传统数据库的10倍以上 4.简单易用，降低使用成本并行水平分区
J2EE Server
J2EE
GBase Cluster database
8a Repository
GBase Cluster database Gbase Cluster Safegroup s

B2_南大通用数据库技术白皮书(标准版)_GBase8s_V3.6

4.2.4 SCHEMA ........................................................................................ 17 4.2.5 视图................................................................................................. 17 4.2.6 存储过程......................................................................................... 18 4.2.7 触发器............................................................................................. 19 4.3 数据库维护管理功能 ................................................................................. 19 4.3.1 备份................................................................................................. 19 4.3.2 恢复................................................................................................. 20 4.3.3 性能优化手段 ................................................................................. 20 4.3.4 参数及其设置方式 ......................................................................... 21 4.3.5 复制................................................................................................. 21 4.4 开发接口支持 ............................................................................................. 21

gbase8a管理手册

GBase 8A 管理手册概述GBase 8A 是一款高性能、可靠性强的数据库管理系统软件。

本手册旨在为用户提供关于 GBase 8A 的详细管理指南，方便用户更好地了解和使用该软件。

安装与配置1.安装–下载 GBase 8A 安装包并解压。

–执行安装脚本进行安装，并按照提示进行相应配置。

2.配置–修改配置文件，包括数据库参数设置、日志路径配置等。

数据库管理1.数据库创建–使用CREATE DATABASE命令创建新数据库。

–指定数据库名称、字符集和校对规则。

2.用户管理–使用CREATE USER命令创建新用户。

–分配用户权限，包括读、写、管理数据库等权限设置。

3.备份与恢复–使用备份命令BACKUP DATABASE对数据库进行备份。

–使用恢复命令RESTORE DATABASE进行数据库恢复。

性能优化1.索引优化–通过创建合适的索引来提高查询效率。

–定期对索引进行优化和维护。

2.查询优化–避免全表扫描，尽量使用索引加快查询速度。

–尽量避免复杂的联合查询，减少查询时间。

安全管理1.用户权限管理–定期审查用户权限，避免权限过大或过小。

–合理分配用户权限，避免数据泄露和损坏。

2.数据加密–使用 SSL/TLS 加密保护数据库通信安全。

–对重要数据进行加密存储，以防止数据泄露。

故障处理1.日志监控–定期监控日志文件，检查是否有异常报错信息。

–及时处理异常，以避免影响系统正常运行。

2.故障恢复–在发生数据库故障时，及时备份数据，并尝试进行恢复。

–针对不同类型的故障，采取相应的应急措施。

升级与维护1.版本升级–定期检查官方发布的版本更新，及时进行软件升级。

–在升级过程中，确保备份数据和配置文件，以免数据丢失。

2.性能监控–使用监控工具对数据库性能进行监控，发现问题及时解决。

–对数据库进行定期的性能优化和调整。

结语通过本手册的了解和实践，相信您能更好地管理和运维 GBase 8A 数据库，保障系统的稳定运行。

GBase 8A MPP Cluster 产品培训-日常维护

• Orphan: 是否是孤儿锁。 • Type: 锁的类型，S: 共享锁
18
E: 独占锁
gcadmin查看集群锁
• 查看集群锁
• gcadmin showlock
19
检查内存使用率
• 使用top（LINUX）, nmon（/opt/gnode/server/bin/目录下)等工具进行监控
/opt/gnode/server/bin/nmon
16
gcadmin切换集群模式
• 集群模式
集群模式分为： normal ：正常，能执行所有SQL操作 readonly：只读，只能执行查询SQL，用于数据备份操作。 recovery：恢复，不能进行任何SQL操作，用于数据恢复操作。
• 举例：
备份之前设置集群模式为readonly。 gcadmin switchmode readonly 备份结束之后，将集群模式设置为normal gcadmin switchmode normal
• 检查进程是否正常命令
ps –ef |grep 进程名
• 如果有进程不存在，需重新启动该节点gcware服务
service gcware restart (service gcware restart 会启动所有模组进程，需使用root帐号启动服务)
9
模组进程close状态故障排除
• 查看模组进程状态命令：
• 数据会自动恢复。
15 15
集群命令行gcadmin管理工具
• 命令行工具gcadmin可以为管理员提供管理集群的操作，包括：添加 SafeGroup、查看集群状态、切换集群状态、查询集群表锁等常用功能。
• 主要功能：
gcadmin --help 列出所有命令 gcadmin addsg --nodes <ip1[,[ip2]]> --names <name1[,[name2]] 增加组

B2_南大通用数据库成功案例_GBase8a_V2.1

GBase 8a 分析型数据库应用案例
山东省全员人口数据中心
1. 系统简介
山东省全员人口数据中心以山东省人口计生委原有业务系统为基础，整合公安、民政等部门的人口信息，形成省级全员人口信息数据库，对外提供多种类型的应用服务。
图：山东省委全员人口数据中心
该中心通过按月定期采集育龄妇女的数据信息，以及公安、民政等部门的权威人口信息，经过数据整合、数据对比、汇总统计最终形成育龄妇女数据仓库。系统提供育龄妇女的个人信息查询、数据分析的报表展示、错误信息汇总等功能。
-5-
GBase 8a 分析型数据库应用案例
基于分析型数据库的数据比对生成系统
1. 系统简介
数据比对生成系统以分析型数据库为核心存储，通过对分布式数据源的直接抽取和批量加载形成新的数据事实表，经过与历史事实表的比对进行数据入库，对外提供信息查询，关联分析和图形化智能分析。
图：基于分析型数据库的数据比对生成系统

-3-
GBase 8a 分析型数据库应用案例
基于分析型数据库的在线分析系统
1. 系统简介
基于分析型数据库的在线分析系统利用分析型数据库高效的复杂统计、分析能力和批量加载性能，为在线分析类的应用系统提供了完整的解决方案，满足了业务系统中各种类型的复杂统计分析需求。
图：基于分析型数据库的在线分析系统
该部门的业务系统原采用 Oracle 10g 数据库，每天新增数据量在 80G 左右。由于直接使用原业务系统的数据进行统计分析时，常规的分析业务耗时在 1 分钟以上，复杂业务的甚至达 10 分钟，无法满足应用需求。因此采用定期同步数据到 GBase 8a 的方式进行同步分析。
该分析系统通过定期（10 分钟）同步其业务系统中的数据到 GBase 8a 中，然后进行高效的在线统计和复杂分析。

GBase 8a 安装手册(Linux RHEL6)

您可以查阅，并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档。
任何单位和个人未经南大通用公司书面授权许可，不得使用、修改、再发布本文档的任何部
分和内容，否则将视为侵权，南大通用公司具有依法追究其责任的权利。
本文档中包含的信息如有更新，恕不另行通知。您对本文档的任何问题，可直接向南大通用
南大通用数据技术股份有限公司
I
GBase 8a 安装手册(Linux RHEL6)
6.1 执行卸载脚本 ........................................ 48 7 升级和回退 GBase 8a.......................................... 50
GBase 8a 推荐将主机的本地磁盘设置为 RAID5。RAID5 工作模式，至少需要 3 块完全相同的物理磁盘。
不同厂商的硬件服务器设置略有不同。本手册以型号为 DELL R710/R720 的服务器为例，讲述 RAID5 设置的步骤。
开机启动系统，如下图：
-2-
南大通用数据技术股份有限公司
-4-
南大通用数据技术股份有限公司
GBase 8a 安装手册(Linux RHEL6)
按回车确认，出现如下界面：
使用左右箭头按键选择“YES”按钮，按回车，删除成功，出现如下界面：
南大通用数据技术股份有限公司
-5-
GBase 8a 安装手册(Linux RHEL6)
成功删除保留的虚拟磁盘后，需要重新创建虚拟磁盘把光标放在界面中蓝色选中的位置：
据技术股份有限公司合法拥有，受《中华人民共和国著作权法》、《计算机软件保护条例》、
《知识产权保护条例》和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保

GBase 8a产品介绍

GCWare OS + 存储
GBase 8a MPP Cluster的执行流程
上层应用SQL 查询结果 3
1
Node 1
Node 2
Node 3
分布式执行计划
Session
2 2
2
GCluster
2
Interconnect Network
GCluster
分布式执行引擎
分布式管理引擎
GNode
1
2
3
4
5
应用趋势
产品介绍关键技术适应场景
核心价值
GBase 8a MPP Cluster的关键技术
• GBase 8a采用了列存储、自适应压缩和智能索引等特有技术，以实现降低磁盘I/O的主要设计目标 • 上述每一项技术都有可能提升10倍的性能，GBase 8a的理论上能够实现1000倍的速度提升，实际性能
C2
20120101 …
C1
C2
Abc
1000
C3
…
北京
节点1
C1
1001 1001
C2
20120101 …
C1
C2
Edf
1001
C3
…
上海
节点2
C1
1002 1002
C2
20120101 …
C1
C2
xyz
1002
C3
…
天津
节点3
劢态hash join
GBase 8a MPP Cluster的集群特征-安全组高可用机制
结构化
+半结构化
行业大数据的体量不亏联网大数据的体量相当，在一个数量级上行业大数据的价值密度高亍亏联网数据行业大数据为数据库厂商带来的商业机会和商业价值高亍亏联网大数据。

GBase 8A MPP Cluster 产品培训-SQL指南

支持视图的创建、修改、删除；支持GLOBAL、LOCAL级别的hash索引创建、删除；支持多列hash索引的创建、修改；
视图索引
16
GBase 8a MPP Cluster的数据库对象及DDL
数据库对象数据库对象存储过程自定义function 用户用户权限分布列使用及约束支持用户自定义存储过程的创建、删除；支持用户自定义创建function；集群支持账户的创建，删除，更名；支持对用户的赋权及权限回收； DDL创建表时如果需要指定distributed by列，只能指定表中一列为distributed by列；
3
GBase 8a MPP Cluster的数据类型
数值型范围
类型名称
TINYINT
SMALLINT INT(INTEGER) BIGINT FLOAT[(M[, D])] DOUBLE[(M, D)] DECIMAL[(M[, D])]
最小值
-127
-32767 -2147483647 -9.22337E+18 -3.40E+38 -1.7976931348623157E+308 -(1E+M -1)/(1E+D)
•
Oracle lengthb() 同 gbase length()
9
函数差异举例
• 取结果集中指定位置的记录
oracle： rownum 针对结果集，从1开始
SELECT * FROM TABLE rownum <=100 gbase：使用limit替换rownum，可用临时表替换临时结果集语法：SELECT * FROM TABLE LIMIT start_rows,rows ;
详细信息可查看《GBase 8a MPP Cluster SQL参考手册》

2小时掌握GBase 8a

5 GBase 常用工具................................................ 32 5.1 GBase 8a 数据导入工具:gbloader .......................... 32 5.2 GBase 8a 数据导出工具:gbunloader ........................ 35 5.3 Oracle 数据迁移工具:orato8a ............................. 40
南大通用数据技术有限公司
I
2 小时掌握 GBase 8a
3 演示环境 ..................................................... 16 3.1 ssbm ................................................... 16
目录
Hale Waihona Puke 2 小时掌握 GBase 8a
联系我们 .......................................................... 1 前言 .............................................................. 2
2 小时掌握 GBase 8a，南大通用数据技术有限公司 GBase 版权所有©2004-2012，保留所有权利。版权声明本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记，由南大通用数据技术有限公司合法拥有，受《中华人民共和国著作权法》、《计算机软件保护条例》、《知识产权保护条例》和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保护。未经授权许可，不得非法使用。免责声明本文档包含的南大通用公司的版权信息由南大通用公司合法拥有，受法律的保护，南大通用公司对本文档可能涉及到的非南大通用公司的信息不承担任何责任。在法律允许的范围内，您可以查阅，并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档。任何单位和个人未经南大通用公司书面授权许可，不得使用、修改、再发布本文档的任何部分和内容，否则将视为侵权，南大通用公司具有依法追究其责任的权利。本文档中包含的信息如有更新，恕不另行通知。您对本文档的任何问题，可直接向南大通用数据技术有限公司告知或查询。未经本公司明确授予的任何权利均予保留。通讯方式南大通用数据技术有限公司天津华苑产业区海泰发展六道 6 号海泰绿色产业基地 J 座(300384) 电话：400-817-9696 邮箱：info@ 商标声明

南大通用等保三级硬加密安全数据库GBase8s产品介绍

解决方案军队和军工企业信息系统wwwgbasecn45安全数据库解决方案电子病历系统中的敏感人物信息odbcjdbc接口电子病例系统安全通讯服务端认证处理模块gbase8s数据库内存磁盘存储加解密变换存储管理模块硬件加密设备病例概要病历记录住院病历记录健康体检记录转诊记录法定医学证明及报告医疗机构信息病例概要病历记录住院病历记录健康体检记录转诊记录法定医学证明及报告医疗机构信息一般用户授权用户序号姓名身份证号门诊号住院号床位号有效时间90821001871025200910908210029320382000909908210031059452009109082100420735220091190821005311119820091090821007174568200909emr010001患者基本信息表序号姓名性别职业工作单位教育家庭年人均收入公务员市政府硕士6万元公务员人大本科6万元公务员政协本科4万元工程师xxx公司本科2万元公务员市工商局专科5万元公务员市妇联本科3万元h03人口学情况表序号姓名身份证号门诊号住院号床位号有效时间90821001871025200910908210029320382000909908210031059452009109082100420735220091190821005311119820091090821007174568200909emr010001患者基本信息表序号姓名性别职业工作单位教育家庭年人均收入公务员市政府硕士6万元公务员人大本科6万元公务员政协本科4万元工程师xxx公司本科2万元公务员市工商局专科5万元公务员市妇联本科3万元h03人口学情况表解决方案涉及个人隐私信息系统wwwgbasecn46南大通用产品系列altibasegbase8agbase8sgbase8dgbase8g神舟通用核高基2005今2001今2004今2007今高速安全数据库分析型数据库目录数据库内存数据库安全市场行业市场政务市场通用数据库安全自主wwwgbasecn47gbase8sgbase8a解决方案分析型体系建设47wwwgbasecn安全数据源报表不分析科学计算gbasebibusinessobjects线性代数r语言支持各种数据仓库支持各种etl工具支持sql直接幵行访问外部数据文件支持外部编程直接使用sql幵行访问数据库sunhpibmoracledb2gbase8agba

南大通用大数据新型列存储数据库GBase 8a透明网关参考手册

gbase8a透明网关参考手册南大通用数据技术有限公司21安装22卸载31透明网关服务配置文件311gbasegtport312gbasegtencode313gbasegtpagesize314gbasegtwaittimeout32异构数据源配置文件321datasourceip322datasourceport323datasourcedbname324datasourcedbtype33gbase8a实例配置文件331gbase8aip332gbase8aport333gbase8auser334gbase8apwd335gbase8aencode1034注册透明网关服务10341gbasedblinkgatewayip10342gbasedblinkgatewayport10343gbasedblinkserverip1241创建dblink12gbase8a透明网关参考手册ii南大通用数据技术有限公司42删除dblink1243查询dblink1244使用dblink1561安装gbase8a透明网关1562配置透明网关服务参数1563配置异构数据源参数1664配置gbase8a实例参数1665注册gbase8a透明网关1766启动透明网关服务1767通过透明网关查询数据1968验证透明网关查询结果1969连接失败的常见原因21gbase8a透明网关参考手册南大通用数据技术有限公司联系我们南大通用欢迎您对此手册提出自己的宝贵意见和建议您的意见和建议将成为完善此手册的重要部分
系，或者不太重要的一些行。 WHERE table_name = 'lineorder';
+------------------+
| column_name
|
+------------------+

南大通用数据库技术白皮书_Gbase8d_V2.0

6. GBase 8d 的性能指标 ............................................................................................................21 6.1. 查询性能.....................................................................................................................21 6.2. 吞吐量.........................................................................................................................21 6.3. 容量.............................................................................................................................21 6.4. 并发连接数.................................................................................................................22 6.5. 全镜像同步复制更新时间.........................................................................................22 6.6. 引用的部署.................................................................................................................22 6.7. 复制的部署.................................................................................................................22 6.8. GBase 8d 的性能优化支持 ........................................................................................22

GBase 8a MPP:一种新型关系数据库的设计和实践

GBase 8a MPP：一种新型关系数据库的设计和实践
李瀚
【期刊名称】《电信网技术》
【年(卷),期】2016(0)4
【摘要】随着行业大数据应用的迅速发展,对基于海量数据的行业大数据的存储、处理和管理提出了更高要求,传统的小机+存储阵列的架构已经无法满足海量数据增长和系统扩展性的要求.本文总结了一种基于MPP架构+列式存储设计的新型关系数据库技术的产品——GBase 8a MPP的技术设计思路,这些技术有效解决了传统架构下的扩展性问题和大规模并行计算问题,并且通过内部高可用机制实现在低价计算平台上的大数据平台可靠性.
【总页数】12页(P23-34)
【作者】李瀚
【作者单位】天津南大通用数据技术股份有限公司
【正文语种】中文
【相关文献】
1.智能化图象数据库系统GBASE的模式设计 [J], 陈涛;吴健康
2.南大通用发布GBase 8a [J], 苏达
3.第一款自主知识产权分析数据库GBase 8a在京发布 [J],
4.中国第一款自主知识产权分析数据库GBase 8a在京发布 [J],
5.中国第一款自主知识产权分析数据库GBase 8a在京发布 [J],
因版权原因，仅展示原文概要，查看原文内容请购买。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

皮书
GBase 8a 产品介绍
3. GBase 8a 产品介绍
GBase 8a 的架构设计充分满足了海量数据分析需求，是具有高效复杂统计和分析能力的列存储关系型数据库管理系统。 GBase 8a 面向分析型应用领域，以列为基本存储结构和数据运算对象，结合列数据压缩处理、并行处理、智能索引等新型数据处理技术。下图展现了 GBase 8a 的体系结构。

GBase 8a 技术白皮书
GBase 8a 产品简介
1. 分析型数据库
1.1. 分析型应用的产生背景
在过去的十年里，数据的有效利用已经成为各单位议事日程上最优先的项目之一。近几年来，企业和政府机构已经完成了信息化建设的初步阶段，即数据的采集和事务应用。但随之而来产生了新的问题：如何对已有海量数据进行有效利用；如何对数据进行挖掘、分析；如何从历史数据中获取规律，以指导企业的规划和决策；怎样支持海量数据的即席查询、数据比对；如何有效解决这些问题是信息化建设新的阶段和发展方向。有这样一个案例：某电信运营商发现用户在已经拥有一个移动号码的情况下，再次购买归属的同一运营商的新号码入网，新号码全部或者部分替代原有旧号码，这种现象称为“重入网现象” 。重入网泛滥使得该运营商营销渠道成本剧增，导致卡资源号码资源的紧缺，严重影响正常运营。运营商非常希望找到一种方法，识别出重入网用户。但面对每月新增 70 万用户和已有的 40 TB 历史数据，如何及时准确的甄别出重入用户，使用传统事务型数据库管理系统几乎是不可能完成的。这一应用场景需要专为海量数据分析处理使用的新型列存数据库管理系统的支持。面对这类日益增加的海量数据分析需求，现有的传统数据库有明显的缺陷。这些弊端包括：低下的数据查询性能（传统数据库对上述案例的响应时间为几个小时）；对异构数据库访问困难；惊人的存储成本；沉重的维护成本。
6.
GBase 8a 应用开发接口 ...................................................................... 14 6.1. 6.2. 6.3. 6.4. GBase ODBC ................................................................................ 14 GBase JDBC ................................................................................. 14 GBase ADO .NET ......................................................................... 14 GBase C API ................................................................................. 14
第 4 页

GBase 8a 技术白皮书
GBase 8a 核心功能
5.
GBase 8a 管理工具 ............................................................................... 11 5.1. 5.2. 5.3. 5.4. 企业管理器 .................................................................................... 11 命令行管理工具 ............................................................................11 迁移工具....................................................................................... 12 状态监控工具 ............................................................................... 13
第 2 页

GBase 8a 技术白皮书
GBase 8a 指导思想
2. GBase 8a 设计指导思想
三个“1/10” 把执行同样一条查询语句所需要磁盘的 I/O 降低到传统行存储数据库的 1/10 以下；在启动压缩的情况下，同样的裸数据加载到数据库后占有的磁盘空间是传统行存储数据库的 1/10 以下；人工管理费用（安装、调试、优化、维护、扩展等）是传统行存储数据库的 1/10 以下。两个“10 倍以上” 在海量数据分析型应用中，平均综合查询性能（复杂查询、即席查询、模糊查询、分页查询、TOP-N 查询等）是传统行存储数据库的 10 倍以上；压缩比 10 倍以上。简单易用，降低使用成本
逻辑层：主要处理查询逻辑，包括 SQL 接口、内存管理引擎、压缩引擎、索引引擎、语义优化器与执行器等核心部件。存储层：存储引擎将数据按列压缩存储到不同的数据包中，并自动生成智能索引。工具层：工具层提供用户与数据库系统的交互接口应用开发接口：支持 C API、JDBC、ODBC、；数据加载工具：提供高效数据加载工具，支持并行加载；图形化的管理：简单、易用，提供友好的用户界面。
7. 8.
GBase 8a 的运行环境 .......................................................................... 15 GBase 8a 核心功能和技术总结 ........................................................... 16 8.1. 8.2. GBase 8a 技术上的“三高”优势 .................................................... 16 GBase 8a 功能与技术简表 ........................................................... 17
图形化管理工具企业管理器 ETL工具作业管理工具配置管理工具备份恢复工具性能监控工具数据加载工具高速并行加载器 /卸载器 SQL接口 GBase 8a分析型数据库接口 C API，JDBC，ODBC，
连接池授权 — 线程重用 — 连接限制 — 内存较检 — Cache
1.2. 海量数据分析对传统数据库的挑战
传统数据库技术的产生不是为了分析海量数据，而是为了数据记录、事务处理（OLTP）。当数据量不断膨胀之后，用户就会产生越来越多的分析需求，而传统数据库在分析处理时，整体性能会大大降低。造成此问题的原因如下：
第 1 页

GBase 8a 技术白皮书
GBase 8a 设计指导思想 ....................................................................... 3 GBase 8a 产品介绍 ................................................................................ 4 GBase 8a 核心功能 ................................................................................ 5 4.1. 4.2. 4.3. 4.4. 4.5. 4.6. 4.7. 列存储 ............................................................................................ 5 高效的透明压缩 ............................................................................. 6 智能索引......................................................................................... 6 并行技术......................................................................................... 9 高性能数据加载 ........................................................................... 10 内存管理....................................................................................... 10 语义优化器 ................................................................................... 10
SQL 分析优化器 / 执行器存储管理
粗粒度多维智能索引
缓存管理
压缩 / 解压缩
列数据包数据包数据包
列数据包数据包数据包
列数据包数据包数据包
列数据包数据包数据包
列数据包数据包数据包
列数据包数据包数据包
列数据包数据包数据包
操作系统 Windows系列、Linux系列、Unix系列
传统行存储导致大量无效 I/O
GBase 8a 产品简介
行存储方式设计思想是以事务处理为主，存储结构异常复杂。由于数据页结构和 MVCC （多版本并发控制）的原因，每个数据页必须读到内存中，导致每次查询必须读取大量无用数据。这种数据存储方式造成磁盘 I/O 成为了限制性能的主要因素。虽然磁盘成本在不断下降，但数据传输效率并没有根本的改变。因此，在处理的数据量不大时往往影响不大，但在处理海量数据时, 性能下降问题就会突现出来；传统索引不适于海量数据传统行存数据库索引需要手工设定，对应用不完全透明，随场景和需求的变化需要不断调整，人工维护成本很高。并且传统索引占用存储空间很大，甚至高于数据本身，造成查询效率的下降；数据装载速度慢因为索引需要重新创建，加载性能会变的很糟糕。分析型架构系统要解决这些个问题，必须最大限度地减少磁盘 I/O ，提升查询效率，减小人工维护成本。南大通用分析型数据库 GBase 8a （以下简称 GBase 8a）通过列存储模式、数据压缩、智能化的索引、并行处理、并发控制、高效的查询优化器等技术，使得上述问题得到有效解决。以下各节将描述 GBase 8a 的创新架构如何实现这些目标。