南大通用大数据新型列存储数据库GBase 8a透明网关参考手册
GBase 8a 大数据数据库平台介绍
优点: 进一步高效降低I/O 突破传统基于行存储的索引技术的局限性 全部字段都自动建索引,自动优化 提供统计信息,直接在索引上进行聚合运算
GBase 8a 使用智能索引原理
Select a, sum(b) as b from mytab
结果集
A<=‘100101’ ?
Where a<=‘100101’
• Oracle Exadata:hybrid columnar compression • SQL Server 2008 R2:column index • Vertica :column store + projection
x-86平台的崛 起
3
新的列存储架 构优势
• Greenplum : row + column store • Sybase IQ:column store • GBase 8a :column store • Hbase :column KV store •Teradata V14 : column store
在这个案例中,GBase 8a需要的IO只是行存数据库的1/10。
高效自适应压缩 - 提升I/O性能
create table lineorder (
lo_orderkey bigint, lo_linenumber int compress(2), lo_custkey int, lo_partkey int, lo_suppkey int, lo_orderdate int, lo_orderpriority varchar(15) compress(0), lo_shippriority varchar(1) , lo_quantity int, lo_extendedprice int, lo_ordtotalprice int, lo_discount int, lo_revenue int, lo_supplycost int, lo_tax int, lo_commitdate int, lo_shipmode varchar(10) ) compress(1,3);
南大通用大数据新型列存储数据库GBase 8a 技术白皮书
皮书
GBase 8a 产品介绍
3. GBase 8a 产品介绍
GBase 8a 的架构设计充分满足了海量数据分析需求, 是具有高效复杂统计和分析 能力的列存储关系型数据库管理系统。 GBase 8a 面向分析型应用领域, 以列为基本存 储结构和数据运算对象,结合列数据压缩处理、并行处理、智能索引等新型数据处理 技术。下图展现了 GBase 8a 的体系结构。
GBase 8a 技术白皮书
GBase 8a 产品简介
1. 分析型数据库
1.1. 分析型应用的产生背景
在过去的十年里,数据的有效利用已经成为各单位议事日程上最优先的项目之 一。近几年来,企业和政府机构已经完成了信息化建设的初步阶段,即数据的采集和 事务应用。但随之而来产生了新的问题: 如何对已有海量数据进行有效利用; 如何对数据进行挖掘、分析; 如何从历史数据中获取规律,以指导企业的规划和决策; 怎样支持海量数据的即席查询、数据比对; 如何有效解决这些问题是信息化建设新的阶段和发展方向。 有这样一个案例: 某电信运营商发现用户在已经拥有一个移动号码的情况下,再次购买归属的同一 运营商的新号码入网,新号码全部或者部分替代原有旧号码,这种现象称为“重入网 现象” 。重入网泛滥使得该运营商营销渠道成本剧增,导致卡资源号码资源的紧缺, 严重影响正常运营。运营商非常希望找到一种方法,识别出重入网用户。但面对每月 新增 70 万用户和已有的 40 TB 历史数据,如何及时准确的甄别出重入用户,使用传 统事务型数据库管理系统几乎是不可能完成的。这一应用场景需要专为海量数据分析 处理使用的新型列存数据库管理系统的支持。 面对这类日益增加的海量数据分析需求,现有的传统数据库有明显的缺陷。这些 弊端包括: 低下的数据查询性能(传统数据库对上述案例的响应时间为几个小时) ; 对异构数据库访问困难; 惊人的存储成本; 沉重的维护成本。
GBase MPP数据库产品介绍
数据库产品介绍
GBase 8a MPP Cluster
目录
1
GBase 8a MPP 产品简介及技术分析 GBase 8a MPP 应用场景及行业典型案例 GBase 8a MPP 平台稳定性及运维支撑体系
2
3
大数据≠任何单一的数据处理技术
Hadoop
NoSQL,互联网、 非结构化
合适的技术解决针对的问题
NewSQL
传统数据库
OldSQL,交易、 联机事务
MPP数据库
NewSQL,分析应 用、结构化行业 大数据
OldSQL
+
NoSQL
大数据平台 混搭架构
大数据
多种数据处理技术的组合
One Size Doesn’t Fit All!
GBase 8a MPP Cluster 产品简介
分布式任务
Parser Optimizer Coordinator
• GCWare:
• GNode:
GCWare 用于各节点GCluster 实例 间共享信息,以及控制多副本数据 分布式 操作时,提供可操作节点,并在多 数据管理层 副本操作中,控制各节点数据一致 性状态。
GNode 是GCluster 中最基本的存 储和计算单元。GNode 负责集群数 据在节点上的实际存储,并从 分布式 GCluster 接收和执行经分解的SQL 集群管理层 执行计划,执行结果返回给 GCluster。
应用平台
混 搭 结 构பைடு நூலகம்数 据 平 台
统一接入管理
关系模型 存储过程 SQL 星型模型 ACID 雪花模型 数据 交换
HBase
GBase 8a产品介绍
静态hash join
sort
Interconnect
aggregation 1,2,3
Interconnect
Aggregation 1
Aggregation 2
Aggregation 3
A(p1) join b(p1)
A(p2) join b(p2)
A(p3) join b(p3)
C1
1000 1000
特点及优势
Shared Nothing + MPP 架构 集群扁平架构 基亍列存储 高劢态扩展能力:横向扩展数百节点 高可用性:Safegroup机制
高扩展性
高可用
Shared Nothing
GBase 8a MPP Cluster
GBase 8a 核心技术
MPP
GBase 8a MPP Cluster集群架构特征
<Insert Picture Here>
GBase 8a 产品、解决方案、案例介绉
天津南大通用数据技术股仹有限公司
GBASE版权所有©2004-2016
目录
1 GBase 8a和GBase 8a MPP Cluster介绉 2 行业解决方案 3 典型案例
- 目录 -
CONTENTS
1
2
3
4
5
应用趋势
Col 2 Col 4
DC DC DC DC DC DC DC DC DC DC DC DC
…
…
…
…
Col 3
Col 4
Col 5
Col 5
Col 6
DC
DC
DC
DC
…
DC
第一款自主知识产权分析数据库GBase 8a在京发布
如 对 本 文 内容 有 任 何 观 点 或 评 论 ,请 发 E— a I m i至
edi @ nm om t or c cn
管 理 以 及 端 到 端 的 QO 协 商 ,从 而 为 s
用 户 提 供 有 差 异 性 和 有 保 障 的 各 种 服
动T S D— CDMA向S p r3 u e G以及 B G的 3
提 升 系 统 性 能 , 支 持 更 高 速 率 的 数 据
阶 段 二 :TD— c s DMA w i A 和 M x
合 为 例 ,对 未 来 的 网 络 融 合 的 方 向 提 出 了分 三 步 走 的 方 案 ,将 T S DM A D- C 和 W i AX逐 步演 进 为一 个 两 网融 合 、 M
据压 缩 比。
演进 ,为 用户 提供 更高 品质 的服 务 。
由于 T S D- CDMA与W i MAX在 底 层 技 术 的 差 异 ,使 得 二 者 无 法 在 短 期 内 进 行 真 止 技 术 意 义 上 的 融 合 , 然 而 两 者
着 眼点不 同 ,服务 的用 户群 、业 务类
目标 是 在 网 络 互 通 的 基 础 上 共 享 业 务
G a e 8 。政府 代表 、业界 专家 、 B s a 合 作 伙 伴 代 表 和 客 户 代 表 在 内 逾
2O 0 多人参 加 了发布会 。
数 据库 管 理 系统 软件 在 信息 系
统 中 占有十 分 重 要 的地 位 。 长期 以
过 传统 的事 务 处理 市 场 。具 有 自主
知识 产 权 的分 析 智 能 型 高性 能 数 据
W i AX 网络 之 间 有 很 强 的 互 补 性 。 M
GBase MPP数据库产品介绍
APP APP APP OS OS OS
APP APP APP OS OS OS Memory
CPU
APP APP APP OS OS OS Memory
CPU
APP APP APP OS OS OS
业务系统 A
Memory
CPU
APP APP APP OS OS OS
APP APP APP OS OS OS
APP APP CPU OS OS IO
APP APP CPU OS OS IO
APP APP CPU OS OS IO
MPP集群的分布式存储
•数据部署方式:复制(Replicated)和分布(Distributed)两种
复制表 分布表
table 副本 table 副本
table 副本
table 分片_1 table 分片_2
table 分片_3
集群的分布式存储
•分布表的分布方式:hash分布和随机分布两种
随机分布表
…
memory
disks
disks
disks
disks
数据
GBase 8a MPP Cluster的技术架构 Apps
M
M
M
M
1 – 扁平架构
Apps
M M M
多Masters
2 – 联邦架构
GCware
GBase 8a MPP Cluster 产品软件架构
• 统一接口层: • GCluster:
分布式任务
Parser Optimizer Coordinator
• GCWare:
• GNode:
GCWare 用于各节点GCluster 实例 间共享信息,以及控制多副本数据 分布式 操作时,提供可操作节点,并在多 数据管理层 副本操作中,控制各节点数据一致 性状态。
GBase 8a学习总结
技术产品规范/项目名称设计方案朗新云商项目开发部2017年10月目录1概述 (1)1.1项目介绍 ............................................................................. 错误!未定义书签。
1.1.1三级....................................................................................... 错误!未定义书签。
修改履历1GBase数据类型及SQL语句1.1GBase 8a数据类型GBase 8a MPP Cluster 支持SQL92 中定义的绝大多数数据类型,同时也支持SQL99 和SQL2000 中定义的数据类型。
GBase 8a MPP Cluster 支持的数据类型,如下表所示:1.1.1数值类型1.1.2字符类型GBase 8a MPP Cluster 目前支持三种字符类型,如下表所示:1.1.3二进制数据类型GBase 8a MPP Cluster 目前支持以下二进制数据类型,如下表所示:使用BLOB 数据类型,有如下约束:➢BLOB 列支持32KB 的存储容量。
➢创建表时,BLOB 列不可以有DEFAULT 值。
➢查询语句中,BLOB 列不支持过滤条件。
➢查询语句中,BLOB 列不支持OLAP 函数。
1.1.4日期和时间类型TIMESTAMP 使用限制:以下限制说明,是针对TIMESTAMP 数据列自动更新时的场景:1. 在一张表中,只能自动更新表中第一个出现的TIMESTAMP 列,并且必须使用DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP来定义。
2. 在一张表中,使用DEFAULT CURRENT_TIMESTAMP ON UPDATECURRENT_TIMESTAMP 来指定TIMESTAMP 列自动更新时,只能使用一次,且用于第一个TIMESTAMP 列。
南大通用GBase 8a分析型数据库集群介绍
20
GBase MPP集群:列存储DBMS + MPP
21
GBase MPP集群:列存储DBMS + MPP
22
GBase MPP集群:列存储DBMS + MPP
GBase Cluster Control
GBase Cluster database
数据按列存储 ,每一列单独存放 只访问查询涉及的列,大量降低I/O 数据类型一致,方便压缩 数据包建索引,数据即索引
r1 r2 r3 r4 r5
13
GBase 8a 的列存储架构
定义 •表:虚拟的逻辑层,由所有列 组成
DC
DC DC DC DC DC DC DC DC DC DC
1TB à 100GB
自适应压缩
100GB à 10GB
10GB à 1GB
智能索引
1GB à 100MB
并行加载, 单表 200GB / 小时 多表 500GB / 小时 集群 1TB / 小时
11
列存储简介
逻辑模型
映射规则
物理模型
12
列存数据库 Vs. 行存数据库
9
GBase 8a 功能结构
10
GBase 8a的主要技术和理论极值
列存 1.I/O降低到国际 传统数据库的 1/10以下 2.压缩比至少1/10 3.复杂查询和随机 查询性能是传统 数据库的10倍以上 4.简单易用, 降低使用成本 并行 水平分区
J2EE Server
J2EE
GBase Cluster database
8a Repository
GBase Cluster database Gbase Cluster Safegroup s
南大通用大数据新型列存储数据库GBase 8a透明网关参考手册
系,或者不太重要的一些行。 WHERE table_name = 'lineorder';
+------------------+
| column_name
|
+------------------+
南大通用数据库技术白皮书_Gbase8d_V2.0
gbase8a管理手册
GBase 8A 管理手册概述GBase 8A 是一款高性能、可靠性强的数据库管理系统软件。
本手册旨在为用户提供关于 GBase 8A 的详细管理指南,方便用户更好地了解和使用该软件。
安装与配置1.安装–下载 GBase 8A 安装包并解压。
–执行安装脚本进行安装,并按照提示进行相应配置。
2.配置–修改配置文件,包括数据库参数设置、日志路径配置等。
数据库管理1.数据库创建–使用CREATE DATABASE命令创建新数据库。
–指定数据库名称、字符集和校对规则。
2.用户管理–使用CREATE USER命令创建新用户。
–分配用户权限,包括读、写、管理数据库等权限设置。
3.备份与恢复–使用备份命令BACKUP DATABASE对数据库进行备份。
–使用恢复命令RESTORE DATABASE进行数据库恢复。
性能优化1.索引优化–通过创建合适的索引来提高查询效率。
–定期对索引进行优化和维护。
2.查询优化–避免全表扫描,尽量使用索引加快查询速度。
–尽量避免复杂的联合查询,减少查询时间。
安全管理1.用户权限管理–定期审查用户权限,避免权限过大或过小。
–合理分配用户权限,避免数据泄露和损坏。
2.数据加密–使用 SSL/TLS 加密保护数据库通信安全。
–对重要数据进行加密存储,以防止数据泄露。
故障处理1.日志监控–定期监控日志文件,检查是否有异常报错信息。
–及时处理异常,以避免影响系统正常运行。
2.故障恢复–在发生数据库故障时,及时备份数据,并尝试进行恢复。
–针对不同类型的故障,采取相应的应急措施。
升级与维护1.版本升级–定期检查官方发布的版本更新,及时进行软件升级。
–在升级过程中,确保备份数据和配置文件,以免数据丢失。
2.性能监控–使用监控工具对数据库性能进行监控,发现问题及时解决。
–对数据库进行定期的性能优化和调整。
结语通过本手册的了解和实践,相信您能更好地管理和运维 GBase 8A 数据库,保障系统的稳定运行。
GBase 8a MPP集群
GBase 8a MPP集群数据分片手工同步手册1.查看GBase集群数据分片状态1.1用途当GBase集群采用多个节点部署的时候,会有多个数据分片分散存储数据库数据。
GBase集群提供了命令以便查看数据分片分布情况,显示集群每个分片的主副本所在节点情况。
1.2使用命令gcadmin showdistribution1.3使用样例如上是一个副本的的情况。
比如主本:192.168.174.61,第一个副本在192.168.174.62如果2个副本,最后的副本部分会多行。
2.手工同步表分片数据1.1 作用当节点主备分片不一致时,如果集群由于某些原因(磁盘无法写入,断电或磁盘故障)没有设置不一致自动同步标志,可以进行手工同步。
1.2 使用方法1.2.1 确认分片故障分别登录主备分片的服务器,运行gncliselect count(*) from DbName.TableName_nX如果两个相同的分片,行数不同,则确认分片故障了。
判断故障分片方法:1、分片所在服务器发生过故障,比如断电、磁盘满,只读等。
2、相对行数少的(多了可以删除,少了就真的没了)。
3、如行数相同,但集群查询或加载时依然报不一致错误,可以强行同步(由于数据相同,以任何一个为准均可)1.2.2 重建方式如果表数据量非常少,且select * from TableName 可以使用,可以重建表方式。
如果数据量多,再用同步方式。
show full create table TableName;获得表结构,然后新建表create table tableName_NEW (….. )…转数据insert into tableName_NEW select * from table Name;如果执行成功,则将表改名。
rename table tableName to tableName_OLD;rename table tableName_NEW to tableName;确认新表使用正常,老表根据情况考虑删除。
GBase 8A MPP Cluster 产品培训-日常维护
18
E: 独占锁
gcadmin查看集群锁
• 查看集群锁
• gcadmin showlock
19
检查内存使用率
• 使用top(LINUX), nmon(/opt/gnode/server/bin/目录下)等 工具进行监控
/opt/gnode/server/bin/nmon
16
gcadmin切换集群模式
• 集群模式
集群模式分为: normal :正常,能执行所有SQL操作 readonly:只读,只能执行查询SQL,用于数据备份操作。 recovery:恢复,不能进行任何SQL操作,用于数据恢复操作。
• 举例:
备份之前设置集群模式为readonly。 gcadmin switchmode readonly 备份结束之后,将集群模式设置为normal gcadmin switchmode normal
• 检查进程是否正常命令
ps –ef |grep 进程名
• 如果有进程不存在,需重新启动该节点gcware服务
service gcware restart (service gcware restart 会启动所有模组进程,需使用root帐号启动服务)
9
模组进程close状态故障排除
• 查看模组进程状态命令:
• 数据会自动恢复。
15 15
集群命令行gcadmin管理工具
• 命令行工具gcadmin可以为管理员提供管理集群的操作,包括:添加 SafeGroup、查看集群状态、切换集群状态、查询集群表锁等常用功能。
• 主要功能:
gcadmin --help 列出所有命令 gcadmin addsg --nodes <ip1[,[ip2]]> --names <name1[,[name2]] 增加组
南大通用数据库技术白皮_Gbase8g_V2.3
4.1.1. 数据类型...........................................................................................................8 4.1.1.1. 标准数据类型...........................................................................................8 4.1.1.2. 扩展数据类型...........................................................................................8
3.1. 支持的操作系统和平台...............................................................................................6 3.2. 支持的存储设备...........................................................................................................6 3.3. 技术指标.......................................................................................................................6 4. GBase 8g 产品功能...................................................................................................................8 4.1. SQL 核心功能 ...............................................................................................................8
B2_南大通用数据库成功案例_GBase8a_V2.1
GBase 8a 分析型数据库应用案例
山东省全员人口数据中心
1. 系统简介
山东省全员人口数据中心以山东省人口计生委原有业务系统为基础,整合公安、民政等 部门的人口信息,形成省级全员人口信息数据库,对外提供多种类型的应用服务。
图:山东省委全员人口数据中心
该中心通过按月定期采集育龄妇女的数据信息,以及公安、民政等部门的权威人口信息, 经过数据整合、数据对比、汇总统计最终形成育龄妇女数据仓库。系统提供育龄妇女的个人 信息查询、数据分析的报表展示、错误信息汇总等功能。
-5-
GBase 8a 分析型数据库应用案例
基于分析型数据库的数据比对生成系统
1. 系统简介
数据比对生成系统以分析型数据库为核心存储,通过对分布式数据源的直接抽取和批量 加载形成新的数据事实表,经过与历史事实表的比对进行数据入库,对外提供信息查询,关 联分析和图形化智能分析。
图:基于分析型数据库的数据比对生成系统
-3-
GBase 8a 分析型数据库应用案例
基于分析型数据库的在线分析系统
1. 系统简介
基于分析型数据库的在线分析系统利用分析型数据库高效的复杂统计、分析能力和批量 加载性能,为在线分析类的应用系统提供了完整的解决方案,满足了业务系统中各种类型的 复杂统计分析需求。
图:基于分析型数据库的在线分析系统
该部门的业务系统原采用 Oracle 10g 数据库,每天新增数据量在 80G 左右。由于直接 使用原业务系统的数据进行统计分析时,常规的分析业务耗时在 1 分钟以上,复杂业务的甚 至达 10 分钟,无法满足应用需求。因此采用定期同步数据到 GBase 8a 的方式进行同步分析。
该分析系统通过定期(10 分钟)同步其业务系统中的数据到 GBase 8a 中,然后进行高 效的在线统计和复杂分析。
GBase 8a 安装手册(Linux RHEL6)
您可以查阅,并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档。
任何单位和个人未经南大通用公司书面授权许可,不得使用、修改、再发布本文档的任何部
分和内容,否则将视为侵权,南大通用公司具有依法追究其责任的权利。
本文档中包含的信息如有更新,恕不另行通知。您对本文档的任何问题,可直接向南大通用
南大通用数据技术股份有限公司
I
GBase 8a 安装手册(Linux RHEL6)
6.1 执行卸载脚本 ........................................ 48 7 升级和回退 GBase 8a.......................................... 50
GBase 8a 推荐将主机的本地磁盘设置为 RAID5。RAID5 工作模式,至少需 要 3 块完全相同的物理磁盘。
不同厂商的硬件服务器设置略有不同。本手册以型号为 DELL R710/R720 的服务器为例,讲述 RAID5 设置的步骤。
开机启动系统,如下图:
-2-
南大通用数据技术股份有限公司
-4-
南大通用数据技术股份有限公司
GBase 8a 安装手册(Linux RHEL6)
按回车确认,出现如下界面:
使用左右箭头按键选择“YES”按钮,按回车,删除成功,出现如下界面:
南大通用数据技术股份有限公司
-5-
GBase 8a 安装手册(Linux RHEL6)
成功删除保留的虚拟磁盘后,需要重新创建虚拟磁盘 把光标放在界面中蓝色选中的位置:
据技术股份有限公司合法拥有,受《中华人民共和国著作权法》、《计算机软件保护条例》、
《知识产权保护条例》和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保
南大通用GBase8s国产数据库架构
GBase8s架构_01_简介1数据库管理系统概览▪数据库管理系统如GBase8s在架构上是非常类似Unix操作系统。
它包含三个主要部分组成,过程管理,内存管理,磁盘存储管理。
Unix的作业系统是设计用来处理“文件”(File) 类型的数据。
而数据库系统,是专门用来处理“表”(Table or relation)的数据类型。
▪每个“文件”是由无数的字符所组成。
每个“表”是由许多的“列”(Row)所组成。
由于他们被设计来处理不同的数据类型。
Unix操作系统或数据库管理系统的数据都有自己的方法来优化他们的组件,但他们基本的方式是非常相似。
▪GBase8s架构将分为如下四个方面进行介绍–架构概览– GBase8s Architecture–进程/多线程结构– Process/Multithreading Structure–内存结构– Memory structure–存储结构– Disk Storage structure2GBase8s架构概览Fan In for OLTP – (多到少)少数进程能同时处理数千笔交易,避免数千进程运行于操作系统之上Fan Out for DSS/OLAP –– (少到多)一件大型事务能拆成上百个小事务来并行处理GBase8s的实现多线程架构- 更少的进程进行数据库管理系统的活动- 一个进程可以为多个应用程序提供工作线程- 过程可以根据需要动态分配- 更好的可扩展性,更多的客户可以用最低限度的额外资源服务3GBase8s 服务器的部件(component)▪进程–执行数据库服务器实例(instance)请求的任务▪共享内存–缓存数据表的数据–维护和控制着进程所需的资源▪磁盘–存储了数据表的数据和数据库服务器的系统信息如下两张图介绍了这三种部件的职责和关系:GBase8s架构_02_进程及多线程结构4基于进程的数据库服务器的缺陷▪每个进程使用了一些时间片,如下图所示:多个进程一个接一个地运行。
2小时掌握GBase 8a
南大通用数据技术有限公司
I
2 小时掌握 GBase 8a
3 演示环境 ..................................................... 16 3.1 ssbm ................................................... 16
目录
Hale Waihona Puke 2 小时掌握 GBase 8a
联系我们 .......................................................... 1 前言 .............................................................. 2
2 小时掌握 GBase 8a,南大通用数据技术有限公司 GBase 版权所有©2004-2012,保留所有权利。 版权声明 本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记,由南大通用数 据技术有限公司合法拥有,受《中华人民共和国著作权法》、《计算机软件保护条例》、《知识 产权保护条例》和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保护。未 经授权许可,不得非法使用。 免责声明 本文档包含的南大通用公司的版权信息由南大通用公司合法拥有,受法律的保护,南大通用 公司对本文档可能涉及到的非南大通用公司的信息不承担任何责任。在法律允许的范围内, 您可以查阅,并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档。 任何单位和个人未经南大通用公司书面授权许可,不得使用、修改、再发布本文档的任何部 分和内容,否则将视为侵权,南大通用公司具有依法追究其责任的权利。 本文档中包含的信息如有更新,恕不另行通知。您对本文档的任何问题,可直接向南大通用 数据技术有限公司告知或查询。 未经本公司明确授予的任何权利均予保留。 通讯方式 南大通用数据技术有限公司 天津华苑产业区海泰发展六道 6 号海泰绿色产业基地 J 座(300384) 电话:400-817-9696 邮箱:info@ 商标声明
南大通用大数据新型列存储数据库GBase 8a 技术白皮书指南
南大通用大数据新型列存储数据库GBase 8a 技术白皮书指南引言随着大数据时代的到来,数据管理和分析变得越来越重要。
为了有效地处理和分析海量数据,数据库管理系统也在不断演进。
本文介绍了南大通用大数据新型列存储数据库GBase 8a的技术特点和优势,并提供了技术白皮书指南。
什么是GBase 8aGBase 8a是南大通用公司自主研发的一款新型列存储数据库。
它基于成熟的开源列存储项目Hawq,结合了南大通用的技术创新和优化。
GBase 8a具有高性能、高可用性和高扩展性的特点,在大数据领域具有广泛的应用前景。
技术特点列存储引擎GBase 8a采用了先进的列存储引擎,将数据按列进行存储,而不是传统的行存储方式。
这使得GBase 8a在数据读取和查询方面具有更高的效率和性能。
列存储还可以提供更好的数据压缩率,节省存储空间。
并行计算GBase 8a支持并行计算,可以将一个查询任务分为多个子任务并行执行。
这样可以有效地利用多核处理器和集群计算资源,加速查询和分析速度。
并行计算还可以实现水平扩展,支持大规模数据处理。
分布式架构GBase 8a采用了分布式架构,可以将数据分散存储在多个节点上。
这样可以提高系统的可用性和容错性,防止单点故障。
分布式架构还可以实现数据的负载均衡和并行处理,提高整体性能。
高可靠性GBase 8a具有高可靠性和容错性。
它支持数据备份和恢复,可以保护数据不受损失。
同时,GBase 8a还提供了故障转移和自动恢复机制,可以在节点故障或网络中断时自动切换到备用节点,确保系统的稳定运行。
多维数据模型GBase 8a支持多维数据模型,可以方便地进行数据的分析和查询。
它提供了丰富的数据分析函数和查询语言,可以进行复杂的数据操作和统计分析。
多维数据模型可以帮助用户更好地理解和利用数据。
技术白皮书指南GBase 8a的技术白皮书指南提供了详细的技术架构和实施指南,帮助用户更好地了解和使用GBase 8a数据库。
南大通用等保三级硬加密安全数据库GBase8s产品介绍
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
分和内容,否则将视为侵权,南大通用公司具有依法追究其责任的权利。
本文档中包含的信息如有更新,恕不另行通知。您对本文档的任何问题,可直接向南大通用
数据技术有限公司告知或查询。
未经本公司明确授予的任何权利均予保留。
通讯方式
南大通用数据技术有限公司
天津华苑产业区海泰发展六道 6 号海泰绿色产业基地 J 座(300384)
相关手册 ...................................................... 2 手册约定 ...................................................... 2
正文约定 .................................................. 2 代码示例约定............................................... 2 操作系统约定............................................... 3 1 简介 .......................................................... 4 2 安装与卸载 .................................................... 5 2.1 安装 .................................................... 5 2.2 卸载 .................................................... 5 3 配置文件和参数 ................................................ 6 3.1 透明网关服务配置文件.....................................6 3.1.1 gbase.gt.port......................................6 3.1.2 gbase.gt.encode....................................6 3.1.3 gbase.gt.pagesize..................................7 3.1.4 gbase.gt.wait.timeout..............................7 3.2 异构数据源配置文件.......................................7 3.2.1 dataSource.IP......................................7 3.2.2 dataSource.port....................................8 3.2.3 dataSource.dbname..................................8 3.2.4 dataSource.dbtype..................................8 3.3 GBase 8a 实例配置文件 ....................................8 3.3.1 gbase8a.IP.........................................9 3.3.2 gbase8a.port.......................................9 3.3.3 er.......................................9 3.3.4 gbase8a.pwd........................................9 3.3.5 gbase8a.encode....................................10 3.4 注册透明网关服务........................................10 3.4.1 gbase_dblink_gateway_ip...........................10 3.4.2 gbase_dblink_gateway_port.........................10 3.4.3 gbase_dblink_server_ip............................11 4 db-link 语法 ..................................................12 4.1 创建 db-link ............................................12
示例
-2-
示例 2.2.1 正文约定
南大通用数据技术有限公司
GBase 8a 透明网关参考手册
约定 . . .
斜体 大写 等宽 字体 小写 等宽 字体
说明
示例
分重复出现。
垂直省略号指明在多行输出中, gbase> SELECT column_name
我们忽略了和示例没有直接关 FROM information_schema.columnsBiblioteka | lo_shipmode
|
+------------------+
17 rows in set (0.03 sec)
斜体指明内容为占位符,或者为 USE database_name;
变量提供的值。
为系统的保留字或关键字。
USE database_name;
小写等宽字体指明内容为代码 SELECT column_name 中的编程元素,如表名,列名等。 FROM information_schema.columns
II
南大通用数据技术有限公司
联系我们
GBase 8a 透明网关参考手册
南大通用欢迎您对此手册提出自己的宝贵意见和建议,您的意见和建议将 成为完善此手册的重要部分。
您发现手册中的错误了吗? 您认为手册中的哪些部分描述的还不太清楚? 您认为手册中还需要在哪些方面提供更多的内容? 手册中的示例正确吗?您还是否需要更多的示例? 您喜欢手册中的哪些部分?
经授权许可,不得非法使用。
免责声明
本文档包含的南大通用公司的版权信息由南大通用公司合法拥有,受法律的保护,南大通用
公司对本文档可能涉及到的非南大通用公司的信息不承担任何责任。在法律允许的范围内,
您可以查阅,并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档。
任何单位和个人未经南大通用公司书面授权许可,不得使用、修改、再发布本文档的任何部
其法律责任。
目录
GBase 8a 透明网关参考手册
联系我们 .......................................................... 1 前言 .............................................................. 2
如果您希望收到我们的回复,请您告诉我们您的姓名,电话,或者电子邮 箱地址。
如果您对我们的软件有任何问题,请您联系我们的技术支持人员。
南大通用数据技术有限公司
-1-
GBase 8a 透明网关参考手册
前言
本手册将指导您通过 GBase 8a 的透明网关,在 GBase 8a 中查询其它异构 数据库中的数据。
南大通用数据技术有限公司
I
GBase 8a 透明网关参考手册
4.2 删除 db-link............................................ 12 4.3 查询 db-link............................................ 12 4.4 使用 db-link............................................ 13 5 限制与要求 ................................................... 14 6 配置实例 ..................................................... 15 6.1 安装 GBase 8a 透明网关 .................................. 15 6.2 配置透明网关服务参数 ................................... 15 6.3 配置异构数据源参数 ..................................... 16 6.4 配置 GBase 8a 实例参数 .................................. 16 6.5 注册 GBase 8a 透明网关 .................................. 17 6.6 启动透明网关服务 ....................................... 17 6.7 通过透明网关查询数据 ................................... 19 6.8 验证透明网关查询结果 ................................... 19 6.9 连接失败的常见原因 ..................................... 20 7 索引 ......................................................... 21
系,或者不太重要的一些行。 WHERE table_name = 'lineorder';
+------------------+
| column_name
|
+------------------+