达梦数据库集群选择及介绍
达梦数据库公司与产品介绍
通用性
断点续传 自动重新连接
错误报警 完善的日志记录
可靠性
可配置工作线程和缓存 基于流水线并行 分区并行装载
高性能
扩展性
多元数据存储方式 应用集成 二次开发
易用性
简便的系统安装和配置 适用、易操作的图形化/ 远程管理工具 丰富的图形作业控制组件 作业调度 多种运行方式
通用性
兼容多种硬件体系
24.431
TPC-H
T1 MPP EP1 1a
T1 MPP EP2 4d
15 T1 MPP EP3
6f
11.188 T1 MPP EP4 T1 MPP EP5
2b
3c
T1 5e
……
并行数据加载 4d
1a 达梦快速装载工具
客户端
10
56 f
2b
3c 5e
6.25 3.04
0 HASH/Random
文本数据 1为节查点 询2 节优点化4器节点提供8 节优点
DMETL是达梦数据库有限公 司在上十年数据处理经验的基础上 ,研制开发的具有自主版权的、商 品化的数据集成软件,实现了对数 据抽取、传输、整合、以及装载的 一站式支持,是构建数据中心、数 据仓库、数据交换和数据同步等应 用的理想工具。
主要应用场景
异构数据同步
• 异构数据同步是指在一定的时间范围内,通过特定的技术方式,实现异构
达梦数据库公司与数据库 产品介绍
2013年4月
大纲
1
公司介绍
2
达梦数据库产品介绍
3
达梦ETL产品介绍
4
典型案例
5
与国内外产品的对比
6
致谢
公司简介
达梦数据库介绍(一)2024
达梦数据库介绍(一)引言概述:达梦数据库是中国的一种数据库管理系统,由达梦软件有限公司开发。
它是一款高性能、高可用性的数据库系统,被广泛应用于金融、电信、政府机构等行业。
本文将介绍达梦数据库的基本信息、特点以及其在各个领域的应用。
正文内容:1. 达梦数据库的基本信息- 发展历史:达梦数据库起源于上世纪90年代,经过多年的发展和成熟,已成为中国重要的数据库厂商之一。
- 数据模型:达梦数据库采用关系模型,支持SQL语言。
- 数据结构:以表格形式存储数据,具有完整的数据类型和约束支持。
- 支持平台:达梦数据库在多个操作系统平台上都有支持,包括Windows、Linux和Unix。
2. 达梦数据库的特点- 高性能:达梦数据库采用了先进的查询优化技术,可以快速处理大量的数据请求。
- 高可用性:达梦数据库具有故障切换和自动恢复功能,可以在系统故障时迅速切换到备份服务器。
- 安全性:达梦数据库提供了完善的安全机制,包括用户认证、权限管理等,以保护数据的机密性和完整性。
- 扩展性:达梦数据库支持分布式存储和水平扩展,可以满足不断增长的数据需求。
- 数据备份和恢复:达梦数据库提供了完备的备份和恢复机制,保障数据的安全性和可靠性。
3. 达梦数据库在金融行业的应用- 金融交易处理:达梦数据库可以快速处理金融交易数据,保证交易的实时性和准确性。
- 风险管理:达梦数据库提供了丰富的统计和分析功能,可以帮助金融机构进行风险管理和预测。
- 客户管理:达梦数据库可以存储和管理大量客户数据,帮助金融机构提供更好的客户服务。
- 合规性:达梦数据库具有强大的数据安全功能,可以满足金融行业的合规要求。
4. 达梦数据库在电信行业的应用- 用户管理:达梦数据库可以存储和管理海量用户数据,处理用户的认证、授权等操作。
- 信令处理:达梦数据库的高性能和可扩展性,可以处理电信网络中的大量信令数据。
- 在线账单生成:达梦数据库可以生成电信用户的在线账单,提供便捷的账务管理功能。
达梦数据库介绍
江汉区教育局核算中心
物流领域
中国石油玉门分公司物流系统
中国石油天然气总公司玉门分公司采用达梦产品作为数据库中心平台支撑 基于B/S方式的大型企业物资采购供应系统,实现了全公司远程异地物资采购和 业务管理的需求。
教育领域
华中科技大学 武汉大学 西北工业大学 华中师范大学 中国地质大学 湖北省教育学院 襄樊学院 西安科技学院 中国矿业大学 湖北省教育厅信息发展中心 连云港化工高等专科学校 中南大学 西安交通大学 西北师范大学 厦门集美大学 广州大学 新疆大学 南京气象学院 汕头大学 华南师范大学 江汉石油学院 湖南大学 江西教育学院 ……
同时支持水平分区和垂直分区 支持多库,最多可以建立32768个数据库 支持的数据存储容量达到TB级 已通过第三方机构的10TB的评测
产品功能——全文检索
支持多种文档格式 支持简繁体中文、英文、俄文等多种语言 支持与普通检索联合使用 支持模糊检索 支持完全填充和增量式填充方式 支持无用词的过滤 支持自定义词库
产品总述—产品系列
DM 安全版
DM Enterprise Server 企业版
DM Server 标准版
DM P产操作系统平台 符合SQL92、ODBC、JDBC等标准,符合率超过同 类产品 TPC-C性能指标达到2300tpmc(4CPU*1.6G 2G内存) 支持主流开发工具和中间件 支持ODBC3.0、JDBC3.0、OLE DB、 DBEXPRESS、PHP、.NET驱动接口标准 支持多种硬件平台, 支持对称多处理机系统 支持2000个并发用户(物理连接) 通过10TB级数据量测试认证(公安厅1亿条记录测 试) 提供完全符合B1级的安全特性 支持集群、数据复制、数据链接、数据分区、64位 计算等企业级特性
达梦数据库
达梦数据库DM7总体框架达梦数据库管理系统是达梦公司推出的具有完全自主知识产权的高性能数据库管理系统,简称DM。
达梦数据库管理系统7.0版本,简称DM7。
DM7基于成熟的关系数据模型和标准的接口,是一个跨越多种软硬件平台、具有大数据管理与分析能力、高效稳定的数据库管理系统。
产品特点高性能●支持“大数据”应用,采用DM Vertical和DM HFS双列存储引擎、粗粒度智能索引、并行查询、多级数据分区、物化视图、分析函数、位图连接索引等先进技术,满足海量数据联机分析处理(OLAP)需求,支持多机多核智能双向并行加载,客户端数据智能分发●采用智能高压缩技术,压缩比可达1:20,能显著减少存储开销,从而帮助客户大幅减少数据库整体投入成本高可用●可配置数据守护系统(主备),自动快速故障恢复,具有强大的容灾处理能力跨平台●跨平台,支持主流软硬件体系、支持主流标准接口高可扩展支持拓展软件包和多种工具,实现海量数据分析处理、共享数据库集群(RAC)和无共享数据库集群(MPP)等扩展功能TB/PB级数据分析秒级响应低投入基于高端服务器或普通服务器搭建,支持异构系统,超高性价比简便易用易于实施和管理,只需要传统数据库 1/10 的管理成本,与主要商业智能工具兼容DM7层次可以看出,在DM7中存储的层次结构如下:1. 系统由一个或多个表空间组成;2. 每个表空间由一个或多个数据文件组成;3. 每个数据文件由一个或多个簇组成;4. 段是簇的上级逻辑单元,一个段可以跨多个数据文件;5. 簇由磁盘上连续的块组成,一个簇总是在一个数据文件中;6. 块是数据库中最小的分配单元,也是数据库中使用的最小的IO单元。
与Oracle的表空间 --> 数据文件 --> 段 --> 区 --> 块类似DM7列存储表列存储表是相对普通的行存储表而言的,它们主要的不同在于列存储表的每一个列都是存储在一起的,而不是以记录为单位存储,所有行的同一列存储在一起。
达梦数据库中集合类型的使用(上)
达梦数据库中集合类型的使用(上)在DM PL/SQL的使用过程中,如果我们想储存单个的数据,我们可以利用声明变量的方式来存储,如果我们想存储单行多列的数据,我们可以用到记录类型(record),如果我们想保存单列多行的数据,则可以利用集合类型的方式来存储。
本文就将给大家介绍达梦数据库中常用的几种集合类型以及他们的特点。
一.索引表索引表的特点:1.可以使用数字或者字母作为下标2.以数字做下标时可以使用负数3.只能在PL/SQL块中使用,无法作为表字段下面进行一些测试,首先是数字做下标的索引表declaretype index_tab_type is table of varchar(30)index by int;v_table index_tab_type;beginv_table(-1):='hello';--设定下标为-1的元素的值v_table(1):='and ';--设定下标为1的元素的值v_table(5):='world';print('元素个数为:'||v_table.count);print('第一个元素是'||v_table(v_table.first));--输出第一个元素print('最后一个元素是'||v_table(v_st));--输出最后一个元素end;执行结果如下然后是字母做下标的索引表declaretype index_tab_type is table of varchar(30)index by varchar(1);v_table index_tab_type;beginv_table('a'):='hello';--设定下标为-1的元素的值v_table('c'):='world';print('元素个数:'||v_table.count);print('第一个元素'||v_table(v_table.first));print('最后一个元素'||v_table(v_st));end;输出结果可以看到,当采用字符做下标的时候,索引表的存储类似与键值(key-value)的存储方式二.Varray(变长数组)Varray的特点1.声明的时候需要声明最大容量。
达梦数据交换平台集群功能介绍
DMETL 集群采用主从结构,主从节点的功能差异主要体现在管理、监控等非 数据处理功能上,而在数据处理和流程执行功能上,集群中的各个节点是对等的, 从而保证集群数据处理能力,能够获得接近线性的提升。
主从节点的关系如下: 1) 一个集群中有且只有一个主节点。 2) 一个集群中的所有节点共享一份元数据。 3) 从节点只作为流程执行器,接收来自主节点的流程执行请求。 4) 主节点除了执行流程以外,还负责进行作业调度、事件分发、告警通知等功
能的执行,但这些这些功能对服务器的资源消耗较少,对主节点的性能影响 小且不会随着节点数的增长而明显增长,因此主节点一般不会系统的瓶颈。 5) 主节点故障时,从节点可以自动执行从到主的切换成为临时主节点,主节点 恢复之后,临时主节点执行主到从的切换,成为从节点。 6) DMETL 客户端或者第三方应用可以连接集群任何一个节点进管理、配置工 作或者执行流程。
源
转换1
转换2
目的
该流程在一个两节点的集群上运行时的结构如下:
DMETL 2节点集群
服务器1 (正常) 源
转换1
转换2
目的
达梦数据交换平台产品白皮书
服务器2(正常) 转换1 转换2 目的
数据源组件通常不存在性能瓶颈,只需要在一个节点上执行,数据读取出 来后,转换组件和目的组件可以同时在两台服务器上并行运行,每台服务器分别 处理一部分数据,因此可以提高数据转换和装载的性能。
4) 提高服务器可管理性和利用率
当数据集成应用中整合的数据源较多需要部署了多台 ETL 服务器时,可以 使用一个 N 节点的 ETL 集群来代替单独部署 N 台独立的 ETL 服务器,这样做 可以带来以下好处:
集群中的 N 台 ETL 服务器共享一个元数据库,登录任何一台 ETL 服务器即可 对所有的业务流程进行设计、管理、维护操作,也可以在一个统一的视图中 了解每台服务器的状态,可以大大提升工作效率。
达梦数据库要求的字符集
达梦数据库要求的字符集
【最新版】
目录
1.达梦数据库简介
2.达梦数据库支持的字符集
3.达梦数据库字符集的选用建议
4.总结
正文
【达梦数据库简介】
达梦数据库(DM)是我国自主研发的一款关系型数据库管理系统,具有高性能、高可靠性、高安全性等特点。
自 1988 年开始研发以来,已经经历了多个版本的迭代,广泛应用于各个行业领域,为我国的信息化建设做出了重要贡献。
【达梦数据库支持的字符集】
达梦数据库支持多种字符集,包括:
1.GBK:是我国国家标准汉字信息交换编码,包含了 6763 个字符,包括常用汉字、繁体字和一些符号等。
2.GB18030:是我国国家标准《信息交换用汉字编码字符集基本集的扩充》,包含了 27536 个字符,覆盖了大部分古今汉字和一些符号等。
3.UTF-8:是一种可变长度的编码方式,可以表示世界上所有的字符,包括汉字、英文字符、数字和符号等。
【达梦数据库字符集的选用建议】
在选择达梦数据库的字符集时,需要根据实际业务需求和数据量来选择。
对于一般的中文信息处理系统,可以选择 GBK 字符集,其覆盖的汉
字已经足够日常使用。
对于涉及大量古籍、方言等特殊场景,可以选择GB18030 字符集。
而对于涉及到国际化的场景,可以选择 UTF-8 字符集。
【总结】
总的来说,达梦数据库支持多种字符集,为用户提供了灵活的选择。
达梦 like 参数
达梦 like 参数【原创版】目录1.达梦数据库简介2.达梦数据库的参数配置3.like 参数在达梦数据库中的应用4.like 参数的使用方法和示例正文一、达梦数据库简介达梦数据库(DM)是一款国产的关系型数据库管理系统,其研发始于1988 年。
作为一款拥有完全自主知识产权的数据库产品,达梦数据库在国内市场占有率逐渐攀升,广泛应用于各个行业领域,如金融、电信、政府等。
达梦数据库提供了丰富的功能,支持 SQL 标准,并具备高性能、高可靠性、高安全性等特点。
二、达梦数据库的参数配置在达梦数据库的运行过程中,参数配置对于优化数据库性能和保障数据安全具有重要意义。
通过调整参数值,可以有效地提高数据库的运行效率、存储空间利用率以及数据处理速度。
达梦数据库的参数配置主要包括以下几个方面:1.系统参数:包括最大连接数、最大线程数、缓冲池大小等,用于优化数据库的运行环境。
2.数据库参数:包括数据库的命名空间、数据文件大小、日志文件大小等,用于设置数据库的基本属性。
3.表空间参数:包括表空间的名称、大小、状态等,用于管理和维护表空间。
4.存储过程参数:包括存储过程的名称、编译选项等,用于管理和维护存储过程。
三、like 参数在达梦数据库中的应用在达梦数据库中,like 参数是一种用于模糊查询的字符串匹配运算符。
like 参数在 SQL 语句中使用,可以实现对数据库中数据的模糊查询,提高数据检索的效率。
like 参数的基本语法如下:```SELECT * FROM table_name WHERE column_name LIKE "pattern";```其中,`table_name`表示要查询的表名,`column_name`表示要查询的列名,`pattern`表示匹配的模式。
四、like 参数的使用方法和示例以下是使用 like 参数进行模糊查询的示例:假设有一个名为`employees`的表,包含以下字段:`id`、`name`、`age`、`department`。
达梦数据库介绍(二)
达梦数据库介绍(二)引言概述:达梦数据库是一种高性能、可靠性强的数据库管理系统。
在本文中,我们将继续介绍达梦数据库的相关特点和功能。
本次介绍将主要涵盖以下五个大点:高可用性技术、数据安全措施、可扩展性、性能优化以及应用案例。
通过深入了解这些方面,您将更好地理解达梦数据库的价值和适用场景。
正文内容:1. 高可用性技术- 异地灾备:通过异地多中心架构,实现数据库的异地备份和容灾,确保数据安全性和可用性。
- 自动故障恢复:通过系统监控和自动故障切换机制,实现对数据库故障的自动检测和快速恢复。
- 负载均衡与容错:通过负载均衡技术和容错机制,实现系统资源的合理利用和服务的高可用性。
2. 数据安全措施- 数据加密:提供数据加密功能,保护敏感数据在传输和存储过程中的安全性。
- 用户权限管理:支持细粒度的访问控制,确保只有授权用户才能访问和修改数据库中的数据。
- 审计与监控:提供全面的审计功能和监控报告,帮助管理员监测数据库的使用情况并及时发现异常行为。
3. 可扩展性- 分布式架构:支持分布式部署,在集群环境中实现数据的分布和负载均衡,提高系统的性能和可扩展性。
- 弹性伸缩:根据业务需求,动态调整数据库的资源配置,实现系统的弹性伸缩和容量扩展。
4. 性能优化- 查询优化:通过支持索引、分区表和并行查询等技术,提高查询性能和响应速度。
- 缓存机制:通过数据缓存和查询缓存等技术,有效减少磁盘IO和网络开销,提升系统的运行效率。
- 数据压缩与存储:提供数据压缩和存储优化的功能,有效减少存储空间和提高系统性能。
5. 应用案例- 金融行业:达梦数据库在银行、证券等金融领域中广泛应用,满足高并发、高可靠性和高安全性的需求。
- 电商平台:达梦数据库在电商平台中支持海量数据处理,保证快速响应和可靠的订单管理。
- 大数据分析:达梦数据库提供对大数据的高效处理和分析能力,应用于大数据领域的业务场景。
总结:通过本文的介绍,我们可以看出,达梦数据库在高可用性技术、数据安全措施、可扩展性、性能优化和应用案例方面具有显著的优势。
达梦数据库 结果集 序号-概述说明以及解释
达梦数据库结果集序号-概述说明以及解释1.引言概述部分的内容可以描述达梦数据库和结果集的基本概念,以及序号在数据库中的作用。
概述部分内容如下:1.1 概述达梦数据库是一种关系型数据库管理系统,采用模块化的架构设计,具备高性能、高可用性和高安全性等特点。
它支持事务处理和并发控制,能够满足各类应用场景的需求。
结果集是在数据库查询操作中,返回给用户的查询结果的集合。
它由多个记录组成,每个记录包含了查询所需的字段值。
结果集可以根据用户的查询条件进行筛选和排序,以便提取所需的数据信息。
序号在数据库中用于标识结果集中每条记录的顺序。
它可以作为记录的唯一标识,方便用户对结果集进行遍历和索引操作。
序号还可以用于排序,从而按照指定的字段对结果集进行升序或降序排列。
在达梦数据库中,序号通常与查询语句中的ORDER BY子句结合使用,以控制结果集的排序方式。
通过指定排序字段和排序顺序,用户可以按照自己的需求来展示和处理查询结果。
综上所述,本文将详细介绍达梦数据库的特点和功能,重点讨论结果集的生成和处理方法,并探讨序号在数据库中的应用及其重要性。
通过本文的阐述,读者将能够更好地理解和应用达梦数据库中的结果集序号。
1.2 文章结构文章结构部分的内容可以包括以下内容:文章结构部分旨在向读者介绍文章的整体架构和各部分的内容安排,以便读者能够更好地理解和阅读本文。
文章主要分为引言、正文和结论三个部分。
引言部分主要包括概述、文章结构和目的三个子部分。
概述部分可以简要介绍本文的主题和研究对象,以及对该主题的背景和意义进行简要阐述。
文章结构部分会详细说明本文的整体结构和各部分的内容安排。
本文共包括引言、正文和结论三个部分。
目的部分会明确本文的研究目的和意义,阐明本文的主要研究内容和解决的问题。
正文部分主要包括达梦数据库、结果集和序号三个子部分。
达梦数据库部分会详细介绍达梦数据库的特点、功能和应用领域。
本文将从数据库的定义、历史背景以及达梦数据库的特点等角度来进行介绍。
达梦数据库主备集群(数据守护)搭建
达梦数据库主备集群(数据守护)搭建实时主备概述实时主备由⼀个主库以及⼀个或者多个配置了实时(Realtime)归档的备库组成,其主要⽬的是保障数据库可⽤性,提⾼数据安全性。
实时主备系统中,主库提供完整的数据库功能,备库提供只读服务。
主库修改数据产⽣的Redo⽇志,通过实时归档机制,在写⼊联机Redo⽇志⽂件之前发送到备库,实时备库通过重演Redo⽇志与主库保持数据同步。
当主库出现故障时,备库在将所有Redo⽇志重演结束后,就可以切换为主库对外提供数据库服务1 环境准备服务器主库IP:192.168.118.120 dm8数据库实例名:RAC1 端⼝号:5236服务器备库IP:192.168.118.121 dm8数据库实例名:RAC2 端⼝号:5236# 数据库启动服务命令路径/dm8/bin,实例配置⽂件路径/dm8/data/DAMENG/2 主备库分别初始化实例(按客户要求)./dminit path=/dm8/data page_size=32 instance_name=RAC1./dminit path=/dm8/data page_size=32 instance_name=RAC23 备份还原# 如果是初始搭建环境,可以通过对主库脱机备份、对备库脱机还原的⽅式来准备数据,如果主库已经处于运⾏状态,则可以对主库进⾏联机备份、对备库脱机还原的⽅式来准备数据。
3.1 主库创建实例之后,启动数据库并登录./dmserver /dm8/data/DAMENG/dm.ini3.2 关闭数据库,以dmrman备份数据库BACKUP DATABASE '/dm8/data/DAMENG/dm.ini' BACKUPSET '/dm8/data/backup';3.3 将备份⽂件复制到备库对应⽬录下(如果是root⽤户,复制成功需要将备份⽂件设置属于dmdba:dinstall⽤户组)scp -r /dm8/data/backup dmdba@192.168.118.121:/dm8/data/backup3.4 备库启动dmrman执⾏数据库还原RESTORE DATABASE '/dm8/data/DAMENG/dm.ini' FROM BACKUPSET '/dm8/data/backup';RECOVER DATABASE '/dm8/data/DAMENG/dm.ini' FROM BACKUPSET '/dm8/data/backup';RECOVER DATABASE '/dm8/data/DAMENG/dm.ini' UPDATE DB_MAGIC;4 配置集群⽂件4.1 vim dm.ini #主备库实例都需更改下⾯参数ALTER_MODE_STATUS = 0 #不允许⼿⼯⽅式修改实例模式/状态/OGUIDENABLE_OFFLINE_TS = 2 #不允许备库 OFFLINE 表空间MAL_INI = 1 #打开 MAL 系统ARCH_INI = 1 #打开归档配置4.2 vim dmmal.ini #主备库配置必须完全⼀致MAL_CHECK_INTERVAL = 5 #MAL 链路检测时间间隔MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间[MAL_INST1]MAL_INST_NAME = RAC1 #实例名,和 dm.ini 中的 INSTANCE_NAME ⼀致MAL_HOST = 192.168.118.120 #MAL 系统监听 TCP 连接的 IP 地址MAL_PORT = 61141 #MAL 系统监听 TCP 连接的端⼝MAL_INST_HOST = 192.168.118.120 #实例的对外服务 IP 地址MAL_INST_PORT = 5236 #实例的对外服务端⼝,dm.ini 中的 PORT_NUM ⼀致MAL_DW_PORT = 52141 #实例对应的守护进程监听 TCP 连接的端⼝MAL_INST_DW_PORT = 33141 #实例监听守护进程 TCP 连接的端⼝[MAL_INST2]MAL_INST_NAME = RAC2MAL_HOST = 192.168.118.121MAL_PORT = 61141MAL_INST_HOST = 192.168.118.121MAL_INST_PORT = 5236MAL_DW_PORT = 52141MAL_INST_DW_PORT = 331414.3 vim dmarch.ini #主备库归档⽬标实例名不⼀致,其他⼀致#与联机 Redo ⽇志⽂件可以被覆盖重⽤不同,本地归档⽇志⽂件不能被覆盖,写⼊其中Redo ⽇志信息会⼀直保留,直到⽤户主动删除;如果配置了归档⽇志空间上限,系统会⾃动删除最早⽣成的归档 Redo ⽇志⽂件,腾出空间。
达梦数据库管理系统DM8(一)
达梦数据库管理系统DM8(一)引言概述:达梦数据库管理系统DM8是一款高性能、高可靠性的数据库管理系统,具有强大的数据处理和管理功能。
本文将介绍DM8的五个主要特点,包括数据安全性、性能优化、高可用性、灵活扩展性和易用性。
正文:一、数据安全性1. 数据加密:DM8支持数据加密技术,可以对敏感数据进行加密,保障数据的机密性。
2. 角色权限管理:DM8提供全面的角色权限管理功能,可以通过细粒度的权限控制,确保数据得到合适的访问和操作。
3. 审计功能:DM8具备完善的审计功能,可以记录数据库的操作日志和安全事件,便于追踪和分析。
4. 备份与恢复:DM8支持灵活的备份与恢复策略,可以保障数据的安全性和可靠性。
5. 高可用性:DM8支持主备模式和多活模式,提供高可用的数据库解决方案,确保系统的稳定性和持续可用性。
二、性能优化1. 查询优化:DM8拥有强大的查询优化器,可以通过优化查询计划和索引设计,提升查询性能。
2. 内存管理:DM8采用高效的内存管理技术,可以充分利用系统资源,提高数据库的运行效率。
3. 并发控制:DM8支持乐观并发控制和悲观并发控制,确保数据库在高并发情况下的性能和稳定性。
4. 多线程处理:DM8具备多线程处理能力,能够有效地提升数据处理和计算能力。
5. 缓存机制:DM8通过缓存机制,可以减少对磁盘的访问,加快数据的读写速度。
三、高可用性1. 主备模式:DM8支持主备模式,提供了数据库故障切换和自动故障恢复的能力,确保系统的高可用性。
2. 多活模式:DM8支持多活模式,可以实现异地多活,提供更高的系统可用性和容灾能力。
3. 快速恢复:DM8具备快速恢复能力,可以在数据库故障后快速恢复数据和服务。
4. 容错处理:DM8提供容错处理机制,通过数据冗余和故障自动切换,保障数据的安全性和完整性。
5. 监控和告警:DM8集成了完善的系统监控和告警功能,能够及时报警并采取措施,确保系统的稳定运行。
达梦云适配中心达梦数据库(二)2024
达梦云适配中心达梦数据库(二)引言概述:本文将介绍达梦云适配中心中的达梦数据库(二),通过对其特点和功能的详细解释,以及适配中心的优势和应用案例的介绍,帮助读者更好地了解和利用该适配中心。
正文:1. 达梦数据库(二)的特点:a. 高性能:达梦数据库(二)具有卓越的读写性能,能够处理大规模数据的高并发访问。
b. 可扩展性:该数据库支持水平和垂直扩展,可以灵活应对不同规模和需求的数据存储。
c. 数据安全性:达梦数据库(二)提供严格的权限控制和数据加密功能,保障数据的安全性和机密性。
d. 数据同步和备份:该数据库支持数据同步和备份功能,确保数据的持久性和可靠性。
2. 达梦数据库(二)的功能:a. 数据管理:包括数据的增删改查、数据导入导出等基本操作,满足用户日常数据管理的需求。
b. 数据分析和报表:提供丰富的数据分析和报表功能,为用户提供全面的数据分析和决策支持。
c. 高可用性:通过主备架构和故障转移等机制,保证数据库的高可用性和服务的连续性。
d. 兼容性和互操作性:支持与其他数据库的兼容性和互操作性,方便用户进行数据库迁移和数据交互。
3. 达梦云适配中心的优势:a. 统一管理:适配中心提供统一的管理平台,方便用户集中管理和监控不同的数据库。
b. 一键适配:适配中心支持一键适配功能,可以自动检测和适配不同数据库之间的差异和兼容性问题。
c. 灵活扩展:适配中心提供灵活的扩展机制,用户可以根据需求选择适配插件来扩展适配功能。
d. 故障恢复:适配中心具有故障恢复功能,能够及时发现和修复数据库故障,保障系统的可用性和稳定性。
e. 安全性保障:适配中心通过严格的权限控制和数据加密等机制,确保数据库的安全性和数据的保密性。
4. 达梦云适配中心的应用案例:a. 数据库迁移:适配中心可以帮助用户快速迁移不同数据库之间的数据,降低迁移过程的风险和复杂性。
b. 数据交互和同步:适配中心支持不同数据库之间的数据交互和同步,满足多数据库协同工作的需求。
达梦数据参数 解释
达梦数据参数解释
达梦数据库中的参数分为三种:手动、静态和动态。
手动参数不能被动态修改,
必须手动修改dm.ini 参数文件,然后重启才能生效。
静态参数可以被动态修改,
修改后重启服务器才能生效。
动态参数可以被动态修改,修改后即时生效。
动态参数又分为会话级和系统级两种,会话级参数被修改后,新参数值只会影响新创建的会话,之前创建的会话不受影响。
以下是达梦数据库中部分参数的含义:
1.页大小(PAGE_SIZE):数据页是DM 数据库中最小的数据存储单元。
该参数主
要影响的是数据库中实际可存储的字符串长度大小和一行数据的总长度。
2.簇大小(EXTENT_SIZE):簇是数据页的上级逻辑单元,由同一个数据文件中16 个
或32 个连续的数据页组成。
3.大小写敏感(CASE_SENSITIVE):标识符大小写敏感。
4.字符集编码(CHARSET/UNICODE_FLAG):字符集选项。
5.PAGE_INFO:可选参数,是否打印页信息,即是否生成page_infoxxx.txt并将页信
息打印到page_infoxxx.txt报告中。
默认为1。
6.OUT_PATH:可选参数,输出文件路径,默认输出到当前路径下。
不能为ASM路
径。
达梦 for redis用法
达梦for redis用法达梦是一个在NoSQL领域中较为流行的数据库管理系统,也是一种用于存储和检索数据的高性能解决方案。
本文将详细介绍达梦在Redis中的用法,主要包括以下几个方面的内容:Redis的基本概念、达梦的优势和功能、如何安装和配置达梦for Redis、以及达梦在Redis中的具体用法和案例分析。
一、Redis的基本概念在了解达梦for Redis之前,我们先来了解一下Redis的基本概念。
Redis 是一个开源的内存数据结构存储系统,它可以用作数据库、缓存和消息中间件。
Redis支持多种数据结构,包括字符串、列表、哈希表、集合和有序集合等。
同时,Redis还提供了丰富的功能和命令,例如数据持久化、事务、发布和订阅、复制和分布式等。
二、达梦的优势和功能达梦是一个为Redis设计的高性能数据库管理系统,它具有以下几个优势和功能。
1. 高性能:达梦通过优化内存管理、存储引擎和索引等方面的设计,提供了出色的读写性能和响应能力。
2. 可扩展性:达梦支持水平扩展,可以通过添加节点来提升系统的处理能力和容量,从而满足不同规模和负载的需求。
3. 可靠性:达梦使用了多副本机制来确保数据的高可用性和持久性。
在节点故障或网络中断情况下,达梦可以自动进行主从切换,确保系统的连续性。
4. 数据安全:达梦提供了多种机制来保护数据的安全性,包括数据加密、用户认证、访问控制和数据备份等。
5. 简易性:达梦提供了用户友好的管理界面和命令行工具,使得用户可以方便地管理和操作数据库。
三、安装和配置达梦for Redis在使用达梦for Redis之前,我们需要先进行安装和配置。
以下是一步一步的操作指南:1. 下载达梦for Redis的安装包,可以从达梦官网或其他渠道获取。
2. 解压安装包到指定位置,例如/opt/dms-redis。
3. 编辑配置文件dms.conf,修改数据库相关参数,例如监听端口、数据目录和日志文件路径等。
达梦数据库DM8共享存储集群-D
DM8 共享存储集群前言概述本文档主要介绍DM 共享存储集群的系统特性、基本概念、实现原理、主要功能,以及如何搭建DM 共享存储集群并使用等。
读者对象本文档主要适用于DM 数据库的:●开发工程师●测试工程师●技术支持工程师●数据库管理员通用约定在本文档中可能出现下列标志,它们所代表的含义如下:表0.1 标志含义在本文档中可能出现下列格式,它们所代表的含义如下:表0.2 格式含义访问相关文档如果您安装了DM 数据库,可在安装目录的“\doc”子目录中找到DM 数据库的各种手册与技术丛书。
目录1引言 (1)2DMDSC 概述 (2)2.1系统特性 (4)2.2基本概念 (5)2.3使用说明 (8)3DMDSC 使用的环境 (10)4DMDSC 实现原理 (11)4.1事务管理 (11)4.2封锁管理 (13)4.3闩管理 (13)4.4缓存交换 (14)4.5重做日志管理 (20)4.6回滚记录管理 (22)5DMCSS 介绍 (23)5.1启动命令 (23)5.2心跳信息 (24)5.3选举DMCSS 控制节点 (24)5.4选取监控对象控制节点 (24)5.5启动流程管理 (24)5.6状态检测 (24)5.7故障处理 (25)5.8节点重加入 (25)5.9集群指令 (26)5.10状态查看 (26)5.11主普通节点显示信息差异 (28)5.12配置VIP (28)5.13注意事项 (29)6DMASM 介绍 (30)6.1DMASM 概述 (30)6.2DMASM 基本概念 (31)6.3DMASM 原理 (32)6.4DMASM 技术指标 (35)6.5DMASM 使用说明 (36)6.6DMASMCMD (37)6.7DMASMSVR (40)6.8DMASMAPI (41)6.9DMASMTOOL (44)7DMDSC 启动、关闭流程 (50)8DMDSC 故障处理 (51)9DMDSC 节点重加入 (53)10配置说明 (54)10.1DMDCR_CFG.INI (54)10.2DMDCR.INI (58)10.3DMINIT.INI (60)10.4MAL 系统配置文件(DMMAL.INI、DMASVRMAL.INI) (63)10.5DM.INI (64)11DMDSC 搭建 (67)11.1环境准备 (67)11.2搭建2 节点DMDSC(DMASM) (67)11.3搭建2 节点DMDSC(裸设备) (74)11.4单节点搭建DMDSC 测试环境 (79)12故障自动重连 (80)12.1配置服务名(DM_SVC.CONF) (80)12.2体验故障自动重连 (81)13动态扩展节点 (83)13.1动态扩展节点流程 (83)14监控DMDSC (89)14.1DMCSSM 监视器 (89)14.2动态视图 (95)15备份还原 (114)15.1DMDSC 和单节点差异 (114)15.2远程归档 (115)15.3DMDSC 备份集 (117)15.4DMDSC 备份还原实例 (117)15.5使用说明 (119)16DMDSC 使用说明 (120)16.1统一组件版本 (120)16.2提升DMDSC 性能 (120)16.3心跳说明 (121)16.4重新格式化DMASM (121)16.5重新初始化DMDSC 库 (122)16.6内部网络异常 (122)16.7创建DBL INK (123)16.8节点硬件故障,如何启动DMDSC 集群 (125)16.9MOUNT/OPEN 操作 (125)16.10裸设备路径变化 (125)17 附录 (127)17.1DMASMAPI 接口 (127)17.2DMCSSM 接口 (153)1引言DM 共享存储数据库集群的英文全称DM Data Shared Cluster,简称DMDSC。
达梦数据介绍
达梦如何冲击核心业务系统——国产数据库的产品发展之道韩朱忠达梦数据库一家国产数据库厂商愿景——坚持原始创新、实现产业报国提供丰富的数据处理产品和解决方案:•数据交换•数据管理•数据分析达梦坚持以关系数据库(DM7)为基础说到“国产数据库”——起步中国数据库国产化的努力工作,始于上世纪80年代达梦公司的前身——大学的一个课题组,同期起步重大行业核心的生产、控制和管理系统行业外围系统或中小企业信息管理系统关于“国产数据库”——缓慢前行三十年来,国产厂商大部分的努力,都是在低端市场搏杀金融、电信核心交易系统毋容置疑,从市场来看国产数据库发展的太慢低技术含量、低利润、低知名度、低品牌形象高端市场难以突破2008电力调度,生产库——核心系统三家厂商拼了近3年,首单落地——选型PK、定制开发、性能调优、驻场维保Now:90+%份额Get但仅这样,还远远不够!2012中国航信-航空电子客票2013国家工商管理总局-国家企业信用信息公示值得激动的新机遇重大行业核心的生产、控制和管理系统行业外围系统或中小企业信息管理系统金融、电信核心交易系统市场利益&社会责任民航电子客票中国民航市场2016年规模达到900余万次航班4.9亿人次出行经过三年的服务和支持达梦先后在首都航空、西藏航空、国航、东航成功投产,后续将进一步全面替代稳定&可靠——满足365*24的不间断运行性能——从容应对节假日、重大活动等出行高峰期的机票查询、预定请求快速移植——支持开发商在3个月内,完成涉及到约10万行数据库相关源码(对象定义、SQL、过程、触发器)从Oracle向DM的移植国家企业信用信息公示将服务于大量投资者、媒体、监管机构及社会公众全国上亿企业、个体从业者的登记、变更、及查询等服务向相关机构提供全国企业经营数据分析结果截至目前,已部署达梦集群实例三十余套,日检索业务1650万笔性能——满足复杂分析和并发事务处理请求运维——满足数据中心的所有DB实例集中管理要求挑战简要汇总如下稳定&可靠快速移植性能运维01020304更高的产品质量Oracle 兼容高可用方案SQL 优化能力大规模部署监控维护并发性能产品技术的应对——质量365*24运行,意味着产品必须有良好的代码质量常见的稳定性问题内存泄露问题内存初始化问题非法输入问题环境异常问题资源占用问题复杂负载问题……对测试水准提出更高要求执行:自动化的版本编译、执行、问题报告系统•每日冒烟测试•生成用例/场景上万个•纯文本测试脚本达到6GB•覆盖主流软硬件平台•向研发自动提交测试发现的严重问题测试覆盖面:不断扩展测试方法和内容•测试用例自动生成•静态代码分析•动态内存泄露检测•自动故障注入•系统性能剖析•仿真系统测试•……用户量以50%速度增加,而漏出缺陷在下降挑战简要汇总如下稳定&可靠快速移植性能运维01020304更高的产品质量Oracle 兼容高可用方案SQL 优化能力大规模部署监控维护并发性能传统意义上的高可用•实时数据复制•自动故障切换•两地三中心多活•……达梦面临高可用的第二重含义——异构双活•达梦到其他数据库•实时数据复制•故障切换高可用方案的双重含义针对部分初次接触达梦的用户——高可用方案的双重含义购买一套国产数据库把应用移过去上线应用移植完成,经过了调试优化、仿真测试,是否就可以上线?疑问:•仿真测试环境与真实生产环境等效?•万一有潜藏的功能性能问题爆发,导致业务停滞怎么办?•只能选择上线或不上线,没有第三种选择?•是否上线谁能说了算,凭什么说了算?部署方式:达梦数据库其他数据库应用系统实时数据同步DMHS效果实时同步,同时支持国外主流系统和国产系统在线数据对比,不停止在线生产系统情况下,确保两边数据完全一致其他产品为主达梦为备达梦为主其他为备达梦在线数据对比试运行/风险评估期缓解疑虑建立信任中国铁建神华集团用友政务工商管理总局国家电网海南社保中新网湖北知识产权局南方电网国家海洋局中船**河北财政厅中国航信重庆经济信息中心**审计厅……挑战简要汇总如下稳定&可靠快速移植性能运维01020304更高的产品质量Oracle 兼容高可用方案SQL 优化能力大规模部署监控维护并发性能与开源数据库相比商业数据库在产品技术上,核心优势在哪里?达梦在服务于行业用户、核心业务系统时,认识到了一项关键区别——复杂SQL的处理能力来看一条我们曾经经历过的SQL 的例子with“COL1" as(select"I".“XCOL1"+1 "PzPeriod" ,'0.0' "OrderNum" ,null "PzDay" ,'' "VchrNum" ,'' "DFKM" ,1 "SortOrder" ,0 "ItemOrder" ,0x00000000000000000000000000000000 "RECID",'' "Digest" ,'' "CurrencyName" ,1 "POSTFLAG" ,1 "ORIENT" ,'' "DEFAULNAME" ,sum(case when "I"."BF" is nullthen 0.0 else "I"."BF" end*case when“X"."ORIENT"=0x00000000000000000000000000000001 then 1 else -1 end) "BF",……from“Y_T" "S")"S"放进word里,达到359页;共1 3 .9千行)"N"17个inner join、557个子查询、831个or筛选、1000+个查询字段、2451个like筛选条件、2731个case when表达式达梦的SQL引擎需要有处理此类查询的能力!达梦SQL 引擎分析器Parser优化器Optimizer执行器Executor总体来说,达梦拥有一个典型的、基于代价的关系数据库SQL 引擎SELECT A,C FROM T1 WHERE B LIKE ’DM’;统计信息数据字典数据执行结果语法分析语义分析关系代数变换代价优化语法树SFW 结构关系树优化了的关系树SQL 脚本物理计划生成执行计划SQL 引擎的具体处理流程重点打磨对象为提供更强大的SQL 处理能力DM7六年来对SQL 引擎进行持续改进用集合操作取代迭代操作•外层表下压消除相关•内外层半连接(SEMIJOIN)充分考虑多种连接方案代价•计算N个最大表的连接代价•确定候选连接顺序(Catalan数)•过滤条件下放代价计算•变换Or到最外层,便于索引利用•变换Or为IN,利用子查询,成为集合操作针对大量表的Join(如:6表以上)减少Join参与表的数量,改进计划代价生成速度•满足特定条件的表,下推到子查询内•下推:筛选条件下推视图,增强过滤条件•上拉:部分情况下,直接将视图分解到上层查询•前后通配符优化为Position操作•前通配符优化为可利用REVERSE函数索引Such asOr运算符变换相关子查询变换下推探测表视图优化Like优化生成连接次序More and more✓多级分区加列✓truncate ✓删列✓删除多级分区表✓拆分split ✓新增分区✓优化后,很多操作与O 性能相当或快10-100倍✓like 表达式存在可计算函数的优化✓优化分析阶段获取表行数操作的优化,避免了每次从磁盘获取行数信息✓Top n 查询改写为rowid/pk in 子查询,减少字段解析消耗; ✓Union 分支的连接公因子提取优化;✓布尔表达式范围合并的加强;✓增加统计操作符实际返回行数的功能;✓位图连接索引的使用增强;✓in value list 在mpp 、lpq 下的motion 计划优化✓.......分区表优化器改进✓hash 表memset 优化✓分区表hash 连接的裁剪;✓水平分区表分区列的排序、分组优化✓多层嵌套的分组合并✓通过增加排序操作实现归并连接;✓嵌套循环半连接增加key 的缓存处理执行器分区表执行器优化器其他✓内存管理模式优化✓Tpcc 性能提升明显其他改进回过头来看这条SQL20分钟+1分钟以内放进word里,达到359页;共1 3 .9千行17个inner join、557个子查询、831个or筛选、1000+个查询字段、2451个like筛选条件、2731个case when表达式挑战简要汇总如下稳定&可靠快速移植性能运维01020304更高的产品质量Oracle 兼容高可用方案SQL 优化能力大规模部署监控维护并发性能民航客票系统,机票信息的源头接入各航空公司的官网订票系统、机票代理商、互联网出行平台……国家企业信用信息公示,开放的互联网服务平台面向社会公众,日均查询访问1650万次数据库并发性能是用户的核心关注高并发能力系统架构内核设计底层技术•多线程架构•读写分离、共享存储等集群架构•行级封锁•多版本并发控制•并行日志•事务可见性判断•Buffer&Cache 设计•异步检查点机制•……•线程同步机制•原子操作实现•异步IO 模型•用户态线程•……数据库并发设计优化是系统性的工作多版本并发控制•很多数据库实现了MVCC:Oracle、MySQL/InnoDB、PostgreSQL •PostgreSQL:未引入回滚段•各版本数据都存在数据文件,数据膨胀问题•导致大量更新后的扫描性下降•Oracle:基于块的MVCC•DM7:基于行的MVCC•更多并发更新、查询集中在一个Page的情况下•提供更好的并发能力封锁机制•Mysql/Innodb•使用一个hash表总体管理行锁•每个page的行锁使用一个bitmap表示•更新page越多,维护锁的内存开销越大•锁越多,需要进临界区的次序就越多物理实现的锁代价是高昂的•Oracle每个记录的LockBit指向Block的ITL,描述了锁信息•实现锁的消耗要小得多DM7更进一步,彻底消除行锁Mysql/Innodb行锁示结构意图•修改过的行标识对应事务的编号(唯一递增,TID)•读-写:根据本事务ID与记录TID大小判断可见性•写-写:基于页面闩+TID可见性,实现锁定效果•减少资源消耗•没有锁升级问题DM7行级锁示意图TPC-C单机压力极限测试Intel Xeon E5-2697V4*2 384GB DDR4PCI-E SSD 2TB 稳定在:1,330,000 tpmc约相当于:70万QPS (90%为增删改)TPC-C单机并发测试10Warehouse50 Session100Warehouse500 Session1000Warehouse5000Session达梦179802.75tpmc220590.48tpmc134995.45tpmc友商A162375.36tpmc208364.16tpmc46959.04tpmc友商B134974.85tpmc209131.97tpmc69196.5tpmc注:采用benchmarksql4.1.1作为测试工具Intel Xeon E5-2620v3 *296GB DDR3SAS 10K RPM 600GB*2 RAID1设备不变,并发量X100,数据量X100,DM性能损耗最小近期某项目POC测试挑战简要汇总如下稳定&可靠快速移植性能运维01020304更高的产品质量Oracle 兼容高可用方案SQL 优化能力大规模部署监控维护并发性能核心业务系统是国外产品的天下达梦是后来者兼容策略是成本最低的开发人员培育、项目替代方案提供达梦数据迁移工具完成数据迁移,支持数据快速装载包含几乎所有Oracle 的数据库对象,且创建语法及使用方式与Oracle 保持一致高度兼容的数据类型、PL/SQL 、动态视图等特性采用单库、单实例的架构,与Oracle 保持一致文件组织结构、并发控制特性的概念与机制接近逻辑概念相近,快速理解数据库结构Oracle 原生接口级兼容从底层到上层,完整的兼容体系•业务系统几乎没有对数据库相关代码进行修改•保证如期完成系统移植•用户的注意力得以聚焦在系统稳定性和性能•兼容Oracle 的OCCI 接口;•兼容Oracle 的DBLINK 定义和使用;•兼容Oracle 的包PACKAGE 定义和使用;•兼容Oracle 的作业JOB 的定义和实现;•兼容Oracle 的系统包(UTF_FILE 、DBMS_SQL 、DBMS_OUTPUT 、DBMS_JOB 、DBMS_LOB 等);•兼容Oracle 的DMP 文件导入和导出的逻辑备份方式;•兼容Oracle 的DUAL 伪表、ROWNUM 伪列等•兼容Oracle 语法风格的Pro C 接口•……针对民航客票系统的兼容改进•延续了开发商对Oracle 深层技术的使用习惯•实现了原oracle 50万行存储过程的平滑移植•保证了与oracle 一致的用户体验•兼容Oracle 的VPD 虚拟数据库模块;•兼容Oracle 的merge into 语法;•兼容Oracle 的正则表达语法;•兼容Oracle 的系统包、系统视图(DBMS_RANDOM 、DBMS_STATS 、DBA_OBJECTS 、DBA_JOBS 、USER_TYPES 、USER_SEGMENTS 等);•兼容Oracle 的last_value 、to_clob 、decode 等函数;•兼容Oracle 的分区表结构修改语法;•兼容Oracle 的CASE WHEN 动态拼接语法;•兼容Oracle 的序列取值范围;•……南网财务的兼容特性清单Case:VPD 兼容Case:正则语法兼容挑战简要汇总如下稳定&可靠快速移植性能运维01020304更高的产品质量Oracle 兼容高可用方案SQL 优化能力大规模部署监控维护并发性能核心业务系统在部署维护方面与相对外围的、中小规模的系统相比有很大的不同规模化集中化自动化远程化•基于WEB•对象管理•集群部署•状态监控与告警等功能支撑了用户约三十余套达梦集群实例的统一部署、监控和管理产品技术的应对——小结拿下核心系统,是由于对以下需求进行了积极响应提供建立信任的渠道(提供异构同步机制)系统稳定性有保证(充分测试,保证代码质量)性能足够良好(良好的SQL引擎与并发优化)能以较低成本、较快速度与现有应用适配(Oracle兼容)提供较好的管理运维方案(Web化运维管理平台)新进展&新计划共享存储集群•ASM 、VIP、负载均衡、TAF 等特性•已小规模上线试运行易用性•进一步完善DEM 运维管理平台•兼容性持续改进生态•得到ArcGIS 原生支持的唯一国产品牌•更多重量级ISV的合作云•公有云——阿里云市场上架•私有云——H3C 、华为、浪潮云解决方案集成服务•达梦技术支持互联网门户•“管家式、深层次”数据库服务我们梦想做最好的数据库脚踏实地、聚焦技术面对用户永远谦逊扫码微信关注达梦动态扫码加入达梦技术QQ群。
揭秘达梦数据库高性能读写分离集群
揭秘达梦数据库高性能读写分离集群随着各行业业务数据和数据结构复杂程度的不断攀升,数据库的访问压力正不断增强。
在大型应用系统中往往存在上百万的用户,有上千万的数据量,产生众多的数据库查询操作,也有较多的数据库写操作。
如果能将数据库的读写操作分离,无疑能大幅提升系统性能。
一、系统概述在一个高并发的事务型系统中,当写事务占的比例相对读事务相对较小时,可以借助DM7的主备系统备机可读的特点,将读事务转移到备机执行,减少单节点的并发压力,通过增加备机节点资源,提高系统的并发能力,增强系统性能。
DM7提供一种独具创新的主备方案,即时归档主备系统,该系统可通过客户端来实现读写事务的自动分离,读事务在备机执行,写事务在主机执行,减轻主机的负载。
备机可以配置多个,备机配置的越多,更能分担主机的压力,系统整体并发效率越高。
二、读写分离流程DM7使用JDBC驱动与服务器结合的方式实现读写分离,大致流程如1000下:1) 用户登录后,客户端首先连接到主机,主机根据即时归档的配置,获取一个有效的备机信息,并返回给客户端。
2) 客户端根据主机返回的备机IP和端口,建立与该备机的连接。
3) 客户端执行语句时先在备机上执行,如果是只读事务,则只在备机上执行。
4) 如果系统收到客户端试图在备机模式下修改数据等错误,则说明该事务是写事务,则转移到主机上执行。
5) 一旦主机上执行的写事务提交,则下次继续从备机开始执行。
6) 为了实现负载均衡,防止出现读事务过多占用备机资源、主机空闲的情况,客户端采用一定的算法进行均衡,主机上也会执行一部分读事务。
图1 读写分离流程三、即时归档DM7支持多种归档类型,本地归档、实时归档、同步归档、异步归档等类型。
为了实现读写分离,新增一种即时归档(Timely archive)类型,以区别实时归档。
实时归档是实时发送日志到备机,备机收到日志不会等待日志APPLY完成,立即响应给主机,主机收到响应后才刷本地日志。
达梦数据共享集群DSC技术白皮书-Itpub
达梦数据共享集群DSC 技术白皮书达梦数据库有限公司2016年5月目录1 引言 (1)2 概述 (1)2.1数据共享集群架构 (1)2.2硬件架构 (2)2.3文件系统和卷管理 (3)2.4配置连接服务名 (4)3 高可用性 (4)3.1可靠性 (4)3.2可恢复性 (4)3.3错误检测 (5)3.4持续操作 (5)4 可扩展性 (5)5 负载管理 (6)5.1服务 (6)5.2连接负载均衡 (6)6 结论 (7)达梦真正应用集群技术白皮书1引言达梦数据共享集群(DSC)允许达梦数据库实现在一组集群服务器上运行任何程序包,而客户应用不必作任何更改。
这种体系提供了最高级别的可用性和最灵活的可伸缩性。
如果出现集群其中一个服务器失败,达梦会继续运行在集群中其它服务器上。
如果您需要更多的处理能力,您可以很方便地在线增加另外的服务器而不必使用户脱机。
为了保持低成本,可以将高端的系统构建在标准化的、低成本的产品上。
达梦数据共享集群是达梦企业网格计算体系的基础。
达梦DSC 技术可为低成本硬件平台提供支持,使其提供优质的服务,并达到或超出昂贵的大型 SMP 计算机所能提供的可用性和可伸缩性等级。
通过显著降低管理成本和提供出色的管理灵活性,达梦为企业网格环境提供了强有力的支持。
本白皮书作为达梦数据共享集群技术概述,强调达梦DSC能给企业应用提供最高可用性和可伸缩性的特性和功能。
2概述达梦数据共享集群是在达梦7版本中作为服务器组件首次推出,可提供横向扩展,实现超越单一服务器能力。
这使得客户可以利用低成本的普通硬件设施来降低总体成本,并且能够在可扩展计算环境中来分散应用的负载。
OLTP测试中,展现了一个面向交易的处理系统运行在集群环境下可以达到在单一SMP服务器上相同的性能,并且在集群环境下还可以提供单一SMP服务器不具备的高可用性。
2.1 数据共享集群架构一个DSC数据库就是一个集群数据库。
集群就是一组相互独立的服务器相互协作形成一个整体的,单一的系统。
达梦数据库介绍
达梦数据库简单介绍首先我个人接触下来的话,发现达梦数据库部署起来比较方便,部署一个完整的数据库的话,只需要短短的十分钟就可以完成调试安装。
DM数据库支持的系统平台也很完善,基本上市场上常见的系统都支持。
例如Windows、Centos、Redhat、XP、Vista、FreeBSD、Solaris等等,但是有不同的安装步骤另外DM可以根据应用的不同需求与配置,安装不同的产品类型,DM提供了以下产品供客户选择:1、标准版本Standard Edition2、企业版本Enterprise Edition3、安全版本Security Edition标准版本:适用于政府部门及中小型企业和互联网使用,提供数据管理和分析平台并且拥有数据管理、安全管理和开发支持的所需基本功能。
企业版本:适用于有高并发和大量的并发用户,数据量达到TB级别海量数据的企业,不仅可以用于驱动网站、打包应用程序和联机事务处理、决策分析、数据仓库等应用。
可完美支撑各类企业安全版本:拥有企业版本的所有功能,并且加强了其安全特性,引入强制访问共嗯那个,采用数据管理员、数据库审计员、数据安全员三全分立机制。
适合敏感部门使用另外达梦的安装部署非常方便,可以在windows上部署和linux上部署,我这边举个例子我实在Centos上部署的首先需要把达梦的iso镜像挂载到一个目录上直接执行安装文件mount /dev/sr0 /cdrom1、创建用户首先需要创建达梦数据库内置的一个普通用户,因为在生产环境不允许用root 用户直接创建部署和运维groupadd dinstall 创建组useradd -g dinstall -m -d /home/dmdba -s /bin/bash dmdb 创建用户passwd dmdba 初始化dmdba用户的密码2、查看基础环境查看系统空间是否可以支持安装数据库,达梦数据库安装只需要1个G即可3、开始安装数据库安装须知:1) 用户在进行图形化安装时,应当确认当前正处于图形化界面的运行环境,否则运行安装程序将报错。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
达梦数据库集群选择及介绍武汉达梦数据库有限公司2019年9月版本历史目录1 达梦公司介绍 (1)1.1核心研发能力 (1)1.2运维保障能力 (2)1.2.1 保障体系的组织方式 (2)1.2.2 服务保障流程 (5)2 数据库集群选择及介绍 (8)2.1路线规划 (8)2.2集群种类 (10)2.2.1 达梦数据守护集群(DataWatch) (10)2.2.2 达梦读写分离集群(DMRWC) (15)2.2.3 达梦大规模并行处理框架(DMMPP) (18)2.2.4 达梦数据共享集群(DMDSC) (23)3 成熟案例介绍 (28)3.1国家智能电网调度指挥系统D5000 (28)3.2南方电网-OS2地级主站系统 (28)3.3中航信在线事务处理系统 (29)3.4中国铁建集团财务大共享系统 (29)3.5海南社保 (30)3.6南京公安警务平台系统 (30)3.7江苏监狱管理局项目 (31)3.8国家发改委-投资审批系统 (31)3.9国家发改委-信用交换平台 (32)1达梦公司介绍达梦数据库有限公司成立于2000年11月,注册资金3637万,为国有控股的大型基础软件企业。
其前身是华中科技大学数据库与多媒体研究所,是国内最早从事数据库管理系统研发的科研机构,得到国家各级政府的强力支持,是中国数据库标准委员会挂靠单位,湖北省数据库工程技术研究中心。
在北京、石家庄、上海、广州、南宁、西安和成都等地设有分支机构。
达梦公司是国家规划布局内重点软件企业,首批获得国家“双软”认证的高新技术企业,专业从事数据库管理系统研发、销售和服务。
公司管理规范,锐意进取,通过了国家保密局“涉及国家秘密的计算机信息系统集成软件单项资质”认证和工业信息化部“计算机信息系统集成资质二级”认证,并通过了国际IS09001质量体系和CMMI软件成熟度模型五级认证,AAA资信。
达梦人经过30年的努力拼搏,在学习、分析国际上众多优秀数据库产品的基础上原始创新,投入上千人年,耗资过亿,开发源代码上千万行,形成了具有完全自主知识产权的DBMS产品系列,先后完成了近80项国家级、省部级的科研开发项目,取得了50多项研究成果,皆为国际先进、国内领先水平,其中30多项获国家、省部级科技进步奖,在国内同行中处于领先地位。
达梦数据库是国内第一家通过国家安全三级认证,国内第一家通过10TB数据库容量测试的数据库产品,也是唯一通过中国人民解放军目前最高级别军B级认证的国产数据库。
达梦数据库产品已成功用于我国国防军事、公安、安全、财政金融、电力、水利、审计、交通、信访、电子政务、税务、国土资源、制造业、消防、电子商务、教育等20多个行业及领域,装机量超过10万套,打破了国外数据库产品在我国一统天下的局面,取得了良好的经济效益和社会效益。
达梦数据库(DM)具有完全知识产权,是达梦人近30年的智慧、心力和汗水的结晶,是中国人的骄傲,必将为中国信息化做出贡献。
1.1核心研发能力达梦数据库历来注重新的技术发展趋势和技术研发工作,工作70%以上人员为技术人员。
DM7.0推出后,在国内数据库领域引起了强烈反响。
在这一款产品上,达梦推出了目前国际最前沿的MPP大规模并行计算集群架构的实现方案,其技术架构和功能性能能够应用大目前国内很多核心重大工程中,结合了目前的云计算平台的发展趋势,将在未来一段时间里面处于技术领先状态。
另外,达梦数据库还同时支持行列存储,内置了行列两个引擎,可同时很好的支持OLAP和OLTP业务。
列存技术,结合分段式压缩、智能索引、MPP分布式技术一起构成了达梦数据库海量数据解决方案,目前在国内也只有达梦能提供。
同时达梦还提出了基于DMASM的DSC集群,不同于其他厂商基于操作系统文件系统开发的DSC集群,提供了一个专门解决裸设备的使用限制而提出的自动存储节目方案。
1.2运维保障能力1.2.1保障体系的组织方式达梦公司在武汉设立技术服务中心总部,协调全国范围的技术服务和培训工作并为区域技术服务中心提供支持,在全国建立七个区域技术服务中心:华北服务中心(北京):负责北京、河北、山西、天津、内蒙的客户服务。
东北服务中心(沈阳):负责黑龙江、辽宁、吉林的客户服务。
西北服务中心(乌鲁木齐):负责宁夏、青海、甘肃、新疆的客户服务。
西南服务中心(成都):负责四川、云南、贵州、重庆、西藏的客户服务。
华中服务中心(武汉):负责湖北、河南、湖南、江西的客户服务。
华南服务中心(广州):负责广东、广西、海南、福建、台湾省的客户服务。
华东服务中心(上海):负责上海、江苏、浙江、安徽、山东的客户服务。
七个区域中心均配备有丰富经验的技术人员,负责本区域范围的技术支持和培训服务。
在本区域内的每一个省会城市或中心城市都有合作伙伴,建立本地技术服务中心,他们与技术服务中心的技术人员一起负责解决本地区的问题,为达梦提供本地化服务保障。
达梦公司服务机构组织层次如下图所示:技术服务中心总部设在武汉,负责所有服务的管理和监督工作。
总部设统一的电话服务热线、网上在线服务、投诉处理等,并负责制订达梦服务规范,统一服务窗口形象等,对区域及中心城市的服务进行指导和后备支持。
区域服务中心设立在相应的区域中心,有两种方式建设。
一是依托达梦在当地的分公司/机构,组建服务团队。
另一种是依托当地的合作伙伴,由他们提供服务。
每个区域服务中心保证有固定的办公场地、服务热线,有专职的技术服务人员。
总部将协助区域中心对技术服务人员进行培训,达到所需业务水平。
省会中心城市的本地服务中心主要通过各区域服务中心来实现业务指导和监督。
在每个城市,本地服务中心可以有多个,以提高达梦服务能力。
达梦公司技术服务机构组织结构如下图所示:达梦公司技术服务机构位置分布如下图所示:1.2.2服务保障流程达梦公司建立了完整的服务策略,并设立了客户服务中心,客服中心是集客户服务质量管理、客户投诉建议受理与反馈、客户服务满意度跟踪与回访和售后技术支持为一体的统一客户服务平台。
以实现与客户“共同进步、共享成功”的最终目标:服务标准化:基于ISO9001 质量控制体系的技术服务标准,形成标准化的作业流程,严格的追诉制度,规范化的文挡与服务用语。
服务产品化:充分满足用户需求,将服务内容和服务项目细化,作为产品进行捆绑销售或单独销售给用户。
服务体系化:建立了以分公司为中心的服务体系,有专业的服务工程师让用户的问题在最短的时间内得到解决。
服务多样化:在售前、售中、售后,倡导基于用户满意的个性化关怀;满足用户标准化服务以外的特殊使用需要。
服务主动化:定期回访制度,针对客户问题比对历史案例,提出预先解决方案,并保证服务在短时间内到位。
在服务过程中,为保证我们的服务策略得到充分的贯彻和实施,我们建立了如下图所示的服务层次模型,以确保用户的满意:图:达梦公司服务层次模型1.区域技术服务中心:由达梦区域中心的技术人员与当地合作伙伴合作,解决客户在数据库系统运行中的遇到的常见问题。
他们负责解决客户提出的约60%的问题,不能解决的问题报告给武汉技术服务中心总部,转入下一层。
2.技术服务中心总部:该部门成员长期从事应用软件开发,具有丰富的实践经验和快速解决问题的能力,综合素质高,负责解决区域中心不能解决的各种综合性问题,包括应用软件、操作系统、数据库、中间件甚至网络和硬件。
他们负责解决客户提出的约30%的问题,不能解决的转入下一层。
3.测试中心:该部门人员精通数据库实现原理,对数据库产品的内核技术非常了解,可以解决数据库软件比较深层的问题。
他们负责解决客户提出的约8%的问题,不能解决的问题转入下一层。
4.研发中心:即设计与实现达梦产品的核心技术人员。
他们负责解决剩下的2%的最难问题。
为了能够在短时间解决用户的问题,缩短用户系统的故障恢复时间,达梦公司技术人员将充分利用网络资源和网络技术,优先提供远程在线技术支持,在尽量短的时间内解决用户的问题,恢复用户的业务系统。
如果远程在线技术支持不能解决问题,将在第一时间派资深技术人员到现场。
达梦公司服务流程如下:图:达梦公司服务流程我们本着用户是上帝的宗旨,尽可能为用户排忧解难,只要您提出了问题,我们就认真地去解决。
2数据库集群选择及介绍达梦目前的主打产品为达梦数据库DM7,在此基础上达梦开发形成了较为丰富的产品体系。
目前在面向传统的事务处理、大数据分析,以及面向互联网、大数据领域都有针对性的主打产品,如下所示:在传统事务处理方面,例如交易系统、办公管理系统,达梦除了单机数据库之外,还开发了共享存储集群。
能够实现高可用和一定程度的性能提升。
目前已经处于首批用户试用阶段。
对于大数据分析场景,例如经分、首长决策,达梦基于大规模并行计算技术,提供了MPP集群产品,能够充分利用多机并行,大幅提升分析速度,目前在河北公安云、湖北公安云、泰国教育部等项目得到应用,在国安某系统中,支撑了200TB数据的分析。
对于超大规模的并发事务处理,比如达到上十万的并发用户级,面向互联网+领域的应用场景,达梦正在开发分布式数据库。
在全国产、自主替代工程方面,针对国产CPU平台硬件性能相对较低的情况,达梦开发提供了读写分离产品,能将多台国产服务器对外整合为一个统一的数据库实例,在兼顾数据一致性的情况下,实现数据库的负载均衡,效果突出。
在NF工程中,基于达梦读写分离集群已经能够支撑千人并发的需求,并在咸阳、余杭等试点上限。
2.1路线规划根据达梦目前的主要市场化进展,以及市场发展策略,达梦未来三年将在传统数据库应用领域,发力高可用、国产硬件平台优化、共享存储集群、监控运维、高端设备优化5个方向。
尤其是在电子政务自主可控替代方面,达梦产品的主要规划有两个方面:1.跟随着CPU、国产OS的发展节奏,持续进行国产平台的适配、优化、改进。
2.总结达梦现有的高可用技术,结合用户的反馈,开发实现新的高可以技术,着重强调故障切换的自动化、透明化。
在新兴的大数据、云计算和互联网+领域,达梦将整合结构化和非结构化数据,研发半结构化数据存储引擎、非结构化数据分析引擎。
同时面向互联网+进一步发展分布式数据库,提供超高并发的事务处理数据库集群产品。
并通过大数据整合平台实现结构化与非结构化的整合,前端事务系统与后端分析系统的整合。
未来三年期间,在这些研究内容的支撑下,预计DM数据库将升级三个版本号(DM7.3~DM7.5),同时还会新推出适用于DM7的半结构化存储引擎选件(DM JSON1.0)、达梦分布式数据库产品(DM DCP2.0,目前内部已经有DMDCP1.0,属于原型产品),以及达梦非结构化数据库DM NoSQL DB2.0(目前已有DM NoSQL DB1.0,属于原型产品)。
2.2集群种类达梦数据库采用全新的体系架构,以及提供了为容灾为主的数据守护集群(DataWatch)、基于分摊业务并发压力的读写分离集群(DMRWC),基于分布式存储的大规模并行处理框架(DMMPP)集群、以及基于共享存储的数据共享集群(DMDSC)。