中国银联自研分布式数据库架构
中国银联自研分布式数据库架构
• 技术路线
• 丰富完善Proxy层的SQL解析能 力
• 主要技术状态
• 分布式事务支持
• TDSQL支持
Proxy Proxy
• DRDS支持(多种分 布式实现模式)
• 复杂语句
• 聚合类有限支持
xxSQL
xxSQL
xxSQL
xxSQL
• 不支持部分数据类ห้องสมุดไป่ตู้
型
xxSQL
xxSQL
xxSQL
xxSQL
2.5.0 支持IPv6
2.4.1 行业与内容云迁移适配
2.4.3 UPDRDB优化点同步
UPDRDB
2020-10-31
1.4.0 安全加固
2020-06-30
1.3.0 支持IPv6
2020-03-02
1.2.0 小表不拆分
2019-11-04
1.1.0 扩缩容优化
2019-09-03
1.0.0 基线版本
UPSQL
UPSQL
UPSQL
(Standby) (Standby) (Standby) (Standby)
◼ UPDRDB能支持跨分片join、子查询、视图、UDF等复杂语句,其一般处理流程为: ◼ 协调器(Coordinator)将复杂语句转发给辅助处理器(Coprocessor) ◼ 如果操作的表为Lamost引擎,Lamost引擎会将相应操作转换为Handler语句,从实体表获 取数据 ◼ 辅助处理器根据获取到的数据进行语句处理,并将最终结果返回协调器
MySQL
Proxy
APP Proxy
PostgreSQL Proxy
SparkSQL Proxy
协调节点 Proxy
分布式数据库系统在金融交易中的应用教程
分布式数据库系统在金融交易中的应用教程金融交易是现代社会经济运行中不可或缺的组成部分,而分布式数据库系统在金融交易中的应用则成为了金融行业的一项重要技术。
本文将介绍分布式数据库系统在金融交易中的应用教程,包括其定义、优势、应用场景、部署和管理等方面。
一、分布式数据库系统的定义分布式数据库系统是一种将数据存储在多个节点上,并通过网络连接进行协作的数据库系统。
相比于传统的集中式数据库系统,分布式数据库系统具有更好的扩展性、高可用性和灵活性。
二、分布式数据库系统在金融交易中的优势1. 高可用性:分布式数据库系统通过数据的冗余存储和数据备份,可以实现高可用性,即使某个节点发生故障,也能保证金融交易的正常进行。
2. 高性能:分布式数据库系统将数据分散存储在多个节点上,可以提高读写操作的并发性能,提升金融交易的响应速度。
3. 数据一致性:分布式数据库系统通过一致性协议来保证数据在多个节点之间的一致性,确保金融交易的准确性。
4. 分布式计算:分布式数据库系统能够将计算任务分配到不同的节点上进行并行处理,加快金融交易的处理速度。
三、分布式数据库系统在金融交易中的应用场景1. 交易记录存储:金融交易通常涉及大量的交易记录,分布式数据库系统可以将交易记录分散存储在多个节点上,提高数据的存取效率。
2. 风控系统:金融行业对于风险管理非常重视,分布式数据库系统可以用于构建风控系统,实时监控金融交易风险。
3. 私有链上交易:分布式数据库系统可以支持私有链上交易,实现点对点的交易,并确保交易数据的一致性和安全性。
4. 高频交易系统:高频交易需要快速的响应速度和高并发处理能力,分布式数据库系统能够提供这样的性能保证。
四、分布式数据库系统在金融交易中的部署与管理1. 架构设计:分布式数据库系统的架构设计要考虑节点数目、数据分片策略、一致性协议等因素,确保系统的高可用性和性能。
2. 安全性保障:金融交易涉及用户的隐私和资金安全,分布式数据库系统需要采取一系列安全措施,包括数据加密、身份验证和权限管理等。
分布式数据库金融标准
分布式数据库金融标准分布式数据库金融标准是一个针对分布式数据库在金融领域应用的一系列规范和要求。
这些标准旨在确保分布式数据库能够满足金融行业的安全、可靠和高效的需求。
以下是分布式数据库金融标准的一些关键方面:技术架构标准:金融标准的首要任务是规定分布式数据库的技术架构要求。
这包括对数据库的逻辑架构、物理架构、数据模型、事务处理等方面的规定。
标准中需要明确提出对数据一致性、高可用性、扩展性等方面的要求,以确保分布式数据库能够支持金融业务的高并发、大流量交易。
安全技术标准:金融行业对数据的安全性要求极高,因此分布式数据库金融标准需要规定详细的安全技术要求。
这包括对数据加密、身份认证、访问控制、安全审计等方面的规定。
标准中需要明确提出对数据保密性、完整性、可用性的保障要求,以确保分布式数据库能够抵御各种安全威胁。
数据一致性标准:金融行业对数据一致性的要求非常高,因此分布式数据库金融标准需要规定数据一致性的标准和要求。
这包括对事务处理、数据复制、数据同步等方面的规定。
标准中需要明确提出对数据一致性的监测和保障要求,以确保分布式数据库中的数据能够保持一致性。
兼容性和互操作性标准:金融行业中的分布式数据库需要与其他系统和应用进行交互和集成,因此分布式数据库金融标准需要规定兼容性和互操作性标准。
这包括对数据格式、通信协议、接口规范等方面的规定。
标准中需要明确提出对兼容性和互操作性的要求,以确保分布式数据库能够与其他系统和应用顺利地集成。
总之,分布式数据库金融标准是一个涵盖了技术架构、安全技术、数据一致性、兼容性和互操作性等方面的综合性标准。
通过遵循这些标准,可以确保分布式数据库在金融领域的应用能够满足安全、可靠和高效的需求,从而为金融行业的发展提供有力支持。
三大银行(工行、建行、农行)新IT架构总览
三⼤银⾏(⼯⾏、建⾏、农⾏)新IT架构总览企业上三板,三板企业再融资->请找“三板车” ⼀、中国建设银⾏ 建设银⾏数据中⼼在“新⼀代”核⼼系统、“两地三中⼼”基础设施建设中,进⾏了⼀系列技术架构创新,提⾼了系统吞吐能⼒和资源供给效率,提升了系统可靠性,⼤⼤增强了数据中⼼风险防范⽔平。
以电⼦渠道为例,业务量从2012年每⽉21 亿笔增加到2016年179亿笔,年均增长72%。
2016年“双⼗⼀”的核⼼业务系统交易峰值接近8000 笔/秒,较2015年增长81%,所有系统均顺利应对业务⾼峰,充分验证了建⾏新⼀代系统架构的健壮性。
1、融合架构:主机平台分布式开放平台 核⼼账务系统,部署在主机平台上 主机平台可⽤性⾼,运⾏稳定,适合作为银⾏核⼼系统运⾏平台,但也存在风险集中、处理能⼒瓶颈、敏捷性不够、价格昂贵等不⾜。
主机资源⽤于核⼼账务系统,利⽤开放平台处理查询业务或者普通维护性交为了更好地利⽤主机资源,建设银⾏提出“主机开放”的融合架构,确保“好钢⽤在⼑刃上”。
查询系统,部署在分布式平台上 查询系统包括:个⼈客户综合积分、贷记卡管理、客户信息查询、对公/对私存款查询、客户渠道。
⽬前各类查询交易总计下移⽇均交易量1.4亿笔,节省主机资源2.6万MIPS,相当于8.22亿元。
查询系统与账务系统分离,既分散了系统风险,⼜提⾼了并发处理能⼒。
最近三年在实际业务量年均增长32% 的情况下,主机MIPS资源零增长,取得了节省投资的良好效果。
在分布式开放平台上,X86服务器替代⼩型机 在开放平台的选择上,由于同等计算能⼒的X86服务器价格只有⼩型机的1/20,所以⾸先在新⼀代架构的应⽤(AP)层中⼤量采⽤X86服务器替代⼩型机,随着替代技术逐步成熟,继续提⾼在数据库(DB)层使⽤X86服务器的⽐例,进⼀步减少⼩型机的数量。
⾃新⼀代实施以来,应⽤层和数据库层部署的X86服务器替代⼩型机已累计节省12.2亿元。
新一代银行信息系统架构及其实施策略
新一代银行信息系统架构及其实施策略随着科技的日益发展和人们对便捷金融服务的需求增加,银行业面临着更高的技术要求和数字化转型的压力。
新一代银行信息系统架构以其可靠性、高效性和创新性成为银行业的重要发展方向。
本文将探讨新一代银行信息系统架构的关键特点以及实施策略。
一、关键特点1. 弹性和可扩展性:新一代银行信息系统架构应具备弹性和可扩展性,能够根据业务需求动态调整和扩展系统资源。
通过采用云计算、虚拟化和容器化等技术,实现系统资源的灵活调配和快速扩容,以应对业务高峰期和增长需求。
2. 分布式架构:新一代银行信息系统架构采用分布式架构,将系统功能按照模块进行拆分和分布,提高系统的可靠性和稳定性。
通过分布式计算和数据存储,实现系统的分散化部署和并发处理,提高系统的性能和响应速度。
3. 数据驱动决策:新一代银行信息系统架构重视数据的收集、存储和分析,通过大数据和人工智能技术,实现对数据的挖掘和分析,为银行决策提供科学依据。
通过建立智能化的风险评估模型和个性化的推荐系统,提高银行的业务决策能力和客户体验。
4. 安全和隐私保护:新一代银行信息系统架构注重安全和隐私保护,采用多层次的安全措施和加密技术,确保客户数据的安全性和完整性。
通过建立监测和预警机制,及时发现和应对安全威胁,提高系统的防护能力和应急响应。
二、实施策略1. 制定全面的数字化战略:银行应根据自身业务情况和市场需求,制定全面的数字化战略。
明确战略目标和实施路径,根据不同的业务模块和阶段,有序推进信息系统架构的升级和转型。
2. 选择适合的技术和平台:在实施新一代银行信息系统架构时,银行需要选择适合的技术和平台。
通过市场调研和技术评估,选择可靠的硬件设备、稳定的软件系统和先进的技术工具,确保系统的可用性和性能。
3. 整合与升级现有系统:银行在实施新一代信息系统架构时,需要整合和升级现有系统。
在整合过程中,需要充分考虑系统的兼容性和数据的迁移,确保新系统与现有系统的顺利对接。
银行卡系统解决方案
银行卡系统解决方案概述:银行卡系统解决方案是一种针对银行卡管理和交易处理的综合解决方案。
它涵盖了银行卡的发行、管理、交易处理等一系列功能,旨在提供安全、高效、便捷的银行卡服务。
1. 系统架构银行卡系统解决方案采用分布式架构,包括前端终端、后端服务器和数据库三个主要组件。
1.1 前端终端前端终端是用户与银行卡系统进行交互的入口,包括ATM机、POS机、网银、手机银行等。
前端终端通过与后端服务器的通信,实现用户的各种操作需求。
1.2 后端服务器后端服务器是银行卡系统的核心,负责处理用户的请求、管理银行卡数据、进行交易处理等。
后端服务器采用分布式部署,以提高系统的可靠性和性能。
1.3 数据库数据库是存储银行卡系统中各类数据的核心组件,包括用户信息、银行卡账户信息、交易记录等。
数据库采用高可用性的集群架构,保证数据的安全性和可靠性。
2. 功能模块银行卡系统解决方案包括以下主要功能模块:2.1 银行卡发行管理银行卡系统支持银行卡的发行管理,包括卡片制作、卡片发行、卡片激活等。
系统提供了丰富的发卡规则配置功能,可以根据不同的业务需求进行灵便配置。
2.2 银行卡账户管理银行卡系统支持银行卡账户的管理,包括账户开户、账户注销、账户冻结等。
系统提供了完善的账户管理功能,可以满足不同类型的账户管理需求。
2.3 交易处理银行卡系统支持各类交易的处理,包括存款、取款、转账、支付等。
系统通过与银行间支付系统的接口对接,实现与其他银行的交易处理。
2.4 安全管理银行卡系统具备强大的安全管理功能,包括身份认证、密码管理、加密传输等。
系统采用多层次的安全机制,确保用户的交易和信息安全。
2.5 数据统计与分析银行卡系统提供全面的数据统计与分析功能,包括交易统计、用户行为分析、风险控制等。
系统通过数据分析,匡助银行制定合理的业务策略和风险控制措施。
3. 技术支持银行卡系统解决方案提供全面的技术支持,包括系统安装与部署、系统升级与维护、故障排查与修复等。
商业银行借记卡系统分布式数据库改造创新研究与实践
☐ 华夏银行首席信息官、龙盈智达(北京)科技有限公司董事长 吴永飞 华夏银行信息科技部副总经理 卢科兵华夏银行信息科技部副总经理、龙盈智达(北京)科技有限公司首席数据科学家 王彦博 华夏银行信息科技部基础技术研究室室经理 胡 捷 华夏银行信息科技部开发一室室副经理 鲍习洋商业银行借记卡系统分布式数据库改造创新研究与实践当前,随着银行数字化转型战略的深入推进及创新技术的持续应用,核心系统迁移改造及分布式创新应用已成为必然的趋势。
这是一项极具挑战性的工程,对数据库的一致性、高可用、高性能、高扩展能力,以及数据安全性、稳定性、业务连续性等方面提出了更高的要求。
目前,金融级分布式数据库系统已逐步在我国商业银行成功落地,并在部分业务中得到了推广与应用,已初步具备了替代传统商用数据库的能力且运行状况良好,形成了一套可推广、可复制的技术路线。
本文立足华夏银行实践,对其在借记卡系统架构设计、分布式设计、数据库迁移、适配改造、运维保障等全方位的创新研究与实践工作进行总结,以期为商业银行借记卡系统分布式数据库改造提供借鉴。
一、打造安全高效的高可用架构借记卡系统是商业银行重要的金融业务系统。
以华夏银行借记卡系统分布式数据库改造项目(以下简称“数据库改造项目”)为例,本次改造的业务连续性目标为同城R P O =0、RTO<60秒,异地RPO<1分钟、RTO<10分钟。
这就要求同城双中心数据零丢失,数据恢复需要华夏银行首席信息官、龙盈智达(北京)科技有限公司董事长 吴永飞在1分钟内完成,异地允许最大1分钟内数据延迟,且恢复要在10分钟内完成。
按照上述目标要求,结合所选用的分布式数据库支持的部署模式和高可用技术,华夏银行为改造后的借记卡系统设计了两地三中心同城双活、异地灾备的整体高可用架构(如图1所示)。
华夏银行在北京同城两个数据中心部署双应用集群,采用对等双活设计,使其均可接入业务流量。
数据库采用跨中心分布式部署架构,同时设计了仲裁节点,实现数据库跨中心双活。
银联商务自有物流信息平台介绍
消息推送
平台可以向用户推送重要的物流 信息和服务提醒,帮助用户更好 地掌握物流动态。
03
平台技术架构与实现
系统架构设计
架构概述
银联商务自有物流信息平台采用多层架构设计,包括数据访问层、 业务逻辑层和用户界面层。
技术选型
系统采用主流的开源框架和工具,如Spring Boot、MyBatis等, 确保系统的稳定性和可扩展性。
人工智能应用
引入人工智能技术,实现智能化的物流路径规划 和调度。
3
云计算部署
采用云计算技术,实现系统的弹性伸缩和高效运 维。
04
平台应用场景与案例
电商物流协同
总结词
实现电商物流的高效协同
详细描述
银联商务自有物流信息平台为电商企业提供物流协同服务,通过整合物流资源, 优化物流流程,提高物流效率和降低成本。平台支持订单管理、仓储管理、配送 管理等功能,实现电商企业与物流企业的信息共享和协同作业。
平台定位与目标
平台定位
专注于为银联商务的商户和客户 提供高效、便捷、安全的物流服 务。
平台目标
实现物流信息的共享与透明化, 促进物流服务交易的便捷化,提 供全方位的物流金融服务。
平台优势与特点
1. 专业性
平台拥有专业的物流管理团队,具备丰富的行业经验和资源 整合能力。
2. 安全性
平台采用先进的信息安全技术,保障客户信息的安全和交易 的可靠性。
银联商务自有物流信息平 台介绍
• 银联商务自有物流信息平台概述 • 平台功能与模块 • 平台技术架构与实现 • 平台应用场景与案例 • 未来发展与展望
01
银联商务自有物流信息平台概述
平台简介
银联商务自有物流信息平台是一个集 物流信息管理、物流服务交易、物流 金融服务于一体的综合性平台。
银联业务技术概要介绍
• 银联业务概述 • 银联业务技术架构 • 银联业务关键技术 • 银联业务应用场景 • 银联业务技术挑战与解决方案
01
银联业务概述
银联业务定义
银联业务是指中国银联及其成员机构通过银行卡跨行信息交 换网络,利用先进的电子化技术,开展各类银行卡业务的信 息系统。
银联业务以银行卡跨行交易清算处理为核心,通过统一的银 联卡品牌、标识、标准、管理,提供跨行信息交换、清算、 结算、支付、账户管理、资金清算、查询等业务服务。
技术创新与升级
总结词
持续创新,引领行业变革
详细描述
银联业务技术不断创新,致力于提升支付效 率和安全性。通过引入新兴技术,如人工智 能、大数据和云计算,银联不断优化业务流 程,提升服务质量和用户体验。同时,银联 积极探索区块链、数字货币等前沿技术,为
未来业务发展奠定坚实基础。
安全风险防范
要点一
总结词
详细描述
银联跨境支付服务能够实现快速、便 捷、低成本的跨国资金转账,满足跨 境商务和旅游等场景的支付需求。
移动支付
总结词
移动支付是银联业务在移动设备上的应用, 用户可以通过手机银行APP或第三方支付平 台完成支付操作。
详细描述
通过手机银行APP,用户可以随时随地进行 转账、查询余额、缴纳水电煤气费等操作。 同时,银联也与第三方支付平台合作,提供 更加便捷的移动支付解决方案。
全面保障,守护资金安全
要点二
详细描述
银联业务技术高度重视安全风险防范,采取多层次的安全 措施确保用户资金和信息安全。通过建立完善的安全体系 ,采用国际先进的加密技术和安全算法,银联有效防范网 络攻击和数据泄露风险。同时,加强内部控制和监管,确 保业务合规性和风险可控性。
自主研发新一代核心业务系统 BoEing助力农行业务经营转型
自主研发新一代核心业务系统 BoEing助力农行业务经营转型作者:姚琥来源:《中国金融电脑》 2016年第2期伴随着大数据、云计算等新技术的成熟和应用,农业银行通过BoEing工程建设,逐步探索形成了一套针对主机平台和开放平台特点,合理部署和开发业务应用的体系架构。
主机平台主要处理大吞吐、高并发,且对数据一致性保障有较高要求的核心应用,通过应用下移和数据下移节省计算和存储资源。
同时,通过基于x86架构的应用平台建设,逐步去小型机,构建体系开放、性能可靠、运维便利、成本可控的开放平台应用体系,为业务经营发展和生产安全运行提供保障。
中国农业银行软件开发中心副总经理姚琥农业银行完全自主研发的新一代核心业务系统(Blue Ocean Engineering,BoEing)历时六年,于2015 年10 月成功完成整个核心系统的切换和投产。
BoEing 系统的投产上线,以先进的技术架构和业务架构整合了各类产品与服务,实现了“以客户为中心、产品快速创新、改善和提升管理能力”的建设目标,标志着农业银行信息化银行建设迈上了一个新台阶。
BoEing 工程是农业银行信息化建设的战略部署,承载着全行新战略、新理念落地的要求。
为达到这一目的,BoEing 工程在重构核心业务系统的同时,梳理、改造了总行关联系统及分行特色业务系统,满足了农业银行在新形势下的产品快速创新、全面风险管理、精准客户营销等方面的需要,真正体现了“战略前移、规划前移、标准前移、需求前移”的思想,实现了“应用集成、信息共享、基础统一”的企业级逻辑集中目标。
一、BoEing 工程建设背景和主要实施过程21 世纪初,国内银行业借助科技力量,通过实施数据集中工程,初步实现了银行业的信息化。
2006 年11 月,历时多年的农业银行数据大集中工程圆满完成。
与此同时,农业银行积极实施经营转型和县域蓝海战略,开创全新的市场空间。
在这一背景下,2008 年底,农业银行做出了建设新一代核心业务系统建设的决定。
浅析分布式架构下银行多层级对公存款账户体系设计
浅析分布式架构下银行多层级对公存款账户体系设计中国进出口银行新核心系统建设项目组 金一 郑琳凡 孙郑对公存款是银行经济活动的重要资金来源之一。
银行账户作为起点和终点,直接反映了资金变动情况。
近年来,中国人民银行不断推进银行账户体系建设,提高金融监管标准,行内精细化管理要求也让划分账户资金的维度更加丰富。
构建既满足内外部监管要求又提升银行服务水平的对公存款账户体系,是各家银行不断探索的重要课题。
一、账户体系建设面临变革要求传统核心系统中的对公存款账户依据与客户签立的某项存款产品合约开立,账户结构较为单一,账户之间未建立关联关系。
随着内外部监管不断加强和精细化管理要求的提出,账户内资金需要被划分的维度不断丰富,银行通过台账的形式登记不同类型资金的流转情况,严重降低了工作效率和客户服务质量。
核心系统的账户量和交易量达到了前所未有的规模,账户体系建设面临着巨大挑战,对系统的可用性、可靠性、数据一致性、业务连续性都提出了更高要求。
经过调研,我们了解到银行对于存款账户方面的需求主要集中在以下三方面:一是按照监管要求,划分客户自有资金和信贷资金,以便加强监督贷款资金的使用;二是加强客户服务,帮助客户集中管理存款账户,提供集团客户资金池服务,按照客户要求的维度管理账户资金;三是服务内部管理,通过母子账户的形式管理特殊存款账户,为管理会计提供数据支持。
本文试图通过数据建模的方式,基于分布式架构下,构建一套多层级账户体系,通过母子账户的形式,灵活支持账户资金多维度属性的划分和管理。
二、多层级账户体系架构设计多层级账户体系类似一个多层次多分支的树型结构,从数据建模角度出发,通过构建树型结构建立不同层级账户间的关联关系,从而构建多层级账户体系。
1.多层级账户模型建立根据数据结构中的相关定义,我们构建一棵多层级账户树,包含n(n>0)个结点账户,其中:(1)每个元素称为结点账户;(2)将账户层的结点账户称为根结点账户或树根账户;(3)除根结点之外的其余数据元素被分为m (m≥0)个互不相交的集合T1,T2,……Tm-1,其中每一个集合Ti(1≤i≤m)本身也是一棵账户树,称作原树的账户子树;(4)账户层的结点账户可独立存在,而附属层结点账户需依赖于账户层的结点账户存在;(5)组合账户层的结点账户是一种特殊的结点账户,是在树根账户之上,创建的单一客户不同账户树的集合或多客户不同账户树的集合。
银行核心系统分布式数据库实施方案
89业界观察Industry Observation2019 . 07 中国金融电脑中兴通讯政企通讯研究院院长 吕达中兴通讯私有云产品部资深架构师 左奇随着互联网金融科技的飞速发展,客户消费习惯的转变以及银行利率市场化步伐的加快,各类互联网金融科技公司所推出的金融服务(理财、贷款和支付等)对国内传统银行的核心业务造成了冲击,银行面临业务收入缩水,生存压力逐渐增大的挑战,数字化转型势在必行。
金融核心系统大都采用“大机+商业数据库”的方式提供核心交易服务,单机较分布式系统性能有限,可扩展性差。
随着国家“互联网+”战略不断推进,移动互联网广泛普及,对现有金融核心系统造成冲击,金融服务向海量数据、高并发交易、多样化需求、个性化定制等方面发展,导致集中式金融核心系统越来越不堪重负。
分布式架构以其高性能、高可用、高可扩展性、高灵活性、松耦合、快速迭代开发、自主可控等优点,极大契合了金融服务行业的需求。
分布式数据库GoldenDB 产品概述中兴通讯分布式数据库产品GoldenDB 采用分布式无共享架构,是一款具有银行基因的金融级分布式数据库。
GoldenDB 提供传统关系型数据库的所有特性,又由于采用分布式架构,实现了从计算层、存储层的高性能、高扩展性,以及容量的动态伸缩。
GoldenDB 可以轻松实现同城双活、两地三中心、多地多中心等高可用方案。
GoldenDB 可以部署在全球多个区域、多个数据中心之间进行数据容灾,当一个数据中心发生异常时,由其他数据中心接管,从而保障系统的高可靠性。
数据中心间进行数据实时同步,能在接管时保障数据的全局一致性。
如图1所示,每个数据中心包含计算节点(Proxy)、存储节点、全局事务管理器(GTM)和管理节点。
其中,计算节点负责接收数据库操作请求,进行SQL 解析、优化,生成满足分布式银行核心系统分布式数据库实施方案图1 GoldenDB 两地三中心容灾方案90FINANCIAL COMPUTER OF CHINA业界观察INDUSTRY OBSERVATION事务一致性的分布式查询计划,再分发给各数据存储节点执行,并基于中兴通讯自研快同步技术实现各数据中心间数据强一致性复制;管理节点负责分布式数据库管理;全局事务管理器提供分布式事务的申请、释放、查询能力。
银联容灾总体架构
1 综述1.1 设计目标中国银联容灾建设的目标是保证业务安全,在灾难情况下,最大限度地保护公司资产,减少公司各方面的损失,保证各项业务连续。
满足中国银联各业务系统在各种情况下的业务连续性要求,从灾难预防和灾难恢复等方面进行容灾系统建设,最大限度地保证系统的可用、可靠;容灾建设总体目标可以划分如下:●针对目前系统潜在的中断风险(灾难),提供预防机制,消除灾难隐患,提高系统连续运行能力。
●对无法抗拒的严重灾难,提供系统恢复机制,将引发的业务损失降低到可接受的程度●实现关键业务系统及其关联系统的数据安全●减少计划内停机次数/时间,消除对核心数据的争用●将异地中心接管业务的时间控制在可以接受的范围内●实现异地中心的软硬件设备和数据的复用根据以上总体目标,落实到中国银联容灾建设的实际情况,容灾建设的具体目标确定如下:●日常工作,保证所有子系统数据不丢失,保证浦东生产中心、浦西备份中心的数据实时同步保持一致,上海、北京之间可以通过异步方式进行数据复制保持一致。
●计划内停机,保证关键子系统(转接子系统、安全子系统)数据不丢失,业务不中断,即RPO = 0、RTO = 0;保证其它子系统数据不丢失,业务可适当中断,即RPO = 0、RTO尽可能小;●计划外停机,上海生产中心灾难,保证数据不丢失,即RPO = 0,RTO 要尽可能小;浦东生产运行中心和上海浦西备份中心同时灾难,系统恢复时间RTO要尽可能小,RPO尽可能小。
●计划内停机、计划外停机后的回切,在计划内演练或上海生产中心从灾难中恢复后,需要将应用系统从灾备中心回切到生产中心,由于回切是有计划地进行,因此必须保证关键子系统(转接子系统、安全子系统)数据不丢失,业务不中断,即RPO = 0、RTO = 0;保证其它子系统数据不丢失,业务可适当中断,即RPO = 0、RTO 尽可能小。
●业务连续性计划实施后,对中国银联生产系统的转接应用性能影响不能超过20%。
中国银行分布式架构的创新研究与实践
中国银行分布式架构的创新研究与实践作者:薛勇来源:《中国金融电脑》 2016年第5期中国银行软件中心主任工程师薛勇随着互联网金融的兴起,中国银行在基于“IOE”架构下持续建设和完善传统银行产品的同时,也开始积极思考并探索在x86分布式架构下打造互联网金融产品的可行性。
在此过程中,充分发挥信息科技的引领作用,研究了x86分布式技术架构,完成了开源软件的选型,规划了中国银行互联网金融业务模式和发展路线,构建和改进了配套的敏捷工艺和测试工艺,打造了中国银行“中银易商”的互联网金融品牌。
基于x86分布式的互联网金融架构与基于“IOE”的传统银行架构有机协同,为中国银行互联网金融业务创新和产品研发提供了IT支撑,也为中国银行企业私云平台的建设奠定了基础。
为应对金融利率市场化、互联网电商对银行传统业务的跨界渗透、同业间竞争的加剧等挑战,中国银行积极拥抱“互联网+”,并以“中银易商”为整体品牌,采用平台金融战略,通过大合作和大开发的模式“搭平台、建生态”,稳步推进网络金融建设。
中国银行业务上的创新转型,使得IT 系统面临的业务场景变得愈加复杂,外部客户对银行IT系统的交易并发度、响应时间、使用便捷性等要求也越来越高。
此外,国家监管部门对银行系统提出的安全可控要求,以及中国银行内部降低IT 投入成本的要求,都使得中国银行现有的IT 技术体系必须创新转型,摆脱对少数外部厂商软硬件产品及服务的过度依赖。
一、系统架构现状及问题1. 信息系统现状中国银行的IT 系统经历了从县、市、省级分散到全国集乃至全球分区域上收集中的过程。
随着中国银行IT 蓝图工程的推进,2011 年,中国银行完成了国内核心系统的全国集中,目前正在进行海外行分区域(亚太、欧非、美洲等)的集中上收工作。
中国银行的IT 系统在完成逻辑集中后,整体架构如图1 所示。
从图1 中可以看出,产品架构层次比较清晰、各系统的定位也比较清楚,各系统之间通过总线进行通信。
分布式数据库助力工银亚洲完成分布式拼图
37视角Viewpoint2022 . 12 中国金融电脑分布式数据库助力工银亚洲完成分布式拼图中国工商银行(亚洲)有限公司金融科技部总经理 唐斌中国工商银行(亚洲)有限公司金融科技部副总经理 吴铭汉中国工商银行(亚洲)有限公司金融科技部系统管理团队主管 浦沅中国工商银行(亚洲)有限公司(以下简称“工银亚洲”)按照“立足香港、联通内地、辐射亚太、面向全球”的区域定位,坚定不移地走“创新发展、转型发展、联动发展和精益发展”之路。
作为工银集团境外旗舰机构,工银亚洲将金融科技作为四大转型发展战略之一,借助信息科技手段提升服务质量和效率,优化金融发展方式,筑牢金融安全防线,增强金融核心竞争力,加快打造面向未来、创新领跑、智能智慧、价值卓越的银行。
工银亚洲金融科技部以“为战略服务、为业务赋能”为根本,秉承“走在香港金融科技最前线”的理念,一直以来按照“研究一批、规划一批、实施一批”的节奏,中国工商银行(亚洲)有限公司金融科技部总经理 唐斌持续增强自身核心竞争力,使金融科技发展稳定保持在香港同业领先水平。
一、分布式数据库助力“两地三中心”架构部署银行作为金融体系的重要支柱,其系统稳定性对整个金融行业至关重要。
为确保在港银行面临突发破坏性事件、风险事件时关键服务系统稳定运行,工银亚洲参照工商银行总行“两地三中心”模式,分别在香港和深圳两地建设数据中心,该布局在后续发挥了重大作用。
基于该布局,工银亚洲2017年启动分布式转型工作,将应用服务器由传统的主备模式向分布式模式调整,在提升系统高可用能力的同时,逐步淘汰高能耗服务器。
2021年,通过完善互联网接入层,工银亚洲实现了两地多活外网架构,进一步完善了分布式架构的布局。
在数据库方面,因传统数据库无法配合应用服务器实现两地多活的目标,为补齐分布式架构的最后一块短板,工银亚洲2020年启动分布式数据库选型,通过对业界5个成熟产品进行调研以及对其中3个产品进行选型测试(POC),结合数据强一致特性、高扩展高可用能力、与现有数据库兼容性、产品性价比等指标要求,选定原生分布式数据库的最终解决方案。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
• 技术路线
• 丰富完善Proxy层的SQL解析能 力
• 主要技术状态
• 分布式事务支持
• TDSQL支持
Proxy Proxy
• DRDS支持(多种分 布式实现模式)
• 复杂语句
• 聚合类有限支持
xxSQL
xxSQL
xxSQL
xxSQL
• 不支持部分数据类
型
xxSQL
xxSQL
xxSQL
xxSQL
• OLTP与OLAP混合
• 主要技术状态
• 分布式事务
• 简单语句支持分布式 事务
• 复杂语句目前不支持 事务
• 复杂语句
• 支持MySQL单机语句 • 增加了OLAP特性语法
支持
• TPC-H • TPC-DS
Distributed Transaction
Transaction Coordinator
Storage Engine
InnoDB
Spider
MariaDB
MariaDB
MariaDB
MariaDB
MariaDB
MariaDB
MariaDB
MariaDB
• 技术路线
• 借鉴Google Spanner和F1 • 使用KV进行数据存储 • 使用Multi-Raft实现高可用与数据迁移
• 主要技术状态
• 支持分布式事务 • 乐观锁机制:不适合热点数据 • 较好的MySQL兼容性 • 时延较高 • 成本较高
• 技术路线
• 使用KV进行数据存储 • 实现分布式存储引擎
• 主要技术状态
• 支持分布式事务 • 支持复杂语句 • 悲观锁,不适合高并发场景 • 较好的MySQL语法兼容 • 支持多种xSQL
事务管理器
TrxManager
复杂语句 Complex SQL
元数据与辅助处理器 Metatda & Coprocessor
存储引擎
StorageEngine
自研存储引擎
Lamost
UPSQL
UPSQL
UPSQL
UPSQL
(Master) (Master) (Master) (Master)
UPSQL
中国银联自研分布式数据库架构
技术创新,变革未来
1. 业界分布式数据库产品变化
2015年分布式数据库相关产品
2016年分布式数据库相关产品
现在?
• 腾讯:
• TDSQL (DCDB)
• 阿里:
• DRDS • PetaData (HybridDB for MySQL)
• MariaDB:
• Spider
Proxy
Complex SQL
Single Partition Query/Transaction
Routime Controller
Compute Worker
AliSQL (TokuDB)
AliSQL (TokuDB)
AliSQL (TokuDB)
AliSQL (TokuDB)
AliSQL (TokuDB)
MySQL
Proxy
APP Proxy
PostgreSQL Proxy
SparkSQL Proxy
协调节点 Proxy
编目节点 Proxy
主数据节点 从数据节点 从数据节点
主数据节点 从数据节点 从数据节点
主数据节点 从数据节点 从数据节点
主数据节点 从数据节点 从数据节点
• 技术路线
• 通过Proxy层进行复杂 语句路由
UPSQL Proxy
Proxy
UPSQL
UPSQL
UPSQL
UPSQL
UPSQL
UPSQL
UPSQL
UPSQL
应用 应用 应用 应用 应用
APP
APP
APP
APP
APP
MySQL网络协议
MySQL Protocol
协调器
Coordinator
语句路由 SQL Router
简单语句 Simple SQL
Metadata & Coprocessor
② 使用Handler语法扫描实体表数据
UPSQL
... ...
数据分片
UPSQL
UPSQL Proxy 1
2015-08-31
0.1.1
0.1.2
0.1.3
2015-11-18
1.0.0
1.0.1
1.0.2 共享集群
2016-05-20 1.1.0 基于Schema数据拆分
2016-06-27
1.2.1 数据库恢复感知 1.2.3 兼容多源复制 1.2.5 适应分库业务逻辑 1.2.7 高可用优化
UPSQL
UPSQL
UPSQL
(Standby) (Standby) (Standby) (Standby)
UPDRDB能支持跨分片join、子查询、视图、UDF等复杂语句,其一般处理流程为: 协调器(Coordinator)将复杂语句转发给辅助处理器(Coprocessor) 如果操作的表为Lamost引擎,Lamost引擎会将相应操作转换为Handler语句,从实体表获 取数据 辅助处理器根据获取到的数据进行语句处理,并将最终结果返回协调器
• 技术路线
• 实现分布式的存储引 擎
• 主要技术状态
• 支持分布式事务 • 复杂语句
• 支持复杂语句 • 并增加特性
• DDL支持
• 不支持单点DDL
• 性能:
• 与数据节点之间为同 步调用
• 集群性能低于单机 MariaDB
MariaDB Connection Management
SQL Interface、Parser、Optimizer、 Caches & BUffers
• PingCAP:
• TiDB
• 巨杉
• SequoiaDB
• 亚马逊、阿里
• Aurora、PolarDB
1.数据存储:MySQL 2.高可用:MySQL复
制
1.数据存储:KV 2.高可用:Multi-Raft
1.数据存储:KV 2.高可用:类似MySQL复
制 3.分布式存储引擎
1.单点写、多点读 2.存储与计算分离
① 语句转发辅助处理器
select product, `sum` from ( select product, sum(profit) as 'sum' from t1 group by product with rollup ) as tmp where product is null;
Coordinator Coordinator Coordinator
AliSQL (TokuDB)
AliSQL (TokuDB)
AliSQL (TokuDB)
• 技术路线
• 单点写、多点读
• Aurora已支持多点写
• 存储计算分离 • 分布式文件系统 • 用户态读写网络、文
件
• 主要技术状态
• 读性能线性扩展 • 写性能可以达到
MySQL单机性能的6 倍以上
2. 银联架构演进