基于混搭存储引擎的融合型分布式数据库架构
基于“微服务+分布式”架构的公共气象服务数据支撑系统研究
基于“微服务+分布式”架构的公共气象服务数据支撑系统研究作者：林孔杰夏利娜汪春辉陈玉吉来源：《计算机时代》2022年第05期摘要：气象服务数据规模随着精细化、多元化服务要求的提升，加之各气象服务系统集约化程度不高、并发访问能力不足，对气象数据的处理和应用形成了新的挑战。
本研究基于“微服务+分布式”架构，采用数据采集和处理相分离方式完成数据存储入库;开发了多源数据融合模型完成对多源数据的融合，并生成气象服务统一接口提供对外气象数据服务。
系统实现了气象服务产品的采集、供给标准化，为用户提供了安全、及时、高效的数据服务。
关键词：分布式; 微服务; 数据支撑; 气象服务中图分类号：P409;TP311.1 文献标识码：A 文章编号：1006-8228（2022）05-138-03Research on public meteorological service data support system based on"micro service + distribution" architectureLin Kongjie， Xia Lina， Wang Chunhui， Chen YujiAbstract： Meteorological service data increases with the improvement of refined and diversified service requirements. However， the intensification of each meteorological service system isscattered， and the concurrent access capability is insufficient， which forms new challenges to the processing and application of meteorological data. Based on the "microservice + distributed" architecture， data storage are completed by separating data acquisition and processing， and a multi-source data fusion model is developed to complete the fusion of multi-source data. A unified interface for meteorological services is generated to provide external meteorological data services. In this system， the standardization of the collection and supply of meteorological service products is realized. It provides users with safe， timely and efficient data services.Key words： distribution; micro services; data support; meteorological service引言随着气象现代化、信息化业务快速发展，气象服务业务涉及面渐广，交通、林业、电力、农业等行业气象服务飞速发展，部门间的数据交互日漸频繁，如何充分释放数据价值而又避免计算资源浪费，并且支撑系统能够安全、稳定、高效，是个挑战。
华为FusionCube_融合一体机 ppt课件
FusionCube@IT Hosting FusionCube@数据仓库加速
V系列 • 提升业务敏捷性，提高资源利用率
• 水平扩容，快速上线
FusionCube • 降低虚拟化建设复杂性
• 简化基础设施运维管理
• 强调低成本，低TCO • 维护简单，快速处理
D系列
•F解u决BsI报i表o系n统C性能u问b题 e
• 打破数据仓库性能瓶颈 • 降低性能提升的采购成本
FusionCube@虚拟桌面
FusionCube@HPC平台
E9000刀片
• 一体化降低交付复杂度 • 分布式存储解决随机读写性能 • 软硬结合解决体验难题
9
• 超大数据吞吐加速计算过程 • 超低时延提高并行计算效率 • 节点动态伸缩高可扩展性
FusionCube V系列规格
外置6个IB交换机 6400K
320GB/s
每框2块IB交换板 2400K
120GB/s
DX1（1框）
3*2P 48
每节点256G 6
48 每节点64G
28.8
每框2块IB交换板
600K
30GB/s
上述为每个系列内的最大配置，节点数可根据客户需要灵活配置，DX4满配为4框，如果配置为3框就刚好是一柜
领域 性能
技术说明
IOPS 计算/存储/网络
架构
计算
功耗对比 网络 预安装 自动化
存储
功耗对比 单槽位带宽 单框接口数量 现场部署工时 应用自动部署
FusionCube
Vblock(UCS)
Flexpod
FlexSystem
Dell
200K 全融合
E5， E7, 2P/4P
MPP大规模并行处理架构详解
MPP大规模并行处理架构详解面试官：说下你知道的M P P架构的计算引擎？这个问题不少小伙伴在面试时都遇到过，因为对M PP这个概念了解较少，不少人都卡壳了，但是我们常用的大数据计算引擎有很多都是M PP架构的，像我们熟悉的I mp al a、C l i c kH o u se、D rui d、Do ri s等都是MP P架构。
采用M PP架构的很多O L AP引擎号称：亿级秒开。
本文分为三部分讲解，第一部分详解M P P架构，第二部分剖析M P P架构与批处理架构的异同点，第三部分是采用M P P架构的O L A P引擎介绍。
一、M PP架构M P P是系统架构角度的一种服务器分类方法。
目前商用的服务器分类大体有三种：1.S M P（对称多处理器结构）2.N U M A（非一致存储访问结构）3.M P P（大规模并行处理结构）我们今天的主角是MP P，因为随着分布式、并行化技术成熟应用，MPP引擎逐渐表现出强大的高吞吐、低时延计算能力，有很多采用M PP架构的引擎都能达到“亿级秒开”。
先了解下这三种结构：1. SMP即对称多处理器结构，就是指服务器的多个C P U对称工作，无主次或从属关系。
S M P服务器的主要特征是共享，系统中的所有资源（如C PU、内存、I/O等）都是共享的。
也正是由于这种特征，导致了S MP服务器的主要问题，即扩展能力非常有限。
2. NUMA即非一致存储访问结构。
这种结构就是为了解决S MP扩展能力不足的问题，利用N U M A技术，可以把几十个C PU组合在一台服务器内。
N U M A的基本特征是拥有多个C P U模块，节点之间可以通过互联模块进行连接和信息交互，所以，每个C P U可以访问整个系统的内存（这是与M PP系统的重要区别）。
但是访问的速度是不一样的，因为C P U访问本地内存的速度远远高于系统内其他节点的内存速度，这也是非一致存储访问N U M A的由来。
星环科技多模型数据库ArgoDB“一库多用“,构建高性能湖仓集一体平台
星环科技多模数据库ArgoDB“一库多用“，构建高性能湖仓集一体平台随着业务数据量不断增长的同时，数据结构也变得越来越灵活多样，数据不再局限于规整的结构化数据，半结构化、非结构化数据在数据域处理中的占比逐年上升，因此对不同模态的数据进行智能化数据处理的需求越来越迫切。
《中国信通院在数据库发展研究报告（2021 年）》中指出，在后关系型数据库阶段，数据结构越来越灵活多样、业务类型越来越复杂多变，为应对此类现状，越来越多的用户选择通过多模型数据库实现“一库多用“，将各种类型的数据进行集中存储、查询和处理，满足对结构化、半结构化和非结构化数据的统一管理需求。
Transwarp ArgoDB是星环科技自主研发的分布式分析型数据库，基于多模型统一架构支持关系型存储，宽表存储、搜索引擎、事件存储、图存储、键值存储、时序数据存储等10种数据模型，满足多种数据模型处理场景和复杂业务需求。
ArgoDB提供多模分析、实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等先进技术能力，一站式满足OLAP、AETP、多模型融合分析、联邦计算、数据仓库、实时数仓、湖仓集一体等场景。
2019年8月，ArgoDB成为全球第四个通过TPC-DS基准测试并经过TPC 官方审计的数据库产品。
在架构上，ArgoDB基于存算解耦，实现了多模数据库的“四个统一”：⚫统一的SQL编译引擎，支持SQL 99/2003 标准语法，兼容TD，Oracle，DB2等多种方言，对不同模式的数据提供统一接口，将多个操作访问入口变为一个入口，将多种数据库语言变为一种语言，降低开发和迁移成本，简化用户操作。
⚫统一的计算引擎，将多套计算引擎变为一套引擎，将多份计算资源变为一份资源，提供高性能的分析计算和执行效率，满足跨模型数据复杂关联分析场景。
⚫统一的存储管理系统，同时支持分析型行列混合存储、支持具有搜索功能的文本存储等多模异构存储，并保证数据的强一致性，数据只需一次入库，即可通过异构存储的访问能力支撑多样化复杂分析场景，降低运维成本，将分散存储管理变为统一存储管理，极大简化系统架构，减少开发运维成本。
基于Apache ShardingSphere打造分布式数据库
未来规划
Roadmap
1
可插拔架构
2
SQL兼容度提升
3
多数据副本
4
云原生
5
多元数据融合平台
云原生数据库
宿主机A 业务代码 业务代码
可观察性 & 可视化管理
ShardingOpenTracing
注册中心
Service Sidecar Sharding-Sidecar
分布式数据库解决方案
Connectors Native C API, JDBC, ODBC, .NET, PHP, Python, Perl, Ruby, VB
数据库协议
ShardingSphere
SQL解析
SQL路由
SQL改写
SQL执行
结果归并
JDTX
LSN
MVCC
WAL
查询引擎
恢复模式
弹性伸缩/ 监控治理/ 自动化运维工具
实现方案
进取型
中间件
以高性能换取稳定性的缺失以及 NewSQL
运维经验的不足
稳定型
牺牲部分性能以保证稳定性以及 运维经验的复用
NewSQL的分类
New Architecture
Database-as-a-Service
Transparent Sharding Middleware
《What‘s Really New with NewSQL?》 https:///papers/2016/pavlo-newsql-sigmodrec2016.pdf
JDTX Manager JDTX Transaction SPI
核心功能
Features
1
数据分片
2
华为OceanStor V3融合存储技术
NAS SSD 存储 存储
SAN 存储
NAS SSD 存储 存储
SAN 存储
NAS SSD 存储 存储
V3融合存储建立融合资源池，一套搞定！
HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 7
融合存储服务1：业界首家SAN与NAS真正融合
传统存储 OceanStor V3
数据恢复速度相对传统技术提升20倍，<30mins/TB的恢复
10
速度
2
0 传统技术
0.5
华为快速恢复技术 1TB NL－SAS 磁盘重构时间（小时）
多盘失效风险降低95%
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
20
系统级可靠：多控架构
可靠
票据影像
HPC
备份容灾 媒资
移动互联网
Storage POOL
RAID 2.0+
虚拟机应用
政府 & 公共
SAN与NAS并行访问，为不同业务提供最优访问路径，访问 性能最优。
交通
金融
硬件/软件资源融合，智能调配，提升系统资源利用效率。
HUAWEI TECHNOLOGIES CO., LTD. Huawei Confidential 9
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Confidential
21
方案级可靠：本地数据保护
快速备份与恢复
HyperSnap采用创新的多时间片缓存技术，实 现性能无损快照 HyperSnap极大提升空间利用率，满足对空间 敏感的备份/恢复需求，并在几秒之内完成数据 备份/恢复 HyperClone 可以在不中断业务的前提下，把 数据从源LUN拷贝到目标LUN，从而建立某个
分布式数据库发展综述
I G I T C W产业 观察Industry Observation172DIGITCW2023.101 分布式数据库概述分布式数据库的特点主要包括以下几点。
（1）透明性：分布式数据库的透明性包括分片透明、复制透明、位置透明和逻辑透明等，其中分片透明是透明性的最高层次，逻辑透明层次最低。
具体来说，透明性是指用户在使用过程中，不必关心数据在数据库管理系统内部是如何分片的，不必知道数据都分别存放在哪个节点以及各个网络节点是怎样完成数据复制的，用户只需在使用时完成自己的相关操作即可。
（2）高可靠性：分布式数据库会对数据采取多次备份存储形成多副本来提高数据的可靠性。
当某个节点出现故障时，其他节点可快速替代故障节点继续工作，避免出现数据丢失现象。
（3）易扩展性：当数据库现有容量和性能告急时，分布式数据库可采取添加新节点和服务器的方法来实现扩展，相比于集中式数据库的难扩展性可以更好地满足用户不断增长的需求。
如图1所示。
2 分布式数据库的发展历程21世纪以前，关系型商业数据库可以满足大部分用户应用场景，但随着互联网应用的到来，数据呈现大容量、多样性、流动性等特点，采取集中式架构的传分布式数据库发展综述苏彦志，陈 广，蒋越维（中国移动通信集团河北有限公司，河北 石家庄 050000）摘要：分布式数据库作为信息时代重要的数据管理工具，为处理分布式事务、海量数据存储、高并发任务发挥着重要的作用。
文章介绍了分布式数据库发展历程、国内外发展现状、发展面临的问题以及未来发展前景和展望。
关键词：分布式数据库；发展现状；发展前景doi：10.3969/J.ISSN.1672-7274.2023.10.056中图分类号：TP 311.13 文献标志码：A 文章编码：1672-7274（2023）10-0172-03Overview of the Development of Distributed DatabaseSU Yanzhi, CHEN Guang, JIANG Yuewei(China Mobile Group Hebei Co., Ltd., Shijiazhuang 050000, China)Abstract: As an important data management tool in the information age, distributed data plays an important role in processing Distributed transaction, massive data storage, and high concurrency tasks. This article introduces the development history of distributed databases, the current development status at home and abroad, the problems faced in development, and the future development prospects and prospects.Key words: distributed database; development status; development prospects作者简介：苏彦志（1982-），男，汉族，河北石家庄人，本科，研究方向为大型IT 基础设施发展与演进。
FusionStorage存储方案介绍
报告/通知状态 通知状态变化 通知状态变 获取IO View 化 VBS集群 VBS（Leader） 同步元数据 VBS
OSD
OSD OSD
系统启动时，MDC与ZK互动决定主MDC。主MDC与其它MDC相互监控心跳，主MDC决定某MDC故障后谁接替。其它MDC发现主MDC故障又与ZK互动升任主MDC。 OSD启动时向MDC查询归属MDC,向归属MDC报告状态，归属MDC把状态变化发送给VBS。当归属MDC故障，主MDC指定一个MDC接管，最多两个池归属同一个MDC。 VBS启动时查询主MDC，向主MDC注册（主MDC维护了一个活动VBS的列表，主MDC同步VBS列表到其它MDC，以便MDC能将OSD的状态变化通知到VBS），向MDC确认 自己是否为leader。
4
FusionStorage 基本原理--- 数据路由
FusionStorage分布式存储系统介绍和架构原理
传统SAN存储
Server1
Server2
Server3
10GE / FC
Server SAN的原理
定义：Server SAN is defined as a combined compute and pooled storage resource comprising more than one storage device directly attached to separate multiple servers (more than one). -- by wikibonServer SAN是由多个独立的服务器自带的存储组成的一个存储资源池，同时融合了计算和存储资源。
EMC VMAX
HDS VSP G1000
Huawei 18000
*数据来源：Gartner 2013Q4报告
存储技术的发展趋势
每次技术发展,存储的性能 容量 可靠性都得到极大的提升
Network
传统存储在扩展性方面挑战仍非常大
Network
Controller
Controller
APP
APP
中低端存储只能垂直扩展
Page
华为云计算存储发展历程
Content
FusionStorage架构
FusionStorage特点
FusionStorage背景
FusionStorage应用场景
FusionStorage架构原理
以数据块为单元进行数据管理I/O在所有磁盘上负载均衡,无热点,磁盘性能最大化利用故障数据重构迅速,整体性能影响小支持精简配置,无需热备盘
据Wikibon评估，传统的企业存储在2013年虽然还占据95%的份额，但接下来的10年将持续下降，下降幅度是16.7%。而企业Server SAN存储将以40.9%的速度野蛮增长，Server SAN存储的收入将超过传统的存储（包括现在的SAN，NAS，DAS)。
OceanStor 9000存储产品方案介绍
①主机E向Node C的客户端发出数据读请求
②Node C的客户端向分布式锁服务器申请 分条资源读锁
LOCK
CPU
CPU
3.返回数据在Node A缓存中
CPU Memory storage
Node C
③系统检查所读数据的缓存是否在全局缓存 中以及缓存在哪个节点上，左图显示该文件 分条资源在Node A节点上的缓存中 ④ Node C从Node A节点上的全局缓存中 获数据并返回（如果不在全局缓存中，则直 接从各个节点上读取该分条数据的所有条带 数据后构造出分条数据后再返回）
Social Network
Business Intelligence
传统NAS
NFS CIFS FTP
HDFS API OceanStor 9000
S3
Swift
keystone
全分布式架构，高可靠数据保护
N+1~N+4的数据保护，
最大允许4块硬盘/节点故障
磁盘利用率最高达95%
+1
+3
+2
P36
C72
4U，3.5寸盘，36盘位 面向高清编辑，新闻制作，高端HPC
4U，3.5寸盘，72盘位 面向近线存储，视频监控
OceanStor 9000整体视图一
P25
前视图 后视图 2U 25盘（2.5寸数据盘）设备 标配：双路Intel IvyBridge CPU，48G内存， 2GB NVDIMM， 1*400GB SSD+24*900GB/1.2TB SAS盘
• 无需人工干预，无需更改配置
• 负载过程对应用透明
node
192.168.0.20 192.168.0.21
华为FusionCube超融合产品概要
华为FusionCube 超融合产品概要文档版本发布日期1 系统架构华为FusionCube超融合基础设施是华为公司IT产品线的旗舰产品。
FusionCube遵循开放架构标准，于机框中融合刀片服务器、分布式存储及网络交换机为一体，无需外置存储、交换机等设备，并预集成了分布式存储引擎、虚拟化平台及管理软件，资源可按需调配、线性扩展。
华为FusionCube虚拟化超融合基础设施的总体架构图如下：图1-1华为FusionCube解决方案总体架构FusionCube Center：作为FusionCube的管理软件，管理其中的虚拟化资源、硬件资源，提供系统监控管理和运维管理等功能。
FusionCube Builder：提供现场快速安装部署FusionCube系统软件，可用于现场更换虚拟化平台软件或者更新版本。
FusionStorage：使用分布式存储技术，通过合理有序组织刀片服务器的本地硬盘，提供高性能高可靠的块存储业务。
硬件：服务器使用E9000/X6800，支持计算、存储、交换、电源模块化设计，计算和存储节点按需混配，计算、存储都在框内部署完成，支持GPU，SSD PCIe等I/O加速扩展，支持丰富的交换模块GE,10GE,IB，根据业务要求灵活配置。
FusionCube的典型使用场景包括：●服务器虚拟化：直接提供集成的FusionCube虚拟化基础设施，不携带任何其他应用软件；●桌面云：在虚拟化基础设施上运行VDI（Virtual Desktop Infrastructure）虚拟桌面或应用虚拟化，提供桌面云服务；●企业OA：在虚拟化基础设施上运行企业OA的服务端应用，如微软Exchange、Sharepoint应用；华为FusionCube基于华为自研的硬件平台，自研的分布式存储以及管理软件，并进行了深度的集成和优化，具有如下特点：✧融合FusionCube实现了计算、存储和网络资源的融合：●硬件融合：计算存储网络高度集成，线性扩容。
hologres原理
hologres原理Hologres原理Hologres是阿里巴巴推出的一款云原生的分析型数据库产品，它融合了MPP（Massive Parallel Processing）的计算引擎和分布式存储引擎，能够快速处理大规模数据，并提供实时的查询和分析能力。
Hologres的原理基于海量数据的分布式存储和并行计算，下面将详细介绍Hologres的原理。
Hologres的存储引擎采用了分布式的列式存储方式，将数据按照列存储在不同的节点上，通过数据分片和副本机制确保数据的高可用性和数据的负载均衡。
在数据写入时，Hologres会将数据进行拆分、压缩和编码，并将数据分散存储到不同的存储节点上，从而实现了数据的并行写入和高效存储。
在查询和分析阶段，Hologres的计算引擎会将查询语句进行优化和并行执行，通过将查询任务分解为多个子任务，并将这些子任务分配给不同的计算节点进行并行计算。
计算节点之间通过网络进行数据传输和交换，最后将结果汇总返回给用户。
通过采用MPP的计算引擎，Hologres能够快速处理大规模数据，并提供实时的查询和分析能力。
除了分布式存储和并行计算，Hologres还引入了基于索引的优化技术，通过构建索引结构提高查询性能。
Hologres的索引采用了多级索引结构，包括全局索引和本地索引。
全局索引用于加速全表扫描和跨分片查询，而本地索引用于加速单个分片的查询。
通过合理的索引设计，Hologres能够提供更快速的查询响应时间和更高的查询吞吐量。
Hologres还支持实时流式数据的处理和分析。
它通过集成流式计算引擎，将实时数据和批量数据进行统一处理，并提供实时的查询和分析能力。
这使得Hologres能够满足日志分析、实时监控和实时报表等场景的需求。
总结一下，Hologres的原理基于分布式存储和并行计算，通过优化查询和并行执行，提供实时查询和分析能力。
它还采用了索引优化技术和流式数据处理技术，进一步提升了性能和灵活性。
一种面向HTAP的分布式数据库智能混合存储方法[发明专利]
![一种面向HTAP的分布式数据库智能混合存储方法[发明专利]](https://img.taocdn.com/s3/m/f1410cff964bcf84b9d57bf1.png)
专利名称：一种面向HTAP的分布式数据库智能混合存储方法专利类型：发明专利
发明人：段翰聪,刘长红,姚入榕,闵革勇,梁戈
申请号：CN201910424312.8
申请日：20190521
公开号：CN110147372A
公开日：
20190820
专利内容由知识产权出版社提供
摘要：本发明公开了一种面向HTAP的分布式数据库智能混合存储方法，该包括：通过数据导入系统获取数据源中的数据，并存储于HTAP数据库的存储引擎中，其中，存储引擎由多个存储节点组成，每个存储节点的数据以列族的数据组织格式进行存储；中心节点根据历史OLAP、OLTP的工作负载情况，采用基于密度的聚类分区算法对存储引擎中的数据布局进行优化重组分析，进而获得最优数据布局。
本发明以列族的方式对HTAP数据库中的数据进行组织，并根据中心节点计算出的最优存储布局动态地调整列族中的数据，而最优的存储布局是通过基于密度的聚类算法通过聚类结果得出使得具有相当访问频率的列属于同一列族，即经常被访问的列属于同一列族。
申请人：电子科技大学
地址：610000 四川省成都市高新区(西区)西源大道2006号
国籍：CN
代理机构：成都行之专利代理事务所(普通合伙)
代理人：李朝虎
更多信息请下载全文后查看。
一种混合型异构数据存储方案
科 技资讯 2021 NO.11
SCIENCE & TECHNOLOGY INFORMATION
一种混合型异构数据存储方案①
张文正 孙知信* 宫婧 (南京邮电大学 江苏南京 210023)
摘 要：为了解决物联网异构数据的存储问题，该文提出了一种混合技术存储方案。针对结构化数据存储，该
通信作者：孙知信（1964—），男，博士，教授，研究方向为计算机网络，E-mail：sunzx@。
科技资讯 SCIENCE & TECHNOLOGY INFORMATION
1
科 技资讯 2021 NO.11 SCIENCE & TECHNOLOGY INFORMATION
应用层 服务层
这 里的 非 结 构 化 数 据 是 文 本 和图片 等占用空间
科技资讯 SCIENCE & TECHNOLOGY INFORMATION
3
科 技资讯 2021 NO.11 SCIENCE & TECHNOLOGY INFORMATION
专家论坛
不大 的 文件。对于视 频 流等 特 殊 格 式暂未涉及。物联 网终端 设备 数 据 通常单个 体量小，文件 大 小为几千字 节至 几千字 节。结合前 文 非结 构 化 数 据 特点，对于单 个体量较小的非结构化数据，该文选择了FastDFS。 3.2.1 FastDFS分布式文件系统
近年来，国内外在物联网方面的技术应用水平不 断提升。伴随着传感器设备种类和数量的不断增加， 物联网应用系统中的数据量也日益庞大 且逐渐趋于 多 样化 [1]。如 何 高性 能 地 对各式 各 样的物联网数 据 进 行 存 储，成 为当前 物 联网领域的 一 个 热 点问题。为了 解决物联网数 据的高性能存储问题，该文研 究了物 联网数据的特点，提出了面向异构数据的混合型存储 方案。
elassandra原理
elassandra原理Elassandra原理什么是Elassandra？Elassandra是一种基于开源软件项目Elasticsearch和Apache Cassandra的分布式数据库。
它结合了Elasticsearch的全文搜索引擎功能和Cassandra的高度可扩展性和分布式性能。
Elassandra的目标是提供一个高性能、可扩展和可靠的解决方案，适用于需要同时支持搜索和分析的应用程序。
Elasticsearch和Apache Cassandra在深入了解Elassandra之前，让我们先简要介绍一下Elasticsearch和Apache Cassandra。
ElasticsearchElasticsearch是一个开源的分布式全文搜索和分析引擎。
它使用了倒排索引的数据结构，可以快速高效地存储、检索和分析大量数据。
Elasticsearch支持实时分析和搜索，并提供了强大的聚合和可视化功能。
Apache CassandraApache Cassandra是一个高度可扩展、分布式的NoSQL数据库。
它是为高性能和可用性而设计的，能够在大规模的分布式环境中处理海量数据。
Cassandra具有线性可扩展性和灵活的数据模型，可以支持高吞吐量和低延迟的读写操作。
Elassandra的原理Elassandra的原理是将Elasticsearch作为Cassandra的存储引擎，以提供全文搜索和实时分析功能。
数据模型Elassandra使用Cassandra的数据模型，将数据存储在列族(column family)中。
每个列族包含多个行(row)，每行由唯一的主键标识。
行由列(column)组成，每个列包含一个值和时间戳。
与传统关系型数据库不同，列族可以动态地添加和删除列，使数据模型更加灵活。
Elasticsearch索引在Elassandra中，每个Cassandra的列族都关联一个Elasticsearch的索引。
基于融合数据库的海量传感器信息存储架构
基于融合数据库的海量传感器信息存储架构类兴邦;房俊【期刊名称】《计算机科学》【年(卷),期】2016(043)006【摘要】在物联网、工业监控等系统中,庞大规模的传感器每时每刻都在产生大量的数据.实时数据库在处理高时效性数据方面具有较强的优势,但是在处理大规模传感器数据方面存在着存储量低、不便于扩展的弊端.而HBase在处理海量数据方面具有高读写性能、高扩展性、高可靠性和高存储量的优势.通过将实时数据库与HBase相结合,设计并实现了基于融合数据库的传感器信息存储架构.该架构采用多租户机制,对HBase写入进行了优化,将原来分散的传感器数据集中式存储,并把传感器元数据与历史数据分离存储,同时维持了实时数据库原有的查询、数据组织结构的特点.经过实验验证,该架构具有较高的读写性能以及良好的可扩展性,有效避免了Region写入热点,实现了集群负载均衡.【总页数】5页(P68-71,111)【作者】类兴邦;房俊【作者单位】山东科技大学信息科学与工程学院青岛266590;北方工业大学云计算研究中心北京100144;大规模流数据集成与分析技术北京市重点实验室北京100144【正文语种】中文【中图分类】TP311【相关文献】1.海量空间信息的存储技术--基于多比例尺空间信息的单精度空间数据库研究 [J], 田稷;田鹏2.基于Hadoop的海量MP3文件存储架构 [J], 赵晓永;杨扬;孙莉莉;陈宇3.基于Redis的海量智慧医疗小文件存储架构设计 [J], 程晗;汪学明4.基于TYKY cNosql云数据库的医疗卫生信息存储架构研究 [J], 邓未玲;李强;连延垚5.基于海量信息数据库的应用系统安全防护技术研究 [J], 石晋因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一切应用不改变业务 逻辑轻松分布式 解决各种场景下永恒 的存储问题和数据库 瓶颈
会话型应用
业务逻辑 丰富的语义支持 各种数据共享模式 低资源消耗的大并发连 接支撑 数据存储 混搭的存储引擎提供各 种灵活的存储形式 数据和服务容量的线性 可伸缩
并行/分布式计算
业务逻辑 丰富的语义支持 服务型分布式计算解决 大数据时代的海量计算 问题 数据存储 数据语义丰富，灵活存 储形式，统一存储视图 融合型分布式数据库解 决大数据时代的海量数 据、多样性数据、高速 分析需求
基于混搭存储引擎的融合型 分布式数据库架构
——服务型分布式计算和混搭型分布式数 据存储助力大数据时代的数据宝藏挖掘
1
分布式的3W问题
2
服务型分布式计算
3
基于混搭存储引擎的融合型分布式数据库
4
大数据与分布式计算/分布式数据库
经典商业应用场景的困境（一）
（1+1=? OLTPOLTP （1+1=?） ）
分布式 文件系 统
融合型分布式数据库的分布式架构
服务型分布式计算的一个实例
DBaaS 按照单线程数据库设计 主业务逻辑(写/读）封装成服务 多存储引擎串行读/写异步并行调用服务 串行服务调用异步调用流水线
特殊的分布式计算
数据依赖路由 根据数据分布策略选存储引擎写服务 根据分布式索引选存储引擎读服务
• • •
•
集中 切分功能瓶颈、数据处理瓶颈 简单任务，高并发 增删改查 强调RASP，响应时间 敏感 关系型数据库是永远 的痛 经典对策
多机计算 多样性数据的多机存储 Hadoop、Spark、Storm
迫切需求
丰富的分布式语义 大容量并行执行 混杂海量数据的丰富检索分析 语义、性能、伸缩性
困境中的答案
服务型分布式计算
顺向思维 应用角度设计分布式 很少甚至不改造应用实现分布式 业务流程主导的个性化分布式模型 分布式策略通过配置而非编程
Map-Reduce
逆向思维 所有应用需要重构 本末倒置 简单粗暴的“分而治之” 执行的架构在设计时决定
服务型分布式计算 VS 请求级分布式架构
服务型分布式计算
应用角度设计分布式 分布式的粒度是步骤，最大程度分布式 全异步、流水线，计算资源用到极致 各种数据生命周期和数据共享 请求间各种通讯 有状态的对话
领导分配 人人自主分配 只要有备份，就有数据不一致
恐怖的“时间窗口”
“时间窗口”发生的各种错误的自动 识别、修复和遗留问题的清理
理想的分布式应用架构长什么样？
用工作流的形式来将步骤解耦并分布式
多任务串行多任务并行 提高请求/任务吞吐量、保持响应时间 单任务串行单任务并行 降低响应时间
2 分布式的粒度：子系统，模块（函数、对象） 性能与管理成本的权衡决定粒度 应用把控 3
数据/通讯协议全透明
Binary、JSON、XML、RAW Binary、HTTP、RTSP/RTP 应用透明，动态修改 C/S一键移动互联网
灵活强大的编程模型
全异步编程模型 灵活的服务、通讯、内存语 义
托翁 法则
核心架构
分布式虚拟机 背板+刀片的架构
基本内功
RASP：分布式系统居家必备 灵活、准确的路由 精准的负载均衡
请求级分布式架构
针对OLTP和会话应用的经典分布式架构 分布式的粒度是请求 单请求成本高 粒度太大，请求隔离差，并发弱 数据共享弱 请求间不能高效率通讯 不支持对话
1
分布式的3W问题
2
服务型分布式计算
3
基于混搭存储引擎的融合型分布式数据库
4
大数据与分布式计算/分布式数据库
分布式存储是一种分布式计算
和传统数据库的功基础，性能和伸缩性的保证 连续性唯一标识最大程度避免数据倾斜 物理节点虚拟化应对大量不均衡删除 分组一致性hashing自动识别新节点，避免数据迁移 Hashing重组进行整理
数据访问更复杂
数据定位 多存储引擎的数据合并、过滤、统计、去重、排序等
服务型分布式计算架构
完全屏蔽分布在多节点的数据和服务带来的 复杂性，轻松的实现分布式。
服务型分布 式计算平台 的传承
服务的热插拔
规模扩展异常轻松
服务级的RASP
各种数据访问、二次过滤、二次整合、索引 更新都是服务
我们发明车子不发明轮子
各种数据库方案对比
融合型分 布式数据 库 数据规模 可伸缩性 数据高可 用 读写性能 随节点数 提升 支持数据 类型 支持业务 场景 可以 读写 线性 单机关系 型数据库 不可以 无 不能 主从式 数据库 集群 不可以 读写 读非线 性 结构化 OLTP 数据库一 体机 有限 单点故障 有限 水平切分的 关系型数据 库集群 可以 部分可以 线性 类NoSQL 数据库 部分可以 部分可以 部分线性 MPP数据 库 可以 部分可以 线性 类HDFS的 分布式文 件系统 可以 读写 线性
Google发明、Hadoop落地、Storm/Spark升华 并行编程框架，写分布式应用的“银弹” 合适的时间出现在合适的地方 分布式计算和大数据的唯一方法论？
Hadoop、Spark、Storm：Map-Reduce的 重要代言人 分布式计算框架/平台
服务型分布式计算 VS Map-Reduce
服务型分布式计算——分布式遇上SOA
服务
自上而下、自内而外的全SOA
服务化的开发方式 分布式的步骤服务 任何粒度的封装 服务组装便捷 对内对外服务统一 分布式从未如此简单 不改变业务流程和编程模型 单机单用户思路设计分布式应用 分布式执行策略 服务虚拟化，计算资源虚拟化
服务型分布式计算的核心功能
DaaS
同样的方法论设计存储 服务就是数据和数据访问
个性化分布式应用
先解决数据的分布（DB sharding， 分布式文件系统） 数据依赖路由
分布式计算
分布式存储
分布式计算
分布式存储
分布式计算
（分布式）数据库 VS （分布式）存储
数字化 VS 数据化
数据 VS 数据库 VS 存储
数据是货物
数据库将货物放进仓库有机存 储管理。数据库是存储和管理 数据的有效形式和方法论。
任意 各种
结构化 OLTP
结构化 OLTP/OLAP
结构化 OLTP
（非）结 构化 OLAP
结构化 OLAP
非结构化 批处理
支持全SQL
支持异构 数据整合 总体拥有 成本 （TCO）
能
能 低
能
不能 低
能
不能 中等
能
不能 高
部分
不能 低
部分
不能 中等
能
不能 低
不能
不能 高
服务型分布式计算+融合型分布式数据库
运行时
强大的运行容器，应用透明 “分”：任何粒度，规模无限 “治”：步骤连接任意顺序、 任意整合 多线程/进程/机器透明并发 必杀技：强大的RASP
分布式应用
• •
框架
应用 决定如何“分”和“治”
平台
1
分布式的3W问题
2
服务型分布式计算
3
基于混搭存储引擎的融合型分布式数据库
4
大数据与分布式计算/分布式数据库
数据库调优 应用的合理设计 合理的索引设计 存储资源换计算和I/O资源 SQL优化 内存数据库、缓存 冷热数据分离 读写分离 数据的垂直切分 数据的水平切分（唯一能够彻底解决数据容量、 吞吐量、延时的全面可伸缩）
数据集中的经典应用架构配合低速系统
永恒优化命题 大数据时代更加严重
传统数据库集群方案
传统数据库面临的新烦恼
业务、数据大集中 简单任务高并发 响应时间敏感 永远的痛：关系型数据库
经典对策
小型机 数据库集群 业务拆分
迫切需求
破除单点故障 提升性能 提升业务和数据规模
经典商业应用场景的困境（二）
（1+1=? OLTP会话型应用
•
• • •
•
业务大集中、数据大 集中 会话数据需长期保存 务，高并发 灵活的数据形式 简单任 数据是瓶颈，复杂业务功能瓶颈
分布式不是一种新技术
应用框架，设计模式 衍生的支撑技术 路由、负载均衡、任务调度、并行计算、 资源竞争、线程间/进程间/网络通讯， 衍生的设计需求 RASP
安排尽可能多的人共同执 行一个任务
路由：谁能干 负载均衡：谁比较闲
分布式的直观分类
个体任务的步骤并行 流水线提升吞吐量 两者并用
分布式
如何分配工作？
说说Map-Reduce
不是分布式计算、大数据领域的万金油，也不是阿司匹林！
伟大的创新 复杂任务并行的好方案 通用、成熟、“廉价”的 大数据方案 唾手可得的“免费”方案
不解决基础问题，非通 用方案 应用于各种场景是错误 低门槛带来的各种坑 生态圈整合成本高 开源的不断重构和发明
Map-Reduce为何物
数据的维度和容量极大扩展 数据维度频繁变化 不支持新的数据类型 数据容量有限 数据维度有限 维度修改成本高企
常规分布式数据库方案
解决数据库困境的通用方案
非定制的通用解决方案 解决老问题和新烦恼
深度定制在特定场景下性能更好 通用和专用的权衡妥协 这个时代需要通用方案 产品思维而非解决问题思维
轻量的可轻松定制、二次开发、优化
分布式索引
高效的分布式数据访问 Hashing的精准定位+范围查询 最大程度发挥“库内计算”
和存储引擎解耦的数据库
实现K-V存储以外的所有功能
融合型分布式数据库的RASP
分布式数据库独有的RASP
读写高性能
数据和服务的高可用
数据规模和访问可伸缩
数据和服务的高可靠