6、分布式文件系统(数据库)- 学习课件
合集下载
分布式文件系统ppt
蓝鲸分布式文件系统采用针对元数据的分布式 日志，保证系统元数据的一致性，缩短系统灾 难恢复的时间。
蓝鲸分布式文件系统支持数百个应用节点，多 个元数据服务器和网络存储服务器。 采集自系统中各个节点有关系统运行的实时信 息，为系统故障分析和性能调整提供了依据。
[1] 吴思宁，贺劲，熊劲，孟丹, DCFS 机群文件系统服务器组的设计与实现, 2002 全国开放式分布与并行计算学术会（DPCS2002），2002. [2] 张晓春，刘弓，浅谈分布式文件系统关键技术，青岛大学学报 ，2005. [3] DFS.distribured filesysytem . /data-recovery/
3 DFS 映射为用户提 供了对他们所需网络 资源的统一和透明的 访问。
4 对于系统管理员， DFS 映射是单个 DNS 名称空间：具有域 DFS，DFS 根目录目 标的 DNS 名称将解析 为 DFS 根目录的主机 服务器。
1 除了授予必要的权限之外，分布式文件系统 (DFS) 服务 不实施任何超出 Windows Server 2003 家族系统所提供的其 他安全措施。
1995---2000
•Global File System（GFS）吸取了对称多处理器（SMP）系统设计和实现的原理， 将系统中的每一个客户机类比于SMP中的一个处理器。客户机间没有任何区别， 可以平等地访问系统中的所有存储设备，就像处理器可以机会均等地访问主存一 样。这样的设计可以更好地利用系统中的资源，消除单个服务器带来的性能瓶颈 和单点失效问题。客户端之间无需通信，因此可以很好地消除客户机失效带来的 威胁。GFS采用特殊设计的DLOCK锁机制，同步多个客户机对同一设备的访问， 具有很高的效率。
吸取了很多其他本地文件系统和分布式文件系统的高级特性， 克服了在某些分布式文件系统中存在的瓶颈，使其能够真正 满足海量数据并发访问的需求。
6.2 分布式文件系统_对话云计算_[共6页]
![6.2 分布式文件系统_对话云计算_[共6页]](https://img.taocdn.com/s3/m/e4432bf8b4daa58da1114a32.png)
第6章 团结就是力量——漫游分布式世界术中的P2P计算、网格计算、并行计算、分布式计算和云计算都可以纳入分布式应用的范畴。
：分布式系统与云计算有什么关系？：有一个很有趣的现象，网格计算的研究是学术界热而企业界不热，云计算的研究则是学术界不热而企业界热，因此很有必要仔细研究一下各企业推出的成功的云计算产品。
细数一下这些产品，包括了Google公司的GFS、Bigtable、MapReduce，Amazon公司的Dynamo，Hadoop开源项目的HDFS、HBase、MapReduce等。
对照图6-1，就可以发现它们都属于分布式系统的范畴，其中GFS、HDFS算是分布式文件系统，Bigtable、Dynamo和HBase算是分布式数据库，MapReduce则归于分布式计算。
因此，本章我们就围绕分布式文件系统、分布式数据库和分布式计算三个方面来剖析这些云计算中的关键技术。
6.2 分布式文件系统：分布式文件系统是如何发展起来的呢？：从20世纪70年代诞生至今，大致上可以将分布式文件系统的发展历程划分为四个阶段。
1990年之前的分布式文件系统主要以提供标准接口的远程文件访问为目的，比较关注系统性能和可靠性。
这一阶段的典型代表包括Sun公司研制的NFS（Network File System）和美国卡内基梅隆大学开发的AFS（Andrew File System）。
1990年到1995年期间，互联网逐步得到推广应用，网络中传输实时多媒体数据的需求和应用也逐渐流行，这一阶段出现了不少为了实现上述需求而开发设计的分布式文件系统，例如加利福尼亚大学研制的xFS（x File System）和IBM公司针对AIX操作系统开发的TigerShark。
1995年到2000年期间，网络技术和存储技术持续发展，NAS和SAN等新的存储技术开始得到大量应用，与之相应的分布式文件系统也应运而生，例如美国明尼苏达大学研制的GFS（Global File System）和IBM公司在TigerSpark基础上开发的GPFS（General Parallel File System）。
分布式数据库 ppt课件
适应分布式管理和控制机构。
经济性能优越
经济上和组织上的理由
系统的可靠性高，可用性好。
局部应用的响应速度快。
可扩展性好，易于集成现有系统。
既有数据库互连，历史继承；数据资源共享
系统规模逐步扩展增加结点，pp不t课件影响现有系统运行
15
1.4 分布式数据库系统的优缺点
缺点： 系统开销大，主要花在通信部分。 复杂的存取结构在集中式系统中是有效
3、在分布式DB中，用户看到的系统如同一个集中式 DBS，这是因为分布式系统具有（）和（）特点。
4、如果各个场地都采用同类型数据模型，但DBMS不 同型号，这种系统属于（）型DBMS.
ppt课件
18
数据库分布式的管理-在技术上引起新问题
是由一个节点来统一管理各分数据库呢？还是各节点 在必要时，都挺身而出代行管理的职能呢？这是集中 与分散的问题。
30
2.3 分布透明性
分布（网络）透明性
分片透明性（全局视图和分片视图之间）
用户或应用程序只对全局关系进行操作而不必考虑关系 的分片。如果分片模式改变了，通过调整全局模式与分
片模式之间的映象关系来保持全局模式不变。
位置透明性（分片视图和分配视图之间）
用户或应用程序不必了解片段的存储位置。
ppt课件
24
分布式数据存储
（2）垂直分片
将关系r按列分为若干属性子集r1，r2，…，rn，每个 子集ri称为一个垂直片段。
一个垂直片段可以看成是关系上的一个投影。
ri =∏Ri（r） 其中Ri是r的一个属性子集。
如P_S = ∏SNO，SNAME（S） 关系的重构可以通过连接运算来实现。
r= r1 r2 …
分布式系统介绍培训PPT课件
精品文档
MIMD分类
存储器使用：共享式、私有式 1. 多处理器系统（multi-processor） 2. 多计算机系统（multi-computer）
PPP
PP P
M
MM M
具有共享存储器的通常称为多处理机（multiprocessor） 或多处理器；而不具有共享存储器的则称为多计算机
(multicomputer)
SMP？
精品文档
（2）交换型多处理机
MMMM C
2*2 开关
C
M
C
C
M
C
C
M
C
C
M
交叉点开关
交叉开关线：(a) n2个交叉开关点
(b)
Omega开关网：2 • 2开关点，共n (log2n) /2个
NUMA(NonUniform Memory Access)：分层存储
精品文档
（3）总线型多计算机
Grosch’Law: Power ↑ Price2 NOPC vs. 大型机（mainframe）
精品文档
优点 -- 与集中式系统相比较
2、性能：能产生单个大型主机不能达到的绝对性能 10,000 X 50MIPS 500,000MIPS（5千亿次）
= 0.002ns/次=〉0.7mm
精品文档
精品文档
1.3 硬件概念：多台计算机是如何联结在一起 ？
Flynn分类： 指令流个数
（1972）
数据流个数
CPU
1. SISD（单指令流、单数据流 ）：（PC机）
2. SIMD （单指令流、多数据流 ） ：矩阵计算机
3. MISD （多指令流、单数据流 ） ：无
4. MIMD （多指令流、多数据流 ） ：分布式系统
分布式数据库系统体系结构ppt课件
三个基本特性 ➢分布性是指系统的各组成单元是否位于同一场地上。 分布式数据库系统是物理上分散、逻辑上统一的系统， 即具有分布性。而集中式数据库系统集中在一个场地上， 所以不具有分布性。
17
§2.5 分布式数据库系统分类
➢异构性是指系统的各组成单元是否相同，不同为 异构，相同为同构。异构主要:
-数据异构性：指数据在格式上、语法和语义上 存在不同。
Multidatabase layer
Local system layer
LIS3
23
§2.6 MDBS 体系结构
MDBS 的组件结构
System
USER
responses
User requests
Multi-DBMS Layer
Query Processor
DBMS
Transaction Manager
全局日志 局部概念模式
系统日志 局部内模式
数据库
应用处理器 数据处理器
10
§2.2 组件结构
应用处理器（AP）功能：
➢ 用户接口：检查用户身份，接受用户命令，如： SQL命令。
➢ 语义数据控制器： 视图管理、安全控制、语义完 整性控制（全局概念模式）。这些约束定义在字典 中。
➢全局查询处理器:将用户命令翻译成数据库命令； 生成全局查询的分布执行计划；收集局部执行结果 并返回给用户。
12
§2.3 模式结构
我国分布式数据库系统标准草案中给定的抽象为四层的 模式结构：全局外层、全局概念层、局部概念层和局部 内层。模式与模式之间是映射关系。
全局 外层
ES1
全局概 念层
ES2 …… ESn GCS
映射
全局模式 映射模式
17
§2.5 分布式数据库系统分类
➢异构性是指系统的各组成单元是否相同，不同为 异构，相同为同构。异构主要:
-数据异构性：指数据在格式上、语法和语义上 存在不同。
Multidatabase layer
Local system layer
LIS3
23
§2.6 MDBS 体系结构
MDBS 的组件结构
System
USER
responses
User requests
Multi-DBMS Layer
Query Processor
DBMS
Transaction Manager
全局日志 局部概念模式
系统日志 局部内模式
数据库
应用处理器 数据处理器
10
§2.2 组件结构
应用处理器（AP）功能：
➢ 用户接口：检查用户身份，接受用户命令，如： SQL命令。
➢ 语义数据控制器： 视图管理、安全控制、语义完 整性控制（全局概念模式）。这些约束定义在字典 中。
➢全局查询处理器:将用户命令翻译成数据库命令； 生成全局查询的分布执行计划；收集局部执行结果 并返回给用户。
12
§2.3 模式结构
我国分布式数据库系统标准草案中给定的抽象为四层的 模式结构：全局外层、全局概念层、局部概念层和局部 内层。模式与模式之间是映射关系。
全局 外层
ES1
全局概 念层
ES2 …… ESn GCS
映射
全局模式 映射模式
分布式数据库系统课件
P3 CAD/CAM P4 Maintenance
250000 310000
New York Paris
PROJ2
PNO
PNAME
BUDGET LOC
P2 Database Develop. 135000 New York
P3 CAD/CAM
250000 New York
PROJ3
PNO
PNAME
BUDGET LOC
LOC Montreal New York New York Paris
诱导分片事例
例: 工程管理数据库事例中关系PROJ按工程所在地LOC属性值进行 水平划分为：
PROJ1＝σLOC＝”Montreal”（PROJ） PROJ2＝σLOC＝”New York”（PROJ） PROJ3＝σLOC＝”Paris”（PROJ） 则使有关联的ASG产生诱导划分，其诱导分片为：
250000 310000
LOC
PROJ2
PNO
Montreal
New York
P1
New York
P2
Paris
P3
分布式数据库系统 P4
PNO
P1 P2 P3 P4
BUDGET
150000 135000 250000 310000
PNAME Instrumentation Database Develop. CAD/CAM Maintenance
用户
∫ ∫ 数据请求
客户机
服务器
DB
处理结果
分布式数据库系统
11.2.1 C/S系统的计算模式
① C／S结构的工作模式 ② C／S环境下应用成分的分布 ③ C／S主要技术特征
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关系数据库
字段的表示
每个字段都被SQL定义成具体的数据类型，表示一 定长度的字节序列
关系数据库
Байду номын сангаас
记录的表示
定长记录：它所包含的所有字段均为定长。
关系数据库
记录的表示
变长记录：允许它包含变长字段，有多重表示方法
关系数据库
记录集合的存储结构
记录在磁盘上的物理存储方式有物理临接存储，指针 连接存储。
Hadoop DataNode存储着Region Server 管理的数据，所有 的Hbase数据存储在HDFS文件系统中，Region Servers在HDFS DataNode中是可配置的，并使数据存储靠近在它所需要的地方， 就近服务，当王HBASE写数据时时Local的，但是当一个region 被移动之后，Hbase的数据就不是Local的，除非做了压缩 （compaction）操作。NameNode维护物理数据块的元数据信 息。
Redis
Redis是著名的内存KV数据库，在工业界获得了广泛使用其不仅支持基本数据类型，也支持列表、集合等复杂数 据结构，所以有较强的表达能力，同时有非常高的单机读/写效率：
Redis
系统中唯一的Master负责数据的读/写操作，可以有多个Slave来保存数据副本， 副本数据只能读不能做数据更 新操作。当Slave初次启动时，从Master获取数据，在数据复制过程中，Master是非阻塞的，即同时可以支持读/写 操作。Master采用快照加增量的异步方式完成数据复制过程，首先在时刻T将内存数据写入本地快照文件，同时在内 存记录从T时刻起新增的数据操作. 当快照文件生成结束后，Master将文件传给Slave, Slave先保存为本地文件，然后 将其加载入内存。之后，Master将T时刻后的数据变更操作以命令流的形式传给Slave, Slave顺序执行命令流，这样 就达到数据和Master保持同步。
RAMCloud
1.处理写请求
2.对象追加入Log并更新哈希表
Buffered Segment
Disk
In-Memory Log
Backup
Hash table
Buffered Segment
Disk
Backup
Master
Buffered Segment
Disk
4.写请求返回
3.复制对象到副本
Backup
课程目录
Course catalogue
1 关系数据库 2 KV内存数据库 3 列族数据库 4 文档数据库
HBASE
Hbase 架构的组件
Region Server：提供数据的读写服务，当客户端访问数据时， 直接和Region Server通信。HBase Master:Region的分配,.DDL 操作（创建表,删除表）Zookeeper:是HDFS的一部分，维护一个 活跃的集群状态。
关系数据库
记录集合的存储结构
记录在磁盘上的物理存储方式有物理临接存储，指针 连接存储。
关系数据库
数据文件的组织形式
因应用不同有多种组织形式：堆文件、顺序文件、散 列文件、按列存储。 顺序文件：记录按某个搜索码的值的顺序进行存储。
关系数据库
数据文件的组织形式
散列文件：直接存取文件或哈希文件，利用哈希函数 将具有相同搜索码值的记录散列到外存（通常是磁盘 ）的同地址范围内。
Oracle·WDPe·WDP
分布式文件系统（数据库）
Oracle 高校大数据课程系列
本课目标
理解关系数据库的原理 掌握内存kv数据库的原理及应用 掌握列族数据库的原理 掌握文档数据库的原理及应用
课程目录
Course catalogue
1 关系数据库 2 KV内存数据库 3 列族数据库 4 文档数据库
HBASE
HBase HMaster
分配Region,DDL操作（创建表， 删除表） 协调各个Reion Server ：
-在启动时分配Region、在恢复或是负载均衡时重新分配 Region。
-监控所有集群当中的Region Server实例，从ZooKeeper中 监听通知。 管理功能：
-提供创建、删除、更新表的接口。
Order Date
Value
Customer Value
Productn
Id
Price
Value
Value
Payment
CCInfo
ExpDate
Value
Value
构建数据存取模型（列族数据库）
RAMCloud
RAMCloud是斯坦福大学提出的大规模集群下的纯内存KV数据库系统，最大的特点是读/写效 率高，其设计目标是 在数千台服务器规模下读取小对象速度能够达到5〜]0纳秒，这种速度是目前常规数据中心存储方案性能的50 ~ 1000 倍。
如果再次读取，客户端将使用缓存来获取META 的位置及之前的行健。这样时间久了，客户端不需要查询META表，除非Region 移动所导致的丢失，这样的话，则将会重新查询更新缓存。
HBASE
Hbase META表
META 表集群中所有Region的列表 .META. 表像是一个B树 .META. 表结构为： - Key: region start key,region id - Values: RegionServer
关系数据库不擅长
ID:1001 customer:Ann line ltems:
0321293533 0321601912 0131495054
2 $48 $96 1 $39 $39 1 $51 $51
payment detalls:
Card:Amex CC Number:12345 expiry:04/2001
课程目录
Course catalogue
1 关系数据库 2 KV内存数据库 3 列族数据库 4 文档数据库
关系数据库不擅长
关系数据库是一个通用性的数据库，并不能完全适应所有的用途。具体来说它并不擅长以下处理： 大量数据的写入处理； 为有数据更新的表做索引或表结构变更。 字段不固定时应用。 对简单查询需要快速返回结果的处理。
RAMCloud整体架构
RAMCloud在内存和外存存储数据时都统一采用LSM树 方案.其对应的Log结构被切割为8MB大小的数据片段（ Segment)。
RAMCloud
数据恢复机制
这个机制包含两个方面：一方面是将待备份的数据尽可 能多地分散到不同备份服务器中，这样在恢复内存数据的 时候每台备份服务器只需传递少量数据，增加并发性。另 外一方面是将待重建的内存数据分散到多台存储服务器来 恢复，这样也减少了每台服务器需要恢复的数据量，增加 并发性。通过以上两种措施可以实现快速数据恢复， RAMCloud可以在1秒之内恢复崩溃的内存数据。
Customer name
1
*
Billing Address
*
1
Address Street City State Post code
1
*
Order
1
1 1
*
*
Order Payment
Order item
1
*
cardNumber
price
txnld
*
1
Product name
1 Shipping Address
订单
订单行
客户
信用卡
阻抗失谐
这是一张订单表。在用户界面中看起来像一个聚合 结构，然而其数据却存放在关系型数据库的多张表中。 每章表 的行对应具体的数据。这样一来，如果在内存中 使用了较为丰富的数据结构，那么要把它保存到磁盘之 前，必须先将其转换成”关系“。于是就发生了“阻抗 失谐”。
关系模型与聚合数据模型
RAMCloud
客户端
客户端
客户端
数据中心网络连接
Master Backup
Master Backup
Master Backup
RAMCloud整体架构
客户端
协调器
Master Backup
每台存储服务器包含两个构件：Master和Backup Master负责内存KV数据的存储并响应客户端读/写请求， Backup负责在外存存储管理其他服务器节点内存数据的数 据备份。每个RAMCloud集群内包含唯一的管理节点，称 之为协调器（Coordinator ) 协调器记载集群中的一些配置 信息，比如各个存储服务器的IP地址等，另外还负责维护 存储对象和 存储服务器的映射关系，即某个存储对象是放 在哪台服务器的,，RAMCloud的存储管理单位是子表 (Tablet),即若干个主键有序的存储对象构成的集合，所以 协调器记载的其实是子表和存储服务器 之间的映射关系。
关系模型
关系模型与聚合数据模型
聚合数据模型
关系模型与聚合数据模型
构建数据存取模型（键值、文档数据库）
关系模型与聚合数据模型
CustomerId
CustomerInfo
Name
Since
Value
Value
Orders
Order1
Ordern
Value
Value
OrderId
OrderDetails
HBASE
组件之间如何工作
Zookeeper一般在分布式系统中的成员之间协调共享的状态信息 ，Region Server和活跃的HMaster通过会话连接到Zookeeper， ZooKeeper维护短暂的阶段，通过心跳机制用于活跃的会话。
每个Region Server创建一个短暂的节点，HMaster监控这些节点 发现可用的Region Server，同时HMaster 也监控这些节点的服 务器故障。HMaster 通过撞见一个临时的节点，Zookeeper决定 其中一个HMaster作为活跃的。活跃的HMaster 给ZooKeeper发 送心跳信息，不活跃的HMaster在活跃的HMaster出现故障时， 接受通知。 如果一个Region Server或是一个活跃的HMaster在发送心跳信息时失败或是出现了故障，则会话过期，相应的临时节点将被删 除，监听器将因这些删除的节点更新通知信息，活跃的HMaster将监听Region Server，并且将会恢复出现故障的Region Server，不活跃的HMaster 监听活跃的HMaster故障，如果一个活跃的HMaster出现故障，则不活跃的HMaster将会变得活跃 。