分布式云存储技术的分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
响 。在这个时候 ，实施Ｐ ２ Ｐ 的技术互联形成分布式 的集
群多个主节点 。应用系统对主节点集群 的访 问是通过访 问本地接 口 （ 客户端和Ａ Ｐ Ｉ 形式等 ） 来进行 的，这样对 于用户来讲 ，主节点集群是透 明的。非结构化 的对等网 络能够在主节点集群上构成 ，将特定元数 据信息 的数据 块存放在所有的主节点上 。在主节点上处理源于应用系 统接 口的请求 ，进而使 得应用 系统 的载荷得以分摊 ，分 布式存储 系统的容量大大地提高。
（ 作者单位 ：国网衡水供电公 司 ）
在底层分布式文件系统上以文件的形式存放需要管理与存 储的＊Ｎ ｏ 数据。将虚拟文件系统构建在集群数据节点的本 地文件系统上 ，这就是分布式文件系统的运行原理。在虚 拟文件系统层 ，大小相同的数据块分割在集群中一切节点
９ ８ 信息系统工程 Ｉ ２ ０ １ ３ ． ９ ． ２ ０
ห้องสมุดไป่ตู้搁
恢复技术的分析 ， 应 当着眼于以上方面。分布式存储系统
二 、存 储 数 据的预 警 和监控 技 术
分 布式 云存 储 系统要求 具备 预警 、控制 和监督 ， 才可 以算得上是成熟 。跟传统意义上的存储 系统是不一 样 的 ，分布式文件系统要求对集群 当中所有节点 的状态 信息 实施监 听。其 中，状态信息 主要有节点信息与主机
所发送的文件处理 的响应和接受 ，文件系统元数据的管 理与存储来实现的。主节点模式的单一性会导致系统出 现瓶颈 ，还可能使得单点失效 ，从而使得 系统 的容错性 降低 。因此 ，要求支持多个 主节点 的分布式文件 系统 ， 单 一主节点 的载荷是 由多个 主节点一起来分摊 的 ，还能 够保证失效之后 的主节点不会使系统 的正常工作 受到影
从节点的管理是通过对节点状态信息 的收集 、对客户端
布式文件系统 当中的文件一系列小块实施存储 ，且要实施 副本管理 。设计分布式云存储重点是为了将互联 网当中的 大文件 （ 一般是 以Ｇ Ｂ 作为单位 的 ）的处理与存储问题解 决 ，为此 ，数据块有关联的元数据模型和数据块的默认大 小都不合适 当作小文件实施处理。针对企业级别的存储 ， 还要求将中、小文件 的存储问题解决 ，在这个时候 ，多粒 度文件存储功能是要求分布式文件系统具备的。
的基础是 网络设备 ，需要将优质的网络服务提供给分布式 存储 系统。另外 ，一般会在 同一局域网内构建分布式云存 储系统 ，这样网络设备就不容易 出错。分布式存储系统当
中，对 网络连接状态的检查是通过心跳线和更新软状态来
实施的，节点错误是网络设备当中的节点没有声响。节点 错误有从节点错误与主节点错误。实施副本冗余策略的从
节点 ，确保在从节点错误为数不多的前提下 ，系统还能够
信息这两种 。节点信息主要有 每一个存储节点的应用现
状 、容量配额 、可用容量 、系统的总容量等 ，通过节点
提供正常的服务。与此同时 ，源于从节点的软状态更新信 息是有主节点负责收的，检测从节点的状态也是利用这些 信息。从节点出错的过程中，对从节点的恢复实施灾难 恢 复策略。在这个时候 ，要求将科学的灾难恢复策略加以分 析和制定 ，确保不会导致网络雪崩与抖动。
三 、存 储 系统 的灾 难恢 复技 术
实施主从结构的分布式云存储系统 ，分布式文件系统 是 由从节点与主节点构成的，且能够将云存储服务提供给 客户。一般来讲 ，客户对云存储服务的访问是应用用户接 口来进行的。容易导致问题的对象是客户端 、主节点 、从 节点 ，以及连接这三项的网络设备。对分布式云存储灾难
关键词 ：分布式 ；云存储技术 ；集合体 ；分析
上 的磁盘 ，随后对这一部分数据由名字节点实施一致的编
一
、
主 从模 式 的分布 式 文件 系统
址和维护。结合 固定数据块的大小 （ 能够结合客户端第一
次写的时候进行 自定义 ，写入之后将不可 以再改变 ） 将分
应用 主从模 式 的分 布式 文件系 统 ，其 中 ，实施对
＜
！ 里 塑
蕉 堕
分布式 云存储技 术的分析
◆ 李 屹炬
摘 要 ：分 布 式云 存 储技 术是 一 个 多服 务 、 多应 用和 多设备 一 起 运 行 的 集合 体 ，它 以 多种 技 术 的 实现 作 为基 础 。本 文对 分 布 式 云存 储 技 术进 行 了论 述 。
魏宝林
参考文献
［ １ ］ 吴海佳 ， 陈卫卫， 刘鹏 ， 等 云存储 系统 中基 于更新 日志的元数据 缓存 同步策略 卟 电信科 学， ２ ０ １ １ （ ０ ９ ） ．
信息能够检测分布式文件系统的工作状态 。主机信息主
要有分布式文件 系统 主机 的服务 、进 程 、网络 、磁盘 、
内存 、Ｃ Ｐ Ｕ、工作状态等 ，通过主机信 ｌ ｆ ， ￣ ｇ 够检测主机 的工作状态 ，以辅助性地检测 主机 的负载情况 。 提高大量数据文件分布式存储的能力 ：分布式云存储
群多个主节点 。应用系统对主节点集群 的访 问是通过访 问本地接 口 （ 客户端和Ａ Ｐ Ｉ 形式等 ） 来进行 的，这样对 于用户来讲 ，主节点集群是透 明的。非结构化 的对等网 络能够在主节点集群上构成 ，将特定元数 据信息 的数据 块存放在所有的主节点上 。在主节点上处理源于应用系 统接 口的请求 ，进而使 得应用 系统 的载荷得以分摊 ，分 布式存储 系统的容量大大地提高。
（ 作者单位 ：国网衡水供电公 司 ）
在底层分布式文件系统上以文件的形式存放需要管理与存 储的＊Ｎ ｏ 数据。将虚拟文件系统构建在集群数据节点的本 地文件系统上 ，这就是分布式文件系统的运行原理。在虚 拟文件系统层 ，大小相同的数据块分割在集群中一切节点
９ ８ 信息系统工程 Ｉ ２ ０ １ ３ ． ９ ． ２ ０
ห้องสมุดไป่ตู้搁
恢复技术的分析 ， 应 当着眼于以上方面。分布式存储系统
二 、存 储 数 据的预 警 和监控 技 术
分 布式 云存 储 系统要求 具备 预警 、控制 和监督 ， 才可 以算得上是成熟 。跟传统意义上的存储 系统是不一 样 的 ，分布式文件系统要求对集群 当中所有节点 的状态 信息 实施监 听。其 中，状态信息 主要有节点信息与主机
所发送的文件处理 的响应和接受 ，文件系统元数据的管 理与存储来实现的。主节点模式的单一性会导致系统出 现瓶颈 ，还可能使得单点失效 ，从而使得 系统 的容错性 降低 。因此 ，要求支持多个 主节点 的分布式文件 系统 ， 单 一主节点 的载荷是 由多个 主节点一起来分摊 的 ，还能 够保证失效之后 的主节点不会使系统 的正常工作 受到影
从节点的管理是通过对节点状态信息 的收集 、对客户端
布式文件系统 当中的文件一系列小块实施存储 ，且要实施 副本管理 。设计分布式云存储重点是为了将互联 网当中的 大文件 （ 一般是 以Ｇ Ｂ 作为单位 的 ）的处理与存储问题解 决 ，为此 ，数据块有关联的元数据模型和数据块的默认大 小都不合适 当作小文件实施处理。针对企业级别的存储 ， 还要求将中、小文件 的存储问题解决 ，在这个时候 ，多粒 度文件存储功能是要求分布式文件系统具备的。
的基础是 网络设备 ，需要将优质的网络服务提供给分布式 存储 系统。另外 ，一般会在 同一局域网内构建分布式云存 储系统 ，这样网络设备就不容易 出错。分布式存储系统当
中，对 网络连接状态的检查是通过心跳线和更新软状态来
实施的，节点错误是网络设备当中的节点没有声响。节点 错误有从节点错误与主节点错误。实施副本冗余策略的从
节点 ，确保在从节点错误为数不多的前提下 ，系统还能够
信息这两种 。节点信息主要有 每一个存储节点的应用现
状 、容量配额 、可用容量 、系统的总容量等 ，通过节点
提供正常的服务。与此同时 ，源于从节点的软状态更新信 息是有主节点负责收的，检测从节点的状态也是利用这些 信息。从节点出错的过程中，对从节点的恢复实施灾难 恢 复策略。在这个时候 ，要求将科学的灾难恢复策略加以分 析和制定 ，确保不会导致网络雪崩与抖动。
三 、存 储 系统 的灾 难恢 复技 术
实施主从结构的分布式云存储系统 ，分布式文件系统 是 由从节点与主节点构成的，且能够将云存储服务提供给 客户。一般来讲 ，客户对云存储服务的访问是应用用户接 口来进行的。容易导致问题的对象是客户端 、主节点 、从 节点 ，以及连接这三项的网络设备。对分布式云存储灾难
关键词 ：分布式 ；云存储技术 ；集合体 ；分析
上 的磁盘 ，随后对这一部分数据由名字节点实施一致的编
一
、
主 从模 式 的分布 式 文件 系统
址和维护。结合 固定数据块的大小 （ 能够结合客户端第一
次写的时候进行 自定义 ，写入之后将不可 以再改变 ） 将分
应用 主从模 式 的分 布式 文件系 统 ，其 中 ，实施对
＜
！ 里 塑
蕉 堕
分布式 云存储技 术的分析
◆ 李 屹炬
摘 要 ：分 布 式云 存 储技 术是 一 个 多服 务 、 多应 用和 多设备 一 起 运 行 的 集合 体 ，它 以 多种 技 术 的 实现 作 为基 础 。本 文对 分 布 式 云存 储 技 术进 行 了论 述 。
魏宝林
参考文献
［ １ ］ 吴海佳 ， 陈卫卫， 刘鹏 ， 等 云存储 系统 中基 于更新 日志的元数据 缓存 同步策略 卟 电信科 学， ２ ０ １ １ （ ０ ９ ） ．
信息能够检测分布式文件系统的工作状态 。主机信息主
要有分布式文件 系统 主机 的服务 、进 程 、网络 、磁盘 、
内存 、Ｃ Ｐ Ｕ、工作状态等 ，通过主机信 ｌ ｆ ， ￣ ｇ 够检测主机 的工作状态 ，以辅助性地检测 主机 的负载情况 。 提高大量数据文件分布式存储的能力 ：分布式云存储