云计算的架构及核心技术
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第 ４期
薛慧 丽 ： 云计算 的 架构及 核 心技 术
． ６ ５．
的相关数 据 ， 有针对 、 有 目的地将 不 同用 户所 使用 的不 同资
执行 的问题 予以分解 ， 其 中的 Ｍ ａ ｐ 程序将相关数 据区进 行块
式切割 ， 并调度 或 分配 给 大量 的计 算 机 实现 相应 的数据 处 理， 进一步地 Ｒ ｅ ｄ ｕ ｃ ｅ 程 序 即将分 布式 运算 所得 到 的结果 进
据库 的原 因 ， 期待藉此来容纳海量 数据 。现有 的云数据 库系
统大体 可划 分 为三 类： 一 类是 基 于 Ｇ ｏ ｏ ｇ ｌ ｅ开 创 的 Ｇ Ｆ Ｓ
这一层 涉及 到云计算 中心各个方面 的检测 与监 控 ， 其主 要功能是采集各种相关数 据 ， 以供应 云管理 中的用户层 和机 制层 的选择 和使 用 。对 云计算 中心的检 测与 监控 主要 牵涉 三个层 面。一是物理 资源层 ， 主要任务 是检测 与监控物 理资
器、 ｃ ｅ ｌ ｌ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｏ ｒ 、 异构 机 群 也 具 有 良好 的 适 用 性 ， 并 表 现 了 与
管理模块 主要是 对服 务器 、 存储 设备 、 网络设 备等 物理 节点
的管理 ， 其功能分别表现为 自动部署 、 资 源调度 、 资源池 管理
云计算 同样 良好 的性 能 。Ｍａ ｐ—Ｒ ｅ ｄ ｕ ｃ ｅ编 程模 型 的缺 点则 是只适用于 内部松耦合 的编写任务 ， 以及能够 高度并行 化的
Ｒ ｅ ｄ ｕ ｃ ｅ的先 进 思 想 而 开 发 得 到 的 编 程 工 具 。 Ｍａ ｐ—Ｒ ｅ ｄ ｕ ｃ ｅ
资源管理 、 安全管 理和 容灾 支持 。其 中 ， 机制层 的运 维 系统
越强健 ， 自动化程 度越 高 ， 云计算 的运 行就会 越 出色 。资源
编程模 型不仅对 云计算 来 说高度 适用ቤተ መጻሕፍቲ ባይዱ， 而且 对 多核 、 多处 理
心 内部就不 可 能拥 有更 安 全 、 更 环保 、 更 自动 的现 代 管 理。
和 上 面 的用 户层 一样 ， 机 制 层 也 包 含 了 四个 模 块 ： 运维管 理 、
优势 ， 可 以使 云用 户享 受到更 简单 、 易用 、 便 捷 的服务 ， 为此
几乎所有 的 Ｉ Ｔ厂商 当前 采用 的编 程模 型 ， 都 是基 于 Ｍ Ａ Ｐ—
（ Ｇ ｏ ｏ ｇ ｌ ｅ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ谷歌文件 系统 ） ， 主要运 用了分布 式储 存 的方式 ； 另一类是 以 Ｄ Ｙ Ｎ Ａ Ｍ Ｏ为主体 ， 采用 了 Ｐ ２ Ｐ 处 理结
构； 第 三类 则是 Ｈ ａ ｄ ｏ ｏ ｐ团 队开发 的 ＨＤ Ｆ Ｓ （ Ｈ ａ ｄ ｏ ｏ ｐ Ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ， Ｈ ａ ｄ ｏ ｏ ｐ分布 式文 件 系统 ） 。大部 分 Ｉ Ｔ厂商 ， 包括 ｙ ａ ｈ ｏ ｏ 、 Ｉ ｎ ｔ ｅ ｌ 的“ 云” 计 划采 用 的都 是 Ｈ Ｄ Ｆ Ｓ的数据存 储 技术 。迄至 目前为止 ， 该领域开发 的具 有代表性 的云数据 库
体细分 上则有访 问授 权 、 数据加 密 、 数据备 份 、 安全 审计 、 安 全策略 、 物理安全 、 网络 隔离等七 种机 制 。最 后的 容灾 支持
就 主要涉及 了数据 中心级 别和物理节点级别两个层 面。
１ ． ２ ． ３ 检 测 层
数据量 的发展 已不容忽视 ， 目前 的数据库 技术 已经 无法 应对这些蜂拥而 至的数据浪潮 ， 并且 在各个领 域均呈现 严峻 的挑战趋势 。这就是人们 积极 寻找构建新 的云存储 ， 即云数
行汇总 与输 出。 正是 因为 ＭＡ Ｐ—Ｒ ｅ ｄ ｕ ｃ ｅ 存 在着严 格 、 良好 、 实用等 许多
源或者不 同服务 进行 有效统 计 ， 并通 过完 善 、 详细 的报 表形 式 向各个用 户收取准确费用 。
１ ． ２ ． ２ 机制层
要对 云计 算进 行 有效 的 管理 ， 就离 不 开 云管 理 的机 制 层 。如果没有 云管理 机制的有效运维 与整体部署 ， 云计 算 中
源 的运行状况 ， 比如 Ｃ Ｐ Ｕ使用率 、 内存利用 率和 网络带 宽利 用率等 ； 二是虚拟资 源层 ， 主要 任务 是检 测与 监控 虚拟 机 的 Ｃ Ｐ Ｕ使 用率和内存利用 率等 ； 三 是应用 层 ， 主要 任务 是检 测 与记 录每个应用 每次请 求 的响应 时问 （ Ｒ ｅ ｓ ｐ ｏ ｎ ｓ ｅ Ｔ ｉ ｍ ｅ ） 和吞 吐量 （ Ｔ ｈ ｒ ｏ ｕ ｇ ｈ ｐ ｕ ｔ ） ， 以判断相关 应用 是否 可 以满足 预先设 定 的Ｓ Ｌ Ａ （ Ｓ ｅ ｒ ｖ ｉ ｃ ｅ Ｌ ｅ ｖ ｅ ｌ Ａ ｇ ｒ ｅ ｅ ｍ ｅ ｎ ｔ ， 服务级别协议 ） 。
等三个方面 。而安全 管理模块 主要实现 对用户账 号 、 数据以
及服务平 台上的各种 应用 等 Ｉ Ｔ资 源 的全面 保护 ， 并 且 能够 保证云上 的各种基础设施 以及 云中心所 提供 的各 种资源 ， 可 以由用户合法地访 问和使 用 ， 另外更 重要 的还 要使这些 设施
和资源免受犯罪分子 、 恶意程序 的侵 害。安全 管理模块 在具
程序 。所 以改进 编程模 式 ， 使其也 可适 用于 内部紧耦合 的编 写任务 ， 并且能够更 为 高效地 调度 和执 行任 务 ， 就成为 Ｍ ａ ｐ
—
Ｒ ｅ ｄ ｕ ｃ ｅ编程模型在未来 很长一 段时 间 内研 究及 发展 的重
要方 向。 ２ ． ２ 海 量 数 据 分存 技 术
系统主要有 ： Ｈ Ａ Ｄ Ｏ Ｏ Ｐ Ｄ Ｂ、 Ｈ Ｂ Ａ Ｓ Ｅ和 Ｃ Ａ Ｓ Ｓ Ａ Ｎ Ｄ Ｒ Ａ。
当前 ， 数据管理 面临 的挑战 在于 ： 如何 去应 对不 断发 展
薛慧 丽 ： 云计算 的 架构及 核 心技 术
． ６ ５．
的相关数 据 ， 有针对 、 有 目的地将 不 同用 户所 使用 的不 同资
执行 的问题 予以分解 ， 其 中的 Ｍ ａ ｐ 程序将相关数 据区进 行块
式切割 ， 并调度 或 分配 给 大量 的计 算 机 实现 相应 的数据 处 理， 进一步地 Ｒ ｅ ｄ ｕ ｃ ｅ 程 序 即将分 布式 运算 所得 到 的结果 进
据库 的原 因 ， 期待藉此来容纳海量 数据 。现有 的云数据 库系
统大体 可划 分 为三 类： 一 类是 基 于 Ｇ ｏ ｏ ｇ ｌ ｅ开 创 的 Ｇ Ｆ Ｓ
这一层 涉及 到云计算 中心各个方面 的检测 与监 控 ， 其主 要功能是采集各种相关数 据 ， 以供应 云管理 中的用户层 和机 制层 的选择 和使 用 。对 云计算 中心的检 测与 监控 主要 牵涉 三个层 面。一是物理 资源层 ， 主要任务 是检测 与监控物 理资
器、 ｃ ｅ ｌ ｌ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｏ ｒ 、 异构 机 群 也 具 有 良好 的 适 用 性 ， 并 表 现 了 与
管理模块 主要是 对服 务器 、 存储 设备 、 网络设 备等 物理 节点
的管理 ， 其功能分别表现为 自动部署 、 资 源调度 、 资源池 管理
云计算 同样 良好 的性 能 。Ｍａ ｐ—Ｒ ｅ ｄ ｕ ｃ ｅ编 程模 型 的缺 点则 是只适用于 内部松耦合 的编写任务 ， 以及能够 高度并行 化的
Ｒ ｅ ｄ ｕ ｃ ｅ的先 进 思 想 而 开 发 得 到 的 编 程 工 具 。 Ｍａ ｐ—Ｒ ｅ ｄ ｕ ｃ ｅ
资源管理 、 安全管 理和 容灾 支持 。其 中 ， 机制层 的运 维 系统
越强健 ， 自动化程 度越 高 ， 云计算 的运 行就会 越 出色 。资源
编程模 型不仅对 云计算 来 说高度 适用ቤተ መጻሕፍቲ ባይዱ， 而且 对 多核 、 多处 理
心 内部就不 可 能拥 有更 安 全 、 更 环保 、 更 自动 的现 代 管 理。
和 上 面 的用 户层 一样 ， 机 制 层 也 包 含 了 四个 模 块 ： 运维管 理 、
优势 ， 可 以使 云用 户享 受到更 简单 、 易用 、 便 捷 的服务 ， 为此
几乎所有 的 Ｉ Ｔ厂商 当前 采用 的编 程模 型 ， 都 是基 于 Ｍ Ａ Ｐ—
（ Ｇ ｏ ｏ ｇ ｌ ｅ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ谷歌文件 系统 ） ， 主要运 用了分布 式储 存 的方式 ； 另一类是 以 Ｄ Ｙ Ｎ Ａ Ｍ Ｏ为主体 ， 采用 了 Ｐ ２ Ｐ 处 理结
构； 第 三类 则是 Ｈ ａ ｄ ｏ ｏ ｐ团 队开发 的 ＨＤ Ｆ Ｓ （ Ｈ ａ ｄ ｏ ｏ ｐ Ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ， Ｈ ａ ｄ ｏ ｏ ｐ分布 式文 件 系统 ） 。大部 分 Ｉ Ｔ厂商 ， 包括 ｙ ａ ｈ ｏ ｏ 、 Ｉ ｎ ｔ ｅ ｌ 的“ 云” 计 划采 用 的都 是 Ｈ Ｄ Ｆ Ｓ的数据存 储 技术 。迄至 目前为止 ， 该领域开发 的具 有代表性 的云数据 库
体细分 上则有访 问授 权 、 数据加 密 、 数据备 份 、 安全 审计 、 安 全策略 、 物理安全 、 网络 隔离等七 种机 制 。最 后的 容灾 支持
就 主要涉及 了数据 中心级 别和物理节点级别两个层 面。
１ ． ２ ． ３ 检 测 层
数据量 的发展 已不容忽视 ， 目前 的数据库 技术 已经 无法 应对这些蜂拥而 至的数据浪潮 ， 并且 在各个领 域均呈现 严峻 的挑战趋势 。这就是人们 积极 寻找构建新 的云存储 ， 即云数
行汇总 与输 出。 正是 因为 ＭＡ Ｐ—Ｒ ｅ ｄ ｕ ｃ ｅ 存 在着严 格 、 良好 、 实用等 许多
源或者不 同服务 进行 有效统 计 ， 并通 过完 善 、 详细 的报 表形 式 向各个用 户收取准确费用 。
１ ． ２ ． ２ 机制层
要对 云计 算进 行 有效 的 管理 ， 就离 不 开 云管 理 的机 制 层 。如果没有 云管理 机制的有效运维 与整体部署 ， 云计 算 中
源 的运行状况 ， 比如 Ｃ Ｐ Ｕ使用率 、 内存利用 率和 网络带 宽利 用率等 ； 二是虚拟资 源层 ， 主要 任务 是检 测与 监控 虚拟 机 的 Ｃ Ｐ Ｕ使 用率和内存利用 率等 ； 三 是应用 层 ， 主要 任务 是检 测 与记 录每个应用 每次请 求 的响应 时问 （ Ｒ ｅ ｓ ｐ ｏ ｎ ｓ ｅ Ｔ ｉ ｍ ｅ ） 和吞 吐量 （ Ｔ ｈ ｒ ｏ ｕ ｇ ｈ ｐ ｕ ｔ ） ， 以判断相关 应用 是否 可 以满足 预先设 定 的Ｓ Ｌ Ａ （ Ｓ ｅ ｒ ｖ ｉ ｃ ｅ Ｌ ｅ ｖ ｅ ｌ Ａ ｇ ｒ ｅ ｅ ｍ ｅ ｎ ｔ ， 服务级别协议 ） 。
等三个方面 。而安全 管理模块 主要实现 对用户账 号 、 数据以
及服务平 台上的各种 应用 等 Ｉ Ｔ资 源 的全面 保护 ， 并 且 能够 保证云上 的各种基础设施 以及 云中心所 提供 的各 种资源 ， 可 以由用户合法地访 问和使 用 ， 另外更 重要 的还 要使这些 设施
和资源免受犯罪分子 、 恶意程序 的侵 害。安全 管理模块 在具
程序 。所 以改进 编程模 式 ， 使其也 可适 用于 内部紧耦合 的编 写任务 ， 并且能够更 为 高效地 调度 和执 行任 务 ， 就成为 Ｍ ａ ｐ
—
Ｒ ｅ ｄ ｕ ｃ ｅ编程模型在未来 很长一 段时 间 内研 究及 发展 的重
要方 向。 ２ ． ２ 海 量 数 据 分存 技 术
系统主要有 ： Ｈ Ａ Ｄ Ｏ Ｏ Ｐ Ｄ Ｂ、 Ｈ Ｂ Ａ Ｓ Ｅ和 Ｃ Ａ Ｓ Ｓ Ａ Ｎ Ｄ Ｒ Ａ。
当前 ， 数据管理 面临 的挑战 在于 ： 如何 去应 对不 断发 展