Hadoop的核心技术研究或概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（ ）超 大 规 模 数 据 集 。 Ｔ 级 或 者 Ｐ 级 是 ３ Ｂ Ｂ
图二是 Ｈ Ｓ的结 构示 意 图。例 如 客 户端要 访 ＤＦ 问一 个文 件 ， 户 端从 Ｎ ｍｅ ｄ 客 ａ Ｎｏ ｅ获得 组 成 文 件 的
数据块的位置列表 ，也就是要知道数据块被存储在
哪些 Ｄａ Ｎｏ ｅ ；然 后 ，客户 端 直接 从 Ｄａａ ｄ ｔ ｄ上 ａ ｔ Ｎｏｅ
工
∞
△ ｏ ｏ
ｐ 的核心技术研究或概述
的 核
心
技
术
研 究
或 概 述
ｌ＿０ －。 ｌ｜ ＿毫 ＿Ｉ ０。
强蠹 。 ＝ ： ００ ＼ ０
‘＿ 媾 ＿ｉ ＿： －＿ 誊 ｌ 一 ＼
－ 枣 哆０ 誊 蠹 ≯
≯ ０ 黉 ： ０ 薅 蚤 暑＼ 毒１
Ｈ Ｆ Ｄ Ｓ的一般企业级的文件规模 。Ｈ Ｆ Ｄ Ｓ支持大文 件存储 ， 提高数据传输带宽。单一的 Ｈ Ｆ 实例可 ＤＳ 以支撑数 以千万计的文件 ， 而且可以在一个集群 中
扩展 到几百 个节 点 。
Hale Waihona Puke Baidu
上读取文件数据。Ｎ ｍ Ｎ ｄ 不参与文件的传输。 ａ ｅ ｏｅ
（） ４简单 一致 性模 型 。对 文 件实 行一 次性 写 、 多
ｉ ｓｓ ｍ） ｆｅｙｔ 的分布式文件系统 它 是 Ｈ ｄ ｏ ｌ ｅ ａｏ ｐ的期 间 文件系统
， 。
３ ｇ
一
１ 设计 前提 与 目标 ． １ ＨＤ Ｓ的设 计前 提 与 目标 如下 ： Ｆ
由 Ｄ ｔ ｄ 重 新建 立 。 ａａ ｅ Ｎｏ
Ｄ ｔ ｏｅ ａ Ｎ ｄ 是分布式文件系统的工作者 ， ａ 负责它 们所在的物理节点上 的存储管理。这些节点在客户 端或者 Ｎ ｍｅ ｏｅ ａ Ｎ ｄ 需要时起到存储和检索 的作用 ， 并且把它们存储的块的信息通过块清单的方式周期
ｔ ≤
能 时 把 据 通 大 的器 行 布 十 力 ，数 集 过量 机进 分 是 分
必要的。 文件系统称做分布式文件系统， 它跨网络进
行存储管理。 因为是基于网络 的， 所以会带来很多复
杂的网络编程问题。 这使得分布式文件系统比 起常
规的文件系统要复杂得多。 例如， 其中一个重要的挑
誊 誊 臻 镬 誉 攀 ＼ 嚣 誊 患 ＝
图 分式ａｐ架 一 布 Ｈｏ构图 ｄ ｏ
） ＡＮ一可知 ， 主节点包括 Ｎ ｍ Ｎ ｄ、ｅｏ ｄｒ ａ ｅ ｏ ｅＳｃｎａ ｙ Ｎ ｍ Ｎ ｄ 和 Ｊｂ ａｋｒ ａ ｅ ｏ ｅ ｏｔ ｃｅ 守护进程（ ｒ 即所谓 的主守护
战 是ｏ ｐ有统个 称 为 ＨＤＦＳ ｄ ｏ丢ｓｒｂｕ。 就ａ 件 一 置 误 （时 ｐｄ ｔｉ ｔ Ｈ ｏ 琶 容 错 的ｈ 不 失 据ｄ 文 数 ｅ ｄ ａｏ ｉ
（） ２副本 存放 。通 常情 况下 ， 副本 的存放 策 略很 关 键 ，机架 内节 点之 间 的带宽 比跨机 架 节 点之 间 的 带宽 要大 。 它能影 响 Ｈ Ｓ的可 靠性 和 性 能 。 ＤＦ 图三体
现了复制因子为 ３的情况下， 各数据块的分布情况。
（ ） 跳检测 。集群 中的每个 Ｄ ｔ ｄ 周期 性 ３心 ａａ ｅ Ｎｏ
地向 Ｎ ｍ Ｎ ｄ 发送心跳包和块报告。如果正确接 ａ ｅ ｏｅ 收到心跳包 ， 则证明该 Ｄ ｔ ｏｅ ａ Ｎ ｄ 工作没有异常。 ａ （） ４ 安全模式。启动系统时 ， ａ ｅ ｏ ｅ Ｎ ｍ Ｎ ｄ 首先进 入一个安全模式 。此时不会出现数据块 的写操作。 Ｎ ｍｅ ｏｅ ａ Ｎ ｄ 会收到各个 Ｄ ｔ ｏｅ 有的数据块列 ａＮ ｄ 拥 ａ
性地 回馈 给 Ｎａ Ｎｏ ｅ ｍｅ ｄ 。
（） １硬件错误可能经常出现 ， 其属于常态并非异
常 。ＨＤ Ｓ允许 硬件 出故 障 ，ＤＦ Ｆ Ｈ Ｓ的最 核心设 计 目
标就是错误检测并快速 自动恢复。
（） ２ 流式 数 据访 问 。流式 读 为 主 Ｈ Ｓ上 的应 ＤＦ
用 的主要处理方式 。支持批量处理 ， 高吞吐量是数 据访问的关注重点。
户端联系 Ｎ ｍ Ｎ ｄ ａ ｅ ｏｅ以获取文件的元 数据 ， 而真正 的文件 Ｉ ／ Ｏ操作是直接和 Ｄ ｔ ｏ ｅ ａ Ｎ ｄ 进行交互的。 ａ
Ｎ ｍ Ｎ ｄ 维护文件系统树和这个树中所有的 ａ ｅ ｏｅ 文件和 目录。Ｎ ｍ Ｎ ｄ 也记录着每个文件的每个 ａ ｅ ｏｅ
Ｄａａ ｄ ｔ Ｎｏｅ块所 在 的位 置 ， 而 ， 然 它并 不永 久 性 地 存
用平 台 。
善 的冗余备份和故障恢复机制 ，可以实现将海量文 件存储在集群中， 并保证其可靠性 。 （） １冗余备份 。Ｈ Ｆ Ｄ Ｓ将文件按数据块 （ ｌ ｋ Ｂｏ ） ｃ 存储 ， 默认块大小为 ６ＭＢ 可配置 ）并采取了一 系 ４ （ ，
列 的容错处 理 。
１ ． 系结构 ２体 ＨＤ Ｓ是 一 个 管 理 者 一 工 作 者 结 构 的 体 系 。 Ｆ Ｈ Ｓ集 群 由 一 个 Ｎａ Ｎｏｅ （ 理 者 ）和 一 些 ＤＦ ｍｅ ｄ 管 Ｄ ｔ ｄ（ 者） ａａ ｅ工作 Ｎｏ 组成 。 ｍｅ ｄ 管 理文 件系统 的 Ｎａ Ｎｏ ｅ 元 数 据 ，ａａ ｄ Ｄｔ Ｎｏｅ存 储 实 际 的 数 据 。客 户 端 通 过 Ｎａ Ｎｏｅ和 Ｄａ Ｎｏ ｅ ｍｅ ｄ ｔ ｄ 交互 访 问这 个文 件系统 。 ａ 客
和减少 网络 的拥塞 。
图二 ＨＤ Ｓ 的结 构 示 意 图 Ｆ
ｌ ＿ 障可靠性 的措 施 ３保
Ｈ Ｓ的主要设 计 目标 之 一就 是 在 故 障情 况 下 ＤＦ
也 能保 证数 据存 储 的 可靠性 。ＨＤ Ｓ具 备 了较 为 完 Ｆ
（ ） 构软 硬 件平 台问 的 可移 植 性 。可移 植 性 ６异 使 得 Ｈ Ｓ可 以作 为 适 应 性 很 强 的 大 规模 数据 应 ＤＦ
次读 的访问模 式 ， Ｈ Ｆ 是 Ｄ Ｓ的应用程序常用的处理
方 式 。文件 建 立之后 ， 据写 人 完 成 之后 就 不再 做 数 更 改 。解决 了数据 一致 性 问题 ， 吐 量 问题 也得 以 吞
解决。
（ ） 动计算 比移 动 数据 更 简 单 。移 动数 据 比 ５移 移 动计算 在大 文件上 来 的代价 更 高 。操 作海 量数据 的时候 效 果愈 加 明显 ， 样 可 以提 高 系统 的吞 吐 量 这
图二是 Ｈ Ｓ的结 构示 意 图。例 如 客 户端要 访 ＤＦ 问一 个文 件 ， 户 端从 Ｎ ｍｅ ｄ 客 ａ Ｎｏ ｅ获得 组 成 文 件 的
数据块的位置列表 ，也就是要知道数据块被存储在
哪些 Ｄａ Ｎｏ ｅ ；然 后 ，客户 端 直接 从 Ｄａａ ｄ ｔ ｄ上 ａ ｔ Ｎｏｅ
工
∞
△ ｏ ｏ
ｐ 的核心技术研究或概述
的 核
心
技
术
研 究
或 概 述
ｌ＿０ －。 ｌ｜ ＿毫 ＿Ｉ ０。
强蠹 。 ＝ ： ００ ＼ ０
‘＿ 媾 ＿ｉ ＿： －＿ 誊 ｌ 一 ＼
－ 枣 哆０ 誊 蠹 ≯
≯ ０ 黉 ： ０ 薅 蚤 暑＼ 毒１
Ｈ Ｆ Ｄ Ｓ的一般企业级的文件规模 。Ｈ Ｆ Ｄ Ｓ支持大文 件存储 ， 提高数据传输带宽。单一的 Ｈ Ｆ 实例可 ＤＳ 以支撑数 以千万计的文件 ， 而且可以在一个集群 中
扩展 到几百 个节 点 。
Hale Waihona Puke Baidu
上读取文件数据。Ｎ ｍ Ｎ ｄ 不参与文件的传输。 ａ ｅ ｏｅ
（） ４简单 一致 性模 型 。对 文 件实 行一 次性 写 、 多
ｉ ｓｓ ｍ） ｆｅｙｔ 的分布式文件系统 它 是 Ｈ ｄ ｏ ｌ ｅ ａｏ ｐ的期 间 文件系统
， 。
３ ｇ
一
１ 设计 前提 与 目标 ． １ ＨＤ Ｓ的设 计前 提 与 目标 如下 ： Ｆ
由 Ｄ ｔ ｄ 重 新建 立 。 ａａ ｅ Ｎｏ
Ｄ ｔ ｏｅ ａ Ｎ ｄ 是分布式文件系统的工作者 ， ａ 负责它 们所在的物理节点上 的存储管理。这些节点在客户 端或者 Ｎ ｍｅ ｏｅ ａ Ｎ ｄ 需要时起到存储和检索 的作用 ， 并且把它们存储的块的信息通过块清单的方式周期
ｔ ≤
能 时 把 据 通 大 的器 行 布 十 力 ，数 集 过量 机进 分 是 分
必要的。 文件系统称做分布式文件系统， 它跨网络进
行存储管理。 因为是基于网络 的， 所以会带来很多复
杂的网络编程问题。 这使得分布式文件系统比 起常
规的文件系统要复杂得多。 例如， 其中一个重要的挑
誊 誊 臻 镬 誉 攀 ＼ 嚣 誊 患 ＝
图 分式ａｐ架 一 布 Ｈｏ构图 ｄ ｏ
） ＡＮ一可知 ， 主节点包括 Ｎ ｍ Ｎ ｄ、ｅｏ ｄｒ ａ ｅ ｏ ｅＳｃｎａ ｙ Ｎ ｍ Ｎ ｄ 和 Ｊｂ ａｋｒ ａ ｅ ｏ ｅ ｏｔ ｃｅ 守护进程（ ｒ 即所谓 的主守护
战 是ｏ ｐ有统个 称 为 ＨＤＦＳ ｄ ｏ丢ｓｒｂｕ。 就ａ 件 一 置 误 （时 ｐｄ ｔｉ ｔ Ｈ ｏ 琶 容 错 的ｈ 不 失 据ｄ 文 数 ｅ ｄ ａｏ ｉ
（） ２副本 存放 。通 常情 况下 ， 副本 的存放 策 略很 关 键 ，机架 内节 点之 间 的带宽 比跨机 架 节 点之 间 的 带宽 要大 。 它能影 响 Ｈ Ｓ的可 靠性 和 性 能 。 ＤＦ 图三体
现了复制因子为 ３的情况下， 各数据块的分布情况。
（ ） 跳检测 。集群 中的每个 Ｄ ｔ ｄ 周期 性 ３心 ａａ ｅ Ｎｏ
地向 Ｎ ｍ Ｎ ｄ 发送心跳包和块报告。如果正确接 ａ ｅ ｏｅ 收到心跳包 ， 则证明该 Ｄ ｔ ｏｅ ａ Ｎ ｄ 工作没有异常。 ａ （） ４ 安全模式。启动系统时 ， ａ ｅ ｏ ｅ Ｎ ｍ Ｎ ｄ 首先进 入一个安全模式 。此时不会出现数据块 的写操作。 Ｎ ｍｅ ｏｅ ａ Ｎ ｄ 会收到各个 Ｄ ｔ ｏｅ 有的数据块列 ａＮ ｄ 拥 ａ
性地 回馈 给 Ｎａ Ｎｏ ｅ ｍｅ ｄ 。
（） １硬件错误可能经常出现 ， 其属于常态并非异
常 。ＨＤ Ｓ允许 硬件 出故 障 ，ＤＦ Ｆ Ｈ Ｓ的最 核心设 计 目
标就是错误检测并快速 自动恢复。
（） ２ 流式 数 据访 问 。流式 读 为 主 Ｈ Ｓ上 的应 ＤＦ
用 的主要处理方式 。支持批量处理 ， 高吞吐量是数 据访问的关注重点。
户端联系 Ｎ ｍ Ｎ ｄ ａ ｅ ｏｅ以获取文件的元 数据 ， 而真正 的文件 Ｉ ／ Ｏ操作是直接和 Ｄ ｔ ｏ ｅ ａ Ｎ ｄ 进行交互的。 ａ
Ｎ ｍ Ｎ ｄ 维护文件系统树和这个树中所有的 ａ ｅ ｏｅ 文件和 目录。Ｎ ｍ Ｎ ｄ 也记录着每个文件的每个 ａ ｅ ｏｅ
Ｄａａ ｄ ｔ Ｎｏｅ块所 在 的位 置 ， 而 ， 然 它并 不永 久 性 地 存
用平 台 。
善 的冗余备份和故障恢复机制 ，可以实现将海量文 件存储在集群中， 并保证其可靠性 。 （） １冗余备份 。Ｈ Ｆ Ｄ Ｓ将文件按数据块 （ ｌ ｋ Ｂｏ ） ｃ 存储 ， 默认块大小为 ６ＭＢ 可配置 ）并采取了一 系 ４ （ ，
列 的容错处 理 。
１ ． 系结构 ２体 ＨＤ Ｓ是 一 个 管 理 者 一 工 作 者 结 构 的 体 系 。 Ｆ Ｈ Ｓ集 群 由 一 个 Ｎａ Ｎｏｅ （ 理 者 ）和 一 些 ＤＦ ｍｅ ｄ 管 Ｄ ｔ ｄ（ 者） ａａ ｅ工作 Ｎｏ 组成 。 ｍｅ ｄ 管 理文 件系统 的 Ｎａ Ｎｏ ｅ 元 数 据 ，ａａ ｄ Ｄｔ Ｎｏｅ存 储 实 际 的 数 据 。客 户 端 通 过 Ｎａ Ｎｏｅ和 Ｄａ Ｎｏ ｅ ｍｅ ｄ ｔ ｄ 交互 访 问这 个文 件系统 。 ａ 客
和减少 网络 的拥塞 。
图二 ＨＤ Ｓ 的结 构 示 意 图 Ｆ
ｌ ＿ 障可靠性 的措 施 ３保
Ｈ Ｓ的主要设 计 目标 之 一就 是 在 故 障情 况 下 ＤＦ
也 能保 证数 据存 储 的 可靠性 。ＨＤ Ｓ具 备 了较 为 完 Ｆ
（ ） 构软 硬 件平 台问 的 可移 植 性 。可移 植 性 ６异 使 得 Ｈ Ｓ可 以作 为 适 应 性 很 强 的 大 规模 数据 应 ＤＦ
次读 的访问模 式 ， Ｈ Ｆ 是 Ｄ Ｓ的应用程序常用的处理
方 式 。文件 建 立之后 ， 据写 人 完 成 之后 就 不再 做 数 更 改 。解决 了数据 一致 性 问题 ， 吐 量 问题 也得 以 吞
解决。
（ ） 动计算 比移 动 数据 更 简 单 。移 动数 据 比 ５移 移 动计算 在大 文件上 来 的代价 更 高 。操 作海 量数据 的时候 效 果愈 加 明显 ， 样 可 以提 高 系统 的吞 吐 量 这