基于Hadoop平台的搭建及应用研究

Ｎａ ｍｅ ｎ ｏ ｄ ｅ Ｄａ ｔ ａ ｎ ｏ ｄ ｅ
Ｄａ ｔ ａ ｎ ｏ ｄ ｅ
集群 中各 结点需要通过密码进行登陆 ， 这 给访 问数据和传
递信 息 带来 了不 便 。 因此， 需要配置 Ｓ Ｓ Ｈ 无 密码 验 证 的设 置 ， 释 放各 结 点对 文 件 的控 制 权 限 。 （ １ ） 在终端生成密钥。
： 堕 …鱼 一 皇…照
ＵＪｌ ＡＮ Ｃ ＯＭ ＰＵＴＥＲ
Ｄ Ｏ Ｉ ： １ ０ ． １ ６ ７ ０ ７ ￣ ． ｃ ｎ ｋ ｉ ． ｆ ｊ ｐ ｃ ． ２ ０ １ ７ ． ０ ３ ． ０ ７ １
基于 Ｈ ａ ｄ ｏ ｏ ｐ平 台的搭建及应用研究
李 晓佳 ，董延华
（ 吉林 师范大学计算机学院 吉林 四平 １ ３ ６ ０ ０ ０ ）
的硬 件 平 台等 优 化 方 面 具 有 十 分 重 要 的 意 义 。 １ 、 Ｈａ ｄ ｏ ｏ ｐ平 台 结构
ｈ ｏ ｓ ｔ ｎ ａ ｍ ｅ
Ｓ ｌ ａ ｖ ｅ结 点 的设 置 参 照 以上 设 置 即 可 。 （ ２ ） 网络 环 境 具体 文本 内容 配 置 如 下 ：
ｇ ｅ ｄ ｉ ｔ／ ｅ ｔ ｅ ／ ｈ ｏ ｓ ｔ ｓ １ ９ ２ ． １ ６ ８ ． ０ ． １ ０ ０ １ ９ ２ ． １ ６ ８ ． ０ ． １ ０ １ １ ９ ２ ． １ ６ ８ ． ０ ． １ ０ ２ ｍａ ｓ ｔ ｅ ｒ ｓ ｌ ａ ｖ ｅ ｌ ｓ ｌ ａ ｖ ｅ ２
＃查看修改结果
Ｈ ａ ｄ ｏ ｏ ｐ的 实 现 依 靠 分 布 式 文件 系 统 ＨＤ Ｆ Ｓ和 Ｈａ ｄ ｏ ｏ ｐ — Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ两个组件。 ＨＤ Ｆ Ｓ有着较高 的容错性特 点，可 以将 平台设计在廉价的 硬件集群 上， 并且 可 以保证提供高吞吐量 的数据访 问。它采用 主从 结构设计 ，集 群中主要 由名字结 点 Ｎ ａ ｍ ｅ ｎ ｏ ｄ ｅ和数据结点
是实验顺利进行的重要保障。
Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ 是 Ｈ ａ ｄ ｏ ｏ ｐ平 台的最核心组件 ，将数 据集 的大 规模操作划分为 多个数 据块 ， 通过主 结点分发给 网络上 的每个 结点 ， 每个数据 块 即为一个待 处理信 息， 并 自动调度 计算结 点
来 处 理相 应 的 数据 信 息 。 ２ 、 Ｈ ａ ｄ ｏ ｏ ｐ集 群 的搭 建
【 摘 要】 本文针对 Ｈａ ｄ ｏ ｏ ｐ平 台的结构和特 点 ， 介 绍 了 Ｈａ ｄ ｏ ｏ ｐ集群 的搭 建过 程 ， 采用 Ｖ ｍｗａ ｒ ｅ 虚拟化 方法通过合 理 配置建立虚拟硬件 资源支持上 的 Ｌ ｉ ｎ ｕ ｘ虚拟 结点集群 ， 通过 结点网络 的配置实现 各结点间的无密码通信 ， 并在该平 台
上 实现 数 据 的采 集应 用 ， 从 而验 证 了 Ｈａ ｄ ｏ ｏ ｐ平 台 的可 行 性 。
【 关键词 】 Ｈ ａ ｄ ｏ ｏ ｐ集群 ； 虚拟化 ； 无 密码通信
引 言 Ｈ Ｏ Ｓ Ｔ Ｎ ＡＭ Ｅ ＝ ｍ ａ ｓ ｔ ｅ ｒ ＃主机 名
Ｈ ａ ｄ ｏ ｏ ｐ是一个 能够对 大量数据进 行分布式处 理的软件框
１ 所示。
表 １ 结点参数设置
保存退 出。
操作系统 结点用途
Ｃｅ ｎ ｔ ＯＳ ６ Ｃｅ ｎ ｔ ＯＳ ６
Ｃｅ ｎ ｔ ＯＳ ６
主机名
Ｍａ ｓ ｔ ｅ ｒ Ｓ ｌ ａ ｖ ｅ １
Ｓ ｌ ａ ｖ ｅ ２
Ｉ Ｐ 地址
１ ９２ ． １ ６８ ． ０． １ ０ ０ １ ９２ ． １ ６ ８ ． ０． １ ０ １
ｅ ｔ ｈ ０ ， 配置 Ｉ Ｐ Ａ Ｄ Ｄ Ｒ参数， 并 将 ＨＷＡＤ Ｄ Ｒ修改成原 ｍ ａ ｃ 地 址 并
ｔ ｈ Ｏ相 关 行 注释 。 由于 Ｈ ａ ｄ ｏ ｏ ｐ采取主从结 点的架 构， 集群 的搭建过程 中， 配 ｅ
置一 台主 结点 Ｍａ ｓ ｔ ｅ ｒ ， 两 台从 结点 Ｓ ｌ ａ ｖ ｅ ， 具体的 部署情况如表
１ ９２ ． １ ６ ８ ． ０． １ ０ ２
子 网掩码
２ ５ ５ ． ２ ５ ５ ． ２ ５ ５ ． ０ ２ ５ ５． ２ ５ ５． ２ ５ ５． ０
２ ５ ５ ． ２ ５ ５ ． ２ ５Βιβλιοθήκη Baidu５ ． ０
（ ３ ） 重 启 网络 服 务 ， ／ ｓ ｂ ｉ ｒ ｄ ｓ ｅ ｒ ｖ ｉ ｃ ｅ ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ ｔ ａ ｒ ｔ 。 ２ ＿ ３ Ｓ Ｓ Ｈ 无 密 码 验 证 配 置
Ｄ ａ ｔ ａ ｎ ｏ ｄ ｅ 来构成 。
按 照 以上 方 法 设 置 后 ， 确 保 在 局 域 网 范 围 内使 用 主 机 名 能 够互 ｐ ｉ ｎ ｇ成功 即可 。
２ ． ２配置过程 中的常见问题 正常的情况下 Ｌ ｉ ｎ ｕ ｘ 在识别 网卡时第一张会是 ｅ ｔ ｈ ０ ，第二 张才是 ｅ ｔ ｈ ｌ 。但使用虚拟机克隆技术后 网卡 的信 息就会改变 ， 新克 隆出来 的虚拟 主机 网卡名字可能变为 ｅ ｔ ｈ ｌ ， 解 决这个 问题
ｈ ｏ ｓ ｔ ｎ ａ ｍ ｅ ｍａ ｓ ｔ ｅ ｒ
＃修 改 生 效命 令
架， 采用并行 的方式 ， 以一种可靠 、 高效、 可伸缩 的方式进行数
据处理 。利用 Ｈ ａ ｄ ｏ ｏ ｐ分布式技术解决多个终端 间的数据存储 与传输 问题 ， 对有效处 理空间开销、 节 约计 算时间、 适用于低廉
（ １ ） 在 文本编辑器 中修改／ ｅ ｔ ｃ ／ ｕ ｄ ｅ ｖ ／ ｒ ｕ ｌ ｅ ｓ ． ｄ ／ ７ ０ 一 ｐ ｅ ｒ ｓ ｉ ｓ ｔ ｅ ｎ ｔ — ｎ ｅ ｔ ． ｒ ｕ ｌ ｅ ｓ 文件 ，将 Ｐ Ｃ Ｉ ｄ ｅ ｖ ｉ ｃ ｅ中的 ｎ ａ ｍｅ 更改为 ｅ ｔ ｈ Ｏ ，并将 原有的 （ ２ ）修 改网卡配置 文件 ， ｅ ｔ ｃ ／ ｓ ｙ ｓ ｃ ｏ ｎ ｆ ｉ ｇ ／ ｎ ｅ ｔ ｗ ｏ ｒ ｋ — ｓ ｅ ｒ ｉ ｐ ｔ ｓ ／ ｉ ｆ ｃ ｆ ｇ —