基于hadoop的分布式存储平台的搭建与验证毕业设计论文

毕业设计（论文）

中文题目:基于hadoop的分布式存储平台的搭建与验证英文题目: Setuping and verification distributed storage platform based on hadoop

毕业设计（论文）原创性声明和使用授权说明

原创性声明

本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。

作者签名：日期：

指导教师签名：日期：

使用授权说明

本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。

作者签名：日期：

学位论文原创性声明

本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。

作者签名：日期：年月日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

涉密论文按学校规定处理。

作者签名：日期：年月日

导师签名：日期：年月日

任务书

题目：基于hadoop的分布式文件系统的实现与验证

适合专业：信息安全

指导教师（签名）：提交日期： 2013 年 3 月 8 日学院：计算机与信息技术学院专业：信息安全

学生姓名：学号：

毕业设计（论文）基本内容和要求：

本项目的目的是要在单独的一台计算机上实现Hadoop多节点分布式计算系统。

基本原理及基本要求如下：

1.实现一个NameNode

NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode 决定是否将文件映射到 DataNode 上的复制块上。

实际的 I/O 事务并没有经过 NameNode，只有表示 DataNode 和块的文件映射的元数据经过 NameNode。当外部客户机发送请求要求创建文件时，NameNode 会以块标识和该块的第一个副本的 DataNode IP 地址作为响应。这个 NameNode 还会通知其他将要接收该块的副本的 DataNode。

2。实现若干个DataNode

DataNode 也是一个通常在 HDFS 实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。

DataNode 响应来自 HDFS 客户机的读写请求。它们还响应来自NameNode 的创建、删除和复制块的命令。NameNode 依赖来自每个DataNode 的定期心跳（heartbeat）消息。每条消息都包含一个块报告，NameNode 可以根据这个报告验证块映射和其他文件系统元数据。如果

题目：基于hadoop的分布式文件系统的实现与验证

指导教师签名：审核日期：年月日

北京交通大学毕业设计（论文）任务书

中文摘要

Hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的，受到IT业界极大关注，并已被广泛应用。

本毕业设计主要任务是要在单独的一台计算机上实现Hadoop多节点分布式存储平台并研究其安全机制。

论文介绍了课题的相关研究背景知识，并且对hadoop的组成及原理进行了详细地介绍和研究。根据实验的需要，完成了平台的总体设计，并针对其性能进行了验证，还对其安全机制进行了研究。首先介绍在业界获得普遍认同的分布式文件系统的用户需求和架构模型．然后针对HDFS的体系架构进行实现，最后分析了hadoop的安全机制及相应的安全策略．总结了HDFS在云计算领域中应用的优势及存在的安全问题。并对其设计和应用提出建议。

本文所采用的实验平台是在virtualbox上安装的ubuntu10。10，应用的是hadoop跨平台文件系统。系统所有的编写、调试与测试都在此实验平台下进行。

关键词：hadoop；文件系统；安全；云计算

Abstract

Hadoop Distributed File System is based on the principle of Google file system developed and implemented by the great concern of the IT industry, and has been widely used.

The thesis aims to set up Hadoop multi-node distributed storage platform and analyze its security mechanisms to be implemented on a separate computer.

The thesis first introduces the research background knowledge of the subject, and detailed description of the study and the principle of the hadoop. According to the requrements of the experiment, the overall design of the platform, and its performance were verified, further security mechanisms. First the industry generally accepted user requirements and the architecture of the distributed file system model are introduced。Then for HDFS architecture to achieve the Hadoop security mechanisms and the corresponding security policy. In addition,the advantages of HDFS in the field of cloud computing applications and the security problem are summarized. At last thedesign and application recommendations are presented.

The experimental platform installed virtualbox ubuntu10.10 of application is a the hadoop cross-platform file system. All the writing,debugging, and testing are carried out by using in this experiment platform.

Keywords: hadoop; file system; safe; cloud computing

目录

任务书................................................................................................... - 2 -

中文摘要 (1)

Abstract (2)

第一章前言 (4)

1．1 课题研究背景 (4)

1．2 分布式文件系统分类 (4)

1．2．1 GFS系统 (4)

1．2．2 蓝鲸分布式文件系统 (6)

1．2．3 FastDFS (6)

1．3 课题研究目标和本文的主要工作 (7)

1．4 论文组织结构 (7)

第二章 HADOOP 技术架构研究 (8)

2．1 HADOOP 技术背景 (8)

2．2 HDFS(HADOOP 分布式文件系统)机制 (8)

2．2．1 前提和设计目标 (8)

2．2．2 Namenode 和Datanode (9)

2．2．3 文件系统的名字空间 (9)