基于Hadoop的云存储系统的设计与研究

合集下载

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ｔｅｒｔｅｃｈｎｏｌｏｇｙ，ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅｓｙｓｔｅｍｈａｄｔｈｅｃｈａｒａｃｔｅｒｉｓ Βιβλιοθήκη Baidu ｉｃｓｏｆｌｏｗｃｏｓｔ，ｈｉｇｈｅｉｃｆｉｅｎｃｙ，ｅａｓｙ
Ｖｏ１．２９Ｎｏ．５Ｏｃｔ．２０１４
文章编号：２０９５— ４７６Ｘ（２０１４）０５— ００６０— ０４
基于Ｈａｄｏｏｐ的云存储系统的设计与研究
刘姝
（中原工学院计算机学院，河南郑州４５０００７）
提高了集群中网络带宽和磁盘的利用率，同时ＭａｐＲｅｄｕｃｅ编程框架的设计使系统拥有更强的计算
能力．该系统可通过ＬｉｎｕＸ集群技术搭建Ｈａｄｏｏｐ平台，进行测试和分析．应用实践表明，该系统具有
ｎｏｌｏｇｉｅｓｏｆＨａｄｏｏｐｉｎｃｌｕｄｉｎｇＨａｄｏｏｐｄｉｓｔｒｉｂｕｔｅｄｉｌｆｅｓｙｓｔｅｍａｎｄｐｒｏｇｒａｍｍｉｎｇｍｏｄｅｌＭａｐＲｅｄｕｃｅ．Ｔｈｅｓｙｓ－ｔｅｎｒｏｐｔｉｍｉｚｅｄｔｈｅｃｏｍｐｕｔｅｒｓｔｏｒａｇｅｍｏｄｅ，ａｎｄｉｎｃｒｅａｓｅｄｔｈｅｅｉｃｆｉｅｎｃｙｏｆｔｈｅｎｅｔｗｏｒｋｂａｎｄｗｉｄｔｈａｎｄｄｉｓｋｉｎｔｈｅｃｌｕｓｔｅｒ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｔｈｅＭａｐＲｅｄｕｃｅｐｒｏｇｒａｍｍｉｎｇｒａｆｍｅｗｏｒｋｄｅｓｉｇｎｍａｄｅｔｈｅｓｙｓｔｅｍｈａｖｅｈｉｇｈｅｒｐｅｆｏｒｒｍａｎｃｅｏｆｃｏｍｐｕｔｉｎｇａｂｉｌｉｔｙ．ＴｈｒｏｕｇｈｔｅｓｔｉｎｇａｎｄａｎａｌｙｓｉｓｏｆＨａｄｏｏｐｐｌａｔｆｏｍｒｕｓｉｎｇＬｉｎｕｘｃｌｕｓ —
低成本、高效率、易扩展和安全可靠等特点，能稳定高效地满足海量数据的处理要求．
关键词：云存储；Ｈａｄｏｏｐ；分布式并行计算；ＨＤＦＳ；ＭａｐＲｅｄｕｃｅ
中图分类号：ＴＰ３１１文献标志码：ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．２０９５— ４７６Ｘ．２０１４．０５．０１４
第２９卷第５期２０１４年１０月
郑州轻工业学院学报（自然科学版）
ＪＯＵＲＮＡＬＯＦＺＨＥＮＧＺＨＯＵＵＮＩＶＥＲＳＩＴＹＯＦＬＩＧＨＴＩＮＤＵＳＴＲＹ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ）
Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｏｆｍａｓｓｄａｔａｓｔｏｒａｇｅａｎｄｐｒｏｃｅｓｓｉｎｇ，ａｃｌｏｕｄｓｔｏｒａｇｅｓｙｓｔｅｍｂａｓｅｄｏｎＨａ－ｄｏｏｐｗａｓｄｅｓｉｇｎｅｄ．Ｔｈｅｓｙｓｔｅｍｅｓｔａｂｌｉｓｈｅｄａｃｌｏｕｄｓｔｏｒａｇｅｍｏｄｅｌｏｎｔｈｅｂａｓｉｓｏｆｓｔｕｄｙｉｎｇｔｈｅｔｗｏｃｏｒｅｔｅｃｈ —
摘要：针对海量数据的存储和处理，设计了一个基于Ｈａｄｏｏｐ的云存储系统．该系统在分布式文件系
统和ＭａｐＲｅｄｕｃｅ编程模型２个核心技术的基础上建立基于Ｈａｄｏｏｐ的云存储模型，优化了存储方式，
ＤｅｓｉｇｎａｎｄｒｅｓｅａｒｃｈｏｆｃｌｏｕｄｓｔｏｒａｇｅｓｙｓｔｅｍｂａｓｅｄｏｎＨａｄｏｏｐ
ＵＵＳｈｕ
（Ｃｏｌｌｅｇｅ０厂ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＺｈｏｎｇｙｕａｎＵｎｉｖｅｒｓｉｔｙＴｅｃｈｎｏｌｏｇｙ，Ｚｈｅｎｇｚｈｏｕ４５０００７，Ｃｈｉｎａ）