大数据基础存储系统技术研究

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

பைடு நூலகம்
ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３ — ６２９ｘ．２０１７．０８．０１４
ＲｅｓｅａｒｃｈｏｎＴｅｃｈｎｏｌｏｇｙｏｆＢａｓｉｃＬａｒｇｅＤａｔａＳｔｏｒａｇｅＳｙｓｔｅｍ
第２７卷
第８期
计算机技术与发展
Ｃ０ＭＰＵＴＥＲＴＥＣＨＮＯＬ０ＧＹＡＮＤＤＥＶＥＬＯＰＭＥＮＴ
２０１７年８月
Ｖｏ１．２７Ｎｏ．８Ａｕｇ．２０１７
大数据基础存储系统技术研究
王瑞通，李炜春
式基础存储系统内部的存储策略、管理策略、架构思想等关键技术点的对比和分析，对当前流行的分布式存储系统在设计思想、创新性技术上进行了追根溯源。对比传统数据存储与分布式数据存储的技术发展和应用实例，揭示了数据存储追求更大、更快、更安全的发展潮流，重点研究了大数据基础存储实例中基于文件、键值对和表格这三种分布式存储方式。正如网络技术的发展到ＳＤＮ（ＳｏｆｔｗａｒｅＤｅｆｉｎｅｄＮｅｔｗｏｒｋ）一样，存储方式也在发生深刻变化一软件定义存储。通过对当前大数据主流基础存储系统技术的发展和应用实例所进行的对比研究，为分布式存储系统，特别是基础存储系统的开发，提供了一些在系统设计上的参考，也为在从事大数据方面有业务需求的工作人员在选择底层存储策略时提供了借鉴。关键词：大数据；存储架构；数据管理；基础数据存储系统；分布式存储系统中图分类号：ＴＰ３０２文献标识码：Ａ文章编号：１６７３－６２９Ｘ（２０１７）０８－００６６－０７
ＷＡＮＧＲｕｉ —ｔｏｎｇ．ＬＩＷｅｉ —ｃｈｕｎ
（１．ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｉｔｏｎｓ，Ｎａｎｊｉｎｇ２１０００３，Ｃｈｉｎａ；２．ＣｏｌｌｅｇｅｏｆＭａｔｈｅｍａｔｉｃｓｎｄａＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＦｕｚｈｏｕＵｉｖｎｅｒｓｉｔｙ，Ｆｕｚｈｏｕ３５０１１６，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｗｉｔｈｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｂｉｇｄａｔａｔｅｃｈｎｏｌｏｇｙａｎｄｔｈｅｅｎｈｎｃａｅｄｒｅｑｕｉｅｍｅｒｎｔｓｏｎｓｔｏｒａｇｅａｎｄｎａａｌｙｓｉｓｏｆｔｈｅｍａｓｓｄａｔａ，ｍｏｒｅｎｄａｍｏｒｅｍａｔｕｒｅｄｉｓｔｒｉｂｕｔｅｄｄａａｔｓｔｏｒａｇｅｓｙｓｔｅｍｓｈａｖｅｂｅｅｎｐｒｏｖｉｄｄ．ｅＡｃｃｏｒｄｉｎｇｔＯｃｏｍｐａｒｉｓｏｎｎｄａｎａａｌｙｓｉｓｏｎｈｅｔｋｅｙｔｅｃｈｎｉｃａｌｐｏｉｎｔｓｌｉｋｅｓｔｏｒａｇｅｓｔｒａｔｅｇｙ，ｍａｎａｇｅｍｅｎｔｓｔｒａｔｅｇｉｅｓａｎｄａｒｃｈｉｔｅｃｕｒｔｅｉｎｔｈｅｆｏｕｎｄａｉｔｏｎｓｙｓｔｅｍｏｆｖａｒｉｏｕｓｄａｔａｄｉｓｔｒｉｂｕｔｅｄｓｔｏｒａｇｅｓｙｓｔｅｍ，ｔｈｅｅｘｉｓｔｉｎｇｐｒｅｖａｉｌｉｎｇｄｉｓｔｒｉｂｕｔｄｅｓｔｏｒａｇｅｓｙｓｔｅｍｉｓｇｏｎｅｂａｃｋｔＯｈｅｔｒｏｏｔｓｆｒｏｍｄｅｓｉｇｎｐｈｉｌｏｓｏｐｈｙｎｄａｉｎｎｏｖａｔｉｖｅｔｃｈｅｎｏｌｏｇｉｅｓ１．Ｃｏｍｐａｒｉｓｏｎｏｎｄｅｖｅｌｏｐｍｅｎｔａｎｄａｐｐｌｉｃａｔｉｏｎｂｅｔｗｅｅｎｒａｔｄｉｉｏｔｎａｌｎｄａｄｉｓｔｒｉｂｕｔｅｄｄａａｔｓｔｏｒａｇｅ，ｉｔｉｓｒｅｖｅｌｅａｄｈａｔｔｄａａｔｓｔｏａｇｒｅｐｕｒｓｕｅｓｈｅｔｌａｒｇｅｒ，ｈｅｔｆａｓｔｅｒｎｄａｈｅｔｓａｆｅｒ．Ｔｈｅｔｈｒｅｅｉｓｄｔｒｉｂｕｔｄｅｓｔｏｒａｇｅｍｅｔｈｏｄｓａｌｅｅｍｐｈｓｉａｚｄｅｉｎｃｌｕｄｉｎｇｉｆｌｅ —ｂａｓｄ，ｅｋｅｙ —ｖｌｕａｅ — ｂｓｅａｄｎｄａｆｏｒｍ— ｂａｓｄｅｉｎｉｎｓｔａｎｃｅｓｏｆｂａｓｉｃ
（１．南京邮电大学计算机学院，江苏南京２１０００３；２．福州大学数学与计算机科学学院，福建福州３５０１１６）
摘要：随着大数据技术的发展和对海量数据存储、分析需求的提高，成熟的分布式存储系统越来越多。通过对不同分布