基于HDFS的云存储系统小文件优化方案
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
基于HDFS的云存储系统小文件优化方案
邹振宇;郑烇;王嵩;杨坚
【期刊名称】《计算机工程》
【年(卷),期】2016(042)003
【摘要】Hadoop分布式文件系统(HDFS)具有高容错、可伸缩、廉价存储等优良特性,在大数据存储和分析场景中得到广泛应用.但对于海量小文件存储,HDFS存在高内存消耗、高延迟访问等缺陷.为此,结合“合肥城市云”系统“一次上传,多次下载”的特性,提出一种基于小文件属性的优化方案.根据文件之间的相关性设定优先级,对小于5 MB的文件按优先级高低合并后再上传,并生成索引记录.结合随机化思想,采用两级缓存策略,将预提取数据缓存在内存池中,提高访问效率.同时,系统定期查询访问日志,根据用户访问习惯,动态调整预提取因子的大小.实验结果表明,该方案能有效提高小文件访问效率,降低名字节点和数据节点的内存开销,在有海量小文件存取的情况下提升系统的交互性.
【总页数】8页(P34-40,46)
【作者】邹振宇;郑烇;王嵩;杨坚
【作者单位】中国科学技术大学自动化系,合肥230027;中国科学技术大学自动化系,合肥230027;中国科学技术大学自动化系,合肥230027;中国科学技术大学自动化系,合肥230027
【正文语种】中文
【中图分类】TP391
【相关文献】
1.云存储环境下基于HDFS的海量小文件装箱算法 [J], 王伟;徐文倩;赵少锋;
2.SQL-DFS:一种基于HDFS的海量小文件存储系统 [J], 马志强;杨双涛;闫瑞;张泽广
3.云存储环境下基于HDFS的海量小文件装箱算法 [J], 王伟;徐文倩;赵少锋
4.一种基于HDFS小文件存储优化方案 [J], 张晓丽;滑亚慧
5.分布式文件系统HDFS处理小文件的优化方案 [J], 杨彬
因版权原因,仅展示原文概要,查看原文内容请购买。