面向Lustre集群存储的应用日志分析及系统自动优化框架

面向Lustre集群存储的应用日志分析及系统自动优化框架
程稳;李焱;曾令仿;王芳;唐士程;杨力平;冯丹;曾文君
【期刊名称】《计算机工程与科学》
【年(卷),期】2022(44)4
【摘要】在科学计算、大数据处理和人工智能等领域,对相关应用负载进行研究,分析负载I/O模式,揭示应用负载变迁规律等,对指导集群存储系统性能优化十分重要。

当前应用种类繁多并且应用快速迭代更新,复杂的环境使得对应用负载的特性挖掘
充满挑战。

针对以上问题,在生产环境中收集了5个Lustre集群存储共计326天
的应用日志信息,对应用负载的访问、负载特性进行了深入的探究与分析,并对已有
观察进行了验证和补充。

通过对应用日志信息横向、纵向和多维度对比分析与信息挖掘,总结了4个发现,并研究相关发现与以往工作的关联性,结合实际生产环境,给
出了相应的系统优化策略与切实可行的实施方案,为用户、维护人员、上层应用开
发者和多层存储系统设计等人员提供了相关参考与建议。

同时,针对实际应用环境
复杂、系统优化工作耗时费力等问题,设计并实现了一种系统自动优化框架(SAOF),SAOF可为指定应用负载提供资源预留、带宽限定等功能,初步测试表
明,SAOF能根据系统资源与任务负载需求为不同任务提供自动化的QoS保障。

【总页数】11页(P594-604)
【作者】程稳;李焱;曾令仿;王芳;唐士程;杨力平;冯丹;曾文君
【作者单位】华中科技大学武汉光电国家研究中心;深圳国家基因库;之江实验室【正文语种】中文
【中图分类】TP301
【相关文献】
1.集群文件系统lustre的介绍及应用
2.基于Lustre的BES集群存储系统
3.面向对象存储的文件系统Lustre
4.计算机控制系统应用软件的自动开发环境(一)——控制系统方框图的存储方法与拓扑图的优化排序
5.面向天河二号Lustre文件系统优化实践
因版权原因，仅展示原文概要，查看原文内容请购买。