物联网数据存储及管理分析

物联网数据存储及

管理

物联网数据存储及管理分析

目录

⏹物联网数据存储现状分析

⏹海量元数据查询需求分析

⏹物联网元数据管理系统设计

⏹面向数据更新的结构设计和分析

⏹面向预计算的元数据组织结构－数据立方体

物联网数据存储现状分析

⏹大规模存储系统的应用越来越广泛，存

储容量也从以前的TB（Terabyte）级上

升到PB（Petabyte）级甚至EB（Exabyte）级。

随着存储系统规模不断增大在大规模

⏹随着存储系统规模不断增大，在大规模

文件系统中，文件的数量高达几十亿个，在这种海量数据中查找和管理文件变得

异常困难

异常困难。

物联网数据存储现状分析

⏹这与互联网环境形成了鲜明的对比：⏹由于搜索引擎技术的发展，在互联网的

环境下查找信息很方便，

环境下查找信息很方便

⏹而用户在存储系统中找到想要的信息比在互联网上查找信息更加困难

在联查信息加

物联网数据存储现状分析

⏹如今存储系统中的数据量的快速增长使得查找和管理文件异常的困难，

⏹为了能够合理的管理这些不断增多的海量数据，

⏹不管是用户还是管理者都需要能够高效的获得文件的属性。

获得件性

物联网数据存储现状分析

⏹元数据查询包含索引文件元数据，例如索引节点和一些扩展属性，能够帮助回索引节点和些扩展属性能够帮助回

答很多复杂查询问题。

⏹利用文件属性，元数据查询允许点查询、范围查询、p查询和聚集查询，

top-k

⏹这些使得复杂的、特定的查询变得简单。

物联网数据存储现状分析

⏹能够帮助管理者回答

⏹“哪些文件在过去的一周里增长很快？”

或者是“哪些应用程序和用户的文件占用大多⏹或者是哪些应用程序和用户的文件占用大多

数存储空间？”

⏹元数据查询也能够帮助用户找到10个最近访问

的报告或最大的虚拟机镜像。

⏹准确地回答这些问题能够极大的提高用户和管

理者管理大规模存储系统中的文件。

物联网数据存储现状分析

⏹现存的系统一般都采用通用型的数据库管理系统（Database Management System，DBMS）来索引元数据，

⏹由于DBMS不能很好的适用于多维元数据的查询，

的查询

询效率非常低

⏹查询效率非常低

物联网数据存储现状分析

⏹这就限制了在大规模存储系统中元数据查询的性能和可扩展性，

所以在大规模存储系统中要想获得快速⏹所以在大规模存储系统中要想获得快速、

高效的元数据查询是很难实现的。

物联网数据存储现状分析

⏹从而使得一些复杂查询非常耗时、效率低下，

⏹不能有效地支持用户或管理者查找到想要的文件，或得到想要的数据。

修过的在

⏹例如，“我最近修改过的PPT在哪？”

或者“我的目录下这个文件有几个副本？

⏹或者我的目录下这个文件有几个副本？

物联网数据存储现状分析

⏹为了解决上述问题，必须提供一种高效的多维

元数据查询系统，而且必须满足以下特点：元数据查询系统且必须满足以下特点

⏹第一，必须能够从存储系统中快速收集到元数

据；

第，查询和更新必须快速而且可扩展；

⏹第二，查询和更新必须快速而且可扩展；

⏹第三，必须能够快速的返回计算结果，比如用

户提交一个复杂查询后并不想长时间在线等待户提交个复杂查询后并不想长时间在线等待计算结果，有时这个过程非常费时

物联网数据存储现状分析

⏹例如

⏹“某公司想统计一个星期内用户产生的数据总有多少

数据总量有多少？”

⏹或者“最近一星期内排前五名的热点文件是哪五个？，

件是哪五个？”，

⏹用户或管理者希望系统能够预先计算好这些结果而不用在线等待，当提交查询这些结果而不用在线等待当提交查询

后能够快速返回结果

物联网数据存储现状分析

⏹第四，资源需求必须很低，现存的很多元数据查询工具需要专门的CPU、内存以及硬盘，这就使得它们非常昂贵而且很难集成到存储系统中；

第五查询的接口必须灵活好用对于⏹第五，查询的接口必须灵活好用，对于

现存的文件系统接口和查询语言，复杂查询非常困难

物联网数据存储现状分析

⏹在海量的数据中，让用户获得想要的信息至关重要，

⏹对存储系统中多维元数据查询的研究将大大提高文件元数据的查询效率，

实复杂查询缩短响应

⏹实现复杂查询，缩短响应时间，

⏹这对于用户或管理者查找和管理文件，以及决策支持都有重要的意义

海量元数据查询需求分析

⏹现在的存储系统都是采用层次化的目录结构来

组织文件的，层次化结构使得文件的访问效率组织文件的层次化结构使得文件的访问效率不高。

⏹访问某个文件必须通过层次型的目录树结构到

达文件的保存位置，

如果不知道文件保存位置就必须遍历整个目⏹如果不知道文件保存位置，就必须遍历整个目

录或使用操作系统的搜索功能，

而操作系统仅能依靠文件名来检索和查找数据⏹而操作系统仅能依靠文件名来检索和查找数据。

海量元数据查询需求分析

⏹在最近的十几年里，新数据类型（多媒体、电子邮件）不断涌现，

这些数据中包含了大量的元数据信息⏹这些数据中包含了大量的元数据信息。

⏹认识到现有文件系统的不足，学术界和工业界都做了大量的工作来研究如何利用丰富的元数据信息来提高文件的管理用丰富的元数据信息来提高文件的管和搜索效率