【CN109933570B】一种元数据管理方法、系统及介质【专利】

合集下载

元数据管理方法、系统及存储介质[发明专利]

元数据管理方法、系统及存储介质[发明专利]

专利名称:元数据管理方法、系统及存储介质专利类型:发明专利
发明人:周维
申请号:CN202010575423.1
申请日:20200622
公开号:CN111858584A
公开日:
20201030
专利内容由知识产权出版社提供
摘要:本申请涉及数据处理,具体公开了一种元数据管理方法、系统及存储介质,所述方法包括:元数据管理平台在接收到表基础信息和表字段信息后,分别对所述表基础信息和表字段信息进行检测;在表基础信息和表字段信息均通过检测后,元数据管理平台将表基础信息和表字段信息存储在数据库中;数据平台生产环境基于数据库中存储的表基础信息及所述表字段信息,生成建表脚本;在检测到数据平台生产环境给所述元数据管理平台放开建表权限时,数据平台生产环境基于所述建表脚本进行测试环境建表及生产环境建表。

打通元数据管理测试环境或生产环境之间的通道,不但保障元数据的质量,而且能够直接利用元数据,有效提高测试环境或生产环境建表质量。

申请人:中国平安财产保险股份有限公司
地址:518000 广东省深圳市福田区益田路5033号平安金融中心12、13、38、39、40层
国籍:CN
代理机构:深圳市力道知识产权代理事务所(普通合伙)
代理人:张传义
更多信息请下载全文后查看。

【CN109933570A】一种元数据管理方法、系统及介质【专利】

【CN109933570A】一种元数据管理方法、系统及介质【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910198998.3(22)申请日 2019.03.15(71)申请人 中山大学地址 510275 广东省广州市海珠区新港西路135号(72)发明人 卢宇彤 陈志广 肖侬 刘芳 (74)专利代理机构 湖南兆弘专利事务所(普通合伙) 43008代理人 谭武艺(51)Int.Cl.G06F 16/16(2019.01)G06F 16/14(2019.01)(54)发明名称一种元数据管理方法、系统及介质(57)摘要本发明公开了一种元数据管理方法、系统及介质,本发明将文件系统中所有的目录和文件采用树形结构进行组织,且针对单个目录下的所有目录和子文件作为一个整体、按照创建的顺序依次保存在底层存储设备的连续地址空间上;元数据更新时,采用日志形式对一个目录下的所有子目录/子文件的更新操作按顺序追加在该目录的尾部,使得每次元数据操作仅引发一个IO请求;进行元数据检索时,在一个父目录下解析一个子目录首先要读取该父目录对应的连续地址空间上的所有数据,然后采用多种加速方法搜索匹配。

本发明能够有效解决大目录问题,目录路径解析具有更低的延迟,能够减少元数据访问过程中的IO请求数,能够对文件系统的元数据访问实施加速。

权利要求书2页 说明书9页 附图2页CN 109933570 A 2019.06.25C N 109933570A权 利 要 求 书1/2页CN 109933570 A1.一种元数据管理方法,其特征在于,进行元数据更新的实施步骤包括:1)将文件系统中所有的目录和文件采用树形结构进行组织,且针对单个目录下的所有目录和子文件作为一个整体、按照创建的顺序依次保存在底层存储设备的连续地址空间上;2)进行文件系统元数据更新时,采用日志形式对一个目录下的所有子目录/子文件实施更新操作,所有的元数据更新按照发生的顺序追加在该目录对应的连续地址空间的尾部,使得每次元数据操作仅引发一个IO请求。

一种元数据管理引擎系统及实现方法[发明专利]

一种元数据管理引擎系统及实现方法[发明专利]

专利名称:一种元数据管理引擎系统及实现方法
专利类型:发明专利
发明人:吕军震,胥洪锋,张建广,于国方,赵凯,李长松,石岱辉,武佳
申请号:CN201610058499.0
申请日:20160128
公开号:CN106250382A
公开日:
20161221
专利内容由知识产权出版社提供
摘要:本发明涉及一种元数据管理引擎系统及实现方法,该系统基于卫生信息数据集表,实现临床数据向医疗卫生共享标准数据结构的转换,顶层为用户UI,使用Win Form技术实现,以Windows 窗口对话框和菜单方式响应用户操作;中间层为管理模块,集成来自内部和外部不同结构的数据资源进行整合,实现医疗卫生数据资源共享;底层为通用模块,实现对用户UI和管理模块的管理和控制;通过元数据管理引擎系统,实现了基于卫生信息数据集表的元数据管理,满足医院和区域数据中心对业务元数据和技术元数据的管理;实现了医疗信息能够在全国范围内任何提供医疗服务的场所随时随地获得。

申请人:新博卓畅技术(北京)有限公司
地址:100176 北京市大兴区经济技术开发区宏达北路12号B座一区217室
国籍:CN
代理机构:北京驰纳智财知识产权代理事务所(普通合伙)
代理人:孙海波
更多信息请下载全文后查看。

一种元数据管理方法、系统及设备和存储介质[发明专利]

一种元数据管理方法、系统及设备和存储介质[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201810688052.0(22)申请日 2018.06.28(71)申请人 郑州云海信息技术有限公司地址 450018 河南省郑州市郑东新区心怡路278号16层1601室(72)发明人 刚亚州 (74)专利代理机构 北京集佳知识产权代理有限公司 11227代理人 罗满(51)Int.Cl.G06F 17/30(2006.01)(54)发明名称一种元数据管理方法、系统及设备和存储介质(57)摘要本申请公开了一种元数据管理方法、系统及设备和计算机可读存储介质,该方法包括:获取元数据的文件名和父目录的唯一标识,并计算所述文件名和所述唯一标识的散列结果,将所述散列结果作为所述元数据的全局标识;根据所述全局标识和第一映射函数得到所述元数据的逻辑分区标识;其中,所述第一映射函数表示散列结果与逻辑分区的映射关系;根据所述逻辑分区标识和所述第二映射函数得到所述元数据的MDS标识;其中,所述第二映射函数表示逻辑分区与MDS的映射关系,且为根据所有MDS的处理能力和当前负载能力建立的函数。

本申请公开的元数据管理方法,在元数据管理中,减少移动数据造成的开销。

权利要求书2页 说明书10页 附图3页CN 108920613 A 2018.11.30C N 108920613A1.一种元数据管理方法,其特征在于,包括:获取元数据的文件名和父目录的唯一标识,并计算所述文件名和所述唯一标识的散列结果,将所述散列结果作为所述元数据的全局标识;根据所述全局标识和第一映射函数得到所述元数据的逻辑分区标识;其中,所述第一映射函数表示散列结果与逻辑分区的映射关系;根据所述逻辑分区标识和所述第二映射函数得到所述元数据的MDS标识;其中,所述第二映射函数表示逻辑分区与MDS的映射关系,且为根据所有MDS的处理能力和当前负载能力建立的函数。

一种数据管理系统、方法及存储介质[发明专利]

一种数据管理系统、方法及存储介质[发明专利]

专利名称:一种数据管理系统、方法及存储介质专利类型:发明专利
发明人:石磊,毛兵,向永红,解辉,夏聪聪,马燕斐申请号:CN202010962091.2
申请日:20200914
公开号:CN111949638A
公开日:
20201117
专利内容由知识产权出版社提供
摘要:本发明实施例公开了一种数据管理系统、方法及存储介质,该数据管理系统包括:数据采集设备,用于采集至少一种类型的数据,服务器,与所述数据采集设备连接,用于接收至少一种类型的数据,并按类型将数据分别存储至数据库中,请求终端,与服务器通信连接,用于向服务器发送数据获取请求,相应的,服务器还用以基于所述数据获取请求,从与所述数据获取请求对应的数据库中,获取目标数据,所述请求终端,还用于接收目标数据,并基于所述目标数据对应的预设展示形式,将所述目标数据展示于终端界面上。

本发明实施例提供的数据管理系统、方法及存储介质,实现了采用统一的系统获取不同管理范围的数据,提高了数据获取的效率,并有效地管理能源资源。

申请人:上海昱章电气成套设备有限公司
地址:201612 上海市松江区新桥镇金都西路800号第七幢、第八幢
国籍:CN
代理机构:北京品源专利代理有限公司
代理人:孟金喆
更多信息请下载全文后查看。

元数据管理方法及管理系统[发明专利]

元数据管理方法及管理系统[发明专利]

(10)申请公布号 (43)申请公布日 2010.10.13*CN101859303A*(21)申请号 200910131570.3(22)申请日 2009.04.07G06F 17/30(2006.01)(71)申请人中国移动通信集团湖北有限公司地址430023 湖北省武汉市常青三路66号(72)发明人赵静(74)专利代理机构北京中誉威圣知识产权代理有限公司 11279代理人彭晓玲丛芳(54)发明名称元数据管理方法及管理系统(57)摘要本发明公开了一种元数据管理方法及管理系统。

其中元数据管理方法包括:A 、提取根据元数据库中已有的元数据进行开发而形成的代码;B 、解析所述代码的映射关系信息,生成新的元数据;C 、将所述新的元数据存储到元数据库中。

本发明的元数据管理方法和管理系统,通过在编写开发数据处理程序的同时对开发过程中代码的解析,提取元数据,可以使得元数据信息维护与实际生产数据能够及时同步,内容信息一致,元数据手工维护工作量减少;同时提高了元数据与生产结合提供应用效果与价值;并且有利于需求开发过程中的质量管理、流程监控和维护管理。

(51)Int.Cl.(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 1 页 说明书 5 页 附图 3 页CN 101859303 AC N 101859303 A1.一种元数据管理方法,其特征在于,包括:A、提取根据元数据库中已有的元数据进行开发而形成的代码;B、解析所述代码的映射关系信息,生成新的元数据;C、将所述新的元数据存储到元数据库中。

2.根据权利要求1所述的元数据管理方法,其特征在于,所述步骤A具体包括:所述代码为SQL语句。

3.根据权利要求2所述的元数据管理方法,其特征在于,所述步骤B具体包括:解析所述SQL语句的表级映射关系信息;根据所述表级映射关系信息建立源表和目标表之间的映射关系,生成相应的新的元数据。

4.根据权利要求3所述的元数据管理方法,其特征在于,所述步骤B还包括:解析所述SQL语句的字段映射关系信息;根据所述字段映射关系信息建立字段之间的映射关系,生成相应的新的元数据。

一种数据管理方法及系统[发明专利]

一种数据管理方法及系统[发明专利]

专利名称:一种数据管理方法及系统专利类型:发明专利
发明人:刘静
申请号:CN201611174356.2
申请日:20161219
公开号:CN106845655A
公开日:
20170613
专利内容由知识产权出版社提供
摘要:本发明公开一种数据管理方法及系统,该方法包括:智能招车系统接收目标用户通过第一手机发送来的入网请求;其中,入网请求中的验证参数包括目标用户所使用车辆的车牌号信息、第一手机的第一SIM卡号码以及唯一标示目标用户的用户标识;接收到待处理的业务请求时,获取业务请求中携带的用户标识;如果确定业务请求为目标用户发送来的,则获取发送业务请求的第二手机的第二SIM卡号码,如果第二SIM卡号码与第一SIM卡号码不相同,则拒绝业务请求。

本发明提供的方法和系统解决现有技术中智能招车系统存储大量的垃圾数据,并且运行速度降低的问题。

申请人:北京东方车云信息技术有限公司
地址:100080 北京市海淀区北四环西路66号中国技术交易大厦B19
国籍:CN
代理机构:杭州智羚知识产权代理有限公司
代理人:张勇
更多信息请下载全文后查看。

一种元数据管理服务器、数据存储系统及数据存储方法[发明专利]

一种元数据管理服务器、数据存储系统及数据存储方法[发明专利]

专利名称:一种元数据管理服务器、数据存储系统及数据存储方法
专利类型:发明专利
发明人:刘枫,杨俊
申请号:CN201810730529.7
申请日:20180705
公开号:CN109062500A
公开日:
20181221
专利内容由知识产权出版社提供
摘要:本发明实施例提供的一种元数据管理服务器、数据存储系统及数据存储方法,其中,元数据管理服务器将通过统一存储网关接口接收到的数据进行分级归档,发送分级归档后的数据至所述数据服务器,并向网关单元发送所述数据的索引地址;所述数据的索引地址与数据服务器存储所述数据的存储区域地址对应。

本发明实施例中用户无需查找多种分布式存储系统的访问接口及数据服务器的存储区域,就可以利用网关单元存储的数据的索引地址,通过统一存储网关接口从数据服务器获得数据,节省了获取数据的时间。

申请人:北京奇艺世纪科技有限公司
地址:100080 北京市海淀区海淀北一街2号鸿城拓展大厦10、11层
国籍:CN
代理机构:北京柏杉松知识产权代理事务所(普通合伙)
更多信息请下载全文后查看。

一种元数据的处理方法、装置及计算机可读存储介质[发明专利]

一种元数据的处理方法、装置及计算机可读存储介质[发明专利]

专利名称:一种元数据的处理方法、装置及计算机可读存储介质
专利类型:发明专利
发明人:韩银俊,王波,屠要峰,高洪
申请号:CN201910605081.0
申请日:20190705
公开号:CN112181899A
公开日:
20210105
专利内容由知识产权出版社提供
摘要:本文公开了一种元数据的处理方法、装置及计算机可读存储介质,包括:管理服务器获取待处理的元数据;其中,待处理的元数据包括:目录结构和文件属性;根据用于存储文件属性的第一节点的负载情况,按照同一目录的文件属性存储在同一个第一节点的规则在至少一个第一节点上分布存储所述目录结构中目录的文件属性。

本申请实现了同一目录的文件在同一个节点上的存储,因此保证了后续分布式系统对于元数据的处理效率。

申请人:中兴通讯股份有限公司
地址:518057 广东省深圳市南山区高新技术产业园科技南路中兴通讯大厦法务部
国籍:CN
代理机构:北京安信方达知识产权代理有限公司
更多信息请下载全文后查看。

基于元数据的数据治理方法、装置、设备及存储介质[发明专利]

基于元数据的数据治理方法、装置、设备及存储介质[发明专利]

专利名称:基于元数据的数据治理方法、装置、设备及存储介质
专利类型:发明专利
发明人:沈卫
申请号:CN202210134240.5
申请日:20220214
公开号:CN114510470A
公开日:
20220517
专利内容由知识产权出版社提供
摘要:本申请涉及人工智能技术领域,揭示了一种基于元数据的数据治理方法、装置、设备及存储介质,其中方法包括:从目标治理指标群中获取一个治理指标组作为目标治理指标组,目标治理指标群是治理指标配置数据中的任一个治理指标群,每个治理指标群对应同一个数据源,治理指标组中的治理指标之间具有依赖关系;根据目标治理指标组的指标取值配置数据,从预设的数据源元数据库中获取数据,得到待计算的数据;根据被依赖的治理指标优先调度执行的方法和待计算的数据,对目标治理指标组中的每个治理指标进行目标指标值计算;将各个目标指标值更新到指标值库。

避免了元数据的血缘依赖关系很容易错乱,有利于治理指标的计算结果和数据源元数据的准确对应。

申请人:平安普惠企业管理有限公司
地址:518000 广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)
国籍:CN
更多信息请下载全文后查看。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

(19)中华人民共和国国家知识产权局
(12)发明专利
(10)授权公告号 (45)授权公告日 (21)申请号 201910198998.3(22)申请日 2019.03.15
(65)同一申请的已公布的文献号
申请公布号 CN 109933570 A (43)申请公布日 2019.06.25
(73)专利权人 中山大学
地址 510275 广东省广州市海珠区新港西
路135号(72)发明人 卢宇彤 陈志广 肖侬 刘芳 (74)专利代理机构 湖南兆弘专利事务所(普通
合伙) 43008
代理人 谭武艺(51)Int.Cl.
G06F 16/16(2019.01)G06F 16/14(2019.01)
(56)对比文件
CN 107066505 A ,2017.08.18,全文.CN 102024020 A ,2011.04.20,全文.CN 106547703 A ,2017.03.29,全文.CN 106293511 A ,2017.01.04,全文.US 2003023811 A1,2003.01.30,全文.US 2015261466 A1,2015.09.17,全文.审查员 张媛媛
(54)发明名称
一种元数据管理方法、
系统及介质(57)摘要
本发明公开了一种元数据管理方法、系统及介质,本发明将文件系统中所有的目录和文件采用树形结构进行组织,且针对单个目录下的所有目录和子文件作为一个整体、按照创建的顺序依次保存在底层存储设备的连续地址空间上;元数据更新时,采用日志形式对一个目录下的所有子目录/子文件的更新操作按顺序追加在该目录的尾部,使得每次元数据操作仅引发一个IO请求;进行元数据检索时,在一个父目录下解析一个子目录首先要读取该父目录对应的连续地址空间上的所有数据,然后采用多种加速方法搜索匹配。

本发明能够有效解决大目录问题,目录路径解析具有更低的延迟,能够减少元数据访问过程中的IO请求数,能够对文件系统的元数据访问实
施加速。

权利要求书2页 说明书9页 附图2页
CN 109933570 B 2020.02.07
C N 109933570
B
权 利 要 求 书1/2页CN 109933570 B
1.一种元数据管理方法,其特征在于,进行元数据更新的实施步骤包括:
1)将文件系统中所有的目录和文件采用树形结构进行组织,且针对单个目录下的所有目录和子文件作为一个整体、按照创建的顺序依次保存在底层存储设备的连续地址空间上;
2)进行文件系统元数据更新时,采用日志形式对一个目录下的所有子目录/子文件实施更新操作,所有的元数据更新按照发生的顺序追加在该目录对应的连续地址空间的尾部,使得每次元数据操作仅引发一个IO请求;
且进行元数据检索的实施步骤包括:
S1)将文件系统中所有的目录和文件采用树形结构进行组织,且针对单个目录下的所有目录和子文件作为一个整体、按照创建的顺序依次保存在底层存储设备的连续地址空间上;
S2)进行文件系统元数据检索时,从目录路径的第一个分量依次逐层解析到最后一个分量,最终得到欲访问的目录或文件;且在一个父目录下解析一个子目录时,首先要读取该父目录对应的连续地址空间上的所有数据,然后在读取的数据上搜索目标子目录或子文件,直到匹配成功;
所述在一个父目录下解析一个子目录的详细步骤包括:
S2.1)收到应用程序发出的元数据检索请求,所述元数据检索请求为需要从一个父目录中检索目标目录或文件是否存在;
S2.2)通过一次读操作将父目录下所有子目录/子文件的相关信息获取到内存中,跳转步骤S2.3);
S2.3)判定待解析的父目录大小,若父目录内子目录/子文件总数小于预设的第一阈值TH1,跳转步骤S2.4);若父目录内子目录/子文件总数在预设的第一阈值TH1与预设的第二阈值TH2之间,则跳转步骤S2.5);若父目录内子目录/子文件总数大于预设的第二阈值TH2时,跳转步骤S2.6);
S2.4)采用多线程技术在父目录中检索目标子目录或子文件,跳转步骤S2.7);
S2.5)采用向量指令在父目录中检索目标子目录或子文件,跳转步骤S2.7);
S2.6)采用众核加速技术在父目录中检索目标子目录或子文件,跳转步骤S2.7);
S2.7)若在父目录中查找到目标子目录或子文件则检索成功;否则检索失败,向上层应用返回检索结果。

2.根据权利要求1所述的元数据管理方法,其特征在于,步骤2)的详细步骤包括:
2.1)文件系统接收到应用程序发出的元数据更新操作;
2.2)判定元数据更新操作的类型,若为创建新的目录或文件则跳转步骤2.3);若为更新已有的目录或文件则跳转步骤2.4);若为删除已有的目录或文件则跳转步骤2.5);
2.3)生成文件/目录创建日志,跳转步骤2.6);
2.4)生成目录/文件更新日志,跳转步骤2.6);
2.5)生成目录/文件删除日志,跳转步骤2.6);
2.6)将生成的日志追加到连续地址空间的尾部,跳转步骤2.7);
2.7)将连续地址空间尾部持久化到存储设备上。

3.根据权利要求1所述的元数据管理方法,其特征在于,所述在读取的数据上搜索目标
2。

相关文档
最新文档