【CN109871413A】一种基于kettle的供数方法系统终端设备及介质【专利】

合集下载

【CN109995874A】一种客户端业务处理方法、装置、设备及可读存储介质【专利】

【CN109995874A】一种客户端业务处理方法、装置、设备及可读存储介质【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910286449.1(22)申请日 2019.04.10(71)申请人 苏州浪潮智能科技有限公司地址 215100 江苏省苏州市吴中区吴中经济开发区郭巷街道官浦路1号9幢(72)发明人 王小梅 (74)专利代理机构 北京集佳知识产权代理有限公司 11227代理人 罗满(51)Int.Cl.H04L 29/08(2006.01)(54)发明名称一种客户端业务处理方法、装置、设备及可读存储介质(57)摘要本发明公开了一种客户端业务处理方法,包括:当接收到对指定类型客户端的业务处理任务时,确定执行客户端类型;获取当前接入系统的客户端的类型信息,得到接入客户端类型;将执行客户端类型与接入客户端类型进行匹配比对,确定当前接入系统的客户端中的匹配客户端;向匹配客户端发布业务处理任务。

该方法通过对接入的客户端类型进行区分识别,可以实现单独针对某种类型的客户端进行数据操作,从而提升了多类型客户端下的业务处理性能。

本发明还提供了一种客户端业务处理装置、设备及一种可读存储介质,具有上述有益效果。

权利要求书2页 说明书7页 附图2页CN 109995874 A 2019.07.09C N 109995874A权 利 要 求 书1/2页CN 109995874 A1.一种客户端业务处理方法,其特征在于,包括:当接收到对指定类型客户端的业务处理任务时,确定执行客户端类型;获取当前接入系统的客户端的类型信息,得到接入客户端类型;将所述执行客户端类型与所述接入客户端类型进行匹配比对,确定当前接入系统的客户端中的匹配客户端;向所述匹配客户端发布业务处理任务。

2.如权利要求1所述的客户端业务处理方法,其特征在于,所述获取当前接入系统的客户端的类型信息,包括:提取当前接入系统的客户端的name字段信息,根据所述name字段信息确定客户端类型信息。

kettle源码解读

kettle源码解读

kettle源码解读一、Kettle简介Kettle,又称作Kitchen,是一款开源的数据抽取、转换和加载(ETL)工具。

它被广泛应用于数据仓库和业务智能领域,旨在帮助用户高效地将数据从源系统迁移到目标系统,并进行数据清洗、转换和集成。

Kettle具有易于使用、功能强大、灵活性高等特点,深受业界喜爱。

二、Kettle工作原理Kettle的工作原理可以概括为以下几个步骤:1.连接源系统:Kettle支持多种数据源,如关系型数据库、文件、Web服务等。

用户可以通过连接字符串或使用内置的连接器来连接源系统。

2.数据抽取:Kettle的数据抽取是基于任务(Job)进行的。

一个任务包含多个步骤,每个步骤负责完成特定数据操作。

通过编写或使用内置的抽取脚本,可以从源系统中获取所需的数据。

3.数据转换:Kettle提供了丰富的转换功能,如过滤、投影、聚合、拆分、合并等。

用户可以利用这些功能对数据进行清洗、处理和整合,以满足目标系统的需求。

4.数据加载:将转换后的数据加载到目标系统中。

Kettle支持多种目标数据源,如关系型数据库、文件、Web服务等。

5.调度与监控:Kettle支持任务的定时执行、并行执行等调度方式。

此外,还提供了详细的监控功能,以便用户实时了解任务运行状况。

三、Kettle核心组件1.转储(Dump):用于将数据从源系统抽取到临时文件,以便进行后续处理。

2.步骤(Step):任务中的基本操作单元,可以实现数据过滤、转换、加载等功能。

3.连接(Connection):用于连接源系统和目标系统。

4.变量(Variable):任务中用于存储和传递数据的变量。

5.参数(Parameter):用于配置任务运行时的参数,如数据库用户名、密码等。

四、Kettle应用场景1.数据迁移:将现有系统的数据迁移到新系统中,如数据库迁移、数据仓库迁移等。

2.数据集成:将多个数据源(如ERP、CRM、OA等)的数据集成到一个统一的数据仓库中,以便进行后续的报表、分析等操作。

【CN109871338A】一种数据存储方法、装置及计算机设备【专利】

【CN109871338A】一种数据存储方法、装置及计算机设备【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910199823.4(22)申请日 2019.03.15(71)申请人 北京思特奇信息技术股份有限公司地址 100089 北京市海淀区中关村南大街6号中电信息大厦16层(72)发明人 吕志鹏 (74)专利代理机构 北京轻创知识产权代理有限公司 11212代理人 杨立(51)Int.Cl.G06F 12/0897(2016.01)(54)发明名称一种数据存储方法、装置及计算机设备(57)摘要本发明提供了一种数据存储方法、装置及计算机设备,所述方法包括:在每个cache下对应的多个sqlID,在每个sqlID对应的一个或多个第一表,将不同cache下具有相同表名的多个第一表和相同sqlID的内容合并,得到一个或多个合并后的第二表,其中,每个所述第二表包含多个cache所对应的多个sqlID,每个所述第二表对应多个表名相同的第一表,任意两个所述第二表之间没有同名的第一表;解析当前操作的sql指令对应的sqlID、以及该指令对应的cache;判断当前操作的sqlID以及cache所在的合并后的第二表,根据所述当前操作的sql操作,对第二表中涉及的多个cache的数据进行删除或重新从数据库中调取数据,写入缓存。

权利要求书1页 说明书5页 附图2页CN 109871338 A 2019.06.11C N 109871338A权 利 要 求 书1/1页CN 109871338 A1.一种数据存储方法,用于实现对数据的二级缓存,其特征在于,包括:在每个cache下对应的多个sqlID,在每个sqlID对应的一个或多个第一表,将不同cache下具有相同表名的多个第一表和相同sqlID的内容合并,得到一个或多个合并后的第二表,其中,每个所述第二表包含多个cache所对应的多个sqlID,每个所述第二表对应多个表名相同的第一表,任意两个所述第二表之间没有同名的第一表;解析当前操作的sql指令对应的sqlID、以及该指令对应的cache;判断当前操作的sqlID以及cache所在的合并后的第二表,根据所述当前操作的sql操作,对第二表中涉及的多个cache的数据进行删除或重新从数据库中调取数据,写入缓存。

KETTLE使用说明及带输入参数JAVA调用

KETTLE使用说明及带输入参数JAVA调用

ETL工具——kettle使用说明1简介ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),Kettle是一款国外开源的etl工具,纯java编写,数据抽取高效稳定。

2运行环境:OS:Window、Linux、Unix均可Jdk1.4以上3开始使用:Kettle可以在/网站下载。

下载kettle压缩包,因kettle为绿色软件,解压缩到任意本地路径即可。

(本文着重介绍kettle3.2.0稳定版)Spoon是一个图形用户界面,在不同平台上运行Spoon需要不同的脚本:Spoon.bat:在windows平台运行Spoon(或直接点击Kettle.exe)。

Spoon.sh:在Linux、Apple OSX、Solaris平台运行Spoon。

登陆一般选择没有资源库:Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。

4转换(Transformation)新建一个转换kettle默认transformation文件保存后后缀名为ktr新建数据库连接(此链接也可在用到的节点处配置)填写数据源配置内容点击Test测试连接成功:核心对象切换到核心对象,菜单列出的是Transformation中可以调用的环节列表,可以通过鼠标拖动的方式对环节进行添加。

并且可通过shift+鼠标拖动,实现环节之间的连接。

常用节点介绍(红色节点后面逐一演示)类别环节名称功能说明输入文本文件输入从本地文本文件输入数据表输入从数据库表中输入数据获取系统信息读取系统信息输入数据输出文本文件输出将处理结果输出到文本文件表输出将处理结果输出到数据库表插入/更新根据处理结果对数据库表机型插入更新,如果数据库中不存在相关记录则插入,否则为更新。

会根据查询条件中字段进行判断更新根据处理结果对数据库进行更新,若需要更新的数据在数据库表中无记录,则会报错停止删除根据处理结果对数据库记录进行删除,若需要删除的数据在数据库表中无记录,则会报错停止查询数据库查询根据设定的查询条件,对目标表进行查询,返回需要的结果字段流查询将目标表读取到内存,通过查询条件对内存中数据集进行查询调用DB存储过程调用数据库存储过程转换字段选择选择需要的字段,过滤掉不要的字段,也可做数据库字段对应过滤记录根据条件对记录进行分类排序记录将数据根据某以条件,进行排序空操作无操作增加常量增加需要的常量字段脚本Modified Java扩展功能,编写JavaScript脚本,对数据进行相应处理Script Value映射映射(子转换)数据映射作业Sat Variables设置环境变量Get Variables获取环境变量表输入双击拖动到工作面板上的表输入结点,选择(或者新建)所需要的数据库连接,点击获取SQL查询语句或自行编辑SQL。

ETL利器Kettle实战应用解析系列一【Kettle使用介绍】

ETL利器Kettle实战应用解析系列一【Kettle使用介绍】

ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法,跟大家分享碰撞交流一下!在使用中我感觉这个工具真的很强大,支持图形化的GUI 设计界面,然后可以以工作流的形式流转,在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现,其中最主要的我们通过熟练的应用它,减少了非常多的研发工作量,提高了我们的工作效率,不过对于我这个.net研发者来说唯一的遗憾就是这个工具是Java编写的。

1、Kettle概念Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。

Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。

Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。

Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。

2、下载和部署žKettle可以在/网站下载žž下载kettle压缩包,因kettle为绿色软件,解压缩到任意本地路径即可3、Kettle环境配置(有Java环境的直接忽略此章节)3、1 安装java JDK1)首先到官网上下载对应JDK包,JDK1.5或以上版本就行;2)安装JDK;3)配置环境变量,附配置方式:安装完成后,还要对它进行相关的配置才可以使用,先来设置一些环境变量,对于Java来说,最需要设置的环境变量是系统路径变量path。

【CN109582481A】调用结果的传输方法装置设备及存储介质【专利】

【CN109582481A】调用结果的传输方法装置设备及存储介质【专利】
12 .根据权利要求9所述的装置,其特征在于,所述转换模块包括: 读取单元,用于读取所述键值对值域中的调用结果数据; 模板获取单元,用于获取所述实体类对应的实体类的模板; 添加单元,用于将所述调用结果数据添加至所述实体类的模板中,形成实体对象。 13 .根据权利要求9所述的装置,其特征在于,还包括:存储模块,用于如果未获取到对 应的实体类,则将调用结果直接以键值对的形式存储。 14 .一种调用结果的传输装置,所述装置配置于服务器,其特征在于,包括: 第二接收模块,用于接收客户端发送的实体类调用请求; 生成模块,用于生成与所述调用请求对应的调用结果; 封装模块 ,用于将所述 调 用结果以 键值对的 形式 进行封装 ,并 依据所述 调 用结果为所 述键值设置键标识; 发送模块,用于将封装后的调用结果发送至客户端。 15 .根据权利要求14所述的装置,其特征在于,所述封装模块,具体用于将所述调用结 果的数据,填入所述键值对的值域;根据所述调用结果的内容确定键标识,并填入所述键值 对的键域。 16 .根据权利要求14所述的装置,其特征在于,所述封装模块,具体用于将所述调用结 果的数据,填入所述键值对的值域;从所述调用请求中获取与实体类匹配的标识,作为键标 识填入所述键值对的键域中。 17 .一种设备,其特征在于,所述设备包括: 一个或多个处理器; 存储器,用于存储一个或多个程序, 当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实 现如权利要求1-5或权利要求6-8中任一所述的调用结果的传输方法。 18 .一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理 器执行时用于执行如权利要求1-5或权利要求6-8中任一所述的调用结果的传输方法。
2
CN 109582481 A
权 利 要 求 书

一种基于kettle的大数据比对方法及装置[发明专利]

一种基于kettle的大数据比对方法及装置[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201810415516.0(22)申请日 2018.05.03(71)申请人 山东汇贸电子口岸有限公司地址 250100 山东省济南市高新区浪潮路1036号浪潮科技园S06楼(72)发明人 刘远见 (74)专利代理机构 济南信达专利事务所有限公司 37100代理人 李世喆(51)Int.Cl.G06F 17/30(2006.01)(54)发明名称一种基于kettle的大数据比对方法及装置(57)摘要本发明提供了一种基于kettle的大数据比对方法及装置,该方法包括:获取数据比对请求;从预设的源数据库中获取与所述数据比对请求相对应的至少一个源数据记录,并将所述至少一个源数据记录存储至预设内存中;从预设的目标数据库中获取与所述数据比对请求相对应的至少一个目标数据记录,并将所述至少一个目标数据记录存储至所述预设内存中;在所述预设内存中对各个所述源数据记录以及各个所述目标数据记录进行比对。

本方案能提高了数据比对效率。

权利要求书2页 说明书7页 附图3页CN 108629002 A 2018.10.09C N 108629002A1.一种基于kettle的大数据比对方法,其特征在于,包括:获取数据比对请求;从预设的源数据库中获取与所述数据比对请求相对应的至少一个源数据记录,并将所述至少一个源数据记录存储至预设内存中;从预设的目标数据库中获取与所述数据比对请求相对应的至少一个目标数据记录,并将所述至少一个目标数据记录存储至所述预设内存中;在所述预设内存中对各个所述源数据记录以及各个所述目标数据记录进行比对。

2.根据权利要求1所述的方法,其特征在于,在所述在所述预设内存中对各个所述源数据记录以及各个所述目标数据记录进行比对之后,进一步包括:根据所述预设内存中的比对结果,对所述目标数据库中的所述至少一个目标数据记录进行处理。

一种数据录入方法、装置、系统及存储介质[发明专利]

一种数据录入方法、装置、系统及存储介质[发明专利]

专利名称:一种数据录入方法、装置、系统及存储介质专利类型:发明专利
发明人:杜连秋
申请号:CN201910860764.0
申请日:20190911
公开号:CN110795715A
公开日:
20200214
专利内容由知识产权出版社提供
摘要:本申请实施例属于数据处理技术领域,一种数据录入方法、装置、系统及存储介质。

其中,一种数据录入方法,包括:用户终端获取数据录入请求后,将第一数据信息和第二数据信息发送给第一服务器,从第一数据信息中提取出用户的身份信息,根据用户的身份信息从监管服务器中的资料库提取用户的人脸特征信息;第一服务器从第二数据信息中识别出用户的第一人脸特征信息,并将用户的第一人脸特征信息与用户的人脸特征信息进行匹配,则将匹配的消息发送给用户终端。

能够对整个操作流程进行实时监管,确保进行账户操作的用户是用户本人,有效解决非法用户冒用他人的身份信息进行账户操作的问题。

申请人:中国平安财产保险股份有限公司
地址:518000 广东省深圳市福田区益田路5033号平安金融中心12、13、38、39、40层
国籍:CN
代理机构:深圳市世联合知识产权代理有限公司
代理人:汪琳琳
更多信息请下载全文后查看。

一种基于KETTLE的数据断点续传系统及方法[发明专利]

一种基于KETTLE的数据断点续传系统及方法[发明专利]

专利名称:一种基于KETTLE的数据断点续传系统及方法专利类型:发明专利
发明人:李建州,简嘹亮,杨兴海,杨兴荣,冯江华
申请号:CN202111621617.1
申请日:20211228
公开号:CN114238285A
公开日:
20220325
专利内容由知识产权出版社提供
摘要:本发明公开了一种基于KETTLE的数据断点续传系统及方法,包括任务设计模块、应用主机、数据管理模块以及邮件通知模块,应用主机以及各个模块之间通过内部数据通信连接。

通过在任务设计模块中设计KETTLE任务和转换,发布到应用主机的KETTLE资源库中,并在数据管理模块上配置迁移规则和任务调度规则,数据管理模块根据规则发出指令控制应用主机执行已设计的KETTLE任务,通过邮件通知模块收集KETTLE任务执行结果,并将结果以邮件形式发送至调度用户邮箱,达到离线监控的目的;本发明可实现基于配置的大批量数据跨库迁移断点续传,基于通用的规则系统和调度模型,实现数据定时迁移的同时,能够恢复前一次传输的结果,并监控整个迁移过程。

申请人:世纪恒通科技股份有限公司
地址:550016 贵州省贵阳市贵阳国家高新技术产业开发区中关村贵阳科技园核心区南园科教街188号
国籍:CN
代理机构:贵州启辰知识产权代理有限公司
代理人:邵红波
更多信息请下载全文后查看。

【CN109840160A】一种基于数据迁移的异常供数检测方法装置及终端设备【专利】

【CN109840160A】一种基于数据迁移的异常供数检测方法装置及终端设备【专利】
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910003213 .2
(22)申请日 2019 .01 .03
(71)申请人 深圳壹账通智能科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室
(72)发明人 周之浩
(74)专利代理机构 深圳市隆天联鼎知识产权代 理有限公司 44232
3
CN 109840160 AΒιβλιοθήκη 说 明 书1/9 页
一种基于数据迁移的异常供数检测方法、装置及终端设备
技术领域 [0001] 本发明涉及云存储技术领域,特别涉及一种基于数据迁移的异常供数检测方法、 装置及终端设备。
2
CN 109840160 A
权 利 要 求 书
2/2 页
当接收到所述供数请求时,开启与所述供数请求对应的供数进程; 所述将所述待同步目标表关联的供数进程作为异常供数进程包括: 在与所述供数请求对应的供数进程中查找所述待同步目标表关联的供数进程; 将查找到的所述待同步目标表关联的供数进程作为异常供数进程。 8 .一种异常供数检测装置,其特征在于,包括: 扫描单元 ,用于通过 扫描源表 和每一所述源表对应的 hive表 ,判断 所述源表中是否存 在变更表 ;其中 ,所述变更表的 表结构和所述变更表对应的所述hive表所指示的 表结构不 一致; 确定单元 ,用于当存在所述变更表时 ,将所述变更表对应的目标表作为待同步目标表 ; 以及将所述待同步目标表关联的供数进程作为异常供数进程; 控制单元,用于对所述异常供数进程执行挂起操作; 发送单元,用于向目标账号发送用于指示所述目标账号所有者更新所述待同步目标表 的提示信息。 9 .一种计算机可读存储介质,其特征在于,其存储计算机程序,所述计算机程序使得计 算机执行权利要求1~7任一项所述的基于数据迁移的异常供数检测方法。 10 .一种终端设备,其特征在于,所述终端设备包括: 处理器; 存储器 ,所述存储器上存储有计算机可读指令 ,所述计算机可读指令被所述处理器执 行时,实现如权利要求1~7任一项所述的基于数据迁移的异常供数检测方法。

【CN109814983A】任务批处理方法装置计算机设备和存储介质【专利】

【CN109814983A】任务批处理方法装置计算机设备和存储介质【专利】
代理人 王宁
(51)Int .Cl . G06F 9/46(2006 .01)
(10)申请公布号 CN 109814983 A (43)申请公布日 2019.05.28
( 54 )发明 名称 任务批处理方法、装置、计算机设备和存储
介质 ( 57 )摘要
本申请涉及一种任务批处理方法、装置、计 算机设备和存储介质,根据cron表达式触发的任 务启动指令,根据所述任务启动指令通过spring 的注解对properties文件进行解析 ,直接通过 properties文件进行配置数据的 配置 ,获取job 框架的配置数据 ,获取cron表达式中的执行频 率;根据所述执行频率及所述配置数据执行相应 的 ja r包 ,直至完成任务批处理任务 ,将xml的 配 置全部转移到properties配置中 ,实现无xml的 配置化功能 ,解决使用xml文件进行配置更改及 维护不方便的问题。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910001839 .X
(22)申请日 2019 .01 .02
(71)申请人 深圳壹账通智能科技有限公司 地址 518052 广东省深圳市前海深港合作 区前湾一路1号A栋201室பைடு நூலகம்
(72)发明人 王卓敏
(74)专利代理机构 广州华进联合专利商标代理 有限公司 44224
2
CN 109814983 A
权 利 要 求 书
2/2 页
指令触发模块,用于根据cron表达式触发的任务启动指令; 配置数据获取模块,用于根据所述任务启动指令通过spring的注解对properties文件 进行解析,获取job框架的配置数据; 执行频率获取模块,用于获取cron表达式中的执行频率; 任务批处理模块 ,用于根据所述执行频率及所述配置数据进行任务批处理 ,直至完成 任务批处理。 9 .一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在 于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。 10 .一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

【CN109874284A】一种大数据中心服务器用设备【专利】

【CN109874284A】一种大数据中心服务器用设备【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910314450.0(22)申请日 2019.04.18(71)申请人 吴克足地址 325800 浙江省温州市苍南县灵溪镇横阳一街21号(72)发明人 吴克足 (51)Int.Cl.H05K 7/20(2006.01)(54)发明名称一种大数据中心服务器用设备(57)摘要本发明提供一种大数据中心服务器用设备该大数据中心服务器用设备,包括柜体,所述柜体的四周开设有通风槽,所述柜体内部的底端固定安装有放置架,所述放置架的形状为圆柱形,所述横向的隔板将放置架分为三层,所述竖向的隔板将放置架分为四个均匀的不同区域,所述放置架上固定安装有隔板,所述隔板上放置有数据服务器,所述放置架的两端固定安装有风冷装置,所述柜体的顶端固定安装有鼓风框。

该大数据中心服务器用设备,使风机能够更加充分的将数据服务器运行时产生的热量带走,且能够具有选择性的将机房内的冷空气吹向产热较高的区域,使降温更加具有针对性,更加高效。

权利要求书1页 说明书4页 附图3页CN 109874284 A 2019.06.11C N 109874284A1.一种大数据中心服务器用设备,包括柜体(1),其特征在于:所述柜体(1)的四周开设有通风槽(2),所述柜体(1)内部的底端固定安装有放置架(3),所述放置架(3)上固定安装有隔板(4),所述隔板(4)上放置有数据服务器(5),所述放置架(3)的两端固定安装有风冷装置(6),所述柜体(1)的顶端固定安装有鼓风框(7),所述鼓风框(7)的内部固定安装有电机(8),所述电机(8)的转轴上固定安装有第二扇叶(9),所述鼓风框(7)与柜体(1)内部之间开设有通风孔(10),所述放置架(3)的内部设置有圆柱孔(11)。

2.根据权利要求1所述的一种大数据中心服务器用设备,其特征在于:所述通风槽(2)从内向外的方向为斜向下的,且所述通风槽(2)在柜体(1)外侧的顶部固定安装有挡板。

一种基于Kettle的数据核查方法

一种基于Kettle的数据核查方法

一种基于Kettle的数据核查方法
董智纯;廖振松;张守懿;刘东川
【期刊名称】《信息通信》
【年(卷),期】2017(000)004
【摘要】早期的家宽业务分析,主要依托传统网管或拨测系统开展工作,用以监视业务质量,这种分析方法,无论是在质量评估还是用户的真实体验方面,都存在一些不足.只有从客户源头获得第一手信令数据,后台进行精细化分析,才能更好地找准用户投诉的根本原因.基于此,文章提出一种基于Kettle的数据核查方法,实现了大批量数据的分析处理,完成了从文件扫描到话单关联一系列的完整数据处理流程.
【总页数】2页(P258-259)
【作者】董智纯;廖振松;张守懿;刘东川
【作者单位】中国移动通信集团湖北有限公司,湖北武汉430023;中国移动通信集团湖北有限公司,湖北武汉430023;中国移动通信集团湖北有限公司,湖北武汉430023;北京神州泰岳系统集成有限公司,北京100000
【正文语种】中文
【中图分类】TP311.13
【相关文献】
1.一种基于Kettle的无损增量数据同步方法研究 [J], 赵亚伟
2.一种实现抽取数据的kettle插件开发 [J], 吴莉珊;鲍远松;李亚贝;黄明;沈春锋
3.“多规多源”数据与不动产大数据应用之间的桥梁——基于KETTLE的动态数据
泵技术 [J], 王志权
4.一种基于Kettle的无损增量数据同步方法研究 [J], 赵亚伟
5.基于Kettle数据传输与同步方法的研究 [J], 郭德卿;徐国强;李娜
因版权原因,仅展示原文概要,查看原文内容请购买。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
代理人 刘抗美
(51)Int .Cl . G06F 16/28(2019 .01) G06F 16/2458(2019 .01) G06F 16/27(2019 .01)
(10)申请公布号 CN 109871413 A (43)申请公布日 2019.06.11
( 54 )发明 名称 一种基于kettle的供数方法、系统、终端设
当所述比 对结果指示所述hive元数 据表中 记录的 所述业务方源表的 结 构信息 与所述 业务方源表的结构信息不匹配时,确定所述业务方源表中存在所述变更源表。
8 .一种基于kettle的供数系统,其特征在于,包括: 生成单元 ,用于当检测到第三方 用户的 供数请求时 ,通过解析所述供数请求生成针对 所述供数请求的建表文件,所述建表文件中包含用于所述第三方用户创建数据表的建表语 句; 检测单元,用于检测是否接收到所述第三方用户发送的终止建表指令; 控制单元 ,用于当所述检测单元接收 到所述终止建表指令时 ,将目标业务方数据导入 所述第三方用户创建的数据表中;其中,所述目标业务方数据通过kettle工具抽取获得,所 述第三方用户所创建的数据表依据所述建表文件创建获得。 9 .一种计算机可读存储介质,其特征在于,其存储计算机程序,所述计算机程序使得计 算机执行权利要求1~7任一项所述的基于kettle的供数方法。 10 .一种终端设备,其特征在于,所述终端设备包括: 处理器; 存储器 ,所述存储器上存储有计算机可读指令 ,所述计算机可读指令被所述处理器执 行时,实现如权利要求1~7任一项所述的基于kettle的供数方法。
权利要求书2页 说明书8页 附图3页
CN 109871413 A
CN 109871413 A
权 利 要 求 书
1/2 页
1 .一种基于kettle的供数方法,其特征在于,所述方法包括: 当检测到第三方 用户的供数请求时 ,通过解析所述供数请求生成针对所述供数请求的 建表文件,所述建表文件中包含用于所述第三方用户创建数据表的建表语句; 检测是否接收到所述第三方用户发送的终止建表指令; 当接收到所述终止建表指令时 ,将目标业务方数据导入所述第三方 用户创建的数据表 中 ;其中 ,所述目标业务方数据通过kettle工具抽取获得 ,所述第三方 用户所创建的数据表 依据所述建表文件创建获得。 2 .根据权利要求1所述的方法,其特征在于,所述当检测到第三方用户的供数请求时, 通过解析所述供数请求生成针对所述供数请求的建表文件,包括: 当检测到第三方用户的供数请求时 ,通过解析所述供数请求生成kettle任务 ,以使 kettle工具根据所述kettle任务的指示对业务方源表进行数据抽取操作得到目标业务方 数据; 通过hive工具建立与所述目标业务方数据对应的hive表; 依据所述hive表生成建表文件。 3 .根据权利要求2所述的方法,其特征在于,所述通过hive工具建立与所述目标业务方 数据对应的hive表之后,所述方法还包括: 通过扫描所述hive表对应的hive元数据表和所述业务方源表,判断所述业务方源表中 是否存在变更源表;其中,所述hive元数据表中存储有所述业务方源表的表结构信息; 当判断出所述业务方源表中不存在所述变更源表时 ,执行所述的 依据所述hive表生成 建表文件。 4 .根据权利要求3所述的方法,其特征在于,当判断出所述业务方源表中存在所述变更 源表时,所述方法还包括: 发送用于提示更新所述hive表的提示信息至目标账号。 5 .根据权利要求4所述的方法,其特征在于,所述发送用于提示更新所述hive表的提示 信息至目标账号之后,所述方法还包括: 依据所述hive元数据表和所述变更源表获得变更信息; 将所述变更信息发送给所述目标账号,以使所述目标账号的所有者参考所述变更信息 对所述hive表执行更表操作; 当检测到所述目标账号的所有者针对所述hive表的更表操作终止时 ,依据更新后的 hive表生成所述建表文件。 6 .根据权利要求1所述的方法,其特征在于,所述当检测到第三方用户的供数请求时, 通过解析所述供数请求生成针对所述供数请求的建表文件之后,所述方法还包括: 设置所述建表文件的下载方式为预设下载方式; 当检测到所述第三方 用户输入的针对所述建表文件的下载请求时 ,判断所述第三方 用 户启用的下载方式与所述预设下载方式是否匹配; 当所述第三方 用户启用的下载方式与所述预设下载方式匹配时 ,响应所述下载请求以 将所述建表文件传输至所述第三方用户。 7 .根据权利要求3~5任一项所述的方法,其特征在于,所述通过扫描所述hive表对应 的hive元数据表和所述业务方源表,判断所述业务方源表中是否存在变更源表,包括:
备及介质 ( 57 )摘要
本发明涉及数据迁移技术领域,揭示了一种 基于kettle的供数方法、系统、终端设备及介质。 所述方法包括:当检测到第三方用户的供数请求 时 ,通过解析供数请求生成针对该供数请求的建 表文件;其中 ,该建表文件中包含用于第三方用 户创建数据表的建表语句;检测是否接收到第三 方用户发送的终止建表指令;当接收到终止建表 指令时 ,将目标业务方数据导入第三方 用户创建 的数据表中 ;其中,目标业务方数据通过kettle 工具抽取获得,第三方用户所创建的数据表依据 上述建表文件创建获得。实施该方法可以提高供 数效率。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910003239 .7
(22)申请日 2019 .01 .03
(71)申请人 深圳壹账通智能科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室
(72)发明人 周之浩
(74)专利代理机构 深圳市隆天联鼎知识产权代 理有限公司 44232
2
CN 109871413 A
权 利 要 求 书
2述业务方源表的结构信息与所述业务方源表的结构 信息进行比对获得比对结果;
当所述比 对结果指示所述hive元数 据表中 记录的 所述业务方源表的 结 构信息 与所述 业务方源表的结构信息匹配时,确定所述业务方源表中不存在变更源表;
相关文档
最新文档