一种流式数据处理自适应速率控制方法[发明专利]

专利名称：一种流式数据处理自适应速率控制方法专利类型：发明专利
发明人：申彦明,李晓东
申请号：CN201710011464.6
申请日：20170109
公开号：CN106648904A
公开日：
20170510
专利内容由知识产权出版社提供
摘要：本发明属于计算机应用技术领域，一种流式数据处理自适应速率控制方法。

该方法基于常用的数据接收消息队列和大数据分布式计算框架，根据当前计算集群的情况，通过预分片的方式调整数据处理的并行度，并通过自适应实时速率控制方法动态调整集群当前处理数据的数量，保证计算集群的稳定性，降低数据流式处理的延迟。

随着“大数据”逐步深入到各个行业中，海量数据实时处理的应用范围逐步扩大。

海量数据处理系统的实时性和稳定性是十分重要的。

该方法在不增加计算集群硬件数量和任务编程复杂度的情况下，在一定程度上提升了计算集群的稳定性和处理效率。

申请人：大连理工大学
地址：116024 辽宁省大连市甘井子区凌工路2号
国籍：CN
代理机构：大连理工大学专利中心
代理人：梅洪玉
更多信息请下载全文后查看。