微服务集群技术在气象服务产品加工中的应用研究

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

微服务集群技术在气象服务产品加工中
的应用研究
2.
3.
摘要:互联网时代,随着信息化技术的突飞猛进,大众对气象信息提出了更
高标准的要求。

因此,气象部门亟需投入大量的时间、精力以研发出更广泛、更
有深度、更专业且更精细化的气象服务产品,以期与广大民众日益增长的高标准
要求相适应。

在气象科技领域,微服务集群技术凭借其系统简洁易用、功能强大、灵活性强、系统维护难度低等优势可以为气象服务提供强有力的技术支撑,并在
此基础上研发出更加新颖、更贴近大众需求的气象服务产品,且取得了显著成效。

基于此,本文首先概述了微服务的架构及优势,并重点探讨了微服务集群技术在
气象服务产品加工中的应用,仅供参考。

关键词:微服务集群技术;气象服务产品;加工;应用
引言
气象服务是气象工作的出发点与归宿,该工作可以将天气实况、预警预报等
气象资料加工为通俗易懂且样式美观的气象服务产品,以满足大众的气象服务需求。

近年来,随着科学技术的飞速发展,气象科学领域明显拓宽,并逐渐延伸至
天气预报预警、环境保护、农业、航空航天等多行业领域,与此同时各部门之间
的信息交互日渐频繁,气象服务产品的规模与种类也日渐丰富。

然而,诸多气象
服务产品加工系统均采用单体架构,随着气象服务产品数量的显著增加及要求的
大幅提升,以往传统的软件架构愈加臃肿,不仅面临着需求过大带来的一系列高
并发问题,同时还使系统开发与维护难度大大增加,直接影响了气象服务产品质量。

因此,如何运用高新技术开发与加工出高效的气象服务产品成为各气象部门
面临的一项巨大挑战。

在这一背景下,微服务集群技术应运而生。

该技术重构
Mesis2.0系统,可以增加系统的开发性,不仅使系统自身简洁易用,同时可以将
系统自身的一些特色功能和服务共享给其他系统,而且还可以降低系统维护难度,增强系统功能和服务的扩展性,提升系统开发、维护的灵活度,为气象服务产品
加工提供了极大程度的便利。

基于此,本文重点探讨了微服务集群技术在气象服
务产品加工中的应用,对于提升气象服务产品质量,为大众提供高质量的气象服务,进而助力当地气象事业的又好又快发展等意义重大。

1微服务架构及优势
1.1微服务架构
现如今,气象服务产品种类日益繁多。

为提升气象服务产品加工质量,本研
究以微服务架构思想为指导,综合应用多项技术手段,对各项气象服务产品进行
加工,以显著提升气象服务产品质量。

微服务是一种架构模式,它提倡将单一应
用程序划分成一组小的服务,服务之间相互协调、互相配合,为用户提供最终价值。

每个服务运行在其独立的进程中,服务与服务件采用轻量级的通信机制互相
沟通(同时是基于HTTP协议的RESTfulAPI)。

每个服务都围绕着具体的业务进
行构建,并且能够被独立的部署到生产环境、类生产环境等。

另外,应当尽量避
免统一的、集中式的服务管理机制,对具体的一个服务而言,应根据业务上下文,选择合适的语言、工具对其进行构建。

微服务架构的目的是有效的拆分应用,实
现敏捷开发和部署,微服务架构甚至是去ESB、去中心化、分布式的;在
Mesis2.0系统升级和功能完善过程中,计划引入微服务架构模式,将系统客户端
呈现和系统数据分析、访问服务分离,从而使系统层次更为清晰,降低系统功能
之间的耦合度,提升系统功能的执行效率。

1.2优势
与以往传统应用架构方式相比,微服务架构表现出以下几点优势:
(1)开发效率高。

微服务架构的应用使系统开发工作分工明确,各开发团
队仅需专注自身负责的气象服务产品,不仅实现了并行、协同开发,还使开发周
期明显缩短;
(2)可拓展性较高。

一旦应用程序出现最新的功能需求,可独立拓展各个气象服务,并在此基础上发布新版本,并非整体重新发布;
(3)耦合性低。

各项气象服务产品既高度自治又高度隔离,而且还能独立进行开发、测试、部署与运维等操作;
(4)技术栈较为灵活。

各气象服务产品可以结合其自身业务需求选择与其契合度较高的技术栈以有效解决实际问题;
(5)可用性强。

由于微服务框架具有强大的服务治理能力与容错机制,一旦气象服务产品需求量显著增加,其可用性依然较高。

2微服务集群技术在气象服务产品加工中的应用
2.1分布式架构基础之上的加工服务器集群技术
借助多台服务器构建分布式加工集群环境,针对各服务器上的加工模型服务进行集中管理与运行,既可以并行处理复杂运算,又能使服务器故障发生时各站点即时自由切换。

ArcGIS Server为搭建空间数据处理服务器集群提供了标准框架,为服务器多项功能创造了有利条件。

在这一框架基础之上搭建的加工服务器集群主要包括四大部分,具体如下:(1)负载均衡。

这一服务器在集群环境中占据主导地位,主要对各运算站点的负荷状态进行实时监控,同时替换接收到的加工任务请求协议地址为最小负荷量的服务器IP与端口,并对任务进行转发;当监控到某一站点位于超负荷或离线状态时,立即启动另外一个备用站点相对应的作业任务,并通过负载均衡服务器把运算站点的加工结果转发给任务请求者;(2)集群站点包含有多台运算服务器,并以服务接口形式把产品加工模型发送给业务应用者,同时针对集群当中的加工模型服务进行严格执行;(3)配置存储服务器主要用于存储各运算站点的各种信息,主要包括计算当中共用数据目录、权限共享、运行参数等等;(4)服务管理服务器主要用于调度管理集群内部服务器,对服务器对象进行移除或新增等,同时还具有设定服务器对象扮演角色、对象性质与内容,启动与关闭各加工服务进程等多项功能。

2.2消息与定时机制基础之上的加工任务调度技术
以往传统的气象服务产品加工制作系统采用定时运行机制,在长时
间运行过程中暴露出任务调度环节等待耗时长等问题,进而严重影响了气象服务
产品加工制作时效性。

消息即为各应用系统信息相互交换的载体,并据此与各应
用系统之间开展即时通信,因此,在消息之上的任务调度能够满足准实时的产品
加工需求。

在这一背景下,Kafka被研发出来,其作为一款高吞吐量的分布式发
布订阅消息系统,主要包括生产者、代理者、消费者与管理者一共四大部分。

在Kafka基础上设计出的任务调度器采用唯一的消息主题标识各加工任务处理过程。

依据设定的消息格式上游数据源生成程序将会生成本地日志文件,各日志记录包
含众多元数据信息,具体有生成时间、内容、主题与数据名称等等。

首先,管理
者应用Flume结合预定心跳频率对日志文件进行实时采集,生产者针对日志信息
生成消息进行解析,并将查询获取的可用代理反馈给管理者,同时结合预设的时
间间隔发送至消息加工代理;与此同时,代理接收各种加工任务主题消息,并对
其进行分布式存储。

而任务调度器则主要扮演消费者的角色,主要用于实时接收
代理发送的各种消息,并结合任务消息主题和参数之间的相互关联关系,对气象
服务产品加工任务进行启动,以高效完成气象服务产品加工工作。

3结语
本文采用微服务集群技术,打造了一个高效、集约、安全的气象服
务产品加工系统,为高效开展气象服务产品加工工作提供了强有力的信息化支撑,同时也为拓展气象服务业务奠定了坚实的基础条件,对于气象服务业务的长远、
快速发展意义重大。

参考文献:
[1]牟今容,曾玉清,金小燕等.城市地质资料信息服务集群技术探索与实践[J].国土资源导刊,2021,18(02):86-91.
[2]周强,柳昭辉,李旭旭.省级公共气象服务产品集成技术研究[J].气象研
究与应用,2020,41(02):59-62.
[3]丰德恩,唐卫,王慕华等.基于WebGIS的气象服务产品自动加工关键技
术[J].气象与环境科学,2020,43(01):130-136.
[4]倪敏莉,韩乐琼,姚智等.专业气象服务产品制作平台技术与实现[J].气象科技,2017,45(04):653-657.
[5]鲁静,谭静,敖银银等.GIS技术在交通气象服务产品制作系统中的应用[J].电子技术与软件工程,2020,191(21):150-151.
[6]林孔杰,夏利娜,汪春辉等.基于“微服务+分布式”架构的公共气象服务数据支撑系统研究[J].计算机时代,2022,359(05):138-140+144.
第一作者简介:吕终亮(1981—),男,副高级工程师,从事气象服务信息系统研发工作。

相关文档
最新文档