大数据调度平台助力数据运营降本增效

大数据调度平台助力数据运营降本增效

/朝闻通-新闻稿发布机构/

随着移动互联网技术的高速发展，运营商的数据量呈指数级增长。如何利用海量数据资源进行价值和商业变现，成为运营商提高核心竞争力、抢占市场先机的关键。ETL（数据仓库技术）作为数据信息转换的一种主要技术手段，是将业务系统的数据经过抽取、清洗转换之后加载到数据中心的重要工具。随着数据量的增长及业务场景的变化，取数和计算范围不断扩充，整个ETL过程的调度也日益复杂，这不仅带来运维成本的增加，也让数据生产质量难于保障。为此，运营商迫切需要寻求新的技术手段。

中兴软创结合多年的项目运营服务支撑经验，提出构建全程调度平台解决方案。方案包含进度自动预测、异常监控告警、数据血缘分析等功能，实现从数据汇聚、数据处理到数据服务的全流程调度能力，有效协助运营商提升数据处理效率，满足其处理海量数据和复杂业务场景的需求。

图1 全程调度平台架构图

图2 全程调度平台功能图

全程调度平台解决方案构建了三层立体式调度体系：

第一层端到端调度，从业务角度出发，提供松耦合、端到端的调度和监控功能。以数据为中心，通过数据节点组织数据、数据依赖关系、生产流程任务，实现调度信息一点化管理。通过构建360度调度运行视图，洞悉整个数据中心的调度运行情况，提供可视化实时监控。

第二层流程级调度，通过流程引擎控制任务之间的依赖关系，允许任务并行或串行执行。支持任务同步或异步执行，缩短整个流程执行时间，提升运行效率。

第三层任务调度，通过正式发布的任务，进行任务执行策略和调度策略，实现任务程序的周期性、临时性或实时不间断运行。任务调度实现数据中心多计算集群任务的统一配置和协同运行，优化系统资源调配。

2017年，中兴软创全程调度平台在湖南电信率先上线。目前已承接了湖南电信数据中心的10000+数据加工处理任务，问题查证率提高50%。同时数据质量覆盖度提升至98%，人员培训周期由1个月缩短到7天，节省了60%的人力成本。该平台逐步成为湖南电信数据中心的连接器，以高质量、高效、敏捷、安全的手段支撑湖南电信内外数据需求。