大数据应用开发项目技术规范书

大数据应用开发项目技术规范书

数据服务中心建设规划

数据服务中心是整个智慧旅游大数据项目核心组成部分,在规划建设过程中，坚持以数据资源为核心，面向数据应用与服务、信息数据资源标准化与管理，实现数据资源横向集成、纵向贯通、全局共享的运转模式。数据服务中心数据流转图和逻辑架构如下图.整个数据服务中心逻辑组成部分有:数据存储、数据组织、数据处理、资源管理、数据服务支撑。

数据存储:基于大规模并行处理(Massively ParallelProcessing，简称MPP).Hadoop等分布式计算平台进行搭建，以满足旅游行业结构化、图像视音频等非结构化多种类型格式的海量数据资源存储需求。

数据组织:对各类数据资源进行逻辑组织,形成基础数据资源库、专题应用资源库以及资源管理库，满足旅游行业数据资源应用、管理与服务的需求。数据处理:主要包括数据整合汇集、数据标准化处理、通用数据处理、专题数据处理。从多个层面对数据资源进行分析挖掘，为不同业务需求提供数据处理服务支撑..资源管理:资源管理从应用资源、数据资源、服务资源以及标准资源多个层面实现数据服务中心信息资源的管理与标准建设。

数据服务支撑:数据服务中心实现了智慧旅游云数据资源的存储和组织。主要包括基础数据资源库、专题应用资源库和资源管理库。数据分析处理:面向具体业务需求，建立对应的数据分析处理模型，实现对数据资源的深度挖掘和综合利用。

1.1大数据平台建设

数据集中统一管理后，由于一体化业务为在线运行的系统，为避.免大数据

应用对现有生产系统造成影响，本期单独建设一套大数据平台，通过ETL将生产数据抽取到大数据平台中，进行分析处理，建立数据仓库，为上层应用提供支撑。