数据分析系统方案

数据分析系统方案

1.数据分析子系统

1.1.概述

利用当前已有的数据库为基础，在该数据库上开发和完善数据库的库表结构，并在新的数据库表结构的基础上开发应用管理平台。

分析现有数据库的数据结构与原始数据，进行有效数据的清洗，清理无效（脏）数据，实现将旧数据库的数据迁移到新的数据库中。

1.2.建设目标

●平台实现对基础数据的展示，对基层提交的新的数据，可以

录入到指定的数据库表中，如提交的数据为新数据，本地无

数据表，系统将可以通过识别提交数据的数据结构，系统可

自动数据关联，智能字段转义处理，自动创建相应的数据库

数据表结构，实现数据智能转换录入。

●平台对基础数据库与新建数据库的数据进行检索，检索结果

可以导出相应报表。

●平台可对数据库的所有数据进行统计分析，统计分析的报告

可导出。

●平台具有大数据智能分析功能，利用高性能的数据库计算引

擎，以轻量级架构实现大体量数据的计算、分析、提取，对历

史提交数据的智能分析管理与展示。

●数据报表与统计报表，可以一键分发，依据权限实现多级授

权共享报告。

●平台具有权限管理功能，基于业务需求分类数据包，开放权

限给指定用户，不同的用户拥有不同的权限，各级用户权限

清晰明了，平台具备日记记录与查询功能，可轻松实现数据

变更的追溯工作。

1.3.系统架构

数据分析系统的功能性主要体现在采集和处理两方面，这是最难通过人工来完成的工作。数据分析系统架构如下图所示：

支撑软件：主要包括中间件、数据库和操作系统。

基础平台：基础平台贯穿整个系统，主要包括用户权限、数据查询检索、统计分析、备份恢复、日志、基础数据、数据字典等。

数据整合：平台支持对数据进行数据抽取、数据清洗、数据转换、数据调度、运行监控等。

数据建模：平台提供不同方式的主题表创建方式，并设置主题之间的关联联系。

分析展现：提供各种图表的设计展现，如：固定报表、DashBoard、

看板等，并支持系统管理辅助功能等。

第三方应用：提供丰富的第三方开发接口用于实现项目实施过程中的各种集成需求。

系统通过获取大量的业务数据，并对它们进行分类存储以及分析。系统对原始数据进行处理转换，并存储在数据库中，再根据需求将数据转换成可利用的模型，进一步的分析。整个系统是层级结构，不同功能的进行是分层逐步来完成的，因此效率得到了保证，相互干扰的情况也基本不会出现。

集成了上述核心功能的BI数据分析平台，一方面可以有效支持技术开发者开展算法研究、模型设计、系统优化等探索性研发工作，并快速将研发成果集成到平台中，不断提升平台的技术先进性；另一方面可以有效支持企业级大数据应用系统的运营，以及第三方应用开发与扩展，促进数据分析解决方案不断成熟与完善。

1.4.功能组成

数据分析系统的四个主要功能是配置、采集、处理和应用，并且其中包含采集数据、分析整理、构建模型等流程。

数据分析系统通过适当的统计方法对收集到的数据进行分析，将它们加以汇总和理解并消化，以求最大的开发数据的功能，发挥数据的作用。原始数据的数据量是十分庞大的，如果可以挖掘其中的价值，就必然会获得巨大的回报。但仅仅通过人工来分析其效果很差，因为人的能力是有限的，所以数据分析系统就成为了一个重要的工具。

A.数据配置采集

数据采集，即获取数据，数据采集的渠道是多方面的，渠道的选择决定着数据的丰富性，同时也决定着分析数据的根本。因此，数据采集的多少直接影响最终结果的准确度。

(1)数据准备

数据准备阶段包括创建数据连接、新建业务包,新建数据表、进行基础的表处理操作等。

创建数据连接

创建数据连接可以为管理员指建数据摩与智能辅助分析预测之间的数据桥梁。

●新建业务包

新建务包能够为后续新建的数据表创建用于分类保存的业务包

●新建数据表

新建数据表指的是在新建的业务包中创建从数据连技能够获取到的表数据

●管理数据表

基础表处理是对于从数据库获取的数据进行基本处理,包括表字段设置、自循环列、行列转换。

B.数据指标

数据指标是数据分析的有力手段。如果能选择一个合适的指标，就能让分析结果更加可靠，还能减少所需要消耗的资源。

（1）新建指标

建立需要提取的数据指标。

（2）指标管理

对指标的类型进行管理。

C.数据分析

数据分析是系统的主要功能，通过指标对原始数据进行处理，数据处理与分析的快慢，是检验数据分析系统功能的重要指标，数据分析系统得出数据分析的最终结果。用于最终决策的指引。

描述性统计是使用频率最高的方法，它可以较好地揭示数据的分布特性，例如数据的频数分析、集中趋势分析、离散程度分析等。将这些结果进行统一地分析与总结，就能从中找到一个潜在的规律。该方法比较适用与具有顺序规律的数据，整体需要是连续的，这样才能更好的从中获取信息。

（1）数据加工

数据加工主要是指对分布的、异构数据源中的数据(如,关系数据等底层数据)进行一定的处理,将处理后的表保存到业务包中,作为后续数据可视化分析的基础。

（2）可化分析

可化组件是进行数据分析的可视化展示工具,通过添加来自数据库的推度,指标字段,使用各种表格和图表类型来展示多推分析的结果,用于数据分析的可视化组件包括表格、图、表、时间控件、树控件等多种类型,能够提供给用户更丰富的选择。

D.数据展示

数据分析的好坏，不仅与分析结果有关，同时一个重要的因素便是数据展示的形式，如今大多采用数据可视化的表现形式，将分析的结果以视觉的角度展现在用户面前，达到最终的作用。

1.5.系统亮点

数据分析系统具有如下亮点：

1.平台基于当前数据库基础上创建，无需调整当前工作流程，实现平台与当前工作流程无缝对接。

2.通过数据清洗，保证了当前数据库中的数据质量。

3.新建数据时，实现自动数据关联，智能字段转义处理。

4.数据报表与统计分析报表，可以一键式分发，多级授权式共享。

5.高性能计算引擎，以轻量级架构实现大体量数据的计算。

6.创建用户权限管理，权限清晰明了。

7.创建日志管理，对数据变化细节进行正向逆向追溯管理。