大数据分析系统项目方案

大数据分析系统

方案

目录

第1章项目概述 (5)

1.1项目背景 (5)

1.2项目必要性 (5)

1.3建设目标 (6)

第2章需求分析 (8)

2.1功能及性能需求 (8)

2.2系统集成需求 (9)

2.3运行环境 (10)

2.4安全需求 (10)

第3章总体设计 (12)

3.1总体设计原则 (12)

3.2总体目标 (13)

3.3系统总体结构 (13)

3.4系统逻辑结构 (15)

第4章详细设计方案 (16)

4.1信息资源规划和数据库设计 (16)

4.1.1数据模型概述 (16)

4.1.2数据建模方法论 (17)

4.1.3数据建模基本原则 (18)

4.1.4数据库架构设计 (19)

4.2数据应用支撑系统设计 (21)

4.2.1大数据平台关键技术 (21)

4.2.2云平台数据共享功能 (26)

4.3数据服务层计 (33)

4.3.1模型的应用 (33)

4.3.2平台基础应用 (33)

4.4数据处理和存储系统设计 (34)

4.4.1大数据处理核心技术 (35)

4.4.2数据存储采用MPP与hadoop融合架构 (35)

4.5网络系统设计 (35)

4.6安全系统设计 (36)

4.6.1系统安全满足情况 (36)

4.6.2系统安全配置管理功能 (37)

4.6.3系统无安全漏洞保障 (40)

4.6.4软件自身安全 (43)

4.6.5性能和可靠性 (44)

4.7运行维护系统设计 (46)

4.7.2网络设备管理 (46)

4.7.3进程管理 (46)

4.7.4服务管理 (46)

4.7.5数据库管理 (46)

4.7.6中间管理 (46)

4.7.7集群管理 (47)

4.7.8故障管理 (47)

4.7.9性能管理 (47)

4.7.10配置文件管理 (47)

4.7.11SYSLOG管理 (47)

4.8其他系统设计 (47)

4.9系统配置及软硬件选型原则 (48)

4.9.1软硬件部署 (48)

4.9.2数据要求 (48)

4.9.3技术要求 (49)

4.10系统软硬件物理部署方案 (49)

第5章项目建设与运行管理 (51)

5.1项目领导机构 (51)

5.2项目管理机构 (51)

5.3项目承建机构 (53)

5.4运行维护机构 (53)

5.5相关管理制度 (54)

5.6项目测试 (55)

5.6.1单元测试 (55)

5.6.2集成测试 (55)

5.6.3系统测试 (56)

5.6.4性能测试 (56)

5.6.5验收测试 (57)

5.6.6安装测试 (57)

5.7安全性测试 (58)

5.7.1功能验证 (58)

5.7.2漏洞扫描 (58)

5.7.3模拟攻击实验 (58)

5.8项目验收 (60)

5.8.1项目验收要求 (60)

5.8.2项目验收的目的和原则 (61)

5.8.3项目验收的组织和实施 (61)

5.8.4项目验收的步骤和程序 (61)

5.8.5项目验收的测试方案 (61)

5.8.6项目验收的文档清单 (61)

第6章项目培训计划 (62)

6.1培训对象和培训目标 (62)

第1章项目概述

1.1项目背景

目前，随着JW改革的不断推进，XX网络系统、信息中心、信息安全系统的规模不断扩大，各类信息应用系统日趋复杂，迫切需要借助云计算平台，实现灵活、高效的软硬件资源分配和管理，从而有效整合XX的各类信息资源，提升XX信息系统的安全性、稳定性、可扩展性。另一方面，随着社会公共安全管理的日趋复杂，XX行业通过大数据应用，把大量的关联信息进行汇总处理，可以重新认知和感知我们的外部环境。不但能快速锁定疑犯，而且还可以预防和打击犯罪。XX云计算+大数据系统，将成为面向各J种的管理和分析利器，通过高效的云计算平台提供强大的大数据应用承载能力，面向各J种提供集中资源、集中管理、集中监控、配套实施的统一大数据应用环境，为各J实战应用提供强大支撑、服务、保障作用。云计算和大数据是改变未来XX工作发展的新趋势，并且已经实实在给XX科技管理与创新来了深刻的变革，有力地推动了XX各J种的工作优化和提升。

1.2项目必要性

第一，构建“智慧XX”是未来JW形态演进的必然趋势。

近年来，随着XX信息化建设的持续推进，我国XX机关的JW改革已开始迈进智能化发展的快车道，JW与人之间的相互感知和联系越来越紧密，“XX大数据分析系统”建设已成为当代JW发展的新趋势。

第二，构建“智慧XX”是新一轮信息技术变革下的时代潮流。

当前，全球正进行物联网、移动互联网、云计算等新一轮信息技术变革。新技术往往孕育着新的重大突破，信息资源成为重要的XX战斗力要素，信息化不仅成为推动XXJW方式变革的重要引擎，也给整个社会管理创新带来深刻变化。“XX大数据分析系统”建设将极大地创新XX管理方式，促进“管制型XX”向“服务型XX”转变。应当说，经过最近十年的发展，以网络化、数字化为载体的信息化JW特征日益显现，JW活动中人、事、物之间的互动能力显著增强，JW工作传载的功能不断增多，