数据采集处理项目-技术方案

xxx大数据库中心数据库

投资商和企业数据采集处理项目项目编号：I5300000000617001206

技术方案

xxx有限公司

二○一七年六月

目录

1 引言 (3)

1.1 项目背景 (3)

1.2 项目目标 (3)

1.3 建设原则 (3)

1.4 参考规范 (4)

1.5 名词解释 (5)

2 云数据采集中心 (7)

2.1 需求概述 (7)

2.2 总体设计 (7)

2.3 核心技术及功能 (10)

3 大数据计算平台 (34)

3.1 需求概述 (34)

3.2 总体设计 (34)

3.3 数据模型设计 (35)

4 数据运营 (38)

4.1 数据挖掘分析 (38)

4.2 数据分析处理的主要工作 (38)

4.3 数据分析团队组织和管理 (39)

5 安全设计 (42)

6 风险分析 (46)

7 部署方案 (47)

8 实施计划 (48)

9 技术规格偏离表 (49)

10 售后服务承诺 (52)

11 关于运行维护的承诺 (55)

12 保密措施及承诺 (56)

13 培训计划 (58)

1 引言

1.1 项目背景

XXX大数据中心建设出发点考虑从投资者角度涵盖招商全流程，尽可能为投资者解决项目实施过程中的困难和问题，便于招商部门准确掌握全省招商数据，达到全省招商项目数据共享，形成全省招商工作“一盘棋、一张网、一体化”格局。大数据中心将充分发挥大数据优势，加强对企业投资项目、投资轨迹分析，评估出其到XX投资的可行性，为招商过程留下痕迹、找到规律、明辨方向、提供“粮食”、提高效率，实现数据寻商、数据引商、数据助商，实现数据资源实时共享、集中管理、随时查询，实现项目可统计、可监管、可协调、可管理、可配对、可跟踪、可考核。

本次数据运营服务主要是为大数据平台制定数据运营规范及管理办法，同时为“企业数据库”提供数据采集、存储与分析服务，并根据运营规范要求持续开展数据运营服务。

1.2 项目目标

●制定招商大数据运营规范及管理办法。

●制定招商大数据相关元数据标准，完成相关数据的采集、整理与存储。

●根据业务需求，研发招商大数据招商业务分析模型，并投入应用。

●根据运营规范及管理办法的要求持续开展数据运营工作。

1.3 建设原则

基于本项目的建设要求，本项目将遵循以下建设原则：

●前瞻性和高标准整个项目要按照企业对大数据应用的需要的高要求和高标准建

设，参考行业标杆应用，建立满足需求，面向未来的目标，整个项目具有一定

前瞻性。

●经济性和实用性整个项目以现有需求为基础，充分考虑未来发展的需要来确定

系统的架构，既要降低系统的初期投入，又能满足服务对象的需求，同时系统

设计应充分考虑对已有投资的保护，对已建立的数据中心、基础平台、应用软

件应提供完备的整合方案。

●先进性和成熟性为了确保项目具有较长的生命周期，应充分考虑到管理创新、

技术发展需要，按照先进的建设理念，选择先进的技术架构和成熟技术，满足

业务需求。

●高性能和安全性规范地进行系统建设和开发，提供合理且经济有效的应急方

案，确保系统的稳定，向各类服务对象提供可靠的服务。具有安全性，在系统

遭到攻击或崩溃时能快速恢复，确保重要数据的机密性和完整性。

1.4 参考规范

●GB/T 20269-2006 信息安全技术—信息系统安全管理要求

●GB/T 20984-2007 信息安全技术—信息安全风险评估规范

●GB/T 22239-2008 信息安全技术—信息系统安全等级保护基本要求

●GB/T 22240-2008 信息安全技术—信息系统安全等级保护定级指南

●GA/T 388-2002B 计算机信息系统安全等级保护管理要求

●GB/T 8567 -1988 计算机软件产品开发文件编制指

●GB/T 11457-1995 软件工程术语

●GB/T 11457-2006 信息技术软件工程术语

●GB/T 16260.1-2006 软件工程产品质量第 1 部分:质量模型

●GB/T 16260.2-2006 软件工程产品质量第 2 部分:外部度量

●GB/T 16260.3-2006 软件工程产品质量第 3 部分:内部度量

●GB/T 16260.4-2006 软件工程产品质量第 4 部分:使用质量的度量●GB/T 14394-2008 计算机软件可靠性和可维护性管理

●GB/T 17544-1998 信息技术软件包质量要求和测试

1.5 名词解释

●S2DFS：简单存储分布式文件系统（Simple Storage Distributed File System）

●D2B:分布式数据库（Distributed Database）

●JSS：作业调度服务（Job Scheduler Service）

●DCS：数据计算服务（Data Computer Service）

●MPS：消息处理服务（Message Process Service）

●SDS：流数据处理服务（Stream Data Service）

●DMQ：分布式消息队列（Distributed Message Queue）●JGS：作业生成服务（Job Generation Service）

●ACS：自动清理服务进程（Automatic Cleaning Services）●HTTP：超文本传输协定（HyperText Transfer Protocol）●SMB：服务器信息块协议（Server Message Block）