中位物联网大数据平台总体设计V1.0

7-30整理

物联网大数据平台总体设计V0.2

李拓

2015.10

目录

1.引言 (3)

.文档目的 (3)

.文档范围 (3)

.预期的读者及阅读建议 (3)

.术语 (3)

2.项目概述 (4)

.项目背景 (4)

.设计目标 (4)

技术规划路线建议 (4)

大数据软硬平台/网络架构规划建议 (5)

大数据应用集成点规划建议 (5)

大数据团队建设规划建议 (5)

大数据系统实施指导建议方案 (5)

3.数据平台总体架构规划 (5)

.数据平台愿景 (5)

.数据处理流程 (8)

.主要功能 (8)

.设计原则 (9)

.平台建设路线 (9)

4.数据平台软件架构设计 (10)

.数据平台结构图 (10)

.数据采集系统 (11)

.数据存储系统 (11)

.离线计算系统 (12)

.海量数据库系统 (12)

.管理系统 (13)

5.应用平台架构设计 (14)

.应用平台架构图 (14)

6.平台安全 (15)

7.平台监控 (15)

8.部署架构 (15)

9.平台运维 (15)

10.团队建设 (16)

.运维工程师 (16)

.应用开发工程师 (16)

.通信协议开发工程师 (16)

.基于Hadoop的开发工程师 (16)

.数据开发工程师 (16)

.数据挖掘工程师 (17)

1.引言

1.1.文档目的

本文档是关于xx公司物联网大平台的总体架构设计方案。本文包括以下内容：

1.平台总体架构设计；

2.五大子系统设计；

3.应用平台设计

4.平台部署架构设计；

5.平台运维及团队建设；

1.2.文档范围

本文档仅限于北京xx科技公司内部人员和直接协助北京xx科技进行大平台建设的相关人员阅读。

1.3.预期的读者及阅读建议

本文档的预期读者：

1.北京xx科技的大平台项目相关人员；

2.直接协助北京xx科技进行大平台建设的相关外部人员；

1.4.术语

1.Hadoop: Apache的分布式框架。

2.HDFS : Hadoop的分布式文件系统。

Node : Hadoop HDFS元数据主节点服务器。负责保持DataNode文件存

储元数据信息。

4.JobTracker：Hadoop的Map/Reduce调度器，负责与TackTracker通信分配计

算任务并跟踪任务进度。

5.DataNode：Hadoop数据节点，负责存储数据。

6.TaskTracker：Hadoop调度程序，负责Map,Reduce 任务的具体启动和执行。

7.Kafka : 消息队列。

ty : NOI框架。

2.项目概述

2.1.项目背景

1.随着业务的增加，数据采集存储备份能力严重不足

2.数据处理分析能力无法满足业务的需要

3.公司业务创新转型的需要

3.1.设计目标

xx的大数据平台主要是为车辆、人员、物联网提供终端接入、数据分析，并为行业应用提供数据接口。平台建成后，初期可接入百万级的终端，可承载多种业务及应用。随着业务增长，平台可以动态扩容，最终可实现千万级、亿级终端的接入及数据分析处理能力。

本文档针对xx的大数据平台应用需求，结合数据的特点，提出未来公

司整体的系统架构，以充分满足公司在3到5年内的业务增长和数据增长需求。并且在企业总体系统架构的基础上，提出系统的软硬件的具体选型方案，以及提供大数据平台整体规划，分步实施和推广的建议；提供大数据平台产品整合、集成、系统优化、稳定性等建议方案。

3.1.1.技术规划路线建议

对xx大数据平台系统进行总体规划，与现有的交通部数据中心以及各个业务系统进行对接，以适应未来3到5年内公司业务发展的要求。

3.1.2.大数据软硬平台/网络架构规划建议

从需求的数据量、计算量、应用的场景、功能、性能等因素来配置软硬件平台的建议；

提出具体的系统总体架构和软硬件部署结构建议；

3.1.3.大数据应用集成点规划建议

Hadoop数据集成、应用集成、运维管理设计建议；

3.1.

4.大数据团队建设规划建议

对xx技术团队的人员需求和配置情况以及所需要掌握的技能提出建议；

3.1.5.大数据系统实施指导建议方案

提供大数据平台整体规划，分步实施和推广的建议；提供大数据产品整合、集成、平台化的建议系统优化、稳定性等建议方案。

3.数据平台总体架构规划

3.1.数据平台愿景

如上图所示，xx的大数据平台最终建成后，应该是一个完备的数据服务平台，包括数据平台、应用平台、数据产品以及内部运行支撑应用环境，该平台上的用户既包括外部用户，也包括企业内部用户，既有最终用户，也有应用开发人员以及数据分析和数据开发人员。

1.数据服务平台组成

●数据平台：是数据的集散地。数据平台的主要目标是存储和处理海

量数据，该平台除了汇聚xx所有的业务数据和用户数据之外，还

有合作机构的相关数据，其核心功能包括数据采集、同步与集成、

海量数据存储、海量数据处理框架、海量数据仓库等。该平台的用

户主要有数据分析用户和数据开发用户，这两类用户在数据平台上

进行数据分析及数据集成、建模与挖掘。

●应用平台：应用开发人员开发基于数据平台的车辆监控、人员监控、

物品监控等应用并部署在应用平台，供最终用户访问。该平台的建

设目标是处理海量http请求，其核心功能包括应用服务器、分布

式缓存、分布式消息队列、分布式文件系统、分布式数据库以及分

布式简单存储等。

●内部运行支撑应用环境：该环境主要供企业内部用户将使用，包括

商业智能、运营支撑、系统运维、分析应用等。该数据产品由大数

据平台开发人员进行研发。

●数据产品：当该平台稳定运行一段时间之后，企业根据业务发展的

需要，可以开发专门的数据产品，对外提供数据服务，供最终用户

使用。该数据产品由大数据平台开发人员进行研发。

2.数据服务平台的用户划分

●应用开发用户：xx内部的技术研发人员，主要结合具体业务，开发

基于数据平台的应用，并部署到应用平台；

●数据分析用户：xx内部的技术研发人员，主要基于数据平台中的海

量数据，进行业务数据分析，指导生产运营；

●数据开发用户：xx内部的技术研发人员，主要基于数据平台中的海

量数据，进行数据建模、集成和挖掘，在指导生产运营的同时，挖

掘新的利润增长点；