大数据技术参考模型

信息技术大数据技术参考模型Information technology--Big data- Technical reference model

2017-12-29发布2018-07-01实施中华人民共和国国家质量监督检验检疫总局

发布

中国国家标准化管理委员会

目录

信息技术大数据技术参考模型 (3)

1范围 (3)

2规范性引用文件 (3)

3术语和定义 (3)

3.1大数据参考架构big data reference architecture (3)

3.2系统协调者system orchestrator (3)

3..3数据提供者data provider (4)

3.4大数据应用提供者big data application provider (4)

3.5 大数据框架提供者big data framework provider (4)

3.6数据消费者data consumer (4)

3.7数据科学家data scientist (4)

4缩略语 (4)

5大数据参考架构的自的和目标 (4)

6大数据参考架构概述 (5)

7大数据参考架构的组成 (7)

7.1系统协调者 (7)

7.2数据提供者 (8)

7.3大数据应用提供者 (8)

7.3.1概述 (8)

7.3.2 收集 (8)

7.3.3预处理 (8)

.7.3.4分析 (8)

7.3.5可视化 (9)

7.3.6访问 (9)

7.4大数据框架提供者 (9)

7.4.1 概述 (9)

7.4.2 基础设施 (9)

7.4.3平台 (10)

7.4.4 处理框架 (10)

7.4.5 信息交互/通信 (10)

7.4.6资源管理 (10)

7.5 数据消费者 (11)

7.6安全和隐私 (11)

7.7管理 (12)

信息技术大数据技术参考模型1范围

本标准描述了大数据的参考架构,包括角色、活动和功能组件以及它们之间的关系。

本标准适用于对大数据复杂操作的理解,可为大数据系列标准的制定提供基础。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。

GB/T 35295信息技术大数据术语

3术语和定义

GB/T 35295界定的以及下列术语和定义适用于本文件。

3.1大数据参考架构big data reference architecture

一种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高层概念模型。

注:比较普遍认同的大数据参考架构一般包含系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和数据消费者等5个逻辑功能构件。

3.2系统协调者system orchestrator

大数据参考架构中的一种逻辑功能构件，定义所需的数据应用活动并将它们整合到可运行的垂直系统中。.

注:系统协调者可以是人、软件或这二者。

3..3数据提供者data provider

大数据参考架构中的--种逻辑功能构件,将新的数据或信息引入大数据系统。

3.4大数据应用提供者big data application provider

大数据参考架构中的-种逻辑功能构件,执行数据生命周期操作,以满足系统协调者定义的需求以及安全和隐私保护需求。

3.5 大数据框架提供者big data framework provider

大数据参考架构中的-种逻辑功能构件,建立一种计算框架,在此框架中执行转换应用,同时保护数据完整性和隐私。

3.6数据消费者data consumer

大数据参考架构中的--种逻辑功能构件,是使用大数据应用提供者提供的应用的末端用户或其他系统。

3.7数据科学家data scientist

数据科学专业人员;他们具有足够的业务需求管理机制方面的知识、领域知识、分析技能以及用于管理数据生命周期中每个阶段的端到端数据过程的软件和系统工程知识。

4缩略语

下列缩略语适用于本文件。

BDRA:大数据参考架构( Big Data Reference Architecture)

POSIX:可移植操作系统接口(Portable Operating System Interface)

5大数据参考架构的自的和目标

本标准中的BDRA提供了一个体系架构,用于有效描述大数据角色、活动和功能组件。

BDRA目的包括:

一为各种利益相关者提供-种交流大数据技术的通用语言;

鼓励大数据实践者遵守通用标准、规范和模式;.

-为解决相似的问题集提供一致的技术实现方法。

BDRA的目的是为了方便对大数据复杂性操作的认识。它不代表-一个特定的大数据系统的系统架构;相反,它是一种工具,使用通用的架构来描述、讨论和开发特定系统的架构。

BDRA是--个通用的大数据系统概念模型,对于讨论大数据需求、结构和操作,它是--种有效的工具。该模型不依赖于任何特定的产品和服务供应商,也不定义规范的解决方案。

BDRA支持以下标准化目标:

一在一个与供应商和技术无关的大数据高层概念模型语境下,增进对大数据构件、处理过程及系统的理解;

一为政府部门、相关机构和其他用户在理解、讨论、分类和比较大数据解决方案的过程中提供技术参考;

-促进对大数据互操作性、可移植性、可重用性和可扩展性的备选标准的分析。

6大数据参考架构概述

本标准定义的BDRA为大数据标准化提供了基本参考点,为大数据系统的基本概念和原理提供了-一个总体架构, 见图1。