大数据标准化培训(精品培训)

技术专题组
产品和平台 专题组
安全专题组
工业大数据 专题组
电子商务大 数据专题组
组长：电子四院 张群 组长：华为 杨莉莉 组长：北大 王亚沙 联合组长：中兴 董振江 组长：浪潮电子 张东 联合组长：亚信 陈利仓 组长：阿里云 陈雪秀 联合组长：信安标委 叶润国 组长：数码大方 齐建军 组长：京东 葛胜利 联合组长：阿里 姜蕾
二、标准体系框架
15
n 基础标准
为整个标准体系提供包括总二则、、术标语和准参考体模系型、框元架数据等基础性标准。
n 技术标准 该类标准主要针对大数据相关技术进行规范。包括数据治理和数据质量两 类标准。其中，数据治理标准主要针对数据的收集、预处理、分析、可视 化、访问、能力成熟度评价模型等方面进行规范。数据质量标准主要针对 数据质量提出具体的管理要求和相应的指标要求，确保数据在产生、存储 、交换和使用等各个环节中的质量，为大数据应用打下良好的基础，包括 质量评价、数据溯源、质量检测等标准。
培训资料
• 标题： • 培训人：xx
培训（精品培训）
数据质量指标
度量
数据质量评估
分析
数
数据质量管理
据 质
量
管
理
评
估
提高
内容
• 大数据发展背景 • 标准化工作现状 • 下一步工作重点
2
一、大数据催生了信息化3.0（智慧化阶段）
n数据规模更大，来源更丰富，类型更复杂，变化更快
信息化1.0
--1995 以单机应用为特 征的数字化阶段
GDP
Ø改善民生：
大数据时代，信息技术不仅是行业发展的“倍增 器”、“催化器”，甚至会成为行业的颠覆者
优化资源配置,健康医疗、就业、社保、教育、公共交通 Ø产业转型，创新业态：
颠覆传统产业,提高运行效率和决策能力,催生智能制造、 互联网金融等新业态
6
二、 大数据的战略意义
自主可控的大数据技术体系是不 可或缺的基础！
急需标准化，保证有序发展、开放共享
10
内容
• 大数据发展背景 • 标准化工作现状 • 下一步工作重点
11
（一）组织架构
组长： 副组长： 秘书长： 联络员：
一、大数据工作组概况
12
一、工作组概况
Ø 进一步扩大工作组规模
申请报名的成员单位170+家
Ø 成员单位管理
统一邮箱： 微信公众平台
Ø 建立联络关系 建立大数据专家团队
17
n 大数据安全标准
数据安全作为数据标准的支二撑体、系标，贯准穿体于数系据整框个架生命周期的各个阶段
。抛开传统的网络安全和系统安全，大数据时代下的数据安全标准主要包 括通用要求、隐私保护两类标准。 n 应用和服务标准 应用和服务类标准主要是针对大数据所能提供的应用和服务从技术、功能 、开发、维护和管理等方面进行规范。主要包括开放数据集、数据服务平 台和领域应用数据三类标准。其中开放数据集标准主要对向第三方提供的 开放数据包中的内容、格式等进行规范；数据服务平台标准是针对大数据 服务平台所提出的功能性、维护性和管理性的标准；领域应用数据指的是 各领域根据其领域特性产生的专用数据标准，包括工业、电子商务等领域 。
16
n 产品和平台标准
该 数类 据标 库准产主 品要 、针 非对 结大 构数 化据 数相 据二关 管技 理、术 产标产 品品 、准和 智应 能体用 工系平 具台 、框进可架行视规化范工。具包、括数关据系处型理
平台和测试规范六类标准。其中关系型数据库产品标准针对存储和处理大 数据的关系型数据库管理系统，从访问接口、技术要求、测试要求等方面 进行规范，为关系型数据库管理系统进行大数据的高端事务处理和海量数 据分析提供支持；非结构化数据管理产品标准针对存储和处理大数据的非 结构化数据管理系统，从参考架构、数据表示、访问接口、技术要求、测 试要求等方面进行规范；智能工具用来帮助用户对大数据进行分析决策， 包括ETL、OLAP、数据挖掘等工具，智能工具标准对智能工具的技术及功 能进行规范；可视化工具是对大数据处理应用过程中所需用到的可视化展 现工具的技术和功能要求进行规范；大数据平台标准是针对大数据存储、 处理、分析系统从技术架构、建设方案、平台接口等方面进行规范；测试 规范针对大数据的产品和平台给出测试方法和要求。
美国棱镜计划：电邮、即时消息、 视频、照片、语音、文件传输、视 频会议、社交网络等数据的收集与 综合分析
7
三、 大数据产业生态链（技术）
大数据采集
大数据存储、 管理和处理
大数据呈现 和应用
大数据分析 和挖掘
8
Leabharlann Baidu
三、 大数据产业生态链（商业）
9
基础设施和分析方法方面： • 主要依赖国外技术和产品，核心技术方面仍是学习者和追随者
大数据 现象出现
大数据应用的成功案例，激 发了基于数据，萃取知识、
数据应用 需求激增
指导实践的巨大需求
以数据的深 度挖掘与融 合应用为特 征的智慧化
阶段
信息化3.0
4
二、 大数据的战略意义
大数据正在改变 人类的思维方式
传统思维
随机样本 精确求解 因果关系
全体数据 近似求解 关联关系
大数据思维
5
二、 大数据的战略意义
信息化2.0
--2015 以联网应用为特 征的网络化阶段
信息化3.0
2015以数据的深度挖掘 与融合应用为特征
的智慧化阶段
？
经历基础性变革 后的未来信息技 术支撑的信息化
金税工程
3
一、 大数据催生了信息化3.0（智慧化阶段）
技术廉价化、互联网发展、 信息化建设长期积累，形成 了规模巨大的数据资源，且 仍将加速增长
18
二、大数据参考模型
19
• 基本
概念
局势 （产业、
四、 我国大数据产业发展现状
应用方面： • BAT在网络大数据具有优势：网站、微博、微信、搜索、交易数据等
，互联网企业的技术优势难以顺畅地扩散到各行业 • 部门、地方和一些行业开始关注大数据资源建设 • 初级发展阶段，缺少典型性、共识性强的大数据应用； 数据资源开放方面： • 我国数据资源主要来源于互联网，业务、政务数据共享开放程度低
13
一、工作组概况
（二）组织管理
总体专题组
n 2014年12月2日，工作组 成立大会
国际专题组
n 2015年7月14日，工作组
第二次全会，正式成立7
个专题组
秘书处
工作组
n 2015年12月17日，工作组
第三次全会（2015年年终
总结）
n 工作组开展了一系列调 研活动，组织线下活动5 次，召开专题组会议18次