数据管理发展趋势

数据管理发展趋势

前言 (2)

1.架构的改变(Architecture Shifts) (2)

1.1 (1)

重“关联”、轻“采集” (4)

1.2”移动性数据”成为主要案例 (5)

1.3集中式、分布式、随机式数据治理并存 (5)

1 (4)

元数据是未来数据管理的关键 (6)

2,技术的转变(Technology Changes) (6)

2.1人工智能让数据管理软件的运行更加流畅 (6)

3.2动态元数据创造“自我驱动型”数据管理 (8)

2. 3开源软件收益与风险的平衡 (9)

3•组织的衍化(Organization Evolves) (10)

2.1自动化数据与分析工作即将来临 (10)

3. 2人机联盟：少花钱、多做事 (11)

4.3元数据与数据管理架构紧密贴合 (11)

5.4数据管理新角色不断涌现 (12)

前言

当前，数据驱动型业务战略与信息产品的潜力比以往任何时候都要大。对于多数企业机构而言，数据分析与管理已成为它们业务战略的重要驱动力。数据分析与管理领导者正在通过挖掘数据价值来驱动数字化转型、创造盈利机会、改善客户体验和重塑行业格局。

随着云、本地、边缘间的界限逐渐消失，数据管理的未来可以用四个关键词来描述。

9 I /T

首先是分布式(Distributed),未来的数据管理将是分布式的，因为数据管理须随数据所在的位置而进行。

其次是无服务器(Serverless),此概念较特殊、并不是指未来的数据管理不再需要服务器，而是指未来将没有一个明确的集中式服务器。

再者是协调(Orchestrated),今天的数据会产生在不同的地方和设备上，所以须把它们协调管理。

最后就是元数据(Metadata),无论数据分散在何处，元数据均能把它们协调在一起，因此元数据是未来数据管理中非常重要的一个元素。

三大维度

总体而言，数据管理的未来发展趋势可从三个维度来看一一架构的改变、技术的转变以及组织的衍化。

1 .架构的改变(Architecture Shifts)

Gartner于2018年针对数据和分析的采用趋势进行了一项调查(多选题)。结果显示企业机构目前使用最普遍的信息基础架构技术为“基于云平台的数据存储" (63%)。

Source P-lWA Data I AnaMxs AdoptMn TrmO 2016

---------------- MB - c，一一—〜Gartner Gartner于2018年针对数据和分析的采用趋势进行了一项调查(多选题)。结果显示企业机构目前使用最普遍的信息基础架构技术为“基于云平台的数据存储" (63%)。

一些传统技术，例如数据仓库(Data Warehouse)和数据库管理系统(DBMS)仍然占着相当大的比重。这些传统技术在未来并不会消失。

举例而言，“数据仓库”是一个非常广泛的案例，未来数据的研究和分析都将需要用到该技术一一主要配合在特定案例和场合中使用。

此外，未来还将有诸如“数据目录” (Data Catalogs)这样的技术被广泛使用。

“数据目录”是元数据的重要基础，以往“数据目录”主要用于帮助企业机构了解数据的定义和来源，但现在的趋势是“数据目录”可以帮助企业机构了解数据的特性、使用者以及使用场景。

因此，在数据管理的未来趋势中，“数据目录”将具有举足轻重的地位。

此外，数据湖(Date Lake)已从此前放置在内部数据中心中转变为目

前可放在云端上，这是一个非常大的变化，未来诸如此类比较高端的技术均可以移至云平台之上。

1.1重“关联”、轻“采集”

108UU00

Outcome and utilization metadata

Distributed serverless logic

Data

josuuoo

sNEAdo

Outcome and utilization metadata

Distributed serverless logic

Data

从上述调查背景可以看出，未来的数据管理和集成将会变得更加“关联”（Connect），更少“采集”（Collect）°

当前，在数据管理上，企业机构通常重“采集”、轻“关联”，此情形在中国尤为严重一一即企业机构在采集和存储数据后，并不能立即挖掘其中的价值，失去其时效性。

原因在于，从数据被“采集”到应用其价值，这中间有相当长的流程(如上左图所示)，包括描述、整理、集成、分享、治理和实施。这一长串流程对企业机构内部IT技术具有相当大的考验。

随着机器学习技术的引入和元数据的应用，目前数据管理和集成已开始呈现出一种新趋势，即更加注重数据的“关联”(如上右图所示)，也就是指无论数据是在本地、云端、某个设备感应器上或任何地方，我们都可以在数据保留在原地的情况下，将它们关联起来，而无须采集到特定地方。

在未来增强式的数据管理的环境中，自动发掘数据、透过机器自动意识识别数据中的价值、认定有价值的数据、分析数据、自动采用适合数据的安全措施、分享数据、优化数据，最终实现在最短时间内将精准的数据发送给对的人，对于企业机构至关重要。

1.2 "移动性数据”成为主要案例

数据管理与集成方面的另一个趋势是“移动性数据" (Data in Motion) o

以往，诸如交易产生后，企业机构便把数据存储进数据库或数据中心内，后续任务即制作报表等工作，这类的数据被称为“静态型”。

“移动性数据”指的是在交易过程中，企业机构就可以看到实时的数据处理一一无论数据处在边缘设备还是在数据中心内。数据始终是数据商用平台的核心所在。

L3集中式、分布式、随机式数据治理并存

与数据管理(Data Management)不同，数据治理(Data Governance) 注重数据的使用者、使用方式、使用权限的合规性制定。

未来的“数据治理”将会非常动态一一可以是集中式、分布式，亦可是随机式。“随机式”是指企业机构可以通过机器学习来增强数据内容以及评估用例。