数据仓库的粗略发展历程

合集下载

数据仓库技术的应用与发展趋势

数据仓库技术的应用与发展趋势

数据仓库技术的应用与发展趋势随着互联网的普及和社交媒体的盛行,数据量已经成为了人们关注的一个重要问题。

随着数据量的不断增加,数据的处理与分析已经成为了新时代的应用和挑战。

同时,数据科学也对这一领域做出了贡献。

其中,数据仓库技术的应用和发展趋势变得被广泛讨论和研究。

1. 数据仓库技术的定义及发展历程数据仓库技术是指将来自不同的数据源的数据整合到一起,以便查看和分析。

它通过以时间为维度的方式来跟踪数据的历史变化和趋势,进而提供更好的决策支持。

随着计算机技术的发展和大规模数据的不断涌现,数据仓库技术开始流行开来。

1990年代初期,Oracle公司首次提出了商业化的数据仓库技术。

它被广泛认为是数据仓库技术的开山祖师,同时也引领了数据仓库技术的发展和应用,并称为当前数据仓库技术的第一代产品。

20世纪90年代末期,随着大数据的涌现,数据仓库技术进入了第二阶段。

大量的数据源需要被整合,并且数据仓库需要更快的响应速度。

因此,在这个时期,需要更加灵活和高度可扩展的架构来处理大数据,并且容错性也非常重要。

这个时期出现了更加复杂和高度可扩展的数据仓库技术,如Hadoop分布式处理框架。

相比第一代产品,第二代产品具有更佳的性能和效率,并且也满足了大数据量的需求。

当前,数据仓库技术已经进入了第三个时代,其中包含了大量的新技术和工具。

2. 数据仓库技术的应用发展2.1 数据挖掘数据挖掘是数据分析的一个重要分支,它使用数据仓库技术来探索数据并发现它们的内在规律。

数据挖掘可以用来查找数据中的规律和模式,并发现隐藏在数据中的信息。

数据仓库技术可以对这些数据进行分析,以了解关系和模式,并将其转化为实际应用需要的信息。

2.2 商业智能商业智能是一个管理信息的核心思想,它为企业提供了一种分析数据的方法来指导业务决策和管理。

数据仓库技术为商业智能提供了一个有效的平台,可以通过它来分析和报告数据。

用数据仓库技术来进行商业智能分析有多种优势,比如可以根据实时数据进行预测、更新模型,同时也可以创建定制报表和分析。

数据库的发展过程

数据库的发展过程

数据库的发展过程一、前言数据库是计算机科学中的重要概念,它是指在计算机系统中存储数据的一种结构化方式。

随着计算机技术的不断发展,数据库也经历了多年的演变和发展。

本文将对数据库的发展过程进行详细的介绍。

二、早期数据库早期的数据库主要是基于文件系统实现的,这种方式称为文件处理系统。

文件处理系统是一种简单而直接的数据管理方法,它把数据存储在磁盘上,并通过程序来访问和处理这些数据。

然而,由于文件处理系统没有任何内置安全措施,因此存在很多安全问题。

三、层次型数据库层次型数据库是第一个真正意义上的数据库管理系统(DBMS),它被广泛应用于20世纪60年代和70年代。

层次型数据库采用树形结构来组织数据,每个节点都可以有多个子节点。

这种模型非常适合描述具有明确父子关系的数据。

四、网状型数据库网状型数据库是在层次型数据库之后出现的一种新模型。

与层次型不同,网状型允许一个节点拥有多个父节点。

这使得网状型更适合描述复杂关系,并且能够更好地处理复杂查询。

五、关系型数据库关系型数据库是现代数据库的基础,也是目前最为流行的数据库类型。

它通过使用表格和行来组织数据,每个表格包含多个列和多行数据。

关系型数据库采用SQL(结构化查询语言)作为操作语言,它可以轻松地进行数据查询、更新和删除。

六、面向对象数据库面向对象数据库是在20世纪80年代末期出现的一种新型数据库。

它采用面向对象的编程思想来管理和组织数据,每个数据都被视为一个对象。

与传统的关系型数据库不同,面向对象数据库具有更好的灵活性和可扩展性。

七、NoSQL数据库NoSQL(Not Only SQL)是一种新兴的非关系型数据库类型。

与传统的关系型数据库不同,NoSQL没有固定的表结构,并且支持大规模分布式存储。

这使得NoSQL成为处理大量非结构化数据(如社交网络、日志记录等)的理想选择。

八、总结随着计算机技术不断发展,各种类型的数据库也在不断涌现。

从早期简单直接的文件处理系统到后来逐渐完善的层次型、网状型和关系型数据库,再到近年来崛起的面向对象数据库和NoSQL数据库,每一种数据库类型都在不断推动着计算机科学的发展。

动态数据仓库发展演变的五个阶段

动态数据仓库发展演变的五个阶段

动态数据仓库发展演变的五个阶段最成功的数据仓库都是以循序渐进的方式逐步发展起来的,它的每一次发展都提高了信息的商业价值。

近年来,数据仓库已经发展到能支持企业决策,甚至支持企业合作伙伴和客户的新高度。

早先,数据仓库只为企业内部高层的某些领域提供战略决策能力,如市场营销、战略策划和财务。

数据仓库提供的信息极大地改善了这些部门的决策质量。

然而,在当今竞争异常激烈的商业环境中,优秀的战略仅仅是成功的诸多要素之一。

若不能付诸有效的实施,任何战略都将是一纸空文。

新一代的数据仓库应用不仅改善了企业战略的形成,更重要的是发展了战略的执行决策能力。

本文讨论数据仓库的五个发展演变阶段,这也是企业内部决策支持走向成熟的五个阶段。

第1阶段:报表最初的数据仓库主要用于企业内部某一部门的报表。

数据仓库把机构内不同来源的信息集成到一个单一的仓库中,就可以为公司跨职能或跨产品的决策提供重要参考。

在大多数情况下,人们事先已对报表中涉及的问题有所了解。

因此,数据库的结构可根据问题的要求进行优化,即使数据查询人员要求访问的信息量极其巨大,处理这些资料的效率仍然可以很高。

构建第一阶段的数据仓库所面临的最大挑战是数据集成。

传统的计算环境经常有上百个数据源,每一数据源都有独特的定义标准和基本的实施技术。

要对这些放在不同生产系统之中、不具备一致性的数据进行清洗,建立一致性的数据存储库是非常具有挑战性的。

本阶段所建立的优化集成信息是给决策者使用的,同时也为以后数据仓库的发展奠定了基础。

第2阶段:分析在数据仓库应用的第二阶段,决策者关心的重点发生了转移--从"发生了什么"转向"为什么会发生"。

分析活动的目的就是了解报表数据的涵义,需要对更详细的数据进行各种角度的分析。

第二阶段的数据仓库对数据库要提交的问题事先一无所知,采用的方法主要是随机分析。

其中的性能管理依赖于关系型数据库管理系统(RDBMS)的先进优化功能,因为这与纯报表环境不同,信息查询的结构关系是无法预知的。

数据库发展的历史

数据库发展的历史

数据库发展的历史
数据库的发展历史可以追溯到20世纪50年代,以下是数据库发展的主要阶段:
1.早期阶段(20世纪50年代至60年代):在这个阶段,数据库主要用于文件管理和数据存储。

早期的数据库系统使用层次模型和网状模型来组织数据。

2.关系型数据库时代(20世纪70年代至80年代):20世纪70年代,E.F.Codd提出了关系型数据库的理论,为关系型数据库的发展奠定了基础。

这个时期出现了许多关系型数据库管理系统(RDBMS),如IBM的DB2、Oracle、SQLServer等。

3.面向对象数据库时代(20世纪80年代末至90年代):随着面向对象编程的兴起,面向对象数据库应运而生。

它们试图更好地支持面向对象编程范式和复杂的数据类型。

4.分布式数据库和NoSQL时代(21世纪初至今):随着互联网的发展和大数据的出现,分布式数据库和NoSQL数据库变得越来越流行。

NoSQL数据库提供了更高的可扩展性和灵活性,以适应大规模数据存储和处理的需求。

5.云数据库和大数据时代(近年来):随着云计算和大数据技术的发展,云数据库和大数据处理成为数据库领域的
新趋势。

云数据库提供了可伸缩性、灵活性和按需付费的优势,而大数据技术则专注于处理和分析大规模数据集。

数据库技术不断发展和演进,每个阶段都带来了新的理念和解决方案,以满足不断变化的业务需求和技术挑战。

数据库的发展过程

数据库的发展过程

数据库的发展过程一、简介数据库是指按照一定数据模型组织、存储和管理数据的系统。

在计算机科学领域,数据库是非常重要的基础设施,它广泛应用于各个领域,如企业管理、科学研究、教育和医疗等。

数据库的发展经历了多个阶段,本文将对其发展过程进行全面、详细、完整且深入地探讨。

二、文件系统数据库的发展起源于早期的文件系统。

在文件系统中,数据以文件的形式存储在磁盘上,要访问特定的数据,需要通过文件路径和文件名进行查找。

这种方式虽然简单直接,但存在着很多问题,如数据冗余、数据不一致性和数据难以共享等。

三、层次数据库为了解决文件系统的问题,层次数据库被提出。

层次数据库将数据组织成树形结构,通过父子关系连接数据。

这种结构使得数据可以更加有条理地组织,也方便了数据的检索和使用。

然而,层次数据库对数据间的关系处理有限,而且对于复杂的查询操作支持不够强大。

3.1 数据模型改进层次数据库的局限性促使了数据模型的改进。

在这个过程中,关系模型被引入,它把数据组织成表格形式,通过行和列的组合来表示数据间的关系。

关系模型的出现极大地提升了数据的灵活性和查询的能力,成为数据库发展的重要里程碑。

3.2 网状数据库在关系模型之后,网状数据库被提出。

网状数据库通过使用指针来建立数据间的关系,这种方式比层次数据库更加灵活,可以支持多对多的关系。

然而,网状数据库的复杂性和难以理解性限制了其应用的推广,导致其逐渐被关系数据库所取代。

四、关系数据库关系数据库是数据库的一个重要分支,以关系模型为基础进行数据的组织和管理。

关系数据库使用表格形式存储数据,数据间通过关系(即表与表之间的联系)进行连接。

关系数据库具有以下特点:4.1 数据结构清晰关系数据库通过定义表格的结构,规定了数据的类型、大小和约束条件等。

这样可以保证数据的一致性和完整性,减少了数据冗余和数据不一致性的问题。

4.2 数据操作简便关系数据库提供了SQL(结构化查询语言)来对数据进行增删改查操作。

数据仓库技术的发展历程

数据仓库技术的发展历程

数据仓库技术的发展历程1. 数据仓库技术的起源:数据仓库技术的发展始于20世纪80年代末和90年代初。

当时,大量的企业和组织开始积累大规模的数据,并意识到这些数据中潜在的商业价值。

数据仓库技术应运而生,目的是将分散的、异构的数据整合到一个统一的数据存储中,以支持决策分析。

2. 关系数据库管理系统(RDBMS)的发展:关系数据库管理系统是数据仓库技术的基石之一。

20世纪70年代,关系模型被提出,并随着IBM的System R和Oracle的引入,关系数据库管理系统开始流行起来。

这为数据仓库技术提供了可靠和高效的存储和查询基础。

3. 多维数据模型的引入:在数据仓库技术发展的早期,研究者们开始意识到传统的关系数据模型对于决策分析的支持有局限性。

于是,多维数据模型被提出,它以立方体(Cube)为基本数据单元,将事实数据按照多个维度进行组织和聚合,更适合于复杂的数据分析。

4. Online Analytical Processing (OLAP)的兴起:90年代初,OLAP技术开始流行起来。

OLAP是一种基于多维数据模型的数据分析方法,它使用高效的聚集和切割技术,支持快速的交互式查询和多维数据分析。

OLAP技术的出现进一步推动了数据仓库技术的发展,并成为数据仓库中常用的分析工具。

5. 数据仓库架构的演化:随着数据仓库规模的不断增大,数据仓库架构也逐渐演化。

最初的数据仓库采用的是简单的单一层(Single-tier)架构,随后发展为两层(Two-tier)架构,分离了数据存储和查询引擎。

而现代的数据仓库通常采用三层(Three-tier)架构,将数据存储、ETL(Extraction, Transformation, and Loading)处理和查询分析功能分离,以提高系统的可维护性和性能。

6. 大数据和云计算的兴起:近年来,随着大数据和云计算的发展,数据仓库技术面临新的挑战和机遇。

大数据的快速增长和多样化类型使得传统的数据仓库无法满足需求,这促使了新兴的大数据技术(如Hadoop和Spark)的崛起。

数据仓库技术的发展历程

数据仓库技术的发展历程

数据仓库技术的发展历程数据仓库技术的发展历程可以追溯到20世纪80年代以来的计算机技术和数据管理领域的发展。

在这个过程中,数据仓库技术逐渐成为了企业管理和决策支持的重要工具。

起初,数据仓库技术的发展受到了大型企业的需求驱动。

那时,由于企业规模的扩大和信息技术的应用,大量的业务数据被积累起来,而传统的数据库系统已经无法满足企业对数据处理和分析的需求。

为了解决这个问题,数据仓库技术开始兴起。

在数据仓库技术的早期阶段,主要的挑战是如何将来自多个数据源的异构数据整合到一个统一的数据仓库中。

为了解决这个问题,数据仓库技术采用了ETL(Extract, Transform, Load)过程,即从各个数据源中抽取数据,经过数据清洗和转换,最后加载到数据仓库中。

随着计算机硬件和网络技术的不断发展,数据仓库技术逐渐得到了普及和推广。

在20世纪90年代,数据仓库技术开始成为了商业智能(Business Intelligence)领域的核心内容。

商业智能的关键在于将企业数据转化为有价值的信息,帮助企业管理层做出决策。

数据仓库技术通过提供强大的数据分析和查询工具,帮助企业管理层更好地理解和利用数据,促进企业的业务发展。

在21世纪初,随着互联网的兴起和大数据时代的到来,数据仓库技术面临了新的挑战和机遇。

互联网和移动技术的普及,使得数据的规模和类型都发生了巨大的变化。

传统的数据仓库技术已经无法满足对海量数据的存储和分析需求。

为了应对这种变化,数据仓库技术开始采用并行计算和分布式存储技术,并引入了新的数据处理框架,如Hadoop和Spark。

随着人工智能和机器学习的快速发展,数据仓库技术也开始向智能化和自动化方向发展。

现代的数据仓库技术不仅仅是存储和查询数据的工具,还可以根据数据的特点自动进行数据清洗、转换和分析,帮助用户发现数据中的规律和模式。

总的来说,数据仓库技术的发展历程从最初的数据整合到商业智能,再到大数据和机器学习的应用,始终以满足企业对数据管理和决策支持的需求为目标。

数据库发展史

数据库发展史

数据库发展史在当今数字化的时代,数据库已经成为了信息存储和管理的核心组成部分。

从简单的纸质记录到复杂的电子数据库系统,数据库的发展历程见证了人类对于信息处理和利用的不断追求和创新。

早期的数据库形式可以追溯到古代文明时期。

当时,人们使用简单的符号、刻痕和手写记录来保存重要的信息,如人口统计、农作物收成和商业交易等。

然而,这些早期的记录方式存在着诸多局限性,信息的检索和更新都非常困难。

随着时间的推移,进入工业革命时期,数据的处理需求变得更加复杂和庞大。

19 世纪末,卡片索引系统开始流行。

这种系统将信息记录在卡片上,通过手工分类和排序来进行管理。

例如,图书馆使用卡片索引来记录书籍的信息,企业使用卡片来记录客户和员工的资料。

虽然相比古代的记录方式有了一定的进步,但仍然效率低下,容易出错,并且存储空间有限。

到了 20 世纪 50 年代,计算机技术的出现为数据库的发展带来了重大变革。

最初,计算机主要用于处理科学计算任务,但很快人们意识到其在数据管理方面的潜力。

在 60 年代,层次数据库和网状数据库模型应运而生。

层次数据库模型将数据组织成类似树形结构的层次关系。

数据按照从上到下的层次进行存储和访问,上级节点与下级节点之间存在明确的隶属关系。

这种模型在处理具有明确层次结构的数据时表现出色,例如企业的组织架构。

网状数据库模型则允许数据节点之间存在多对多的关系,比层次数据库更加灵活。

但这两种模型都存在着复杂性高、难以理解和维护的问题。

20 世纪 70 年代,关系数据库模型的出现彻底改变了数据库领域。

关系数据库基于数学中的关系理论,将数据组织成二维表格的形式,通过标准化的语言(如 SQL)进行操作和管理。

这种模型具有简洁、清晰、易于理解和维护的优点,迅速得到了广泛的应用。

关系数据库的发展经历了多个阶段。

早期的关系数据库系统主要运行在大型主机上,只有大型企业和机构能够承担其高昂的成本。

随着计算机技术的不断进步,特别是微型计算机的普及,关系数据库逐渐走向小型化和普及化。

中国的数据库发展历程

中国的数据库发展历程

中国的数据库发展历程
中国的数据库发展历程可以分为以下几个阶段:
1. 1978年-1990年代初:起步阶段
在改革开放初期,中国开始引进计算机技术和数据库知识。

当时的数据库应用主要集中在科研机构和大型企业,使用较为简单的数据库管理系统。

此阶段的数据库发展主要依赖于引进技术和国内开发。

2. 1990年代中期-2000年代:市场扩大阶段
随着国民经济的快速发展和互联网的兴起,中国的数据库市
场开始迅速扩大。

国内企业开始研发自主品牌的数据库管理系统,并与国际知名数据库供应商展开竞争。

此阶段的数据库应用涵盖了多个行业,包括金融、电信、政府等。

3. 2000年代中期-2010年代:技术创新阶段
在这一阶段,中国的数据库技术开始迎头赶上国际水平。


内企业积极参与数据库标准的制定和数据库理论的研究与创新。

同时,大数据和云计算等技术的兴起也推动了数据库的发展,企业开始关注数据库的性能、可扩展性和安全性等方面。

4. 2010年代至今:创新应用阶段
当前,中国的数据库应用已经涵盖了各个领域,包括物联网、人工智能和区块链等新兴技术。

企业和科研机构积极探索数据库在大数据分析、智能决策和安全保障等方面的应用。

此外,数据库领域还涌现出一批新的创业公司和开源项目。

总体而言,中国的数据库发展经历了从起步阶段到市场扩大、技术创新和创新应用的过程。

随着技术的不断进步和需求的不断增长,中国的数据库市场和技术水平将不断发展壮大。

程序员应知应会之数据库发展简史

程序员应知应会之数据库发展简史

程序员应知应会之数据库发展简史数据库,无疑是信息时代最重要的技术之一,经过多年的发展和完善,市场上已经有了多种基于不同设计理念和商业理念的数据库产品。

数据库的发展历史,可以简单的分为三个阶段:第一阶段:人工管理阶段20世纪50年代中期以前,计算机主要用于科学计算,外部存储器只有磁带、卡片和纸带等,还没有磁盘等存储设备,同时,软件系统也只有汇编语言,还没有数据管理方面的软件,数据处理方式主要是批处理。

此时的数据不易保存,没有文件的概念。

数据不具有独立性。

第二阶段:文件系统阶段20世纪50后代后期到60年代中期,计算机开始不仅仅用于科学计算,还用于信息管理方面。

随着数据量的增加,数据的存储、检索和维护问题成为了紧迫的需要,数据结构和数据管理技术迅速发展起来。

此时数据已经可以长期保存,由文件系统管理数据,文件的形式已经多样化,数据具有一定的独立性。

第三阶段:数据库管理系统阶段20世纪60年代后期,数据管理技术进入数据库系统阶段。

数据库系统克服了文件系统的缺陷,提供了对数据更高级、更有效的管理。

这个阶段的程序和数据的联系通过数据库管理系统(DBMS)来实现。

进入21世纪之后,随着数据量的爆发式增长,各类大数据处理技术也应运而生,从中催生了NoSQL和 NewSQL相关技术。

下面这张表显示了数据库发展史上的一些重要事件。

这里面值得一提的是在数据库发展史上出现了很多华人的身影,如提出ER模型的陈品山博士,以及为Postgres添加SQL支持的Andrew Yu 和 Jolly Chen。

另外,黑客们在数据库发展史上的贡献也极为丰富。

这些黑客以他们执着的精神和高超的技术,为数据库系统的日益完善做出了不可磨灭的贡献。

像T om Lane,他是一位卡耐基梅隆大学(CMU)的电子工程学 ph.D(博士),同时也是 PostgreSQL 的非常重要开发人员对 PostgreSQL 的性能和稳定性以及特性的取舍有极其重要的贡献。

数据库的发展历程

数据库的发展历程

数据库的发展历程数据库的发展历程可以概括为以下几个阶段:1. 文件系统阶段:数据库的早期,信息存储主要依靠操作系统的文件系统。

每个应用程序都有自己的数据文件,数据之间的相关性和一致性难以保证,数据的冗余和重复存储较为常见。

2. 层次数据库阶段:随着数据量的增加和数据之间关系的复杂性增强,出现了层次数据库系统。

该模型使用树状结构来组织数据,可以建立父子关系。

但是,这种模型的局限性在于难以表示复杂关系和多对多的关系,不利于数据的灵活性和扩展性。

3. 网状数据库阶段:为了解决层次数据库的问题,网状数据库被提出。

该模型允许一个节点拥有多个父节点,通过网络连接来表示数据之间的关系。

然而,网状数据库的设计复杂,难以维护和管理,也不易于查询和数据操作。

4. 关系数据库阶段:在1970年代,基于关系模型的关系数据库被引入,开创了数据库领域的新纪元。

关系数据库通过表的形式来组织和存储数据,使用结构化查询语言(SQL)进行数据的访问和操作。

关系数据库具有数据的一致性、可靠性和易扩展性,成为当时最为流行的数据库模型。

5. 面向对象数据库阶段:随着面向对象编程的兴起,面向对象数据库开始发展。

面向对象数据库将数据以对象的形式进行存储,支持面向对象的数据模型和查询语言。

这种数据库模型适用于处理复杂的对象结构和继承关系,但在实际应用中并不普及。

6. 非关系型数据库阶段:随着互联网的发展和Web应用的高峰期,传统的关系数据库在处理大规模分布式数据时遇到了一些问题,例如扩展性、性能和灵活性等。

为了解决这些问题,非关系型数据库(NoSQL)应运而生。

非关系型数据库根据数据的特点和需求选择适当的数据模型,如键值存储、文档存储、列存储和图形数据库等,以满足不同的应用场景和需求。

7. 新型数据库阶段:近年来,随着人工智能、物联网和大数据等技术的快速发展,新型数据库不断涌现。

这些数据库结合了传统关系数据库和非关系型数据库的优点,具备高扩展性、高性能和灵活性等特点。

大数据时代的数据仓库技术发展趋势分析

大数据时代的数据仓库技术发展趋势分析

大数据时代的数据仓库技术发展趋势分析伴随着信息技术的快速发展,数据已经成为了现代社会大量产生的数字化信息。

随着大数据时代的到来,数据分析已经成为了企业制定决策的重要依据。

但是,大数据也带来了大量的数据存储和处理的问题,如何将海量的数据高效地存储和管理就成为了业界共同面临的挑战。

而随着数据仓库技术的不断发展,大数据时代的数据存储和管理技术也迎来了新的机会。

一、数据仓库技术的发展历程数据仓库起源于20世纪70年代的决策支持系统,作为一个面向主题、集成、时变和稳定的数据集合,能够支持分析性查询和决策制定,已经成为了当今企业数据管理的重要组成部分。

随着数据仓库技术的不断发展,数据集成能力的提高、数据清洗和建模的精细化以及数据分析和挖掘算法的逐步完善,都为企业决策带来了更多的可能性。

同时,数据仓库也逐渐从传统的“离线巨型”转变为“在线可合并”的时代。

二、大数据时代下数据仓库的发展趋势1. 硬件设施的便宜化随着技术的不断进步,硬件设施越来越便宜,处理能力也越来越强大。

同时,云计算技术的广泛应用也为数据仓库的实现提供了便利,企业可以选择将数据存储在云端,以降低存储成本。

2. 数据流入速度的提高随着数据产生速度的不断加快,数据的流入速度也成为了企业面临的一个难题。

为了应对这一问题,数据仓库需要不断升级和改进,以实现更高效的数据流入。

3. 系统的可扩展性对于大规模企业来说,数据存储的量随着业务的发展会出现较大的波动。

因此,在数据仓库的设计中,应该充分考虑到系统的可扩展性,以便在需要时能够快速地扩大存储容量。

4. 数据安全和隐私保护随着数据泄露事件的增多,数据安全和隐私保护已经成为了企业数据管理中的一个重要问题。

数据仓库在设计和实现时,需要考虑数据的安全性和隐私性,制定相应的安全措施进行保护。

5. 数据治理和规范化数据治理是企业对数据进行管理和监督的一种方法,可以保证数据的可信性和完整性。

数据仓库作为企业数据的核心,需要制定合理的数据治理方案,规范化企业数据管理和使用。

闲聊数据库发展历史三个阶段、分类、数据库规范及趋势

闲聊数据库发展历史三个阶段、分类、数据库规范及趋势

闲聊数据库发展历史三个阶段、分类、数据库规范及趋势概述数据库(Database)是存储与管理数据的软件系统,就像一个存入数据的物流仓库。

在商业领域,信息就意味着商机,取得信息的一个非常重要的途径就是对数据进行分析处理,这就催生了各种专业的数据管理软件,数据库就是其中的一种。

当然,数据库管理系统也不是一下子就建立起来,它也是经过了不断的丰富和发展,才有了今天的模样。

1、发展历史1.1、人工处理阶段在20世纪50年代中期以前的计算机诞生初期,其处理能力很有限,只能够完成一些简单的运算,数据处理能力也很有限,这使得当时的计算机只能够用于科学和工程计算。

计算机上没有专用的管理数据的软件,数据由计算机或处理它的程序自行携带。

当数据的存储格式、读写路径或方法发生变化的时候,其处理程序也必须要做出相应的改变以保持程序的正确性。

人工管理数据具有如下特点:1)数据不保存2)数据需要由应用程序自己管理,没有相应的软件系统负责数据的管理工作3)数据不共享4)数据不具有独立性,数据的逻辑结构或物理结构发生变化后,必须对应用程序做相应的修改,这就进一步加重了程序员的负担。

1.2、文件系统20世纪50年代后期到60年代中期,随着硬件和软件技术的发展,计算机不仅用于科学计算,还大量用于商业管理中。

在这一时期,数据和程序在存储位置上已经完全分开,数据被单独组织成文件保存到外部存储设备上,这样数据文件就可以为多个不同的程序在不同的时间所使用。

虽然程序和数据在存储位置上分开了,而且操作系统也可以帮助我们对完成了数据的存储位置和存取路径的管理,但是程序设计仍然受到数据存储格式和方法的影响,不能够完全独立于数据,而且数据的冗余较大。

文件系统阶段特点为:1)数据可以长期保存2)由专门的软件即文件系统进行数据管理,程序和数据之间由软件提供的存取方法进行转换,使应用程序与数据之间有了一定的独立性,程序员可以不必过多地考虑物理细节,将精力集中于算法。

数据库的发展史

数据库的发展史

数据库的发展史引言:数据库是现代计算机科学中非常重要的一项技术,它对于数据的组织、存储和管理起着至关重要的作用。

随着时代的发展和技术的进步,数据库也在不断演化和发展。

本文将从数据库的起源开始,详细阐述数据库的发展史,旨在让读者了解数据库的演变过程,以及它对于信息时代的巨大影响。

一、数据库起源数据库的概念最早可以追溯到20世纪60年代,当时计算机科学家意识到需要一种更高效、更可靠的方法来存储和管理大量的数据。

在此之前,数据通常以文件的形式存储在磁带或磁盘上,但是文件系统存在很多问题,比如数据冗余、数据不一致等。

为了解决这些问题,人们开始研究数据库的设计和实现。

二、层次结构数据库在数据库的早期发展阶段,层次结构数据库被广泛应用。

层次结构数据库使用树形结构来组织数据,每个节点可以有多个子节点,但只能有一个父节点。

这种结构可以很好地模拟现实世界中的层次关系,比如组织机构、文件目录等。

然而,层次结构数据库存在一些缺点,比如数据的修改和查询操作比较复杂,不够灵活。

三、网状结构数据库为了克服层次结构数据库的一些限制,人们提出了网状结构数据库。

网状结构数据库使用图的形式来组织数据,节点之间可以有多个连接,每个节点可以同时有多个父节点和子节点。

这种结构更加灵活,可以很好地表示复杂的关系。

然而,网状结构数据库的实现比较复杂,而且容易产生数据冗余和不一致。

四、关系型数据库在20世纪70年代,关系型数据库的概念被提出,并迅速得到了广泛应用。

关系型数据库使用表格的形式来组织数据,每个表格由多个行和列组成,每一行代表一个记录,每一列代表一个属性。

通过使用关系代数和SQL等查询语言,用户可以方便地进行数据的查询、插入、更新和删除操作。

关系型数据库的设计和实现相对简单,而且具有良好的数据一致性和完整性。

目前,关系型数据库仍然是最常用的一种数据库模型。

五、面向对象数据库随着面向对象编程的兴起,面向对象数据库开始引起人们的关注。

面向对象数据库将对象的概念引入数据库中,可以直接存储和操作对象。

数据库发展简史

数据库发展简史

数据库的发展简史1. 数据管理的诞生数据库的历史可以追溯到五十年前,那时的数据管理非常简单。

通过大量的分类、比较和表格绘制的机器运行数百万穿孔卡片来进行数据的处理,其运行结果在纸上打印出来或者制成新的穿孔卡片。

而数据管理就是对所有这些穿孔卡片进行物理的储存和处理。

然而,1 9 5 1 年雷明顿兰德公司(Remington Rand Inc.)的一种叫做Univac I 的计算机推出了一种一秒钟可以输入数百条记录的磁带驱动器,从而引发了数据管理的革命。

1956 年IBM生产出第一个磁盘驱动器——the Model 305 RAMAC。

此驱动器有50 个盘片,每个盘片直径是2 英尺,可以储存5MB的数据。

使用磁盘最大的好处是可以随机地存取数据,而穿孔卡片和磁带只能顺序存取数据。

1951:Univac系统使用磁带和穿孔卡片作为数据存储。

数据库系统的萌芽出现于60 年代。

当时计算机开始广泛地应用于数据管理,对数据的共享提出了越来越高的要求。

传统的文件系统已经不能满足人们的需要。

能够统一管理和共享数据的数据库管理系统(DBMS)应运而生。

数据模型是数据库系统的核心和基础,各种DBMS 软件都是基于某种数据模型的。

所以通常也按照数据模型的特点将传统数据库系统分成网状数据库、层次数据库和关系数据库三类。

最早出现的是网状DBMS,是美国通用电气公司Bachman等人在1961年开发成功的IDS(Integrated DataStore)。

1961年通用电气公司(General ElectricCo.)的Charles Bachman 成功地开发出世界上第一个网状DBMS也是第一个数据库管理系统——集成数据存储(Integrated DataStore IDS),奠定了网状数据库的基础,并在当时得到了广泛的发行和应用。

IDS 具有数据模式和日志的特征。

但它只能在GE主机上运行,并且数据库只有一个文件,数据库所有的表必须通过手工编码来生成。

数据仓库技术的发展及其前景

数据仓库技术的发展及其前景

数据仓库技术的发展及其前景随着信息技术的发展,数据仓库技术已经成为企业信息化建设中的一个重要组成部分,为企业决策提供了强大的支持。

在数据仓库的基础上,企业可以更加全面、准确、及时地了解市场和客户的需求,提高了企业的市场反应和竞争力。

本文将对数据仓库技术的发展历程进行简要回顾,并分析其未来的发展前景。

一、数据仓库技术的发展历程1.1 传统数据管理技术在传统数据管理技术时期,企业面临的主要困境是数据分散、数据混乱、数据应用的局限性等。

传统的数据管理技术只能进行基本的数据存储和管理,无法实现复杂的企业数据处理和分析任务。

1.2 数据仓库技术的兴起为了解决传统数据管理技术所面临的困境,数据仓库技术应运而生。

数据仓库技术是一种全局性的、面向主题的、集成的、相对稳定的数据集合,可以支持企业的基本决策和战略决策。

数据仓库技术可以将分散的数据整合到一个统一的数据仓库中,使企业能够更好地利用这些数据进行分析和应用。

1.3 数据仓库技术的发展数据仓库技术的发展经历了不断演进的过程和重要发展的阶段。

在90年代初期,数据仓库技术仅仅是一种替代传统数据库的新技术。

随着数据需求和复杂性的不断增加,数据仓库技术逐渐升级和发展,并运用了更多的技术手段和方法来处理各种数据类型和业务需求。

二、数据仓库技术的前景2.1 视觉化分析技术数据仓库技术在未来的发展中,最大的可能就在于数据的可视化分析技术。

随着数据量的增加和企业信息化建设的深入推进,数据可视化技术得到了越来越广泛的应用。

未来,人们对大数据的需求将会越来越多,这将会促使数据可视化技术有更大的发展空间。

2.2 人工智能技术在未来,数据仓库技术还将会与人工智能技术相结合。

人工智能技术能够根据数据进行自我学习,并在学习的过程中进行预测和分析,能够解决传统数据仓库技术中存在的不足之处。

人工智能技术将会与数据仓库技术相结合,形成更强大的决策分析能力。

2.3 聚合分布式技术在数据仓库技术的未来发展中,聚合分布式技术也将会发挥重要的作用。

数据仓库作业

数据仓库作业

数据集市(1994-1996) ,Ralph Kimball出现了,他的第一本书“The DataWarehouse Toolkit”掀起了 数据集市的狂潮,这本书提供了如何为分析进行数据模型优化详细指导意 见。从此,数据集市在很多地方冒了出来,并获得很大成功,而企业级数 据仓库已逐渐被人所淡忘。
2.8越来越了解如何对“成功或失败”问题做出正确分析——知识管理 在企业仓促着手建立数据仓库或其它分析型知识库时,数据质量或元 数据这些重要问题经常被忽视,其后果就是,很多企业现今发现他们 的行动成功性打了不少折扣,因为他们不能确定“成功或失败”问题。 数据质量问题和元数据的缺乏会严重影响用户对数据仓库的接受程度, 也只能得到可怜的分析结果和不正确的决策。 2.9强调应用程序VS数据仓库 2.10越来越注重盈亏问题


[1] 郑晓军,《数据仓库的技术和发展现状》,微电脑世界周刊,2003-10 [4] 王卫红、田忠和,《数据仓库技术的产生和发展》,河北工业科技,2002-02
/Article/CJFDTOTAL-DNZS200614002.htm
9.参观文献
3.主要应用


数据仓库系统是多种技术的综合体,由数据仓库(DW)、数 据仓库管理系统(DBMS)、数据仓库工具三部分组成。数据 仓库管理系统负责管理整个系统的运转,是整个系统的引 擎;数据仓库包括远期基本数据、近期基本数据、轻度综 合数据和高度综合数据,是整个系统的核心。数据仓库工 具则是通过OLAP、DM等高效的工具来发挥数据仓库真正的 作用。联机分析处理是针对特定问题的联机数据访问和分 析。通过对转换后信息的很多种可能的观察形式进行快速、 一致和交互地存取,可以对数据进行进一步的观察。数据 挖掘是一个决策支持过程,主要基于AI、机器学习、统计 学等技术,高度自动化地分析企业原有的数据,做出归纳 性的推理,从中挖掘出潜在的模式,预测客户的行为,帮 助企业决策者调整市场策略,做出正确判断和决策。DM系 统利用的技术越多,得出的结果精确性越高。 数据主要有四个方面的来源:客户信息、客户行为、生产 系统和其它相关数据。这些数据通过抽取、转换和装载过 程,形成数据仓库,并通过OLAP和报表,将客户的整体行 为分析和企业运营分析等传递给数据仓库用户。

数据仓库技术的发展历程

数据仓库技术的发展历程

数据仓库技术的发展历程定义数据仓库是决策支持系统(dss)和联机分析应用数据源的结构化数据环境。

数据仓库研究和解决从数据库中获取信息的问题。

数据仓库的特征在于面向主题、集成性、稳定性和时变性。

数据仓库之父Bill Inmon在1991年出版的“Building the Data Warehouse”一书中所提出的定义被广泛接受——数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。

特点1、数据仓库是面向主题的;2、数据仓库是集成的,数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合之后才能进入数据仓库;3、数据仓库是不可更新的,数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询;4、数据仓库是随时间而变化的,传统的关系数据库系统比较适合处理格式化的数据,能够较好的满足商业商务处理的需求,他在商业领域取得了巨大的成功。

实现方式数据仓库是一个过程而不是一个项目。

数据仓库系统是一个信息提供平台,他从业务处理系统获得数据,主要以星型模型和雪花模型进行数据组织,并为用户提供各种手段从数据中获取信息和知识。

从功能结构化分,数据仓库系统至少应该包含数据获取(Data Acquisition)、数据存储(Data Storage)、数据访问(Data Access)三个关键部分。

企业数据仓库的建设,是以现有企业业务系统和大量业务数据的积累为基础。

数据仓库不是静态的概念,只有把信息及时交给需要这些信息的使用者,供他们做出改善其业务经营的决策,信息才能发挥作用,信息才有意义。

而把信息加以整理归纳和重组,并及时提供给相应的管理决策人员,是数据仓库的根本任务。

数据仓库与数据管理的发展

数据仓库与数据管理的发展

数据仓库与数据管理的发展随着信息时代的到来,数据已经成为了一种重要的资源形式。

为了更好地管理和利用数据,数据仓库和数据管理这两个概念应运而生。

一、数据仓库的发展1.1 数据仓库的定义数据仓库是一个能够集成多个不同数据来源的数据库,用于支持企业的决策制定过程。

数据仓库存储的数据相对于操作数据库来说,更加注重历史数据、大量的数据、复杂的数据分析和轻量级事务。

数据仓库基于主题(数据的指向)进行组织,通过ETL 工具来提取、转换、加载数据到数据仓库中,采用多个层次的结构来支持分析和报表。

1.2 数据仓库的发展历史数据仓库的发展始于1980年代,当时许多公司遇到了数据管理的挑战。

在当时的环境下,企业数据主要存储在单个系统中,而各个系统间并没有建立联系和集成。

为了解决这个问题,有些公司在当时开始了逐渐的数据仓库项目。

在1990年代,数据仓库大规模地应用于企业中。

数据仓库架构、数据库管理系统和开发工具逐步成熟,数据仓库的应用场景也开始逐渐多样化。

随着技术的不断发展和数据科学的崛起,数据仓库也在不断发展。

现在,数据仓库已经成为企业探索数据本质的关键工具。

可以预期,在未来,数据仓库会继续发展。

二、数据管理的发展2.1 数据管理的定义数据管理是通过统一的数据处理标准,对企业数据进行管理、维护、分析、优化的过程。

它是一个跨领域的概念,包含数据质量管理、元数据管理、数据安全等方面。

通过数据管理来提高企业的数据利用效率,进而提高企业运营水平和竞争实力。

2.2 数据管理的发展历史数据管理的发展历史可以追溯到1980年代初。

当时企业处理数据的方式还比较单一,仅靠传统的手工处理,存在着处理速度缓慢、容易出现错误等问题。

随着计算机的逐步普及和网络的发展,数据管理有了更好的履行途径。

1980年代末和1990年代初,关系型数据库出现,并逐渐得到普及。

数据库管理软件逐步变得更加安全可靠,功能更加强大,管理透明等。

此时,数据管理成为企业必须重视的管理领域。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

数据仓库的粗略发展历程及相关概念1.1 概述数据仓库的概念可能比一般人想像的都要早一些,中间也经历比较曲折的过程。

其最初的目标是为了实现全企业的集成(Enterprise Integration),但是在发展过程中却退而求其次:建立战术性的数据集市(Data Marts)。

到目前为止,还有很多分歧、论争,很多概念模棱两可甚至是彻底的让人迷惑。

本文试图从数据仓库的发展历史中看到一些发展的脉络,了解数据仓库应该是怎么样的,并展望一下未来的数据仓库发展方向。

同时,由于新应用的不断出现,出现了很多新的概念和新的应用,这些新的应用如何统一现成完整的企业BI应用方案还存在很多争论。

本文试图对这些概念做一些简要的阐述,让大家对此有初步的了解。

1.2 粗略发展过程1.2.1 开始阶段(1978-1988)数据仓库最早的概念可以追溯到20世纪70年代MIT的一项研究,该研究致力于开发一种优化的技术架构并提出这些架构的指导性意见。

第一次,MIT的研究员将业务系统和分析系统分开,将业务处理和分析处理分成不同的层次,并采用单独的数据存储和完全不同的设计准则。

同时,MIT的研究成果与80年代提出的信息中心(Information Center)相吻合:即把那些新出现的、不可以预测的、但是大量存在的分析型的负载从业务处理系统中剥离出来。

但是限于当时的信息处理和数据存储能力,该研究只是确立了一个论点:这两种信息处理的方式差别如此之大,以至于它们只能采用完全不同的架构和设计方法。

之后,在80年代中后期,作为当时技术最先进的公司,DEC已经开始采用分布式网络架构来支持其业务应用,并且DEC公司首先将业务系统移植到其自身的RDBMS产品:RdB。

并且,DEC公司从工程部、销售部、财务部以及信息技术部抽调了不同的人员组建了新的小组,不仅研究新的分析系统架构,并要求将其应用到其全球的财务系统中。

该小组结合MIT的研究结论,建立了TA2(T echnical Architecture 2)规范,该规范定义了分析系统的四个组成部分:♦数据获取♦数据访问♦目录♦用户服务其中的数据获取和数据访问目前大家都很清楚,而目录服务是用于帮助用户在网络中找到他们想要的信息,类似于业务元数据管理;用户服务用以支持对数据的直接交互,包含了其他服务的所有人机交互界面,这是系统架构的一个非常大的转变,第一次将交互界面作为单独的组件提出来。

1.2.2 全企业集成(Enterprise Intergration,1988)同时,IBM也在处理信息管理不同方面的问题,其最烦人的问题是不断增加的信息孤岛,IBM 的很多客户要面对很多分立系统的数据集成问题,而这些系统有不同的编码方式和数据格式。

1988年,为解决全企业集成问题,IBM爱尔兰公司的Barry Devlin 和Paul Murphy第一次提出了“信息仓库(Information Warehouse)”的概念,将其定义为:“一个结构化的环境,能支持最终用户管理其全部的业务,并支持信息技术部门保证数据质量”,并在1991年在DEC TA 2的基础上把信息仓库的概念包含进去,并称之为VITAL规范(virtually integrated technical architecture life cycle),将PC、图形化界面、面向对象的组件以及局域网都包含在VITAL 里,并定义了85种信息仓库的组件,包括数据抽取、转换、有效性验证、加载、Cube开发和图形化查询工具等。

但是IBM只是将这种领先的概念用于市场宣传,而没有付诸实际的架构设计。

这是IBM有一个领域上创新后停止不前导致丧失其领先地位。

因此,在90年代初期,数据仓库的基本原理、框架架构,以及分析系统的主要原则都已经确定,主要的技术,包括关系型数据存取、网络、C/S架构和图形化界面均已具备,只欠东风了。

同时,在1988年-1991年,一些前沿的公司已经开始建立数据仓库。

1.2.3 企业级数据仓库(EDW,1991)1991年,Bill Inmon出版了其有关数据仓库的第一本书,这本书不仅仅说明为什么要建数据仓库、数据仓库能给你带来什么,更重要的是,Inmon第一次提供了如何建设数据仓库的指导性意见,该书定义了数据仓库非常具体的原则,包括:♦数据仓库是面向主题的(Subject-Oriented)、♦集成的(Integrated)、♦包含历史的(Time-variant)、♦不可更新的(Nonvolatile)、♦面向决策支持的(Decision Support)♦面向全企业的(Enterprise Scope)♦最明细的数据存储(Atomic Detail)♦数据快照式的数据获取(Snap Shot Capture)这些原则到现在仍然是指导数据仓库建设的最基本原则,虽然中间的一些原则引发一些争论,并导致一些分歧和数据仓库变体的产生。

但是,Bill Inmon凭借其这本书奠定了其在数据仓库建设的位置,被称之为“数据仓库之父”。

1.2.4 数据集市(1994-1996)数据仓库发展的第一明显分歧是数据集市概念的产生。

由于企业级数据仓库的设计、实施很困难,使得最早吃数据仓库螃蟹的公司遭到大面积的失败,因此数据仓库的建设者和分析师开始考虑只建设企业级数据仓库的一部分,然后再逐步添加,但是这有背于Bill Inmon的原则:各个实施部分的数据抽取、清洗、转换和加载是独立,导致了数据的混乱与不一致性。

而且部分实施的项目也有很多失败,除了常见的业务需求定义不清、项目执行不力之外,很重要的原因是因为其数据模型设计,在企业级数据仓库中,Inmon推荐采用3范式进行数据建模,但是不排除其他的方法,但是Inmon的追随者固守OLTP系统的3范式设计,从而无法支持DSS系统的性能和数据易访问性的要求。

这时,Ralph Kimball出现了,他的第一本书“The DataWarehouse T oolkit”掀起了数据集市的狂潮,这本书提供了如何为分析进行数据模型优化详细指导意见,从Dimensional Modeling 大行其道,也为传统的关系型数据模型和多维OLAP之间建立了很好的桥梁。

从此,数据集市在很多地方冒了出来,并获得很大成功,而企业级数据仓库已逐渐被人所淡忘。

1.2.5 争吵与混乱(1996-1997)企业级数据仓库还是部门级数据集市?关系型还是多维?Bill Inmon 和Ralph Kimball一开始就争论不休,其各自的追随者也唇舌相向,形成相对立的两派:Inmon派和Kimball派(有点象少林和武当,呵呵)。

在初期,数据集市的快速实施和较高的成功率让Kimball派占了上风,但是很快,他们也发现自己陷入了某种困境:企业中存在6-7个不同的数据集市,分别有不同的ETL,相互之间的数据也不完全一致。

同时,各个项目实施中也任意侵犯了Inmon开始定下的准则:把数据集市当成众多OLTP系统之后的有一个系统,而不是一个基础性的集成性的东西,为保证数据的准确性和实时性,有的甚至可以由OLTP系统直接修改数据集市里面的数据,为了保证系统的性能,有的数据集市删除了历史数据。

等等,不一而足。

当然,这导致了一些新的应用的出现,例如ODS,但是人们对DataWarehouse、DataMart、ODS的概念非常的模糊,经常混为一谈。

有人说OLAP就是数据仓库,也有人说我要ODS和DataMart,不要Datawarehouse,也有人说,我DataMart建多了,自然就有DataWarehouse了。

但是Bill Inmon一直很旗帜鲜明:“你可以打到几万吨的小鱼小虾,但是这些小鱼小虾加起来不是大鲸鱼”1.2.6 合并(1998-2001)经过多翻争吵,证明one-size-fits-all是不可能的,你需要不同的BI架构来满足不同的业务需求。

Bill Inmon也推出了新的BI架构CIF(Corporation information factory),把Kimball 的数据集市也包容进来了,第一次,Kimball承认了Inmon,但是仍然还有很多人在争论是自顶向下,还是自底向上。

CIF的核心思想是把整个架构分成不同的层次以满足不同的需求,把DW、DM、ODS进行详细的描述。

现在CIF已经成为建设数据仓库的框架指南。

1.2.7 未来??但是数据仓库未来会怎么发展呢,有人说是RealTime DW(by Michael Haisten)。

但是从其历史发展过程来看,几个趋势是比较明显的:♦从战略决策到战术决策的发展:这对DW的实时性和可获得性(availability)有更高的要求,甚至要求7×24×365♦需求更加多样化,要求有不同的架构和应用层次以适应不同的需求♦数据量膨胀,对数据建模、数据组织和层次划分提出更高的要求。

从EDW到DM,又有ODS、RTDW、Exploration DataWarehouse等等,同时新的应用层出不穷,看来DW/BI的未来是热热闹闹的。

1.3 战术决策支持系统数据仓库从一开始是定位在面向高层管理者、进行战略决策支持的,而随着应用的发展,要求中层管理者甚至底层的一线操作者也能分享数据仓库的功能。

例如客服人员在接听客户电话的同时能查看到该客户的完整历史信息、该客户的偏好信息、根据其客户情况目前能提供的促销信息等等。

即运营系统与决策支持系统将不再是完全隔离的两个系统,而是要求二者之间能相互共享有用的信息。

1.3.1 战术决策支持系统的交互方式运营系统和DW/DSS系统的交互方式可以有两种:直接交互和间接交互。

直接交互直接交互虽然在表面上很直观,但是有很多限制的地方:1. 数据仓库的查询反应速度是比较长的,很难满足运营系统的时间要求,特别是对那些比较随机的查询,其反应时间超过好几分钟,甚至上小时。

2. 得到的数据量可能是比较大的,增加了网络的负担3. 从数据仓库得到的数据格式、数据含义等与运营系统有差距,需要某种数据置换和加载过程(与数据仓库建设的ETL区分,可以称之为反向ETL)这些问题使得由运营系统直接访问数据仓库系统变动不切实际,在现实世界中也很少有这样的系统建设。

间接交互间接交互中,通过分析系统计算出该客户能得到的折扣是最重要的组成部分,他需要综合当前的运营数据(运营系统)和历史消费信息(数据仓库)。

通常来说,这部分计算要求的数据量和计算时间超过了运营系统能承受的范围,一般是在机器空闲的时候在夜间先行计算的。

这种间接交互的分析型应用可以存在很多行业的众多应用,例如银行信贷系统的动态评级、电话销售时的客户细分和促销、航空定票的动态定价、生产系统的动态生产计划制定与调整等等。

相关文档
最新文档