大数据整合

大数据整合：超越“只是添加数据”

由马修·马格纳，SAS全球产品营销经理数据管理

你可能已经在自己的座位上，听演讲主持人在一次会议上谈到如何在“下一件大事”是要“改变你做生意的方式。”该技术将采取一切，你有数据，意义它，优化那些讨厌的业务流程，并吐出准确的报告和仪表板。

所有你所要做的就是“只添加数据。”这是这么简单。

麻烦的是，经过几十年，这些技术标为下一个大的事情已经开始模糊。是不是一个数据仓库？CRM系统？ERP系统？也许MDM？现在，是它的Hadoop或数据的湖泊？

毫不奇怪，你可以换出技术和演讲听起来是一样的。而每一次，我会看组织大大小小的争夺赶上下一波。其结果往往是有点低迷，但。组织投入时间和资源投入到下一个大的事情，但很少看到预期的结果。

这使我想知道：为什么技术世界（和消费者）继续追逐下一次革命？也许更重要的是，什么是保持我们从我们假定的必杀技是指日可待？

答案几乎总是我们低估了“只需添加数据”阶段。这是最困难的部分。更准确地说，这是令人难以置信的困难的部分，涉及国内政治，组织变革等不直接相关的应用程序的东西- 但可能会导致它失败，失败快。

新的白皮书- 数据集成似曾相识：大数据重振DI - 探讨大数据整合的作用。它适用于从数据整合的尝试和真正的进程（这几乎是一样古老电脑本身），以更现代，大数据环境。它考察了更多的事情如何变化，他们更保持不变。可靠，准确，一致的数据是一切会在下一个要求- 分析，仪表板和业务流程优化。

下面摘录的细节如何数据集成适应当今永远在线，复杂和海量数据环境。

数据集成适应变化

数据集成开始遥想当年组织意识到他们需要一个以上的系统或数据源来管理企业。通过数据整合，组织可以整合多个数据源在一起。而数据仓库经常使用的数据整合技术，整合业务系统的数据，并支持报告或分析需求。

但事情一直变得越来越复杂。当人们清楚地看到应用程序，系统和数据仓库中的数量庞大的创造，这是具有挑战性的，以保持数据的大杂烩，企业架构师开始创建更智能的架构来整合数据。他们创造了经典的机型，面向批处理的ETL / ELT（提取，转换，加载，提取负载变换），面向服务架构，企业服务总线，消息队列，实时Web服务，语义集成使用本体，主数据管理等。

毕竟这段时间，并与所有这些成熟的技术到位，为什么我们仍然需要新的数据集成范例？为什么企业继续投资于这个软件？

它归结为以下三个趋势：

越来越多的组织使用的竞争优势，包括社交媒体，非结构化文本和智能电表等设备的传感器数据的土著和外来的数据源的数量。

增长的数据量前所未有的速度增长。

像新兴的Hadoop技术，扩大超出了传统数据管理软件的范围。

这些趋势都放在现有基础设施的巨大压力，迫使他们做的事情他们从来没有打算这样做。在大数据面前缺乏灵活性的技术约束，许多组织发现它几乎不可能充分利用他们所有的数据。最重要的是，他们需要密切注视的逻辑数据仓库，集成模式所需的同居的出现，需要新的功能，以满足这些要求- 如Hadoop的，NoSQL的，内存计算和数据虚拟化。