大数据的机遇和挑战

大数据的机遇和挑战：从数据分析的角度讨论Zhi-Hua Zhou, Nitesh V. Chawla, Yaochu Jin, and Graham J. Williams摘要—“大数据” 一词已成为过去三年来最大的趋势，导致一股研究的热潮，以及行业和政府的应用。

数据被认为是一个强大的原材料，可以影响的多学科研究的努力，以及政府与企业绩效。

本讨论文件的目的是共享数据的分析意见和有关新的机遇和挑战带来的大数据移动作者的观点。

作者将不同的视角，从不同的地理位置具有不同的核心研究领域和不同的背景和工作经验。

本文的目的是唤起讨论，而不是提供一个大的数据的全面调查研究。

索引条目：大数据，数据分析，机器学习，数据挖掘，全局优化，应用F1导论大数据是一种是今天使用的热门的短语。

每个人都在谈论大数据，并认为，科学，商业，工业，政府，社会，等将进行彻底的改变与大数据量的影响。

从技术上讲，处理大数据的过程包括收集，贮存，运输和利用。

毫无疑问，收集，储存和运输阶段是必要的前体通过数据分析开发的终极目标，这是大数据处理的核心。

把数据分析的角度来看，我们注意到，“大数据”是由四维的体积，速度，准确性和多样性的定义。

它是假定所有或其中的任何一个需要满足的问题分类作为一个大的数据问题。

体积表示的数据的大小，这可能是太大，要处理的当前状态的算法和/或系统。

速度意味着数据流的速度比，可以用传统的算法和系统处理。

传感器的快速阅读和交流的数据流。

我们是来自世界各地的AP 量化，并呈现不可用的数据迄今为止。

准确性表明，尽管提供的数据，数据的质量仍然是一个主要关注的问题。

那就是，我们不能假定，大数据的高质量。

事实上，规模带来的质量问题，这需要被解决在数据预处理阶段的学习算法。

品种是最引人注目的维度是对于一个给定的对象在考虑不同类型和方式现代数据。

每个维度的当然不是新。

机器学习和数据挖掘的研究人员已经解决这些问题几十年。

然而，互联网的出现为基础的公司质量提出了挑战，许多传统的面向过程的他们现在需要成为知识型公司的数据，而不是由过程驱动的企业。

这篇文章的目的是分享作者对他们的数据分析集成电路的观点大数据的意见。

四位作者带来相当不同角度的研究经验和专业知识，生成计算智能，机器学习，数据挖掘和科学，和跨学科的研究。

作者代表四个不同的大洲的学术界和工业。

这种多样性汇集了在今天的大型数据的上下文数据的分析，探索一种有趣的视角报道。

值得强调的是，本文不打算提供对大数据研究国家的最先进的全面审查，不提供一个未来大数据的研究议程。

目的是为了揭露作者的个人意见和提出他们对未来的观点基于他们的意见。

这样会有一定限制的证据的论点或文学的支持，鉴于迅速变化的景观和学术研究明显滞后的报告。

事实上，许多重要的问题和相关的技术是没有明确包括在这篇文章中，所以最好是让调查报告。

虽然所有的作者都有助于整体的纸张，每个作者都集中在他们的特别专长在下面的讨论话题。

周包括机器学习，而Chawla带来了数据挖掘与数据科学的视角。

金提供了一个从计算智能的元启发式全局优化，和威廉姆斯利用机器学习和数据挖掘的背景作为一种实践数据科学家和顾问行业的国际2大数据机器学习数据机器学习是数据分析的核心技术之一。

在这一节中我们将首先阐明三种常见但不幸的是，误导有关学习系统在大数据时代。

然后，我们将讨论需要关注的几个问题。

2.1的三个误区2.1.1“模型都不重要”现在许多人谈论的大数据替换复杂的模型，我们在那里有大量的可用的数据。

其论点是：在“小数据时代”模型是重要的但在“大数据时代”，这可能不是这样的。

这种观点被称为基于的类型，如图1所示的实证观察。

小的数据（例如，10的数据大小），最好的模式是约%比在图中最坏的模型，而由大数据带来的性能改进（例如，104的数据大小）是%。

这样的观察可以追溯到很多年，和之前的“大数据的使用。

“这是看到在“大数据时代”的意思，很多人采取这样的人物（或类似的数字）声称，有大的数据就足以获得更好的性能。

这种肤浅的观察，然而，忽视了更大的数据（例如，在图104的数据大小），还有不同模型之间的差异仍然是重要的。

在深入学习最近的兴趣，提供了强有力的证据表明在大数据，复杂的模型是能够实现更好的性能比简单的模型。

我们想强调，深入学习技术是不是新的，和许多思想可以从1990的。

如何过，有利于发展在当时两个严重的问题。

第一，当时可用的计算设施无法处理成千上万的参数模型来调整。

当前深入学习的模型涉及数百万甚至数十亿的参数。

第二，当时的数据规模相对较小，因此，模型具有较高的复杂性很有可能过度拟合。

我们可以看到，随着计算能力的迅速增加，训练精良的模型变得越来越可行，而大数据量大大减少了过度拟合的风险复杂的模型。

从这个意义上说，我们甚至可以得出这样的结论：在大数据时代，复杂的模型越来越青睐由于简单的模型通常不能充分利用数据。

2.1.2”相关的是足够的”一些流行的在线约会的书籍，包括索赔[ 37 ]，它是足够的“发现颜色的关系”，从大的数据。

在“因果关系”的重要性将采取通过在与一些“相关”，鼓吹“我们是进入一个时代的相关。

”试图发现因果关系的代表，是美国伟大的搜索意图的深入理解的数据。

这是一个真正的挑战通常在多域。

然而，这是我们要强调足够远的互相关和因果关系的作用，不能被替换由相关。

我们可以很容易地找到很多例子，即使在经典统计教科书，说明相关无法替代的因果关系中的作用。

例如，在一些城市透露，医院和汽车盗窃的数量呈高度正相关的治安案件的实证数据分析。

事实上，盗窃汽车几乎呈线性增加的新医院的建设。

这样的相关识别，减少盗窃汽车将市长反应如何？一个“明显的”解决办法是停止新医院的建设。

不幸的是，这是相关信息的滥用。

它只会降低患者得到及时治疗的机会，而这是做汽车盗窃的发生极不可能。

相反，两个入射的盗窃汽车和医院数量的增加是由一个潜变量，即影响，居住人口。

如果有人认为的相关性是足够的和没有深入的数据分析，可以作为一个市长计划通过限制医院建设减少偷车。

有时计算的挑战可能拖累的因果关系的发现，在这种情况下，发现有效的关联，将能够提供一些有用的信息。

然而，夸大“相关”和以因果性的替代关系为特征的“大数据时代”可能有害的重要性，并导致可作，消极的后果。

2.1.3“以前的方法不一样”另一个流行的说法称，已有的研究方法被设计为小的数据并不能工作在大数据。

这种说法通常是由人的热情很高的新提出的技术，因此他们寻求“全新的”范式。

这是一种动力为创新研究的新范式的搜索我们欣赏。

然而，我们强调的“过去”的方法。

首先，我们应该强调的是，研究人员一直试图用“大数据”的工作，这才是大数据今天可能不被视为用在未来，大数据（例如，在十年）。

例如，在一篇著名的文章，作者表示，“学习任务10000训练的例子更是不可能的……”。

论文标题”进行大规模SVM训练实践”意味着这篇文章的目的是“大规模”在本文中主要含有成千上万的样品的实验数据集，和最大的一个包含49749个样本。

这被认为是“当时非常大的数据。

如今，很少有人会认为五万大数据样本。

其次，许多过去的研究方法仍持有价值。

我们可能认为，对KDD 1999研讨会文集。

在第二页上强调“实施…在高性能并行与分布式计算…成为决定性的保证系统的可扩展性和互动性为数据继续成长无情的规模和复杂性”。

事实上，大多数处理大数据的“电流”的便利，如高性能计算，并行和分布式计算，高效的存储，等，已被使用多年的数据分析，将为未来仍受欢迎。

2.2的机遇和挑战这是很难确定的“全新的”大数据带来的问题。

然而，总有重要的方面，一个希望看到更多的关注和努力。

首先，虽然我们一直试图处理（越来越多）大的数据，我们通常认为核心计算可以无缝地在内存中保存。

而当前的数据大小达到这样一个规模的数据难以存储和多次扫描更难。

然而，许多重要的学习目标和性能指标的非线性，非平稳，非凸和不可分解的多样本。

例如，AUC（曲线下的面积），和他们的优化，本质上需要重复扫描整个数据集。

它是通过扫描数据只有一次可以学习的，如果它需要存储，存储的要求是小的和独立的数据的大小？我们称之为“一通学习”是很重要的因为许多大数据的应用程序，数据不仅大而且长时间的积累，因此它是不可能知道的数据集的最终尺寸。

幸运的是，有朝这个方向最近的一些努力，包括。

另一方面，虽然我们有大的数据，所有数据的关键？答案很有可能是他们不。

那么，问题是我们可以从原来的大数据集的识别有价值的数据子集？第二，大数据的机器学习的好处在于，随着越来越多的样本进行学习，过度拟合的风险变小。

我们都知道控制过度拟合是一个在机器学习算法的设计的中心问题以及在实践中的机器学习技术的应用。

以LED为拟合参数少的简单模型来调整自然FA VOR的关注。

然而，参数整定困难可能与大数据的变化。

我们现在可以用参数数十亿训练一个模型，因为我们有足够大的数据，通过强大的计算设施，使这些模型的训练了。

深入学习非常成功，在过去的几年中，作为一个很好的展示。

然而，最深的学习工作强烈依赖于工程技巧是很难被重复和研究的人，除了作者本身。

它是研究背后的深层奥秘的重要学习；例如，为什么当如当前深入学习技术，一些成分，职前培养和辍学，帮助和他们如何能更有用吗？有了这个方向最近的一些努力。

此外，我们可能会问，是否有可能制定一个参数调优指南取代目前几乎穷举搜索指南吗？第三，我们需要注意的是，大的数据通常包含了太多的“利益”，并从这些数据我们可以得到我们想要的东西”；换句话说，我们可以找到支持的任何争论，我们支持的证据。

因此，我们如何判断评价“发现”？一个重要的解决方案是将统计假设检验。

统计试验的使用可以帮助至少在两个方面：首先，我们需要确认我们所做的是我们真正想做的。

第二，我们需要确认我们已经不在数据中的小扰动的存在造成的，特别是由于整个数据的非充分开采。

虽然统计测试研究了几个世纪，已使用了几十年在机器学习，适当的统计测试的设计和部署是不平凡的，事实上，已经有统计测试的误用。

此外，统计测试，适合于大数据分析，不仅计算效率，而且只使用部分的数据的关注，探索的研究领域，在保持一个有趣但。

另一种方式来检查分析结果的有效性是获得解释模型。

虽然许多机器学习模型的黑盒子，有提高模型如规则提取的综合性研究。

可视化是另一种重要的方法，尽管它经常尺寸大于三的困难。

此外，大数据通常存在于一个分布式的方式；即，数据的不同部分可以由不同的人持有，没有人认为整个数据。

这是通常的情况下，一些消息来源的一些分析的目标是至关重要的，而其他一些不太重要的来源构成。

考虑到不同的数据可能会令业主与分析仪不同的访问权限，我们可以充分利用源不访问整个数据？什么样的信息要有呢？即使业主同意提供一些数据。