大数据时代对统计学的挑战_邱东

合集下载

大数据对统计学的挑战和机遇最新文档

大数据对统计学的挑战和机遇最新文档

大数据对统计学的挑战和机遇从学科角度而言,大数据对海量数据进行存储、整合、处理和分析,可视为一种新的数据分析方法,这种基于数据关系的内在本质决定了大数据与统计学之间的必然关系,大数据对统计学的发展既提出了挑战又提供了机遇。

大数据对统计学的挑战体现在:大样本标准的调整、样本选取标准和形式的重新确定、统计软件有待升级和开发及实质性统计方法的大数据化。

大数据对统计学的机遇体现在:统计质量的提高、统计成本的下降、统计学作用领域的扩大、统计学科体系的延伸及统计学家地位的提升。

大数据统计学挑战机遇一、大数据与统计学的比较统计学在大数据的研究中存在一定的应用,表现在将“大数据”变成“小数据”,对海量数据的搜索、聚类和分类依赖于统计学的一般方法,因而大数据的研究继承了统计学科的一些特点。

但大数据尚未被统计学吸纳和应用,这主要是由于大数据与统计学存在两个很关键的差别。

第一,样本统计和全样本统计的差别。

统计学依赖于样本统计(普查除外),样本是按照一定的概率从总体中抽取并作为总体代表的集合体,而随机抽样是有成本的,如时间成本、资金成本、社会关系等。

在样本规模增加有限的情况下,总体数量越大样本估计的误差就越大,这是样本统计不可避免的缺陷。

第二,预测分析和非预测分析的差别。

统计学旨在分析变量之间的相关关系,即两个或两个以上变量之间存在的某种规律性,故数据搜集是发生在变量确定之后,数据的分析价值是可预测的。

如若要研究利率对消费行为的影响,则利率大小和消费支出的数据会有目的地被搜集和分析。

一旦分析目的完成,为该目的而搜集的数据的价值也就完全实现。

二、大数据对统计学的挑战大数据与统计学的关系及其本身的优势,意味着未来统计学的大数据化是不可避免的趋势,现有的统计学与大数据之间还存在着一些不相容的地方,为积极应对这一趋势,就必须对现有的统计学理论和方法作出相应的调整甚至是某些方面的完全革新。

统计学依赖于样本统计,主要研究客观事物数量关系和数量特征。

也谈大数据时代背景下对应用统计学专业思考

也谈大数据时代背景下对应用统计学专业思考

也谈大数据时代背景下对应用统计学专业思考概要:在全校统计学公共课教学方面,针对学生的特点,课程教学采用课堂教学、调查实践与统计调查大赛相结合的教学方式与形式。

也采取和校外企业、单位等合作项目老师指导学生参与的形式,这样既提高学生的实践能力又加强了师生之间的交流。

在这样边学理论边实践的过程中也让学生足够了解现在企业所需人才的类型、找到自己的不足再补充理论方面的知识,然后学生还可以向学校反馈信息,这样最终形成一个学院专业始终跟得上经济的发展形势,不断地改革和完善教学内容,争取培养出在各级政府机关、银行、证券以及上市公司、企业集团、跨国公司等企事业单位和经营管理机构从事统计、市场调研、市场预测与决策、信息咨询、可行性研究和综合评价等实际工作以及科研单位从事研究工作的应用型人才。

2012年3月29日,美国在倡议书中指出,美国将应用收集巨大、复杂数据的挖掘能力,加速科学与工程学科的创新脚步,改革学生培养模式。

北京师范大学邱东教授探讨了面对大数据潮流人们应持有的科学态度,从大数据的概念功能、统计学与数据科學的关系、大数据潮流对统计学产生的影响等4个方面论述了大数据对统计学的挑战[1]。

英国学者维克托·迈尔·舍恩伯格认为大数据的精髓在于分析信息时的3个转变:一是可以分析和处理更多甚至是全部的数据,不再依赖随机抽样;二是研究数据如此之多,以致于人们不再追求精确度;三是人们不再热衷于寻找因果关系[2]。

为适应大数据时代对数据处理人才更高综合素质的要求,统计学科教师与专业教育应在知识结构、教育内容、教育方式和人才培养模式等方面,主动进行与时俱进的充实、调整及变革[3]。

文章拟从数据挖掘与统计分析的联系与区别、大数据对统计教育及统计人才的机遇与挑战的新形势下从政府、企业和人才等多个角度进行展开调查,对于应用型本科院校培养顺应时代发展的应用统计学专业的高层次人才提供相应的建议。

一、统计分析与数据挖掘的区别与联系统计分析是指运用统计方法及与分析对象有关的知识,从定量与定性的结合上进行的研究活动。

统计学在大数据时代的新挑战有哪些

统计学在大数据时代的新挑战有哪些

统计学在大数据时代的新挑战有哪些在当今数字化、信息化飞速发展的时代,大数据已经成为了我们生活和工作中不可或缺的一部分。

从社交媒体的信息流到电子商务的交易记录,从医疗健康的病历数据到科学研究的观测结果,数据的规模和复杂性呈爆炸式增长。

而统计学作为一门研究数据收集、整理、分析和解释的学科,在这个大数据时代面临着前所未有的新挑战。

首先,数据的规模和多样性是统计学面临的一大挑战。

传统的统计学方法通常适用于相对较小、结构清晰的数据样本。

然而,在大数据环境中,数据的规模可能达到数十亿甚至更多的记录,而且数据的来源和类型极其多样,包括结构化数据(如数据库中的表格)、半结构化数据(如 XML 和 JSON 格式的数据)以及非结构化数据(如文本、图像、音频和视频)。

处理如此大规模和多样化的数据,需要新的算法和技术来有效地存储、管理和分析。

例如,对于海量的文本数据,传统的统计分析方法可能难以直接应用。

需要运用自然语言处理技术将文本转化为可量化的特征,然后再进行统计分析。

而对于图像和视频数据,如何提取有意义的特征并进行统计建模也是一个难题。

此外,不同来源和类型的数据可能存在质量参差不齐、缺失值、异常值等问题,这增加了数据预处理的难度和复杂性。

其次,数据的产生速度也是一个重要的挑战。

在大数据时代,数据的生成速度非常快,实时数据处理成为了常见的需求。

例如,金融交易中的高频数据、社交媒体上的实时信息流、物联网设备产生的连续监测数据等。

传统的统计学方法往往是基于批处理的模式,难以满足实时处理的要求。

为了应对这一挑战,需要开发新的流式计算和实时分析技术。

这些技术能够在数据不断流入的过程中进行快速的处理和分析,及时提供有价值的信息。

同时,还需要考虑如何在有限的计算资源和时间内做出准确的决策,这对算法的效率和精度提出了更高的要求。

再者,数据的相关性和复杂性也是统计学需要应对的难题。

大数据中往往存在着复杂的相关性和依赖关系,不再是简单的线性关系或独立分布。

大数据时代经管类统计学面临的挑战与变革

大数据时代经管类统计学面临的挑战与变革

大数据时代经管类统计学面临的挑战与变革大数据时代给统计学带来了数据量的爆炸性增长,传统的统计学方法在面对海量数据时已经显得力不从心。

传统的统计学方法注重对样本数据的抽样与分析,但在大数据时代,海量数据并不适合进行抽样,因此需要开发新的统计学方法来应对这一挑战。

一种可能的解决方案是利用机器学习和人工智能技术,通过自动化算法来发现数据之间的关联和规律,从而实现对大数据的深度分析。

大数据时代所带来的数据多样性也是统计学面临的挑战之一。

传统的统计学方法多是基于数值型数据,而在大数据时代,数据的形式既包括了结构化数据,也包括了非结构化数据,例如文本、图片、音频、视频等。

统计学需要拓展其研究对象,从传统的数值型数据拓展到非数值型数据。

为了解决这一挑战,统计学需要集成跨学科的知识,与计算机科学、信息技术、语言学等学科进行合作,共同开发适用于多样化数据的统计学方法。

大数据时代也给统计学提出了实时性的要求。

传统的统计学方法多是基于历史数据的分析,而在大数据时代,许多数据都是实时生成的,需要实时分析和实时应用。

这意味着统计学需要采用更加灵活、高效的数据分析方法,能够在数据实时生成的同时进行处理和分析。

为了应对这一挑战,统计学需要加强对实时数据处理技术的研究,开发适用于实时数据分析的新方法和新工具。

大数据时代还提出了对统计学应用技能的新要求。

传统的统计学是由统计学家和数据分析师来完成的,而在大数据时代,对统计学应用技能的需求不再局限于这两类人群,越来越多的行业和领域都需要掌握统计学知识和技能的人才。

统计学需要扩大其教育范围,培养更多懂统计学的专业人才,让更多的人都能够具备统计学的分析能力。

大数据时代也给统计学提出了对数据隐私和安全的挑战。

随着数据的爆炸性增长,数据的安全性和隐私性问题变得日益严重。

统计学在进行数据分析时需要充分考虑数据隐私和安全的问题,同时开发相应的数据安全和数据清洗技术,确保数据处理过程中不会泄露个人或机构的隐私信息。

大数据时代下统计学的挑战与发展

大数据时代下统计学的挑战与发展

大数据时代下统计学的挑战与发展作者:洪燕来源:《科学与财富》2016年第31期摘要:随着科学技术的迅速发展,大数据时代来临,从科学角度看,大数据通过对信息的整合分析处理,形成快捷全新的数据分析方法,这为大数据与统计学架起互通的桥梁。

大数据时代的变革为统计学发展起到了重要的推动作用,未来挑战与机遇同在。

文章首先对大数据时代下的统计学做出概述,接着陈述统计学在大数据时代影响下的变革,再次分析大数据时代下统计学面临的挑战,最后解读大数据时代下统计学的发展与机遇,以期为相关领域的研究提供有价值的参考。

关键词:大数据时代;统计学;发展一、大数据时代下统计学概念概述教科书上对统计学给出了这样的定义“有效搜集整理分析随机性数据,对考察问题给出推断与预测,最终为行动提供数据支持”,这就是统计学。

从根本上看,统计学是一门与数据有关的学科。

众所周知,美国总统奥巴马通过数据团队的帮助得到连任的机会,阿里巴巴的马云很早就把大数据作为企业发展战略。

随着我们走进大数据时代,网络科技给搜集数据带来方便,传统的设备已经无法容纳大量的数据,我们对其进行更新,通过对大数据的分析,我们为社会传递出有效的、有价值的信息,这一切为社会的发展起到了不可替代的推动作用。

统计是社会各界乃至各环节不可或缺的因素,在商品交换过程中,统计有先导作用,市场经济信息也需要统计学的帮助,大数据时代,我们的统计数据不再局限于随机抽样调查,电话调查等高成本的搜集方式,通过互联网及移动终端,我们可以获得更多数据样本,可以说我们的社会进入高速发展的时期,大数据时代下的统计学也进入全新的发展阶段。

二、统计学在大数据时代影响下的变革1.从样本的角度看,样本概念得到深化我们知道统计学离不开样本,有效的样本能够正确反映情况,大数据时代样本概念与传统不再相同,通常我们得到诸多网络数据,一种为静态,即直接在客户端创建的数据,无需提取即可使用,成本低,另一种为动态数据,即数据随着时间的推移而变化,最终表现为所有数据的总和,可见此时的样本不局限于随机抽样,直接可以做选定分析。

大数据时代统计学面临的机遇与挑战

大数据时代统计学面临的机遇与挑战

大数据时代统计学面临的机遇与挑战 作者:田牧来源:《赢未来》2019年第29期摘要:互聯网的高速发展使人类进入了信息大爆炸时代,在对海量的互联网信息进行统计分析时,传统的统计学方法显然无法胜任这一工作,因此大数据统计应运而生。

本文主要分析了大数据时代下统计学当前面临的机遇和挑战,以及今后。

关键词:大数据时代;统计学;机遇与挑战1大数据时代统计学面临的机遇1.1扩大了统计学的应用范围传统的统计学收集数据信息的渠道有限,难以获取大量且全面的数据信息,而大数据技术出现后,统计数据信息收集的渠道增加,且收集信息的成本大大下降,因此在大数据时代统计学的应用范围不断扩大,被应用于金融、市场营销等领域,不仅如此,在大数据时代,个人的诸多生活信息会在网络中留下痕迹,而这些生活信息也能被大数据技术抓取和统计,当海量的互联网用户个人信息经过汇总后,相关统计者能够对数据信息进行深入挖掘,发现互联网用户新的需求,由此可能会衍生出新的行业。

1.2提升了统计学的应用效率在统计学中,收集数据是最基础的也是最关键的,将大数据技术引入统计学后,借助互联网手段,能够在较短的时间内收集尽可能多的统计数据,并利用计算机技术对数据进行统计分析,大大提升了统计效率,不仅如此,通过大数据技术技术还能够及时更新统计数据信息,确保统计信息的时效性和准确性,从而增强统计数据和统计分析结果的可靠性。

2大数据时代统计学面临的挑战2.1样本选取难度加大样本统计是统计学中常用的统计手段,当使用样本统计时,以何种标准选取样本是非常关键的,这直接影响到了统计结果的准确性。

大数据时代,统计数据非常庞大、且数据信息也相对复杂,因此在制定样本选取的标准难度大大提升。

除此之外,传统的统计学数据是结构化的,而大数据时代数据信息具有非结构化特征,一旦选取样本的标准不合理,则样本中可能会错失一些比较有代表性的数据,从而影响统计结果的准确性。

2.2现代化专业统计软件较少随着大数据时代的到来,部分软件公司推出了专业的数据统计软件,如:SPSS、Stata 等,这些软件的出现为数据统计和数据分析提供了较大的便利,但这些统计软件在数据存储、传输等方面还存在一定的问题,需要进行升级和调整。

大数据时代下统计学面临的挑战-2019年精选文档

大数据时代下统计学面临的挑战-2019年精选文档

大数据时代下统计学面临的挑战随着科技的发展,大数据已经成为信息时代的一场技术革 命。

大数据是指传统数据库管理工具难以处理的大量的、 多样化 的数据。

当前普遍认为大数据有 3 个特点:第一,数据量非常大;第二,数据增长速度非常快;第三,数据类型越来越多样化 零售业作为传统的线下实体经营行业, 积累了大量的消费者以及 管理层的数据,如果依靠传统的统计学模型对这些数据进行分 析,很难得出可以用于企业经营管理的有效信息, 加上年轻一代 消费者越来越追求个性化, 所以传统统计学所采用的根据部分样 本推断总体的分析方法已经无法满足市场的个性化需求,因此, 传统统计学要想跟上时代发展的步伐, 就必须做出与之相适应的 改变。

1 零售行业里大数据与传统统计学的区别维克多 ?迈克尔在《大数据时代》一书中提出了大数据思维 的 3 个最显著的变化: 一是样本等于总体。

这与过去基于样本进 往往存在“噪音”和罕见事件,这样的数据影响了结果的精确 力更多地放在“是什么”而不是“为什么” [2] 。

大数据的以上 特性在零售行业同样适用, 零售行业的大数据与传统统计学的区 别有以下 3 点。

[1] 。

行统计分析的思维截然不同;二是不再追求精确性。

在大数据中性;三是相关分析比因果分析更重要,在大数据时代我们将注意第一,大数据收集总体数据,而传统统计学多采用抽样的方式收集部分数据。

传统统计学在做统计分析时首先针对某一个问题提出假设,然后确定需要调查对象的总体,由于数据采集存在一定的难度,所以统计分析采取从总体中随机抽样选取一部分数据作为分析的对象,如此的话对随机抽样的方法与数据采集的准确性要求是非常高的。

而大数据收集的是数据“总体”,在进行分析的时候不会人为进行假设,排除了人的干扰因素,仅仅从数据本身出发进行数据分析。

在零售行业如果能运用大数据思维分析数据,从产生数据的顾客行为本身出发,针对不同顾客做出个性化营销,而不是人为假设的话,管理层就可以根据数据进行预测,避免了主观的经验与直觉的判断。

大数据时代下统计学的挑战与发展

大数据时代下统计学的挑战与发展

大数据时代下统计学的挑战与发展作者:潘玥来源:《科技风》2018年第03期摘要:随着电子信息技术和互联网的飞速发展,数据呈现海量的增长速度,统计学的发展受到大数据的影响,面临着发展的机遇与挑战。

本文就大数据时代下统计学的挑战与发展进行了研究,首先阐述了大数据的来源与发展历程,其次阐述了统计学在大数据时代的发展现状;最后阐述了统计学在大数据时代下的发展趋势,主要包括加大应用型教学力度、提高大数据统计思维和培养复合型人才等。

关键词:大数据时代;统计学;挑战随着互联网在各个领域的应用,衍生出来的新技术得到不断的发展,各个领域每天都产生大量的数据,这些数据的增长速度惊人,来源众多,这是大数据时代到来的重要标志,在大数据时代的背景下,统计学的发展显得至关重要,统计学和大数据的结合对这个时代经济发展产生了重要意义,同时指明统计学面临的挑战以及发展前景。

一、大数据的来源与发展历程大数据最先在技术领域得到应用,随着互联网技术的发展,信息时代随之而来,每天对数据的处理也逐步增加,之前的数据系统已经不能存储海量增加的数据,新兴的信息处理技术得到开发,解决了数据的僵化,对数据进行智能化的处理,提高了人们每天处理数据的效率和能力。

大数据对数据的海量处理能力表明大数据必须要和云计算相互配合,单机计算机的工作能力必然不能支撑数据的处理,但是大数据技术的存在意义并不仅仅是对数据的处理能力,而是对这些数据进行加工处理,这个过程是企业获得利润的重要前期准备工作。

大数据的运行过程中有很多特殊技术的配合,最大限度的处理短时间内经过的数据,这些技术把数据的整合和运算分配给几百甚至上千台电脑,让它们相互配合完成对数据的处理。

二、统计学在大数据时代的发展现状统计学形成的时间能追溯到人类的原始社会时期,因为从人类开始计数开始统计学就相伴而生了,到现在已经有了几千年的发展历程。

但是具体的统计学形成完整的理论时间比较短,从近代开始到现在也就有300年的时间。

大数据时代统计学面临的机遇与挑战

大数据时代统计学面临的机遇与挑战
财经研究
大数据时代统计Biblioteka 面临的机遇与挑战郑雅倩摘 要:作为与数据紧密相关的统计学学科,在大数据的时代背景下,当今数据的获取和规模发生了根本的变化,统计学面临 着新的机遇和挑战,需要在方法论上有所突破,研究统计学在大数据时代的发展趋势有着十分重要的时代意义。
关键词:大数据 统计学 样本 机遇 挑战
21 世纪爆发的信息技术革命,改变了社会发展过程中的方 方面面。在云技术、物联网技术等高科技信息技术的大规模革 新背景下,网络数据增长速率十分惊人,海量庞大的数据标志 着大数据时代的来临。作为与数据紧密相关的统计学学科,在 大数据的时代背景下,将会面临一系列的机遇和挑战,研究统 计学在大数据时代的发展趋势有着十分重要的时代意义。
大数据的高速传输为统计的动态数据的收集提供了保障。与此 同时,大数据可被频繁反复应用,采集的统计数据不再单单局 限于一种相关用途,其能够服务于各式各样的需求。对采集数 据应用的次数逐步增多, 数据所具备的潜在价值被更全面的挖 掘, 而采集数据所产生的成本并不会受数据应用的次数所影 响,故各式各样用途的平均统计成本将得到显著地降低。
1. 大数据时代统计学面临的挑战 统计学是一门传统的学科,发展至今已经有几千年历史, 无论是学科理论领域内还是生产实践过程中,统计学的发展已 经十分成熟,存在着许多成熟的研究成果。统计学的不断发展 为人类的社会生产带来了极大的影响,随着大数据时代数据呈 现海量、分散式的分布状态,其对统计学的影响也是较为明显 的。一方面,大数据时代数据之“大”已经超出人们的想象, 数据之“全”让人们对于事情的认知更加全面,大数据的多样 性、大体量改变了数据样本与总体之间的关系,另一方面,大 数据的数据多样性的特点改变了传统统计对数据统计分析的主 观诉求,过去人们通过统计分析更偏向于追求“为什么”,而现

大数据时代对统计学的挑战

大数据时代对统计学的挑战

大数据时代对统计学的挑战作者:杨宗霖来源:《今日财富》2019年第25期随着现代信息技术的发展,大数据技术逐渐融入到各个领域当中。

通过数据分析和比对,能够实现数据资源的高效利用。

在具体应用方面,大数据与传统统计学出现了交叉的情况,既对统计学提出了挑战,同时也提供了新的技术支撑,对于统计学发展而言,这是一个新的契机。

在这样的背景下,探索大数据技术与统计学的关系,对于构建现代学科体系具有积极意义。

近年来,随着现代信息技术的发展,越来越多的数据被存储和利用起来,大数据信息技术应用而生,通过高效的数据分析和比对,可以实现信息的精准推送,也能实现有效的数据分析,为决策提供更为可靠的依据。

可以这样讲,我们正在迎来大数据时代,大数据技术也开始与多个学科出现融合,通过综合性的发展,实现了信息资源的有效利用。

对于统计学而言,大数据的出现,既是机遇,又是挑战,作为统计学研究和应用领域的从业者,不能忽视大数据信息技术的作用,要认识到现代数据技术的变化,充分融入并利用大数据技术,推动统计学技术的发展。

一、大数据技术的发展和应用历程伴随着互联网技术和存储技术的快速发展,大数据在这些领域兴起并得到了广泛的应用。

随着现代信息技术的来临,每天有海量的数据被使用、处理、存储,基于这些数据,进行智能化的分析和处理,能为数据统计和未来工作提供更为有效的指引,能够有效盘活和开发利用数字,实现智能化管理和判断目标,提升综合效能,基于数据的分析与处理技术,就是我们常说的大数据信息技术,常用于电子商务、新闻推广等领域。

在海量数据处理上,大数据信息技术依托云计算和海量存储,同时要进行算法的优化,才能让数据资源真正发挥作用。

在这样的背景下,大数据信息技术不断发展完善,并为数据的统计分析提供了有效的路径,同时提升了信息数据分析的精准性,有助于提升数字分析综合效果。

二、统计学与大数据时代作为一个古老的学科与领域,统计学的产生可以追溯到人类的原始社会时期,从有人类文明开始,就十分注重统计工作,对于总结过去、判断未来都起到了积极的作用。

大数据时代统计学面临的机遇与挑战

大数据时代统计学面临的机遇与挑战

大数据时代统计学面临的机遇与挑战大数据给统计学带来了机遇、挑战和紧迫感。

描述大数据的环境,利用大数据的目的和大数据带来的变革;介绍国内外有关大数据的研究动向;探讨大数据包含的信息,大数据的预处理、抽样和分析方法。

大数据抽样数据分析一、大数据及其目的狭义地讲,大数据是一个大样本和高维变量的数据集合。

针对样本大的问题,统计学可以采用抽样减少样本量,达到需要的精度。

关于维数高的问题,需要变量选择、降维、压缩、分解。

但认知高维小样本存在本质的困难。

广义地讲,大数据涵盖多学科领域、多源、混合的数据,自然科学、人文社会、经济学、通讯、网络、商业和娱乐等各领域的数据集相互重叠连成了一片数据的海洋。

各学科之间数据融合和贯通,学科的边界己重叠和模糊。

大数据涉及各种数据类型,包括文本与语言、录像与图像、时空、网络与图形。

二、大数据的信息和问题大数据是多源异质的、覆盖不同范围的数据。

为了融合各种数据,需要对数据来源、数据的获取方式和数据描述进行形式化,以支撑数据分析。

大数据来自多种渠道,存在抽样偏倚、随机的和非随机的误差、无意的和有意的错误。

数据收集的准则与数据分析和决策的准则不相符合,有些数据不是原始数据,而是推断的结果,数据的循环使用导致偏差和噪音被放大。

数据量大不一定有用的信息多,大量的含偏差数据甚至会破坏信息。

应意识到分析大数据也许会得到虚假知识,而自己却不知情。

在大数据环境下,收集数据的人也许不清楚未来使用数据的人要做什么;使用数据建模的人也许不清楚数据是如何得到的;使用模型的人也许不知道模型是从什么数据得出来的。

因此,难免人们会根据自己的意图过分地解释模型,超出了原始数据所包含的信息范围。

获取的数据也可能存在选择偏倚,如医院就诊的病人和使用互联网的人不能代表研究总体。

大数据难免存在不响应和缺失数据,有些数据是随机缺失的、非随机缺失的,因为敏感问题或隐私问题而缺失的。

不同研究收集不同的、有重叠变量的数据集。

大数据时代对统计学的挑战

大数据时代对统计学的挑战

2017年第7期统计聚焦9大数据时代对统计学的挑战常文潇摘 要:统计学一直是各个高等院校所设置的一门重要专业基础课程,对于培养学生们数据采集方面的能力有着十分重要的意义。

但随着社会的不断转型以及科学技术水平的不断提高,当今的统计学教育面临着巨大的挑战。

接下来本篇文章就针对这一问题进行详细的探讨,从而提出相对应的解决方案来解决统计学教育当中出现的实际问题,以给当今统计学教育发展一些启发性的指导。

关键词:大数据 统计学 新形势DOI: 10.16722/j.issn.1674-537X.2017.07.001当今社会是大数据不断发展的信息时代,几乎各行各业的信息收集都十分的便利,相应的统计教学领域也发生了根本性的变革,传统的仅仅追求培养学生们数据收集能力的教学目标已经不能够满足信息时代此领域教育与学习的需求。

在这种形势之下,就必须要求各个高校针对以往的教学模式和教学任务作出相应的调整,而究竟该如何调整才能够适应未来社会的学习要求已经成为了当代高等教育改革的根本课题之一。

一、大数据和统计学之间的共性和个性随着大数据时代的日益创新和飞速发展,统计学也正向网络化、智能化等新的方向不断发展。

为了进一步深化统计学的教学改革,与时俱进,各个高校必须要及时更新教育目标和任务,从而培养素质更高的人才队伍。

俗话说的好“知己知彼,百战不殆”,为此我们必须要区分大数据与统计学之间的共性和个性,这样才能够更好的进行接下来的工作。

大数据与数据之间的区别在于一个“大”字,这主要是指大数据所涵盖的范围更广,结构也更加繁杂。

但从本质上来讲,其根本还是属于数据的范畴,二者之间没有实质性的差别。

这就要求高校在进行教育改革的过程当中首先要充分考虑到大数据时代下所延伸出来的新知识与原有知识之间的关系,构建合理的知识结构框架,让学生们把对统计学的学习置于到数据这个广泛的背景当中加以学习和探究,只有这样才能够达到预初的教学目标。

在某种程度上来讲,大数据简化了统计的程序,统计是通过统计设计、统计调查、统计整理以及统计分析这几个阶段来完成的。

大数据时代统计学面临的机遇与挑战

大数据时代统计学面临的机遇与挑战

大数据时代统计学面临的机遇与挑战作者:吴爱峰来源:《农村经济与科技》2016年第22期(浙江长征职业技术学院,浙江杭州 310023)[摘要]随着互联网社交平台的逐步发展,庞大的数据信息也随之出现,大数据时代已然来临。

在此阶段,统计学受到了极大冲击,传统的教育教学模式已经无法适应大数据时代的发展要求。

本文针对此阶段中统计学面临的机遇及挑战进行深入分析,希望能够在方法对策上有所突破。

[关键词]大数据;统计学;机遇;挑战[中图分类号]C81 [文献标识码]A当前是信息技术大爆炸的时代,尤其在物联网技术、云技术等高新技术逐步实现以来,网络数据的增速水平极为惊人,庞大的数据量如果依然采用传统的统计方式势必不行,这就需要借助计算机应用手段实现大数据统计。

然而从当前大数据应用情况来看,不仅面临着诸多机遇,也存在着各种挑战。

1 大数据时代统计学面临的机遇1.1 应用范围逐步增大以往统计学主要的工作是收集、整理以及分析相关数据,并得出统计结果。

传统手段得到的样本数极为有限,且无法保证收集到的数据即为统计所需数据。

但是,随着大数据时代的到来,不仅数据量得到了快速提升,而且在统计数据的同时还会更深入的挖掘数据背后隐含的信息。

现如今,我国许多产业都开始广泛使用大数据统计,例如金融业、互联网行业、电子商务等,它们利用大数据了解行业的发展动态,并相应调整或改变自身发展方向。

1.2 应用效率提升使用传统统计方法得到的数据较为滞后,这样极有可能统计结果也会相应存在较大偏差。

相比之下,大数据统计采用计算机及互联网手段,不仅能够快速获取统计所需数据,更可以简化统计计算流程,快速得出统计结果,以确保统计的时效性和准确性。

与此同时,在大数据时代,不仅统计时间能够大大缩短,数据分析流程能够也能够被记录下来,完成多次统计,从而达到降低统计人员工作量、提高统计效率、降低统计成本的目的。

1.3 在市场营销中得到了广泛应用大数据的数据来源极为广泛,涵盖了诸多渠道和行业领域。

统计学在大数据背景下的挑战

统计学在大数据背景下的挑战

统计学在大数据背景下的挑战作者:张海玲来源:《中国新通信》 2018年第8期引言:当前,大数据逐渐渗透到各个领域,既给各行各业带来了发展机遇,同时,也使各行各业面临着新的挑战,对于统计学来说也同样如此。

统计学在漫长的发展历程中,已经有了比较成熟的学科理论体系,在生产实践领域的应用也非常广泛,在人类的生产生活中发挥了重要的作用。

但是在大数据背景下,统计学面临着海量又比较分散的数据,也有了新的挑战和机遇。

一、大数据背景下统计学面临的挑战1.1 数据的来源问题传统的数据主要通过抽样调查获取,或者来源于组织内部,而大数据与传统数据的来源不同,主要来源于互联网。

随着科学技术的快速发展,个人电脑的逐渐普及,移动智能终端的盛行,社交网络的快速发展,以及越来越多的人能够在越来越多的地方实现上网,这些都促使收集数据的途径更加多元化,也更加广泛。

需要特别注意,大数据由于蕴含着巨大的潜在价值,因此,在人们的生产和生活中已成为了重要的生产要素和组织资产,起到的作用可以与物质和人力资本相提并论。

相应的,各类追逐利益的组织(特别是企业)既要对怎样收集大量有效信息进行考虑,同时也希望能够独自占有这些信息,比如,阿里巴巴将京东和微信封杀,并不再与新浪微博进行合作。

出现电商行业“封杀”现象,理由表面看来是这些企业所宣传的,想要对公司的信息安全进行保护,但是实际的根源是这些企业担心在互联网下,自身的内部商业信息被泄漏,其他的企业掌握了用户流量的命脉。

因此,统计学在大数据背景下面临的一个重要挑战就是怎样将数据的封闭性问题解决。

除此之外,对于经济统计人才,数据也在发生变化,不再只是标准结构的,因此,统计人才也需要开发并掌握资料收集的新技术。

1.2 统计软件与方法的问题当前使用的统计软件是以相关的信息计算机技术为基础研发而成的,既可以使数据的处理效率得到很大的提升,也可以使统计的操作过程进一步简化,使统计实践操作的质量得到有效提高。

Spss、Sas 等是当前经常使用的统计软件,但是在大数据背景下,这些软件仍然存在着一定的局限性,存储以及传输功能等需要进一步完善。

大数据时代经管类统计学面临的挑战与变革

大数据时代经管类统计学面临的挑战与变革

大数据时代经管类统计学面临的挑战与变革1. 引言1.1 大数据时代的背景在当今信息爆炸的时代,数据量呈指数级增长,大数据已经成为推动社会发展的重要力量。

大数据时代的背景可以追溯到互联网的普及和移动通信技术的发展,人们在日常生活和工作中产生大量的数据,如社交网络数据、购物记录、移动设备的位置信息等。

这些海量数据中包含着宝贵的信息和洞察,为企业、政府和学术界提供了前所未有的机会和挑战。

大数据的特点主要包括“3V”,即数据量大(Volume)、数据来源多样(Variety)和数据处理速度快(Velocity)。

随着云计算、物联网、人工智能等技术的不断发展,大数据时代已经深刻影响着各行各业的发展和变革。

从金融、医疗、零售到政府管理等领域,大数据正在改变着人们的生活方式和工作方式,成为推动经济增长和社会发展的重要动力。

1.2 大数据时代经管类统计学的重要性在大数据时代,经管类统计学的重要性日益凸显。

随着数据量的爆炸式增长,统计学成为了解决大规模数据分析和挖掘的重要工具。

经管类统计学可以帮助企业和组织有效地管理和分析海量数据,从而帮助他们做出更加准确和全面的决策。

经管类统计学可以帮助企业更好地理解数据。

通过统计学方法,可以对大规模数据进行有效的分类、汇总和分析,从而帮助企业发现隐藏在数据中的规律和趋势,为企业提供更深入的洞察。

经管类统计学可以帮助企业提高业务效率和决策质量。

通过统计学方法,可以对企业业务进行量化分析,帮助企业识别潜在的问题和机会,优化业务流程和决策过程。

经管类统计学还可以帮助企业进行风险评估和管理。

在大数据时代,企业面临的风险越来越多样化和复杂化,统计学方法可以帮助企业对风险进行量化分析,从而制定有效的风险管理策略。

经管类统计学在大数据时代扮演着至关重要的角色,为企业在竞争激烈的市场中取得优势提供了有力支持。

随着数据时代的不断发展,经管类统计学的重要性将会进一步提升,成为企业决策和管理的重要利器。

大数据时代下的统计学

大数据时代下的统计学

大数据时代下的统计学一、大数据时代对统计学的挑战1. 数据量大、复杂度高在大数据时代,数据的产生速度呈指数级增长,数据量庞大、多样化、复杂度高,传统的统计方法和工具已经无法满足对数据的处理和分析需求。

如何有效地处理大规模的数据,并从中获取有用的信息,已成为统计学面临的重大挑战。

2. 数据质量和隐私问题与大数据相关的数据收集和存储工作需要面对数据质量和隐私问题。

大数据时代的数据往往存在着不完整、不一致、存在噪音等问题,同时数据的隐私性也面临着严峻挑战。

如何保障数据的质量和隐私,成为了统计学需要解决的重要问题之一。

3. 数据分析与应用在大数据时代,数据的分析和应用需要更高效和实时性。

传统的统计方法和工具已无法满足大数据时代对数据的分析和应用需求。

如何利用大数据技术提高数据分析的速度和效率,成为了统计学需要深入研究的课题。

1. 数据科学的兴起大数据时代下,数据科学已经成为了一个研究热点。

数据科学涉及统计学、计算机科学、数学和领域知识等多个学科,旨在解决大规模数据的收集、管理、分析和应用等问题。

统计学作为数据科学的重要组成部分,将与计算机科学、机器学习等学科进行交叉融合,加速推动数据科学的发展。

2. 大数据技术的应用大数据技术的不断发展将为统计学带来新的机遇和挑战。

如基于云计算的大数据处理平台、分布式数据存储和处理系统、大数据可视化技术等的应用,将为统计学提供更强大的工具和方法,推动统计学的发展。

3. 统计学方法与工具的创新针对大数据时代的挑战,统计学需要不断创新和发展。

传统的统计方法已无法适应大数据时代的数据处理和分析需求,因此需要发展新的统计方法和工具,如高性能统计计算方法、大数据挖掘技术、贝叶斯统计方法等,以适应大数据时代的需求。

4. 数据伦理和法律问题随着大数据时代的到来,数据伦理和法律问题备受关注。

统计学需要与伦理学、法学等学科进行深度合作,探讨在大数据时代下数据收集、分析和应用中所涉及的伦理和法律问题,并提出相应的解决方案。

浅谈大数据时代统计学面临的机遇与挑战

浅谈大数据时代统计学面临的机遇与挑战

浅谈大数据时代统计学面临的机遇与挑战摘要:随着大数据技术的快速发展,统计学面临着前所未有的机遇和挑战。

本文从机遇和挑战两个方面对大数据时代统计学的发展进行了探讨。

机遇方面包括:数据规模的扩大、数据来源的多样化、数据分析技术的更新等;挑战方面包括:数据质量的保证、隐私保护、统计模型的选择与应用等。

文章指出,大数据时代的统计学发展需要从传统的数据分析方法中脱离出来,采用更加先进的数据分析技术,加强数据质量管理和隐私保护,同时注重人才培养,才能更好地应对大数据时代的机遇和挑战。

关键词:大数据、统计学、机遇、挑战、数据分析技术、数据质量管理随着大数据技术的发展,数据呈现出指数级的增长,数据处理和分析的需求也随之增加。

因此,统计学作为数据分析的重要学科,面临着前所未有的机遇和挑战。

本文将从机遇和挑战两个方面对大数据时代统计学的发展进行探讨,旨在为相关研究和应用提供一些参考和思路。

1 大数据时代统计学的机遇1.1 数据规模的扩大随着数据采集和存储技术的不断提升,企业所拥有的数据规模呈现出爆炸式增长的趋势。

这些数据包括结构化数据、半结构化数据和非结构化数据等多种类型,数据规模的扩大为统计学提供了更多的数据资源。

更多的数据资源使得统计学可以更充分地利用数据,提高数据分析的准确性和可信度。

此外,云计算和分布式计算的发展,也为统计学提供了更加高效的数据分析和处理方式。

这些技术的发展进一步加强了数据规模的扩大,同时也为统计学提供了更好的机会和挑战。

1.2 数据来源的多样化在大数据时代,数据来源的多样化是一个非常重要的机遇。

传统的企业数据来源仅仅是数据分析的一部分,而互联网数据、社交网络数据、在线购物数据等非传统数据来源的丰富性也为统计学提供了更为多样化的数据来源。

这些新的数据来源为统计学提供了更多的数据分析机会和工具,使得统计学可以更好地了解市场和用户需求。

同时,这些数据来源也为统计学提供了更好的机会,可以在不同领域和层次上进行更为精细的数据分析。

浅谈大数据时代统计学面临的机遇与挑战

浅谈大数据时代统计学面临的机遇与挑战

财经论坛Һ㊀浅谈大数据时代统计学面临的机遇与挑战苏晓娜摘㊀要:在大数据时代,统计学必然面临着各种机遇与挑战㊂在该背景下,统计人员应树立信心,利用大数据时代带来的机遇,更好地迎接大数据时代带来的挑战㊂随着时代的发展进步,统计学变革是必然的趋势,只有顺应时代发展的步伐,不断探索创新,才不会在时代发展进程中被抛弃㊂关键词:大数据时代;统计学;机遇;挑战一㊁大数据时代数据分析思维的必要性数据收集和存储技术的高速发展使得各个领域的团体都可以积累大量的数据,大数据时代已经来临,在享受数据便利性的同时也面临一系列挑战,比如说如何分析这些数据,发现数据背后隐藏的机会点;互联网中充斥着各种数据,如何识别数据中的漏洞;通过海量数据,如何预测未来的发展等,大数据时代具有数据分析思维已十分必要㊂(一)数据分析思维 识别数据的迷惑性大数据时代,数据产生和收集技术的进步,使得数据本身准确度提高,但是数据结构也变得越来越复杂,如何只对单个指标简单分析,可能会得到与事实完全相反的结果,从而误导决策㊂互联网充斥着各种数据信息,如果不加以识别数据背后的逻辑,也会混淆视听㊂比如说医院的治愈率,如果忽略了数据背后的结构,很容易得出大医院的治愈率低于小诊所的治愈率的错误结论,识别数据的迷惑性需要数据分析思维㊂(二)数据分析思维 正确认识现象的发展规律数据的海量性对认识现象的发展规律提供了可靠的依据,比如说服装企业借助POS终端可在各线下店收集顾客的购物数据,如何利用这些数据信息更好地明确顾客的需求,制订正确的商业决策,正确认识现象的发展规律需要数据分析思维㊂(三)数据分析思维 发现未来发展变化精确的预测是数据分析的重要任务,预测对资源的分配㊁风险的规避㊁战略的制订有着重要的指导意义㊂如何分析数据的影响因素,如何建立较好的预测模型,如何衡量预测结果的好坏,发现未来发展变化需要数据分析思维㊂二㊁大数据时代统计学面临的机遇(一)统计学计算方法发生大变革以往的统计学在计算机应用过程中,数据分析与处理一般通过一台计算机完成,数据的储存量局限于计算机硬盘的大小㊂而在新的时代,随着大数据技术的发展与进步,以往的数据分析和储存模式已经被打破,数据存储更加方便,存储数据量有了大幅度增长,数据分析不再局限于一台计算机,而是可以通过云储存技术㊁大数据技术等先进的现代化技术将海量的数据纳入数据处理分析工作中㊂除了云储存和数据流技术外,还可以将多台计算机联动,利用多台计算机的硬盘存储数据,通过一台计算机,可以分析处理多个存储设备中的数据,利用多个存储设备为一台计算机提供支持㊂(二)研究问题的方式发生了较大变革1.数据的预处理大数据技术悄无声息地颠覆了人们的生活,深深影响着人们日常生活和工作中的方方面面㊂在研究领域,大数据技术可以更加方便地搜集国内外的各种相关资料㊁数据以及书籍等,以供相关人员查阅和利用㊂同时,大数据的应用使人们能够利用的数据范围更加广泛,数据的获取方式更加简便,查找数据的速度不断提高,数据的质量发生了质的突破㊂数据的预处理技术正是在这一问题上的明显体现,通过应用数据预处理技术,可以提升大数据技术的使用价值㊂大数据处理技术在应用过程中通常要先后经过数据清洗㊁不完全数据填补以及数据纠正和矫正三大阶段㊂而对于统计学来讲,在这三大阶段中,主要会在数据纠正和矫正阶段采用统计学中的随机抽样调查方法㊂通过统计学的相关工作,能够保证大数据技术存储数据的有效性㊂同时,还可以运用统计学相关方法及时更新数据库,并将数据库相连接,从而为数据的预处理工作提供帮助㊂2.大数据环境抽样在统计学中,支持样本应包含所有的数据㊂而在大数据技术的应用过程中,进行抽样调查时无须将所有的数据都纳入统计范围中㊂在大数据时代,采用随机抽取混合数据样本的方式,可以获取具有代表性的统计数据,这一技术的实现主要依赖统计学相关知识,从而保证其科学性㊁有效性,并对数据进行严密控制㊂此外,在数据收集过程中,常常要面临时间周期过长的问题,使数据处理难以按照统一标准执行㊂在大数据时代,利用大数据技术可以缩短数据收集时间,效率成倍增长,在短时间内保证处理过程统一㊁简单㊂三㊁大数据时代统计学面临的挑战(一)样本选取以及标准的确定难度大样本统计在统计学这一学科中占据了重要地位㊂在统计学中,样本统计主要是探究统计对象的特点及关系,而大数据时代样本之间不再具有那么强大的关联㊂通常情况下,仅是一个样本集合的概念,使与样本相关的学科概念发生了极大的变化㊂在大数据时代,数据来源不再单一,而是可以从多个角度印证,使统计出来的数据更加具有说服力,也更加贴近于事实,但这也对统计学的学术研究提出了更高的要求㊂在样本数量成倍增长的同时,也会遇到数据过于零散的问题㊂在以往的统计学学科知识结构中,数据总是结构化的,传统的学科概念面对非结构数据,往往难以进行有效的处理分析工作,很难在大数据时代寻找到有用的信息㊂这暴露出了以往的统计学工作中对非结构数据的关注度十分低,缺乏相关理论的指导,难以适应新时代变革的特点㊂而大数据技术恰恰在这一方面具有难以比拟的优势,对此,需要统计学本身加快变革,从而适应大数据时代的要求㊂如果不能顺应时代发展,统计学就难以适应大数据技术的要求,也无法完成大数据技术需要的相关工作㊂(二)缺少合适的统计软件以及统计方法大数据时代的信息载体主要是信息技术与计算机技术,75在计算机运算过程中,应用统计学学科的相关知识,需要统计学软件这一载体发挥作用㊂利用统计学软件可以进一步增强统计学分析处理数据的能力,同时降低统计学的难度,降低利用统计学进行操作的门槛,使统计学的应用更加广泛㊂在大数据时代,已经涌现了一大批成熟㊁完善的统计学软件,但这些软件仍然存在极大的不足㊂在大数据时代,信息在不同的媒介中高速传导,相关领域的软件也在逐渐适应这一新变化㊂计算机技术的迅猛进步也要求与之相适应的统计学学科领域的各种配套软件能够进一步发展,但相关企业仍然缺乏相应的配套资源投入,相关领域的龙头企业缺乏技术开发兴趣㊂四㊁大数据背景下创新统计学学科的措施(一)创新统计学的内容大数据技术不能仅停留在计算机技术这个层次,需要依靠各种技术发展并不断完善,而不是只依靠单一技术㊂因此,旧的应用统计学如果想发展,需要依靠其他技术,不断创新内容㊂在信息爆炸的时代,应用统计学面临的大数据挑战是暂时的,从古至今,人们都在努力收集㊁分析并处理各种信息和数据,通过分析和对比信息数据得出准确结果,以有效掌握整体事件㊂利用统计学中的优秀理论体系以及思维方法,在分析各种信息时可以确保应用统计学结果准确,因此,相关单位必须创新统计学的内容㊂(二)加强统计思维建设在大数据时代背景下,相关单位更需要进一步加强统计思维建设,确保统计人员都具有统计思维㊂例如,提高和大数据的关联性,加强对员工统计思维的训练工作㊂通过培养员工的统计思维,更好地帮助员工分析整理相关数据,避免员工在实际工作过程中迷失,使员工从各种数据中发现相应的规律和联系,使统计思维成为大数据时代背景下面对纷繁复杂以及多变数据时统计人员必须具备的思维模式㊂(三)加强统计学科建设统计学属于一门实用性很强的综合性学科,在当前社会中,更需要企业员工充分掌握统计方法,以切实满足社会对统计学人才的需求,这需要相关单位进一步加强学科建设,尤其要提高教学效率和教学水平,将更多精力集中在数据收集以及应用教学方面㊂通过采取多样化的教学方式培养员工的实践操作能力,同时帮助员工积累丰富的实践经验,只有这样,才能保障员工更好地适应大数据时代的发展要求,进而为社会培养出更多实用性人才㊂五㊁结语随着信息技术的蓬勃发展,近年来,物联网㊁云技术等尖端前沿科技不断涌现,使网络技术进一步发展㊂在新时代,海量数据随之出现,对数据处理效率提出了更高的要求,以往的统计手段已经完全难以适应新时代的要求,需要寻找能够适应时代发展的新技术㊂在大数据时代,很多单位开始大规模应用计算机技术完成统计工作㊂基于此,文章主要探讨了大数据时代统计学面临的机遇以及挑战,并提出了相应对策,以帮助相关单位更好地开展统计工作㊂参考文献:[1]袁明.统计学在大数据时代的应用[J].财富时代,2019(12):242.[2]宋君丽.大数据背景下的统计学发展方向分析[J].今日财富,2019(23):18.[3]刘建蕊.大数据时代统计学专业的转型[J].知识经济,2019(36):142-143.[4]徐艺歌.浅谈基于大数据背景下的统计学的应用[J].中国新通信,2019,21(22):108-109.作者简介:苏晓娜,三河新源供热有限公司㊂(上接第56页)㊀㊀非同一控制下的企业合并会产生商誉,而且因合并而产生的商誉金额主要受以下两方面因素的影响:一方面是被合并方资产的公允价值问题,即被合并方公允价值的确定因其唯一性的特点而使得对其进行估值时缺乏活跃的交易市场参照价格,同时同一项资产被不同的评估机构采用相同的评估方法,同样会因为对合并后的盈利预期不同而造成评估结果的差异,这就使得被合并方资产的公允价值确定仍然存在较多的主观成分,这客观上会对商誉金额确认是否客观产生影响;另一方面则是受合并成本的公允价值问题,即当合并支付对价是股票㊁存货以及其他固定资产时,则合并成本会受中介机构对其评估不够客观㊁合约公布日至购买日之间的时间长短等因素的影响而产生不公允的问题,合并成本的不公允同样会对合并商誉的确认金额产生一定的影响㊂在非同一控制下的企业合并中,如何科学㊁合理地对商誉进行会计处理是一个难点问题,主要是商誉的确认受多方面主观因素影响,不能真实反映合并的交易情况,有时候甚至成为一些企业粉饰其经营业绩的一种常见手段㊂在此建议从两方面采取一些措施来进一步规范和约束合并过程中的商誉核算问题:一方面是对商誉的后续处理模式进行改革和优化,即要求企业对商誉采用摊销和减值融合处理的模式来有效规避企业利用商誉调节利润的现象;另一方面则是考虑采用一定时段的加权股价来确认公允价值,从而有效规避购买日股价偏离实际价值较多所带来的各种风险以及商誉核算问题㊂四㊁结语文章以控股合并中的同一控制和非同一控制合并方式为研究对象,结合相关的会计准则,以购买法和权益结合法为主导思想,结合合并过程中的一些主要因素,对其具体的会计核算方法进行了一些探讨,希望能够对企业合并的会计处理规范化提供有益参考㊂参考文献:[1]冷琳.企业合并中的三个难点问题解析.[J].财会月刊,2019(8).[2]蔡贤斌.浅谈基于新会计准则的企业并购会计核算.[J].淮南职业技术学院学报,2019(6).[3]祁永君.同一控制与非同一控制下合并会计处理差异分析.[J].中国集体经济,2020(4).[4]杨卿成.我国企业合并会计处理方法研究:以A企业集团为例.[D].长春:吉林财经大学,2017(6).[5]刘婕.企业合并商誉会计问题研究:基于众泰汽车并购案例分析.[D].南京:南京大学,2019(5).作者简介:连欣,江苏恩华药业股份有限公司㊂85。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第31卷第1期2014年1月统计研究Statistical Research Vol.31,No.1Jan.2014衡等传统计算机技术与现代网络技术融合起来,把多个计算实体整合成一个具有强大计算能力的系统,并借助SaaS 、PaaS 、IaaS 、MSP 等商业模式把它分布到终端用户手中。

云计算的核心理念就是不断提高“云”处理能力来减少用户终端的处理负担,使用户终端简化成一个单纯的输入输出设备,并能按需享受强大的“云”计算处理能力。

可见,统计技术与云计算技术的融合是一种优势互补,只有这样统计技术才能在大数据时代一展身手、有所作为,才能真正把统计思想在数据分析中得到体现,实现统计分析研究的目的。

数据创造统计,流量创新分析。

由于各个应用领域的不断变化,特别是数据来源与类型的不断变化,使得统计学还难以成为一门真正成熟的科学。

因此,在数据分析的世界里,不断提高驾驭数据的能力是统计学发展的终身动力。

大数据时代对统计学的挑战*邱东内容提要:本文首先探讨了面对大数据潮流应持有的科学态度,然后从大数据能否淹没整个世界、信息与噪声能够泾渭分明吗、统计学与数据科学究竟是什么关系、大数据潮流对统计学究竟产生了什么样的影响等四个方面论述了大数据对统计学的挑战。

关键词:大数据;信息;噪声;数据科学;统计学中图分类号:C829.2文献标识码:A文章编号:1002-4565(2014)01-0016-07The Challenge of Statistics in the Age of Big DataQiu DongAbstract :This paper discusses the trend to big data which is due from scholars to scientific attitude ,and then discusses the challenges of big data from four aspects as following :Can big data cover the whole world ?Can Information and noise be quite distinct from each other ?What ’s relationship between statistics and data sciences ?What kind of impact generated on the trend of big data ?Key words :Big Data ;Information ;Noise ;Statistics ;Data Sciences*本文为第十七次全国统计科学讨论会特邀论文。

一、除了机遇还有挑战世界潮流,浩浩荡荡,不可阻挡,国人讲究识时务者为俊杰,信息时代,数据爆炸。

大数据大势当前,究竟采取什么样的态度才是真正的“识时务”?大数据时代并不会自动生成,总是需要不断地提出和解决大数据发展所遇到的问题和矛盾,才会有切实的进步。

事物发展的不同阶段有不同的“时务”,需要不同的应对。

2009年,大数据成为互联网信息技术行业的流行词汇。

而早在1980年,著名未来学家A.托夫勒出版《第三次浪潮》,其中已将大数据赞颂为“第三次浪潮的华彩乐章”。

此间30余年,能不能看作大数据发展的萌芽期?多数人对数据爆炸还懵懵懂懂,世界需要赛博世界(Cyber world )的开拓者,需要大数据潮流的预示者,需要导师,需要先声夺人。

一旦人们接受大数据汹涌而来的现实,就需要既讲机遇,也讲挑战。

我们固然仍需要启蒙,需要科普,需要科学理论和方法论的“二传手”,但不需要跟风,不需要屏蔽了部分信息的“偏息图”,不需要抓住一点不及其余的“唯数据论”,不需要“应运而生”的投机者。

我们更需要切实有学术增加值的数第31卷第1期邱东:大数据时代对统计学的挑战·17·据学科的拓展,更需要批判性思维。

当事物的内在矛盾尚未充分暴露时就提出预警,这是一种制衡性的存在,是构成时代“全息图”的必要条件之一。

总之,在事物的不同成长期,学者应该有不同的担当,其使命的重心要有所不同。

面对任何社会潮流,学者应该努力去做一位“麦田里的守望者”。

基于以上认识,且基于已经有很多人在阐述大数据对统计的机遇,本文论述大数据对统计可能形成的挑战。

二、大数据能否淹没整个世界(一)互联网外还有大鱼面对大数据的迅猛发展,有的人认为,大数据可以覆盖整个世界,万维而结,天网恢恢,疏而不漏,概莫能外。

甚至有人进而产生一种臆想:即使不能全覆盖也不要紧,大数据都覆盖不了的,那就是落伍的,就不值得覆盖,无关大局,推断整体时可以放弃。

实际情况未必完全如此。

比如,部分技术精英,最早使用互联网和手机的信息技术先驱者,后来却竭力躲避“技术专政”。

部分政治、宗教人士,最典型的如本·拉登,倾向于远离互联网。

还有部分富人为了避税、避仇等原因,也尽可能躲避互联网的覆盖。

显然,这三部分人是大数据难以覆盖的,而他们的经济行为恰恰对分析社会格局非常重要,推论时不可忽视。

无论是数理统计,还是数据科学,都对其在经济特别是金融领域的应用情有独钟。

那么,在大数据时代的经济领域里,所谓地下经济(未观测经济)能不能被完全取缔?甚至,现金交易和易货贸易能不能被彻底消除?果真能够“数据全覆盖”,就意味着信息技术对人类经济行为的一种根本颠覆。

数据已成海量、指数型增长,我们就能做此断言吗?大数据的倡导者通常把民主、开放和理性作为必然的前提,这个前提确实应该得到满足,然而其在不同国家和地区的实现程度是大不相同的。

人类社会并不会同步进入大数据时代,“整个世界可能被割裂成大数据时代、小数据时代和物数据时代”(知名IT评论人谢文语)[1],同一个地球,却是三种时代并存。

(二)数据再大也是相对的无论数据形成多么迅猛,无论覆盖如何全面,无论规模怎样大,大数据集仍然存在“数据黑暗地带”或“数据阴影区域”,也就是说,大数据集仍然存在着无法周全的“信号问题”。

数据的确大到了意想不到的程度,然而“大数据之大”也是相对的。

海,对于人类、对于地球而言固然大,对宇宙来说就不那么大了。

即便局限于地球,所谓海量数据对所要研究的问题而言,规模也仍未见得就足够大。

比如,从皮尤研究中心可以获悉,美国上网的成年人中只有16%使用推特网(Twitter),与整体人口相比,其中年轻人和城市人的比例偏多,因而对全社会状况的分析来说,这绝不是一个具有代表性的样本。

推特网的数据显示,人们离家越远越快乐。

或许的确有人如此,但对多数人来说,这种推论是真实的么?有报道称,全球所有数据的90%产生于过去两年,如果这个趋势按照大数据拥趸者的估计那样持续,那么今天的大数据相对而言只是明天的小数据,我们不仅不能穷尽所有数据,而且我们对数据的掌握始终将是非常有限的。

从逻辑上讲,今天的“几近全覆盖”到了明天就会大打折扣,今天因数据全面而得到的结论也许会被明天否定,所谓全覆盖之说缺乏延展性。

参考文献[1]Viktor Mayer-Schǒnberger,Kenneth Cukier.盛杨燕等译.大数据时代[M].杭州:浙江人民出版社,2013.[2]Bill Franks.黄海等译.驾驭大数据[M].北京:人民邮电出版社,2013.[3]涂子沛.大数据[M].桂林:广西师范大学出版社,2013.[4]郭晓科.大数据[M].北京:清华大学出版社,2013.[5]C.R.Rao.统计与真理[M].北京:科学出版社,2004.[6]龚耘,彭克慧.哲学的故事[M].北京:光明出版社,2005.[7]李金昌.统计思想研究[M].北京:中国统计出版社,2009.[8]张小明.应急科技:大数据时代的新进展[N].光明日报,2013-10-14.作者简介李金昌,男,49岁,浙江义乌人。

浙江工商大学副校长,统计学教授,博士生导师。

研究方向为经济统计、统计理论与方法、抽样技术、政府统计。

(责任编辑:程晞)·18·统计研究2014年1月牛津大学教授维克托·迈尔·舍恩伯格被誉为“大数据时代的预言家”,他和肯尼思·库克耶编写了《大数据时代》[1]一书,其中明确指出:“人们总是受到现有测量和认知工具的局限,我们明天使用的工具很可能比今天的强大数倍甚至上千倍,我们现在所拥有的知识较之明天就显得微不足道了。

”[1](三)“道魔博弈”是动态无尽的确实,科学技术再强大,也始终处于不断改进之中,相对于所要解决的问题而言,科学技术总是不完善的。

因此,海量数据的规模与人类的有效处理能力之间也将一直存在着紧张关系,当前的主流软件工具能否在合理时间内完成海量数据处理的全过程,以生成有助于各类决策的信息,将始终是挑战性的。

更为要紧的疑问是,如果现实世界能被赛博世界完全操纵,不管它多么科学、多么先驱,现实世界还会存在么?如果大数据真是“全能方法”,那人类还能进步么?还用进步吗?说到底,大数据还是要为人类服务的,就人类的工具与其工作对象的关系而言,到底是道高一尺魔高一丈,还是道高一尺魔高九寸?到底是水涨船高,还是“水涨没顶”?微软的史密斯说,“如果给我提供所有数据,我就能拯救世界。

”可谁都知道,世界还在发展之中,而数据不过是对世界运行的记录,只要世界还没有完结,就不可能提供出“所有数据”。

可见,史密斯聪明地预设了一个不可能满足的前提条件,他拯救世界的能力不可证伪。

史密斯显然是在效仿阿基米德,给我一个支点,我就能撬动地球。

三、信息与噪声的辩证关系大数据发展也引发了对基本概念的重新思考。

信息和数据含义不同,但二者密切相关。

英文的data,我们通常译为“数据”。

有学者提出,“数据之据”表明了其内涵的质的规定性,按照这种说法,可以有“数码与数据”之别,或者说“有据之数”与“无据之数”之别。

我们知道,“具象数据”肯定给出了某种信息,但抽象的数码全都是信息吗?循着这类问题思考,就涉及到了数据学科的基础理论甚至哲学层面,个人的见解可能会有很大差异。

不过笔者认为,以下关于信息与噪声的认识应该是比较容易得到认同的。

(一)信息与噪声的“一体性”在科学领域,很少看到所有数据都集中到一个明确的结论上的情况。

真正的数据非常噪杂。

数据就在那里,信息和噪声同时空存在,统计学家纳特·西尔弗说:“只要能将信号与噪声区分开来,我们就能获得所需的任何信息。

”[2]这位预测界的“神奇小子”说的是绝对真理,但问题恰恰在于信号与噪声难以区分,二者随使用者的变化而变化。

从最终用途看,大部分数据对用户而言都是噪声。

人们拥有的信息呈指数增长,而需要验证的假设也正在以同样的速度增长。

亟待解决的问题及其复杂程度也正在以同样的速度增长。

相关文档
最新文档