大数据时代到来啦
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
新时代的曙光-----大数据时代的到来
浅论大数据对于统计学和相关经济部门的影响
摘要:随着互联网的普及,越来越多的信息以数据的方式存在在网络中,存储器中和我们所处的时空中。这些信息以碎片化的方式分布在全球各地的服务器中,数据的海量汇聚和海量增长构成了信息时代下最动魄人心旋律。未来世界的竞争将会是数据的收集,处理分析竞争。这些数据就是我们人类最大的财富和经济的发展的新动力。大数据给我们带来的不仅仅是信息的便利,同样也是变革和机遇。
关键字:大数据经济统计学
一、前言
数据,好像对于我们普通人来说很不起眼,因为我们的生活中到处都充斥着数据。这是个信息时代,为了方便信息的传输,我们通常将要传输的信息数字化,所以每天在我们的生活中会因此而产生海量的的新数据。那么这么些海量数据是否在完成了它信息传输功能之后,它的使命就已经完成了呢?这些被用过的数据还有价值吗?我们还有必要用大量的储存资源去储存它们吗?
笔者认为,美国的“棱镜门”事件将会很好的回答以上的问题。棱镜计划是一项由美国国家安全局自2007年小布什时期起开始实施的绝密电子监听计划,该计划的正式名号为“US-984XN”。美国情报机构一直在九家美国互联网公司中进行数据挖掘工作,从音频、视频、图片、邮件、文档以及连接信息中分析个人的联系方式与行动。通过棱镜项目,国安局甚至可以实时监控一个人正在进行的网络搜索内容。也许这还只是数据挖掘的冰山一角,仅仅只对九家互联网公司的数据挖掘就能够监视某个人的一举一动,如果我们对更多互联网公司进行数据挖掘,甚至是对整个互联网上所有的数据进行挖掘分析,那结果又会是怎样呢?
二、对大数据的认识
对于“大数据”研究机构Gartner给出了这样的定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。由此可见,大数据的价值是毋庸置疑的。通过新技术的处理,我们可以得到最有用的数据,然后再通过对这些数据的一系列分析处理,最后我们就能够通过对这些数据碎片的整合,得到我们想要的信息。
你是否遇到过这种情况,每当你浏览页面时,总会有些特定的广告弹出来,而且很多时候广告的产品也正是你所需要的?这就是所谓的广告定点投放,那么广告公司又是如何让在互联网上把我们定位出来的呢?其实每当我们去浏览各种网页时,我们在互联网上的形迹都会变成数据被记录下来,送到某个服务器储存起来,然后那些专业人员通过技术对这些数据进行处理,就能够把你所感兴趣的东西的信息分析出来,这就是大数据的很小的一部分运用。
移动互联网,尤其是社交网络,电子商务与移动通信将人类社会代入了一个以PB (1024TB)为度量单位的数据信息新时代。物联网,云计算,移动互联网,平板电脑,手机等各种传感器都是爆炸性增长数据的来源。所有这些都可以得到发掘,正是这种真正广度和深度的信息在创造不胜枚举的机会。要使大数据言之有物,以便让大中小企业都能通过更加贴近客户的方式取得竞争优势,同时国家也能根据有效的市场经济数据来及时调整宏观经济的运行,数据集成和数据管理是核心所在。
其实我们可以有更大的设想,如果在除开隐私的情况下,我们甚至可以通过大数据和3D打印等技术,可以把一个和互联网上某个终端用户一摸一样的人给创造出来。虽然这不是我们讨论的重点,但可见大数据的数据采集与分析的功能是有多么的强大,它不仅能够分析宏观数据,同样也能精准的分析微观个体。
三、大数据带来的挑战与机遇
大数据时代的到来,无疑又是一次历史性的变革。每一次重大的变革既会给这个社会带来难得机遇,同时也对某些领域产生巨大的冲击。18世纪中叶,英国人瓦特改良蒸汽机之后,由一系列技术革命引起了从手工劳动向动力机器生产转变的重大飞跃。工业革命给传统手工业劳动者带来了不小的冲击,很多人都面临失业的威胁,很多底层劳动人为了保住自己岗位,都抵制机器进入工厂,更有甚者大量的破坏这些给他们带来失业的怪物。于是英国便爆发了工人以破坏机器为手段反对工厂主压迫和剥削的自发工人运动——卢德运动。
那么大数据对于统计学的影响是什么呢?笔者认为,两者都是信息收集处理和分析的工
具,是相辅相成的。而统计学无疑是大数据技术的理论依据,大数据同样也会对统计学带来变革。最大的变革将会是思想层面和理论层面的。大数据将会改变传统的统计学思想和相关的理论。抽样分析将会变成整体分析,估算将会变成精确计算。抽样作为统计学最重要的理论工具,一直都作为统计学研究所采用的核心工具,但在大数据的时代背景下,这样的状况将会发生改变。虽然在现在的状况下整体分析只可能局限于很少的数据统计方面,比如淘宝网对于在淘宝网所有消费记录进行分析,就可以分析出淘宝网购消费者的消费行为和倾向。但是可以预见的是,在将来对于统计数据大范围的整体分析将会成为可能。电脑代替人脑进行数据的整理和分析,能够做到对于调差整体的数据整理和计算。换言之,抽样估算将会变成成体的精确计算。这也就会要求统计学提供新的理论工具,进行统计工作的高层设计。当每个人在互联网上留下的痕迹被记录下来的时候,每个人就会成为统计信息的收集者和传播者,那个时候将会有大量的人员从从基层的统计工作中释放出来。
那么大数据时代的到来,无疑也会严重冲击一些领域人的利益,很多的工作岗位可能会因为大数据而消失,很多人会因为大数据而失业。这里,首当其冲的当然就要属统计行业的工作人员了。
统计学作为一门基础学科,在国民经济的各个方面占据着重要的地位,在当前市场经济的体制下,统计学尤其是经济统计学对于中国经济发展将产生重大的影响与作用。当今的中国经济体制,结合中国人口以及资源的实际情况,对于各项指标的准确数值的迫切需求,统计学作为一个与数据有密切关系的学科,不得不成为经济学中必不可少的一部分,所以我们才能在中国的各个地方看到很多的统计局。国家根据国民经济的运行情况,时常会进行宏观调控,这样才能确保经济运行不至于偏离得太远。而国家掌握的那些宏观经济信息都来自于这些大大小小的统计机构。那么现在有了大数据的处理方法,可以直接用计算机在互联网上去挖掘那些经济数据,而且这样挖出的数据是完整数据,而不是统计人员的抽样分析得出的数据,这种数据分析出结果将更精确。既然是这样,那么国家还需要这么多大大小小的统计机构吗?我认为是不需要的。以后这些统计机构可能会改造成数据中心,里面的工作人员可能不再是统计工作人员,而是数据分析员,计算机工程师等。大数据必然是会让那些基层的统计工作岗位消失的,而会对数据分析算法设计人员等一些具有统计学和计算机能力的复合型人才的需求量加大。大数据会让统计学变得更精确和更高效,但却会让传统的统计学方法面临被舍弃的局面。时代是在不断进步,没有永恒的经典,一门学科的不断改革与进步才是永恒的节奏。
虽然大数据会给统计学带来巨大的冲击,但无疑会给经济学带来美好的春天。大数据的