基于大数据与人工智能的大数据获取方式变革

2019.21科学技术创新基于大数据与人工智能的大数据获取方式变革

朱娉婷1贾春梅1王瑛琦2戴玉芳1（1、宁波工程学院，浙江宁波3150002、华中农业大学，

湖北武汉430070）1目前获取方式的现状

1.1大数据采集方法更加科学化

大数据采集能够通过RFID 射频数据、传感器数据、社交网络数据和移动互联网数据获得各种类型的海量数据。由于有成

千上万的用户同时进行并发访问和操作，

因此，有必要采用专门针对大数据的数据采集方法，目前主要有系统日志采集、

网络数据采集、数据库采集三种方式，常用的开源日志收集系统有Flume 、Scribe 等，网络数据采集主要是指通过网络爬虫或网站公开API 等方式从网站上获取数据信息，一些企业会通过关系数据库(如MySQL 和Oracle)收集数据，这些更科学化的采集方法的运用也使企业获取更多可供挖掘的数据信息。

1.2基于云计算的大数据平台不断完善

云计算的快速发展为大数据提供了一定的技术支持和有效的数据分析处理平台。通过云计算，利用先进的网络搜索引擎

技术，可以全过程实时监测新闻、

论坛、博客、贴吧、微博等各类网站近千万监测源。它还提供了多种分析工具和网络信息量化方法，帮助用户节省了大量复杂的网络信息收集和分析工

作。目前国内外许多云计算平台均已趋于成熟，如阿里云、

腾讯云、亚马逊、GAE 等，私有云模式也日渐清晰，仅在IaaS/PaaS 领域，2017年获得超过亿元人民币融资的私有云相关软件企业就包括星辰天合、灵雀云、博云、云途腾等。在云计算技术有弹性和低成本的特性下，也意味着将有更多中小企业可以像谷歌、阿里云等大企业一样完成数据分析。

1.3大数据处理速度不断提升

为了更好满足人们日常工作生活的需要，大数据处理系统

的处理速度和处理手段不断提升。数据的实时性是大数据的特点之一，所以对于数据的处理也体现出实时性。如网上购物交易处理、网络视频文字更新、实时天气和道路交通信息等数据的处理时间已经可以以秒为单位，速度要求极高。在未来的发展中，实时数据处理将成为主流，并不断推动大数据技术的发展与

进步。

如SPARK 凭借多年大数据应用实战经验，它在流程处理、图形技术、机器学习、NoSQL 查询等方面都有自己的技术应用，与其他计算引擎相比，它在机器学习方面有着无可比拟的优势，适合数据挖掘与机器学习等需要多次迭代的算法，它有出色的

容错能力和调度机制，可以确保系统的稳定运行，

它借助自主研究开发的采集系统和算法模型，实现了实时数据响应，以确保数据应用的时效性。

2目前数据获取方式存在的主要问题2.1大数据开放流通困难

对数据与信息的获取和控制是大数据产业的基础，数据流通是促进数据市场发展的首要条件。对企业而言，一是对客户以及潜在客户的数据采集和管理零散，严重影响数据的流通使用和共享，很难对线上、线下等多个维度的个人数据进行汇总，

因而投资信息发送、附加产品营销、

潜在客户经营等增值业务难以实现，个人数据的经济社会价值也难以发挥。二是在数据采集时，采集的数据大多数为静态数据，缺乏实时性，在我国，80%

以上的数据都是政府相关数据，研究评估发现，

地方政府公布的数据中，

平均86.25%是静态数据，只有13.75%是动态数据，远远不能满足和激发数据使用者的需求和兴趣。

2.2数据产权模糊隐私容易泄露

摘要:大数据与人工智能的快速发展正在给传统工业生产方式带来颠覆性、

革命性的影响。通信、网络和硬件设备等只是实现工业化企业互联互通、融合创新的基础，在实时感知、采集信息、

监控生产的过程中会产生大量的数据，运用先进的数据分析手段可以对企业拥有和产生的大量数据进行深度挖掘，获得有效的分析结果，

智能制造才得以实现。通过条形码技术、无线射频技术、物联网、全球定位系统技术、地理信息系统技术、ERP 、CRM 、工控系统等技术的广泛应用，可以快速收集、处理、分析数据，

推动工业企业实现生产流程各环节的互联互通。就目前大数据获取方式的现状、数据获取方式存在的主要问题、

未来获取方式的变革和策略进行分析，并阐述了大数据获取方式的变革趋势。

关键词:人工智能；大数据；

获取Abstract :The rapid development of big data and artificial intelligence is bringing about a subversive and revolutionary impact on the traditional industrial production work,communication,hardware equipment and so on are only the basis for industrial enterprises to realize interconnection.Real-time perception,collection and monitoring of large amounts of data generated in the prod uctio n process,using advanced data analysis to mine the huge amount of data generated and owned by enterprises,to obtain useful analysis results,intelligent manufacturing can be realized.Through the wide application of two-dimensional code,RFID,sensors,industrial control system,Internet of Things,ERP,CRM and other technologies,data can be collected,processed and analyzed,and industrial enterprises can realize the interconnection of production processes.This paper mainly analyzes the current status of big data acquisition methods,the main problems of data acquisition methods,the changes and strategies of future acquisition methods,and expounds the changing trend of big data acquisition methods.

Key words ：Artificial intelligence ；Big data ;Obtain 中图分类号:TP18,TP311.13文献标识码:A 文章编号:2096-4390(2019)21-0047-022018年国家大学生创业创新项目

《智能制造能力成熟度评价体系研究》研究成果。47--