浅析大数据特点及发展趋势

作者简介：郭帅（1998-），男，湖南株洲人，学生在读。研究方向：信息技术。
— ２５ —
2016年信息与电脑1下-正文（晓京返）.indd25
Leabharlann Baidu
2016/2/2018:36:32
大数据
信息与电脑 China Computer&Communication
2016 年第 2 期
数据的实时性，因而对数据处理也要体现出实时性。如在线个 性化推荐、股票交易处理、实时路况信息等数据处理时间要求 在分钟甚至秒极，要求极高。在一些大数据的应用场合，人们 需要及时对获取的信息进行处理并进行适当舍弃，否则很容易 造成空间的不足。在未来的发展过程中，实时性的数据处理方 式将会成为主流，不断推动大数据技术的发展和进步。 2.3 基于云的数据分析平台将更加完善 近几年来，云计算技术发展的越来越快，与此相应的应 用范围也越来越宽。云计算的发展为大数据技术的发展提供 了一定的数据处理平台和技术支持。云计算为大数据提供了 分布式的计算方法、弹性扩展、相对便宜的存储空间和计算 资源等。此外，云计算具有十分丰富的 IT 资源、分布较为广 泛，为大数据技术的发展提供了技术支持。随着云计算技术 的不断发展和完善，发展平台的日趋成熟，大数据技术自身 将会得到快速提升，数据处理水平也会得到显著提升。 2.4 开源软件的发展将会成为推动大数据技术发展的新动力 开源软件是在大数据技术发展的过程中不断研发出来 的。这些开源软件对各个领域的发展、人们的日常生活十分 重要。开源软件的发展可以适当的促进商业软件的发展，以 此作为推动力，从而更好地服务于应用程序开发工具、应用、 服务等各个不同的领域。虽然现如今商业化的软件发展十分 迅速，但是二者并不会产生矛盾，可以优势互补，共同进步。 开源软件自身在发展的同时，为大数据技术的发展贡献力量。 （上接第 24 页） 对机器学习与数据挖掘的分析需求要提供支持，整个大 数据的应用和处理的核心就是要对数据进行分析，挖掘出有 价值的有用信息。 对自适应选择或者主动选中隐私管理技术的需求要提供 支持。在整个大数据管理环境中，不同的隐私保护程度是针 对不同类型数据的，与此同时使用到的技术也是不相同的。 隐私管理的技术体系就是要能够根据不同数据的类型带来隐 私风险的评估结果，自主为大数据隐私管理选择相应的隐私 管理技术。目前这些技术有差分隐私保护技术、多方安全技 术、隐私信息检索、数据加密等。然后这些技术都是属于被 动对隐私进行保护，只能制定对单一数据集的隐私被攻击的 策略。而面对大数据的多样性、大规模性就会顾此失彼。只 有差分隐私技术在学术界被看好，因为大数据这样大规模的 数据中，要对数据进行增减对数据的整体影响都非常小，正 好与差分隐私定义的性质相吻合。 1.5 问责系统 问责系统是记录所有数据的管理情况的，比如数据的访问 者记录、访问时间的记录、访问时是否做过更改和如何使用等。 这个系统的核心就是对数据进行追踪溯源。工作流是实现问责 工作的重要技术，对所有工作流过的路径问责。其中的方法有 数据标记法、数据的集成式追踪方法和数据驱动追踪方法。 主动进行隐私保护管理的这几部分系统很关键，隐私主 动保护管理技术是整个系统的核心和关键，而底层隐私风险 主动监测和隐私风险主动评估是管理技术的支持，法律法规 和问责系统为隐私的主动保护提供了双层保障，确保整个系 统能够可靠的运行。
2016 年第 2 期
信息与电脑 China Computer&Communication
大数据
浅析大数据特点及发展趋势
郭 帅
（长沙市雅礼中学，湖南 长沙 410007）
摘 要： 随着二十一世纪的到来，人们已经进入了信息化的时代。计算机技术水平越来越先进，给人们的生活带来 了极大的便利。在信息化的时代，人们每天接触的信息量成千上万。获取有用的数据，不仅可以有效缩短时间，而且可 以满足具体需求。大数据技术正是适应现代社会的发展，从数据量巨大、结构复杂、类型众多的数据中，快速获取有价 值的信息。基于此，主要分析了大数据的特点，并展望未来发展趋势。 关键词：大数据；发展趋势；开源软件；人工智能技术 中图分类号：G203 文献标识码：A 文章编号：1003-9767（2016）02-025-02
大数据是继互联网、云计算技术后世界又一热议的信息 技术，近几年来发展十分迅速。大数据技术的出现，给人们 的生活带来了极大的便利。我们将生活中的东西数据化之后， 就可以采用数据的格式对其进行存储、分析，从而获得更大 的价值。 的应用。
２ 大数据技术的未来发展趋势分析
就现今发展趋势而言，大数据技术的发展如火如荼。在 各个领域都得到了广泛的应用，大数据技术具有十分良好的发 展前景。 现在社会的大数据公司主要可以分为三大类：技术型、 创新型、数据型，不论是哪一种类型的大数据公司，都不可或 缺。人们熟悉的技术型的大数据公司通常是 IT 公司，这些公 司十分看重数据处理。创新型大数据公司需要一些非常有想象 力的人，对于相同的数据，他们往往有不同的见解，并发现 其中的不同。而数据型的大数据公司，如新浪、百度、网易、 搜狐、淘宝等，或零售连锁企业、市政公司、金融服务公司等， 与人们日常生活密切相关，这些公司自身拥有较多的数据， 也正是因为涵盖的数据较多，容易导致有价值的信息被忽略。 在这三种不同的大数据公司中，技术型的大数据公司未来的发 展将会使得技术趋向于多元化，制造出越来越多样的技术。不 论是从哪个方面来说，大数据技术今后的发展都会越来越好。 2.1 数据分析成为大数据技术的核心 数据分析在数据处理过程中占据十分重要的位置，随着 时代的发展，数据分析也会逐渐成为大数据技术的核心。大 数据的价值体现在对大规模数据集合的智能处理方面，进而 在大规模的数据中获取有用的信息。要想逐步实现这个功能， 就必须对数据进行分析和挖掘。而数据的采集、存储和管理 都是数据分析步骤的基础，通过进行数据分析得到的结果， 将应用于大数据相关的各个领域。未来大数据技术的进一步 发展，与数据分析是密切相关的。 2.2 广泛采用实时性的数据处理方式 在现如今人们的生活中，人们获取信息的速度较快。为 了更好地满足人们的需求，大数据处理系统的处理方式也需要 不断地与时俱进。目前大数据的处理系统采用的主要是批量化 的处理方式，这种数据处理方式有一定的局限性，主要是用于 数据报告的频率不需要达到分钟级别的场合，而对于要求比较 高的场合，这种数据处理方式就达不到要求。传统的数据仓库 系统、链路挖掘等应用对数据处理的时间往往以小时或者天为 单位。这与大数据自身的发展有点不相适应。大数据突出强调
１ 大数据技术的特点分析
1.1 开源软件得到广泛的应用 近几年来，大数据技术的应用范围越来越广泛。在信息 化的时代，各个领域都趋向于智能化、科技化。大数据技术 研发出来的分布式处理的软件框架 Hadoop、用来进行挖掘 和可视化的软件环境、非关系型数据库 Hbase、MongoDb 和 CounchDB 等开源软件，在各行各业具有十分重要的意义。 这些软件的研发，与大数据技术的发展是分不开的。 1.2 不断引进人工智能技术 大数据技术主要是从巨大的数据中获取有用的数据，进 而进行数据的分析和处理。尤其是在信息化爆炸的时代，人们 被无数的信息覆盖，大数据技术的发展显得十分迫切。实现对 大数据的智能处理，提高数据处理水平，需要不断引进人工智 能技术， 大数据的管理、 分析、 可视化等。 机器学习、 数据挖掘、 自然语言理解、模式识别等人工智能技术，已经完全渗透到了 大数据的各个程序中，成为其中的重要组成部分。 1.3 非结构化的数据处理技术越来越受重视 大数据技术包含多种多样的数据处理技术。非结构化的 处理数据与传统的文本信息存在很大的不同，主要是指图片、 文档、视频等数据形式。随着云计算技术的发展，各方面对 这类数据处理技术的需求越来越广泛。非结构化数据采集技 术、NoSQL 数据库等技术发展的越来越快。 1.4 分布式处理架构成为大数据处理的主要模式 大数据要处理的数据成千上万。数据的处理方法也需要 不断地与时俱进。传统的数据处理方法很难满足巨大的数据 的需求。 随着人们的不断探索， 在大数据技术的各个处理环节， 分布式处理方式已经成为主要的数据处理方法。这也是时代 发展的必然。除了分布式处理方式，分布式文件系统、大规 模并进行处理数据库、分布式编程环境等技术都得到了广泛