浅析大数据技术的发展与应用

2019年4月

是任意字符[3],比如“123456”,“abcd”等。但是不建议设置得太简单或者具备某种规律,这样会比较容易被他人破解。

约定签名方式:签名方式也是收发双方要事先约定好的,这个签名是对原始数据的内容进行一些调整。比如约定在每一项内容中间加竖线。那么“账户:张三,方式:存款,金额: 1000元”就被转化成“张三|存款|1000”。签名方式非常灵活,只要双方约定好就可以,但是建议不要过于复杂,最好具备一些规律,否则容易造成误解。

加密算法:加密算法就是生成数字签名的加密算法,可以是可逆加密算法,也可以是不可逆加密算法。

具备了以上4个必要条件,就可以生成数字签名了。方法就是将原文按照约定签名方式转化后的内容和签名秘钥进行一定的融合,然后使用加密算法得到密文。比如原文转化后的内容是“张三|存款|1000”,签名秘钥是“123456”,将它们两者进行拼接,得到“张三|存款|1000|123456”,再使用加密算法得到密文。接收方在获得原始数据和签名后,按照同样的签名方式对原始数据签名,然后对比与发送过来的签名是否一致,不一致则认为数据来源不可信赖,从而保障了系统安全[4]。

为什么需要如此复杂的签名过程呢?原因很简单,密文结合了原始数据,签名秘钥,签名方式和加密算法4种因素。不法分子即使破解了其中的一个因素,也依然无法得到正确的签名,除非不法分子同时知道了签名秘钥,签名方式和签名算法。使用数字签名大大降低了系统的风险。4结论与展望

目前互联网环境不是非常健康。互联网的应用,如果不采取各种手段来保护自己系统的网络安全,将会遭到各种各样的恶意攻击。但是目前的加密算法的安全性取决于当前设备的计算能力。如果有一台计算力超强的计算机可以在几小时内破解某个加密算法,那么这个加密算法就不再是一个安全的加密算法。所以随着设备计算能力的不断提高,加密算法也需要不断地进行改进和发展,否则互联网将不再安全可靠,甚至将成为个人信息泄露的重灾区。所以研究加密解密算法和网络安全手段目前来看是十分必要的,长远去看,这也将是一个持续进行和持续研究的方向。

参考文献

[1]张裔智,赵毅,汤小斌.MD5算法研究[J].计算机科学,2008,35(7): 295-297.

[2]管莹,敬茂华.DES算法原理及实现[J].电脑编程技巧与维护,2009 (4):5-7.

[3]易红军,佘名高.MD5算法与数字签名[J].计算机与数字工程,2006,34 (5):44-46.

[4]洪琳,李展.数字签名、数字信封和数字证书[J].计算机应用, 2000,20(2):41-42.

收稿日期：2019-3-17

浅析大数据技术的发展与应用

杨家琳（天津市第二十一中学，天津市300052）

【摘要】大数据的快速发展，以及它在各方面带来的应用也逐渐增多，无形中大数据已经融入到我们的生活中，起到越来越重要的作用。本文主要介绍大数据的概念，数据大、速度快、数据类型多、价值密度低、真实性五大特点，以及大数据近代在世界的发展历程和国内发展立场，从中可看出大数据在短短十几年间发展之快，用处之广，简单介绍大数据在教育、医疗、交通行领域的应用及未来面临的挑战。

【关键词】大数据；云计算；发展历程；行业应用

【中图分类号】TP393.08【文献标识码】A【文章编号】1006-4222（2019）04-0032-02

引言

随着云时代的到来,数据变得庞大渐渐的超出传统数据软件的能力范围,从而促使人们必须研发一种新的技术与管理体系能快速完成任务,由此诞生了大数据技术。大数据已成为我们生活中最熟悉不过的词语,在各行各业中,大数据都起到了重要的作用。与传统数据相比,大数据的规模更大,流转速度更快,数据类型更加多样。大数据技术的发展使我们的生活更精准、更科学、更高效。通过研究大数据的发展历程和应用领域可以更好地了解大数据技术并将其应用到实际研究中。

张引在文献[1]中主要介绍了大数据分析方法、模式及工具,将大数据应用划分成了六个领域,并对大数据所面临的困难和挑战进行了总结;孟小峰在文献[2]中介绍了大数据的产生及应用,描述了大数据的处理框架和关键技术,总结大数据发展给人们带来的好处,理性分析大数据的不足以及未来讲遇到的问题;陈颖在文献[3]中简单介绍了大数据的概念及特点,详细描述了大数据主要的发展历程和现状,以期对大数据研究的相关人员提供一些参考。

本文首先介绍大数据的概念及特点,然后详细描述大数据的发展历程,大数据的产生及发展现状,重点分析大数据所应用的领域,从各个行业分析大数据与其相结合的应用现状及目前具有的优点和存在的问题及挑战。

1大数据技术概述

1.1大数据的概念

大数据在人们眼中是一个相对抽象的概念,并没有一个统一的定义,大数据一般是指传统数据软件无法在一定时间范围之内获取并高效处理分析的大量数据集合,它具有与传统数据不同的特点。

1.2大数据的特点

大数据主要分为5个特点,分别为数据量大(Volume)、速度快(Velocity)、数据类型多(Variety)、价值密度低(Value)、真实性(Veracity)。大数据的特点如图1所示。

数据量大是指数据的获取、处理、存储的规模都很大。速度快是指对数据的搜集与处理能在很快的时间内完成。数据类型多是指与传统数据相比,大数据的数据类型更多,不仅包括结构化数据,还包括半结构化、非结构化数据。价值密度低是指所拥有的数据量多而复杂,在大量繁杂的数据中只有少量的有效数据,若用正确方式利用有效数据,则将给人们带来

通信设计与应用32

2019年4

月

图1大数据的特点

诸多好处。真实性是指,数据的质量是真实有效的。

2大数据的主要发展历程

2.1国际主要发展历程

20世纪90年代,几乎各个领域数据爆棚,从而商业智能

成为当时人们耳熟能详的词语,从此数据开始被人重视。2001年,美国开发大数据模型,接着被部分计算机科研人

员认可,渐渐地在互联网信息技术中有了自己的立场,后来META集团让大数据有了它的最初定义,将大数据的定义为

三维式(3Vs),其分别为速度(Velocity)、数量(Volume)、种类(Variety),这三个特点对数据进行模型描述并对其未来面临的机遇和挑战进行分析。云计算有强大的计算能力和存储能力,对大数据的发展起到了推动作用,随着时间推移。2006年,Google提出云计算的想法并根据自身的内部数据量身设计了一套计算工具与技术,并把此想法对外开放, Hadoop已是当今最具代表性的云计算开源数据,云计算的技术种类变得很多,并且具有数据库、数据处理器等诸多功能,这都要得力于Google。

2008年,《Nature》杂志开始发布关于大数据的专刊,世界及各个领域都开始关注大数据,Watts在杂志上发表文章,使大数据成为一门自然科学,《Science》在2011年推出有关大数据的专栏,两个著名杂志都是围绕着大数据面临的技术上的问题或者挑战展开言论。

2011年,IDC公司发布报告,表示价值(Value)这一特点被认可,定义由3Vs变为4Vs,大数据能够快速收集信息,并提取重要信息加以有效分析,使搜所收集信息完全发挥它的价值,则将带来巨大经济回复,同时,大数据也融入到了人们的生活中,人们开始计划将大数据运用到各个行业,而且发布很多有关大数据对人们生活影响的文章。麦肯锡公司(McK鄄insey&Company)发布报告“大数据:下一个创新、竞争和生产力的前沿”,对大数据的定义进行完善。

2012年,因为美国政府的宣布两亿美元的投资,大数据技术上升为国家战略,此后大数据为政府服务。联合国发布了一部关于大数据的白皮书《大数据促发展:挑战与机遇》,使用大数据成为全球的思想潮流。

2014年,美国发布《大数据:抓住机遇、守护价值》的白皮

书,鼓励人们使用大数据,让大数据融入生活、推动生活。2015年以后,许多全球性主要会议如达沃斯全球经济论

坛都把大数据作为重要议题进行讨论。

2.2国内主要发展历程

2011年,信息部将物联网发布到十二五计划上,信息处理

技术被提出,其中包含大数据的重要组成部分。

2012年,中国计算机学会(CCF)成立了CCF大数据专家

委员会,发布了《2013年中国大数据技术与产业发展白皮书》。2014年,国务院发布政府报告中首次提到大数据。清华

信息学院、国家实验室成立了数据科学院,并开始对大数据未来的发展与挑战进行深入研究。

2017年,我国大数据产业进入爆发期,国内成立多家大数据管理机构,多所大学已成立“数据科学与大数据技术”本科

专业。

3大数据的主要应用

3.1教育行业

从传统教育到在线教育的变化使大数据在教育方面的应用叹为观止,作为学生,它能通过学生学习的反馈准确分析所学知识的掌握程度,并对每位学生的知识掌握程度推荐有效方法,使学生完全掌握知识,不光在课下,课上,还能通过摄像头观察每位学生上课时的表情分析课上的吸收效率。作为老师,不仅在学生测试成绩上来判断教的好坏,而且在学生课下的日常反馈也是判断老师教学水平的重要标志,大数据能在诸多方面进行分析,对老师进行评价。

同时大数据也在教育行业面临挑战,不同数据并不互相协助,从而无法有效利用数据,教师及学生的个人数据保护也是当前面临的问题。

3.2医疗行业

大数据在医疗行业也有许多应用患者能在手机上不仅能自由选择大夫而且能查询病状获得药方,人们可佩戴智能手环时时监察自己的身体状况从而确保身体健康,在医院,患者可对大夫进行反馈,反馈的结果通过大数据分析决定大夫的工作水平,大数据可对医生的工作进行简化,省去看病环节,直接对患者症状分别推送药方。得到患者病状描述不完从而不能准确获取有效信息,不能达到医疗目的,以及不同感应器获取的数据差异使数据无法完全利用。

3.3交通行业

大数据在交通行业的应用已完全渗入人们的生活之中,导航功能的出现解决了人们在道路上的大部分问题,它可通过卫星地图数据对道路情况进行实时分析,快速分析出耗时短路径短的道路,在交通管理上,及时收集客流量和车流量,做好提前预警和疏导交通工作。

4结论

当前大数据的发展处于起步阶段,随着技术不断发展,大数据技术在未来更多行业中起到重要作用。本文通过大数据的概念特点进行描述,发展历程进行介绍,简单分析当前所应用的教育、医疗、交通领域给人们带来的好处。大数据在当今时代快速发展,它不知不觉中为人们生活提供更的便利,悄无声息地改善人们的生活,让我们一同期待大数据带给我们更好的未来。

参考文献

[1]张引,陈敏,廖小飞.大数据应用的现状与展望[J].计算机研究与发

展,2013,50(S2):216-233.

[2]孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发

展,2013,50(01):146-169.

[3]陈颖.大数据发展历程综述[J].当代经济,2015(08):13-15.

收稿日期：2019-3-11

通信设计与应用33