大数据时代的机遇与挑战
大数据时代的挑战与机遇

大数据时代的挑战与机遇随着科技的快速发展,大数据时代已经悄然来临。
大数据以其海量数据、高速度和多样性的特点,深刻影响着人们的生活和工作方式。
然而,伴随着大数据的广泛应用,也带来了一系列的挑战和机遇。
本文将探讨大数据时代面临的挑战,并展示其中蕴含的机遇。
一、数据安全和隐私保护的挑战在大数据时代,海量的数据被快速收集、存储和分析。
然而,与此同时,数据安全和隐私保护问题也日益严重。
数据泄露、黑客攻击和隐私侵犯等事件频频发生,引发了公众对于个人信息安全的担忧。
因此,如何保障数据安全,建立健全的隐私保护机制成为一个迫切需要解决的挑战。
二、数据质量和真实性的挑战大数据时代,数据质量和真实性成为了另一个重要的挑战。
由于数据的来源多样,数据质量参差不齐。
有些数据可能存在错误、噪声和偏差,这就给数据分析和决策带来了困扰。
另外,随着虚假信息的泛滥,如何从大数据中准确地获取真实的信息也是一个挑战。
三、数据分析和处理能力的挑战大数据时代,海量的数据需要进行高效的分析和处理。
然而,传统的数据处理方法已经无法满足大数据时代的需求。
大数据的复杂性、多样性和高维度特征使得数据分析和处理变得异常困难。
因此,如何提升数据分析和处理的能力,成为了大数据时代面临的挑战。
四、数据共享和开放的挑战在大数据时代,数据共享和开放成为推动创新和发展的重要驱动力。
然而,由于数据的权益和数据所有者的隐私保护需求,数据共享和开放面临一系列的挑战。
如何在保障数据隐私和权益的前提下,实现数据的共享和开放,是一个需要解决的问题。
尽管大数据时代面临诸多挑战,但同时也孕育了巨大的机遇。
一、数据驱动的创新与发展随着大数据的迅猛发展,数据驱动的创新和发展成为新的趋势。
通过深度挖掘和分析数据,可以获得之前无法得知的信息和知识,为企业和组织的决策提供有力支撑。
同时,利用大数据可以发现市场的潜在需求,推动创新和产品的升级。
因此,大数据为创新和发展带来了广阔的机遇。
二、智能化和个性化服务的机遇大数据时代,通过对大数据进行深度分析,可以实现智能化和个性化的服务。
大数据时代的挑战与机遇

大数据时代的挑战与机遇随着科技的不断发展,大数据已经成为当今社会中不可忽视的重要资源。
以往无法收集和处理的海量数据现在可以被有效利用,为企业、政府和个人带来了各种机遇和挑战。
本文将探讨大数据时代所带来的挑战和机遇。
一、挑战1. 数据隐私与安全问题在大数据时代,个人数据的收集和利用已经变得比以往更加广泛和深入。
这就引发了隐私和安全问题。
大量个人信息的泄露和滥用可能导致个人隐私的侵犯和个人财产的损失。
因此,保护个人数据的隐私和安全成为一个严峻的挑战。
2. 数据质量和可信度在大数据时代,海量数据的收集和管理变得异常复杂。
数据的质量和可信度成为了一个重要的问题。
错误或不准确的数据可能导致错误的决策和不良的业务结果。
因此,确保数据的质量和可信度成为了一个重要的挑战。
3. 数据处理和分析能力大数据时代产生的海量数据需要进行高效的处理和分析。
然而,传统的数据处理和分析方法已经无法满足大规模数据的需求。
因此,如何提高数据处理和分析能力成为了一个重要的挑战。
二、机遇1. 商业发展机遇大数据为企业提供了更多商业发展的机遇。
通过深入分析海量数据,企业可以更好地了解客户需求和市场趋势,从而优化产品和服务。
此外,大数据可以帮助企业发现潜在的商机,拓展新的市场。
因此,大数据为企业带来了更多商业发展的机遇。
2. 智能决策机遇大数据的收集和分析为决策提供了更多的信息和依据。
通过分析大数据,决策者可以更加准确地评估风险和机会,提高决策的准确性和效率。
此外,大数据还可以帮助决策者及时发现和解决问题,做出更加明智的决策。
因此,大数据为智能决策带来了机遇。
3. 社会发展机遇大数据时代的到来为社会带来了更多的发展机遇。
通过分析大数据,政府可以更好地了解社会状况和民生需求,制定更加精准的政策措施。
此外,大数据还可以帮助解决社会问题,提升社会运行效率,推动社会进步和发展。
因此,大数据为社会发展带来了不可忽视的机遇。
结论大数据时代带来了诸多挑战和机遇。
大数据时代的到来机遇与挑战

大数据时代的到来机遇与挑战随着信息技术的不断发展,大数据时代已经悄然而至。
在这个信息爆炸的时代,大数据不仅给我们带来了巨大的机遇,也带来了前所未有的挑战。
本文将探讨大数据时代的到来,以及其中蕴含的机遇与挑战。
一、大数据时代的背景大数据时代的到来,主要得益于信息技术的飞速发展。
互联网的普及和移动互联网的快速发展,使得人们在日常生活中产生了海量的数据。
同时,各种传感器技术的广泛应用,也为数据的采集提供了更多可能。
这些数据以前所未有的速度增长,形成了所谓的“大数据”。
二、大数据时代的机遇1. 商业机会:大数据为企业提供了更多的商业机会。
通过对海量数据的分析,企业可以更好地了解消费者的需求和行为,从而精准推出产品和服务,提升市场竞争力。
2. 创新发展:大数据时代催生了许多新兴产业,如人工智能、物联网等。
这些新技术的发展,为社会带来了更多的创新机会,推动了科技的进步。
3. 政府治理:大数据也为政府提供了更多的治理工具。
通过数据分析,政府可以更好地了解社会民生状况,制定更科学的政策,提升政府治理效率。
三、大数据时代的挑战1. 数据隐私:随着数据的不断增长,数据隐私问题日益突出。
个人信息泄露、数据滥用等问题频频发生,给社会带来了安全隐患。
2. 数据安全:大数据的存储和传输需要更高的安全性保障。
数据泄露、黑客攻击等安全问题成为了制约大数据发展的重要因素。
3. 数据治理:大数据时代数据量庞大,如何有效管理和利用这些数据成为了一个亟待解决的问题。
数据标准化、数据共享等方面的问题亟待解决。
四、应对大数据时代的策略1. 加强数据安全保障:企业和政府应加强数据安全意识,建立健全的数据安全管理制度,确保数据的安全可靠。
2. 完善数据治理机制:建立统一的数据标准和共享机制,推动数据的互联互通,实现数据的共享和利用。
3. 加强法律法规建设:完善相关法律法规,加强对数据隐私和数据安全的监管,保护个人和企业的合法权益。
五、结语大数据时代的到来,既带来了巨大的机遇,也带来了前所未有的挑战。
大数据时代的挑战与机遇

大数据时代的挑战与机遇在大数据时代的挑战与机遇中,我们面临着海量数据爆炸带来的挑战,同时也蕴含着巨大的机遇。
本文将从数据增长、数据品质、数据隐私和数据应用四个方面探讨大数据时代的挑战与机遇。
一、数据增长随着互联网的快速发展,数据量呈现爆炸式增长。
从传统的文本数据到现在的多媒体数据、传感器数据等,数据的种类越来越多样化。
数据增长的挑战主要体现在数据的存储和处理能力方面。
传统的存储技术已经难以满足海量数据的存储需求,因此需要开发出更加高效的存储技术。
同时,数据的处理也面临着巨大的压力,需要利用大数据技术来提高数据的计算速度和处理效率,以应对数据量不断增长的挑战。
二、数据品质大数据时代,数据的品质成为了一个前所未有的挑战。
由于数据的来源广泛、数据的处理复杂,数据的品质容易受到各种因素的干扰。
误差、噪声、不完整性等问题都可能导致数据的失真,从而影响到数据的分析和应用。
解决数据品质问题的关键在于数据清洗和数据质量管理。
通过对数据进行分类、去重、纠错等操作,可以提高数据的品质,从而使数据更加可信和可靠。
三、数据隐私在大数据时代,人们关注的不仅仅是数据的利用,还涉及到数据的隐私保护。
随着大数据技术的应用,人们的个人信息被不断采集和分析,如果没有合适的隐私保护措施,个人隐私信息就面临泄露的风险。
保护数据隐私需要从法律、技术和管理等多个方面进行。
法律法规的制定和执行可以为数据隐私提供法律保障;技术手段如数据加密、权限控制等可以保护数据的安全性;管理措施如数据访问审计、权限管理等可以监督和管理数据的使用。
四、数据应用大数据时代蕴含着巨大的机遇,数据应用是其中的重要方向。
利用大数据技术,可以对数据进行深度挖掘,发现数据隐藏的关联性和规律,从而为决策提供坚实的支持。
数据应用的挑战在于如何将数据转化为有价值的信息和洞察。
这需要利用机器学习、数据挖掘等技术对数据进行分析和建模,从而发现数据背后的价值,并将其应用到实际的业务场景中。
大数据时代的挑战与机遇

大数据时代的挑战与机遇随着互联网技术的迅速发展和智能设备的普及,大数据已经逐渐成为社会经济发展的重要资源。
同时,大数据也给我们带来了巨大的挑战和机遇。
本文将从技术、隐私保护、应用领域和数据治理等方面讨论大数据时代的挑战与机遇。
一、技术挑战与机遇1. 数据存储和处理能力:作为大数据时代的核心技术,存储和处理大规模、高速的数据成为了一项重要挑战。
然而,随着云计算和分布式存储技术的不断进步,我们也获得了巨大的机遇,可以更高效地存储和处理数据。
2. 数据质量和可靠性:大规模的数据来自不同的来源,数据质量和可靠性是另一个关键挑战。
在大数据时代,我们需要使用先进的数据清洗和校验技术来确保数据的准确性,提高决策的可信度。
3. 数据隐私和安全:大数据时代的另一个重要挑战是数据隐私和安全问题。
随着个人信息被大规模采集和分析,如何保护数据隐私成为了亟待解决的问题。
同时,我们也可以通过加密算法和安全机制来确保数据在传输和存储过程中的安全性。
二、隐私保护的挑战与机遇1. 法律法规:在大数据时代,隐私保护面临许多法律法规的挑战。
随着数据的交叉和共享,个人隐私的泄露风险也在增加。
然而,通过制定和完善相关法律法规,加强对个人隐私的保护,我们可以为大数据应用营造安全可靠的环境。
2. 技术手段:隐私保护的挑战还包括技术手段的创新和应用。
例如,匿名化技术、隐私保护算法和数据脱敏技术等,可以帮助保护用户的个人隐私,减少个人信息泄露的风险。
3. 隐私教育和意识:提高公众对隐私保护的意识和教育程度也是一个挑战。
只有通过加强隐私教育,让大众更加了解隐私保护的重要性,才能更好地保护个人隐私。
三、应用领域的挑战与机遇1. 商业广告和营销:大数据时代给商业广告和营销带来了巨大的机遇。
通过分析用户的购买和浏览行为,企业可以更加准确地选择目标用户,提供个性化的产品和服务。
2. 健康医疗:大数据在健康医疗领域的应用也有着广阔的前景。
通过分析患者的病历、基因数据和生活习惯等,医生可以提供个性化的诊断和治疗方案,提高医疗质量和效率。
大数据时代的机会与挑战

大数据时代的机会与挑战随着技术的发展,我们已进入了一个大数据时代。
在这个时代中,海量的数据正在被不断地产生、收集和统计。
这些数据的存在既带来了机遇,又带来了挑战。
本文将从以下几个方面来探讨大数据时代的机遇与挑战。
一、大数据时代的机遇1. 实现数据驱动决策在大数据时代,我们可以通过收集和分析数据来获取更全面的信息和更准确的判断。
不管是商业还是政府部门,在做出决策时都可以先收集数据进行分析,以确保方案的有效性和可行性。
在这个过程中,有助于找到关键的因素,从而更好地进行决策。
2. 优化用户体验在大数据时代,企业可以收集大量有关客户消费习惯和偏好的数据,以更好地个性化营销和产品设计。
借助这些数据,企业可以推出符合客户需求的产品和服务,并提高客户的满意度。
这样也可以加强同客户的沟通,增强品牌忠诚度,提高企业的竞争力。
3. 推动经济发展在大数据时代,企业可以通过数据分析工具更好地理解市场和客户群。
通过对客户需求、行为和偏好数据的收集和分析,通过电子商务等渠道进行销售,可以实现更有针对性的营销和销售。
这样可以利用数据挖掘技术发现未曾发现的潜在客户,为企业发展带来更多的机遇。
二、大数据时代的挑战1. 隐私和安全问题在大数据时代,人们越来越关注个人隐私和安全问题。
大量的数据泄露事件已经对个人身份和财产造成了重大损失。
因此,所有的数据的收集、处理和使用都必须遵守法律和规定。
否则会对个人和企业造成巨大的损失。
2. 数据的质量问题在数据收集过程中,可能收集了不准确或者不完整的数据。
这些数据用来制定决策或者指导商业决策时,可能会导致不准确的分析和判断。
因此,收集、存储和处理数据的精确性和可靠性至关重要。
3. 技术和人才的不足在大数据时代,需要大量的技术和人才来收集、处理和分析数据。
然而,目前技术和人才的不足对于企业来说是一个非常大的挑战。
企业必须投资在技术和人才的培训上,以便在这个时代中获得成功。
总之,大数据时代为我们带来了更多的机遇和挑战。
大数据时代的挑战和机遇

大数据时代的挑战和机遇在大数据时代,人类社会正面临着前所未有的挑战和机遇。
大数据的爆发给传统的数据处理方法带来了巨大的冲击,同时也为各行业带来了全新的机遇和发展空间。
本文将从技术、经济和社会层面来探讨大数据时代所带来的挑战和机遇。
一、技术挑战和机遇在大数据时代,数据的规模和复杂度都大大超过了传统的数据处理能力。
传统的数据库和数据分析方法已经无法胜任这种规模的数据处理任务,因此大数据技术应运而生。
分布式存储、并行计算以及数据挖掘等技术的发展,为处理海量数据提供了有效的解决方案。
然而,大数据技术的发展也面临着很多挑战。
首先是数据的质量问题。
大数据中常常夹杂着噪音和错误的数据,如何准确地从海量数据中提取有用的信息成为了首要问题。
其次是数据的安全和隐私问题。
大数据的泄露和滥用可能导致用户隐私泄露和信息安全受到威胁。
因此,在大数据时代,如何保障数据的质量和安全成为了迫切需要解决的问题。
同时,大数据时代也给技术发展带来了巨大的机遇。
大数据的分析可以帮助企业发现潜在的商机和市场需求,优化产品和服务。
同时,数据分析也可以帮助企业更好地了解用户需求,提高用户体验。
此外,大数据技术的应用也可以为城市管理、医疗健康、交通等领域带来巨大的改变和发展机会。
二、经济挑战和机遇大数据时代对经济发展带来了深远的影响。
一方面,大数据的出现让传统产业面临着深刻的转型升级压力。
比如,传统的零售行业面临着电商的冲击,需要通过大数据分析来提高运营效率和市场竞争力。
另一方面,大数据也为新兴产业的发展提供了机遇。
例如,互联网金融的快速崛起,离不开大数据的支持和驱动。
然而,大数据经济也面临着一系列挑战。
首先是数据壁垒的问题。
目前,大数据的积累主要掌握在少数互联网巨头手中,导致数据资源的不均衡。
其次是数据交易和价值实现的问题。
虽然数据被称为“新石油”,但如何找到数据的真正价值并实现价值是一个挑战。
此外,大数据时代可能带来新的就业压力,需要培养更多掌握大数据技能的人才。
了解大数据时代的机遇和挑战

了解大数据时代的机遇和挑战一、前言随着信息技术的快速发展,大数据已经成为了当下热门话题。
在全球范围内,企业、政府等各个领域都在积极应用大数据技术,以期在竞争中占得先机。
然而,对于许多人而言,大数据仍然是一个较为陌生的领域。
本文旨在为读者介绍大数据的机遇和挑战,以帮助大家更好地了解这个领域。
二、大数据的机遇1.提升企业效率借助大数据技术,企业可以更快速地获取和分析大量数据,从而深入了解市场环境和客户需求。
进而可以制定更科学的发展战略、降低运营成本、提高服务水平等。
例如,在电商领域,许多企业通过分析用户的购物行为和偏好,进行商品精准推荐,从而提高销售额和用户体验。
2.开辟新产业随着大数据技术的普及和应用,涌现出了许多新型产业,如数据科学、人工智能等。
这些新产业不仅可以带动相关产业的发展,还可以为社会提供更多就业机会。
例如,在云计算领域,越来越多的企业提供云服务,使得用户可以更便捷地获取和管理自己的数据。
3.助力决策在政府和企业中,大数据也被广泛应用于决策和规划。
准确的大数据分析可以为政策制定和业务管理提供更科学的依据。
例如,在城市交通管理中,通过对交通流量等数据进行分析,可以制定更合理的交通规划和管控措施,从而缓解交通拥堵问题。
三、大数据的挑战1.数据安全大数据的应用离不开对数据的收集、存储、传输和使用。
然而,数据隐私和安全是一个重要的问题。
一旦数据泄露或被滥用,可能会导致不良后果。
因此,建立完善的数据安全管理体系,包括安全策略、技术保障、监管和执法等,是大数据应用中必须注意的问题。
2.技术成熟度虽然大数据技术在快速发展,但是各项技术领域都还存在局限和不足,尤其是在数据处理、分析和模拟等方面还需要更加成熟的技术支持。
此外,由于人才需求巨大,大数据领域的人才供应短缺也是一个重要问题。
企业和政府应该加强对人才培养和引进的投入和支持。
3.数据质量数据质量是影响数据分析和应用效果的重要因素。
在获取数据的过程中,可能会存在数据采集不准确、数据错误、数据缺失等问题,从而影响后续分析的准确性。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
求是:大数据时代的机遇与挑战大数据泛指巨量的数据集,因可从中挖掘出有价值的信息而受到重视。
《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。
麦肯锡公司的报告指出数据是一种生产资料,大数据是下一个创新、竞争、生产力提高的前沿。
世界经济论坛的报告认定大数据为新财富,价值堪比石油。
因此,发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。
大数据时代的来临互联网特别是移动互联网的发展,加快了信息化向社会经济各方面、大众日常生活的渗透。
有资料显示,1998年全球网民平均每月使用流量是1MB(兆字节),2000年是10MB,2003年是100MB,2008年是1GB(1GB等于1024MB),2014年将是10GB。
全网流量累计达到1EB (即10亿GB或1000PB)的时间在2001年是一年,在2004年是一个月,在2007年是一周,而2013年仅需一天,即一天产生的信息量可刻满1.88亿张DVD光盘。
我国网民数居世界之首,每天产生的数据量也位于世界前列。
淘宝网站每天有超过数千万笔交易,单日数据产生量超过50TB(1TB等于1000GB),存储量40PB(1PB等于1000TB)。
百度公司目前数据总量接近1000PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求,几十PB数据。
一个8Mbps(兆比特每秒)的摄像头一小时能产生3.6GB数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。
医院也是数据产生集中的地方。
现在,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。
总之,大数据存在于各行各业,一个大数据时代正在到来。
信息爆炸不自今日起,但近年来人们更加感受到大数据的来势迅猛。
一方面,网民数量不断增加,另一方面,以物联网和家电为代表的联网设备数量增长更快。
2007年全球有5亿个设备联网,人均0.1个;2013年全球将有500亿个设备联网,人均70个。
随着宽带化的发展,人均网络接入带宽和流量也迅速提升。
全球新产生数据年增40%,即信息总量每两年就可以翻番,这一趋势还将持续。
目前,单一数据集容量超过几十TB甚至数PB已不罕见,其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
数据规模越大,处理的难度也越大,但对其进行挖掘可能得到的价值更大,这就是大数据热的原因。
首先,大数据反映舆情和民意。
网民在网上产生的海量数据,记录着他们的思想、行为乃至情感,这是信息时代现实社会与网络空间深度融合的产物,蕴含着丰富的内涵和很多规律性信息。
根据中国互联网络信息中心统计,2012年底我国网民数为5.64亿,手机网民为4.2亿,通过分析相关数据,可以了解大众需求、诉求和意见。
其次,企业和政府的信息系统每天源源不断产生大量数据。
根据赛门铁克公司的调研报告,全球企业的信息存储总量已达 2.2ZB (1ZB等于1000EB),年增67%。
医院、学校和银行等也都会收集和存储大量信息。
政府可以部署传感器等感知单元,收集环境和社会管理所需的信息。
2011年,英国《自然》杂志曾出版专刊指出,倘若能够更有效地组织和使用大数据,人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域大数据技术可运用到各行各业。
宏观经济方面,IBM日本公司建立经济指标预测系统,从互联网新闻中搜索影响制造业的480项经济数据,计算采购经理人指数的预测值。
印第安纳大学利用谷歌公司提供的心情分析工具,从近千万条网民留言中归纳出六种心情,进而对道琼斯工业指数的变化进行预测,准确率达到87%。
制造业方面,华尔街对冲基金依据购物网站的顾客评论,分析企业产品销售状况;一些企业利用大数据分析实现对采购和合理库存量的管理,通过分析网上数据了解客户需求、掌握市场动向。
有资料显示,全球零售商因盲目进货导致的销售损失每年达1000亿美元,这方面的数据分析大有作为。
在农业领域,硅谷有个气候公司,从美国气象局等数据库中获得几十年的天气数据,将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表,预测农场来年产量,向农户出售个性化保险。
在商业领域,沃尔玛公司通过分析销售数据,了解顾客购物习惯,得出适合搭配在一起出售的商品,还可从中细分顾客群体,提供个性化服务。
在金融领域,华尔街“德温特资本市场”公司分析3.4亿微博账户留言,判断民众情绪,依据人们高兴时买股票、焦虑时抛售股票的规律,决定公司股票的买入或卖出。
阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业,对他们发放无需担保的贷款。
目前已放贷300多亿元,坏账率仅0.3%。
在医疗保健领域,“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况,与美国疾病控制和预防中心提供的报告对比,追踪疾病的精确率达到97%。
社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台,医生借此可获得在医院通常得不到的临床效果统计数据。
基于对人体基因的大数据分析,可以实现对症下药的个性化治疗。
在社会安全管理领域,通过对手机数据的挖掘,可以分析实时动态的流动人口来源、出行,实时交通客流信息及拥堵情况。
利用短信、微博、微信和搜索引擎,可以收集热点事件,挖掘舆情,还可以追踪造谣信息的源头。
美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理,提取人们行为的时空规律性,进行犯罪预测。
在科学研究领域,基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例,基于大数据分析的材料基因组学和合成生物学等正在兴起。
麦肯锡公司2011年报告推测,如果把大数据用于美国的医疗保健,一年产生潜在价值3000亿美元,用于欧洲的公共管理可获得年度潜在价值2500亿欧元;服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元;利用大数据分析,零售商可增加运营利润60%,制造业设备装配成本会减少50%。
大数据技术的挑战和启示目前,大数据技术的运用仍存在一些困难与挑战,体现在大数据挖掘的四个环节中。
首先在数据收集方面。
要对来自网络包括物联网和机构信息系统的数据附上时空标志,去伪存真,尽可能收集异源甚至是异构的数据,必要时还可与历史数据对照,多角度验证数据的全面性和可信性。
其次是数据存储。
要达到低成本、低能耗、高可靠性目标,通常要用到冗余配置、分布化和云计算技术,在存储时要按照一定规则对数据进行分类,通过过滤和去重,减少存储量,同时加入便于日后检索的标签。
第三是数据处理。
有些行业的数据涉及上百个参数,其复杂性不仅体现在数据样本本身,更体现在多源异构、多实体和多空间之间的交互动态性,难以用传统的方法描述与度量,处理的复杂度很大,需要将高维图像等多媒体数据降维后度量与处理,利用上下文关联进行语义分析,从大量动态而且可能是模棱两可的数据中综合信息,并导出可理解的内容。
第四是结果的可视化呈现,使结果更直观以便于洞察。
目前,尽管计算机智能化有了很大进步,但还只能针对小规模、有结构或类结构的数据进行分析,谈不上深层次的数据挖掘,现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。
当前,我国正处在全面建成小康社会征程中,工业化、信息化、城镇化、农业现代化任务很重,建设下一代信息基础设施,发展现代信息技术产业体系,健全信息安全保障体系,推进信息网络技术广泛运用,是实现四化同步发展的保证。
大数据分析对我们深刻领会世情和国情,把握规律,实现科学发展,做出科学决策具有重要意义,我们必须重新认识数据的重要价值。
为了开发大数据这一金矿,我们要做的工作还很多。
首先,大数据分析需要有大数据的技术与产品支持。
发达国家一些信息技术(IT)企业已提前发力,通过加大开发力度和兼并等多种手段,努力向成为大数据解决方案提供商转型。
国外一些企业打出免费承接大数据分析的招牌,既是为了练兵,也是为了获取情报。
过分依赖国外的大数据分析技术与平台,难以回避信息泄密风险。
有些日常生活信息看似无关紧要,其实从中也可摸到国家经济和社会脉搏。
因此,我们需要有自主可控的大数据技术与产品。
美国政府2012年3月发布《大数据研究与发展倡议》,这是继1993年宣布“信息高速公路”之后又一重大科技部署,联邦政府和一些部委已安排资金用于大数据开发。
我们与发达国家有不少差距,更需要国家政策支持。
中国人口居世界首位,将会成为产生数据量最多的国家,但我们对数据保存不够重视,对存储数据的利用率也不高。
此外,我国一些部门和机构拥有大量数据却不愿与其他部门共享,导致信息不完整或重复投资。
政府应通过体制机制改革打破数据割据与封锁,应注重公开信息,应重视数据挖掘。
美国联邦政府建立统一数据开放门户网站,为社会提供信息服务并鼓励挖掘与利用。
例如,提供各地天气与航班延误的关系,推动航空公司提升正点率。
大数据的挖掘与利用应当有法可依。
去年底全国人大通过的加强网络信息保护的决定是一个好的开始,当前要尽快制定“信息公开法”以适应大数据时代的到来。
现在很多机构和企业拥有大量客户信息。
应当既鼓励面向群体、服务社会的数据挖掘,又要防止侵犯个体隐私;既提倡数据共享,又要防止数据被滥用。
此外,还需要界定数据挖掘、利用的权限和范围。
大数据系统本身的安全性也是值得特别关注的,要注意技术安全性和管理制度安全性并重,防止信息被损坏、篡改、泄露或被窃,保护公民和国家的信息安全。
大数据时代呼唤创新型人才。
盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。
麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万,缺口14万—19万人;需要既熟悉本单位需求又了解大数据技术与应用的管理者150万,这方面的人才缺口更大。
中国是人才大国,但能理解与应用大数据的创新人才更是稀缺资源。
大数据是新一代信息技术的集中反映,是一个应用驱动性很强的服务领域,是具有无穷潜力的新兴产业领域;目前,其标准和产业格局尚未形成,这是我国实现跨越式发展的宝贵机会。
我们要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手,但要注意科学规划,切忌一哄而上。
(作者:中国工程院院士邬贺铨)。