大数据环境下的网络协同创新平台及其应用研究

收稿日期:2013-05-27

作者简介:黄南霞(1990-),女,硕士研究生,研究方向:网络协同创新及应用研究。

信息资源开发与利用

大数据环境下的网络协同创新平台及其应用研究

黄南霞 谢 辉 王学东

(华中师范大学信息管理学院,湖北武汉430079)

摘 要!大数据环境下,对网络信息资源进行深度开发与利用,有利于挖掘信息资源价值,并协同创新主体完成知识、技术创新。本文通过阐述网络协同创新对信息资源开发利用的需求,结合大数据分析技术,展现网络信息资源的协同创新作用。最后,结合大数据的背景构建网络协同创新平台以及描绘协同创新平台3种应用路径,来展现网络协同创新平台的作用和应用前景。

关键词!大数据;网络信息资源;协同创新;平台

DOI:10.3969/j.issn.1008-0821.2013.10.017 中图分类号!G250 72

文献标识码!A

文章编号!1008-0821(2013)10-0075-05

Study of Network Collaborative Innovation Platform and Its Applied Under the Environment of Big Data

Huang Nanxia Xie Hui Wang Xuedong

(College of Information Management,Central China Nor mal University,Wuhan 430079,China)

Abstract !Under big data environment,depth development and u tilization of network information resources is conducive to mining the value of information resources,and collaborative i nnovation members of the organization to complete the knowledge and technological innovations.Elaborate network collaborative innovation on the development and u tilization of information resources needs,combined with large data analysis techniques,to show the role of Network Information Resources collaborative innovation.Finally ,combined with data background to build a network information collaborative innovation platform and depicts three applica tions of collaborative innovation platform path,to show the role and prospects of the network in formation collaborative innovation platform.

Key words !big data;network information resources;collaborative innovation;platform ∀国家中长期科学和技术发展规划纲要(2006-2020年)#中提出把科技进步作为经济社会发展的首要推动力量,把提高自主创新能力作为调整经济结构、转变增长方式、提高国家竞争力的中心环节,把建设创新型国家作为面向未来的重大战略选择。创新的内涵,不仅包括知识创新,还包括技术创新。知识创新具有自发性、自由性,但技术创新是知识创新的支撑,并为知识的发展划定了边界,影响着知识的发展方向[1]。要实现知识创新和技术创新,必须结合大数据的背景,把网络信息资源开发与利用凝聚到创新中去。随着互联网上数据的不断增多,海洋一般浩瀚的网络数据已成为一种战略资源。大数据并不简单是海量的数据,通常是指解决问题的一种方法,即通过收集、

整理生活中方方面面的数据,并对其进行分析挖掘,进而从中获得有价值信息,最终衍化出一种新的商业模式。工信部发布的物联网∃十二五%规划上,把信息处理技术作为4项关键技术创新工程之一被提出来,其中包括了海量数据存储、数据挖掘、图像视频智能分析,这都是大数据技术的重要组成部分。大数据技术的目标,就是从这些数据中挖掘信息、判断趋势、提高效益。因此,知识创新和技术创新要求开发利用网络信息资源,实现网络协同创新。

1 大数据环境下的网络协同创新

随着新兴信息技术与应用模式的涌现,使全球数据量呈现出爆发式增长态势。美国国家科学基金会(NSF)将大

数据定义为∃由科学仪器、传感设备、互联网交易、电子邮件、音视频软件、网络点击流等多种数据源生成的大规模、多元化、复杂、长期的分布式数据集%[2]。在大数据环境下,∃知识%的概念已经被泛化,网络信息资源不再局限于人脑所存储的知识,网络上的情绪反馈、网页之间的链接关系、网页的点击量等等都可以加以提炼,成为新的知识。目前,大数据的开发与利用已经在医疗服务、零售业、金融业、制造业、电信等行业广泛展开,呈现了巨大的社会价值和宽广的产业空间。充分开发利用网络资源既是客观要求,也是提高社会资源配置、支撑国家创新体系的有效手段。

1 1 网络协同创新中的信息需求

由于网络信息资源价值具有来源广泛、多模态、可增值的特性,因此对其进行开发不仅可以促进网络协同创新系统的完备,也有利于充分调动参与主体的积极性,对社会也有极大的溢出效应。协同创新对网络信息资源有∃天然%的需求。

随着信息社会的迅猛发展,知识创新、技术创新的过程变得日益纷繁复杂,而且创新活动所涉及的领域也日渐增多。从创新组织中的单位和个体来讲,对网络信息资源进行开发利用有利于实现资源最优配置。资源配置帕累托最优的一个条件是拥有充分的市场。也就是说,要想获取理想的资源配置,市场中的所有产品都必须有价格,没有价格的市场意味着市场不完备,或者同时导致市场丧失[3]。因此,实现信息的最优配置是有代价的,而加入到一定的创新网络组织既是创新组织个体规避创新竞争风险、增强创新竞争力的有效途径,也是其充分利用社会资源、提高创新效率的明智选择。建设创新型国家,需要社会各方创新力量的共同努力来协作实现。而在新的时代背景下,只有网络协同创新才能更快、更好、更有效率地实现知识、科技创新,支撑国家创新体系,才能更快地实现建设创新型国家的宏伟目标。

1 2 网络协同创新运作机理

协同创新是各个创新要素的整合以及创新资源在系统内的无障碍流动。协同创新是以知识增值为核心,以企业,高校科研院所,政府,教育部门为创新主体的价值创造过程[4]。在大数据环境下,网络协同创新是指企业、政府、高校及科研机构、中介机构和用户等创新主体为了实现知识和科技创新而充分利用网络信息资源而开展的大跨度整合的创新组织模式。网络协同创新的过程是基于网络信息资源传播共享之上的创新主体有目的、有意识的价值创造过程。创新主体之间的知识转移的最终目的就是为了实现信息资源的价值增值。

传统的协同创新包括∃产学研%创新、区域产业创新等等,虽然同样着重于知识和技术的开发与利用,但是这个创新的过程中知识的概念是狭隘的,传统协同创新运行机理已不适应于网络协同创新。互联网上网页存档、用户点击、网页链接、商品信息、用户关系等数据形成了持续增长的海量数据集,这些多模态信息扩充了知识的范畴。创新主体通过转移知识,充分开发利用网络信息资源,以完成创新主体的目的,实现价值增值过程。知识转移价值增值是一个组织将知识转移到另一个组织的过程中,通过知识的使用和创新来带动和提升相关活动,进而实现知识价值的过程[5]。组织之间的网络信息资源的转移共享为丰富信息供应链提供了基础。浩瀚的网络信息资源经过积累、创新、扩散,并经过创新主体的吸收消化,最终以多元价值的形式表现出来。在积累阶段,通过组织内部已有知识以及网络信息资源的积累,搭建网络协同创新的平台,为知识转移营造良好的背景,并为后续的知识创新奠定基础;在创新阶段,通过大数据分析技术,对网络信息资源的共享和吸收,并与原有的知识加以融合,将新知识应用于市场生产经营中,实现网络信息资源的价值增值;在扩散阶段,网络信息资源商品化后的产品,通过满足用户的需求,并获得新的网络信息资源。在价值增值过程中,信息资源开发技术为网络信息资源的开发、更新提供了保障,而知识的更新同样为网络信息资源开发技术提供智力支持。为保证网络信息资源得到高效、全面的开发利用,创新主体之间需要保持战略上高度一致、协同发展。

2 大数据环境下网络协同创新平台构建

构建网络协同创新平台有利于充分发挥网络协同创新的作用,平台通过利用大数据技术对网络信息资源开发,服务于创新主体。

2 1 网络协同创新的关键技术

网络信息包含大量非结构化数据,并且数据量扩张迅猛,因此传统的信息处理方式显得心有余而力不足。大数据分析技术却能高效率的处理网络信息,其主要技术包括Hadoop平台、HDFS分布式文件系统、Map Reduce并行编程模型以及H-Base数据库。通过搭建开源的Hadoop平台,在网络信息数量尤其巨大的时候,HDFS提供接口让程序将自己移动到离数据存储的更近位置。在靠近要被计算的数据所存储的位置来进行计算,这样消除了网络的拥堵,提高了系统的整体吞吐量。M ap Reduce的目的是为了大型集群的系统能在大数据集上进行并行工作,Map Reduce簇可以通过替换函数和提供新的数据源来重新使用,而无需每次都对整个应用进行编译,测试和部署。处理后的数据存入H-base,减少数据冗余。通过以上信息处理手段,信息