基于大数据的技术创新与决策方法研究

基于大数据的技术创新与决策方法研究

摘要：创新方法是创新经验和技巧的高度总结，是技术创新的“孙子兵法”，传统创新方法在互联网技术推动下的“大数据”时代，在创新资源相关数据的获取和融合效率方面面临新的机遇与挑战。文章通过对大数据技术与方法以及围绕着大数据环境下的企业技术创新与管理决策相关技术与方法的研究，通过院校合作，构建起大数据环境下的技术创新与决策的技术框架体系，依据技术创新“双向决策模型”，通过数据的在线收集与预处理、大数据存储与预处理技术体系、创新资源数据的可视化技术与决策技术方法和创新应用工具的开发四个子项的实施，实现技术创新的“评估与预测”和“监测与预警”。结合企业研发与技术创新实践，希望能帮助企业实现更加精准的技术创新决策。

关键词：创新方法；大数据；技术创新管理

引言

提高国家与企业的自主创新能力是建设创新型国家发展战略的核心和提高综合国力的关键。国家、企业间的竞争既要依靠创新，也受到创新效率的影响。先进的创新方法是保证创新效率的基础。创新方法是创新经验和技巧的高度总结，是创新的兵法。如何将创新方法的最新研究成果转化为

现实生产力是当前高效创新驱动面临的挑战。另一方面，互联网技

术推动下的“大数据”时代的来临，企业通过从海虽的数据中萃取

有效知识并将其转化为新的商业竞争优势[1]

的信息管理思想和技术方法正在实现。如何有效使用“大数据”来实现对创新方法的创新，则成为了目前学术界与企业界广泛关注的焦点。因此，文章希望通过大数据技术与方法的深入研究，利用大数据技术来变革和提升创新方法、思维体系与管理模式，并促进企业自主创新和生产力的快速提高，使技术创新管理工作适应企业创新实践的新需求。

1研究背景

1.1大数据的研究进展与趋势

自1998年美国硅图公司(SGI)的首席科学家John R.Masey提

出了大数据概念以来，随着网络技术的发展人们在近年来从海虽数

据分析的角度转向大数据。其中，以Facebook为代表的社交网络软件的应用，直接导致大虽非结

构化数据的涌现，并促进了针对非结构化数据查询与处理技术快速

发展。2008年，《Nature》杂志出版专刊〈〈Big Data》针对多个

学科的实际研究现状系统地介绍了“大数据”所蕴含的潜在价值和

挑战。2011年，《Science〉杂志出版的专刊

«Dealing with Data》标志着“大数据”时代的到来[2]。随后，

美国奥巴马政府在2012年3月推出“大数据研究开发计戈(Big

Data Research and Development Initiative )。该计

划的目标是改进现有人们从海虽和复杂的数据中获取知识的能力，

从而加速美国在科学与工程领域发明的步伐，增强国家安全，转变

现有的教学和学习方式[3],从而实现从“数

据分析能力”向“数据决策能力与优势”的转化[4]。

目前，针对大数据的概念与定义还存在着许多不同的分析角度。其中，大数据研究机构Gartner对“大数据”的定

义为：需要新处理模式才能具有更强的决策力、洞察发现力和流程

优化能力的海虽、高增长率和多样化的信息资产。“大数据”的资

产属性暗含了通过“分析”可以给其拥有和控制者带来预期的利

益，它是从数据中萃取知识，并将其转化为商业竞争优势的智能化

活动。麦肯锡公司( McKinsey )看到了个人海虽信息具备潜在的商

业价值，成为最早应用“大数据”的公司，并发布了关于“大数

据”的麦肯锡报告[5]。

我国在2011年12月，国家工业和信息化部发布的《物联网“十二五”发展规划》上，将信息处理技术作为四项关键技术创新工程之一被提出，其中包括了海虽数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分[6]。2012年5月，主题为“网络数据科学与工程一一门新兴的交叉学科？”的香山科学会议在北京召开，随后以李国杰院士为核心的计算机学科专家学者纷纷就围绕“大数据”定义的“数据科学”的理论框架与算法应用等问题进行了综合性的归纳研究与讨论[7]。北京航空航天大学马帅教授等就对

“大数据”的异构数据模型与存储、复杂数据智能分析、数

据质虽以及大数据安全性等问题也进行了分析和讨论［8］。

如

何合理高效的利用这些海虽的数据资产，使其为国家治理、企业创

新与决策提供优化的服务，则是目前企业创新过程中面临的一个重

要的挑战。

1.2大数据环境下创新管理的双向决策模型

针对大数据环境对科技创新决策管理带来的挑战，中国科学院的王飞跃教授在处理与分析大数据使其有效支撑科技决策问题中构建了面向大数据和开源信息的科技态势解析与决策服务［9］。而北京理工大学朱东华教授针对美国“大数据研究开发计划”项目的深入调研，尤其是针对大数据计划最核心的美国国防部及国防部高级研究计划局在相关立项中的侧重点与项目目标的分析，发现从传统的“目标驱动决策”向“数据驱动决策”的重大转型是美国国家战略应对大数据环境的最直接变化之一。而基于传统数据分析方法的

“评估与预测”理念也正在向“监测与预警”转化。有效地利用大数据环境，深入挖掘与分析潜在技术竞争情报，监测技术的发展动态，分析潜在的网络威胁与攻击，正是大数据环境下美国政府的全新国家战略思维与部署。同时，研究团队在整合技术创新管理现有理论方法的基础上，构建了面向技术创新管理的双向决策模型，即目标驱动模式与数据驱动模式并行的双向决策模型［10］（见图1）。一方面，

以传统目标驱动为基础，形成以传统数据挖掘技术与方法为核心的数据获取、处理、分析、支持决策的技术评估与预测模型。另一方面，围绕大数据环境下的复杂数据特征与环境，采用当前数据挖掘领域应用于大数据处理的新方法、新思路，形成以自组织动态实时监测为核心，能够有效预警并积极处理突发事件的技术监测与预警模型。

技术评估与预测模型围绕双向决策中的“目标驱动决策”展开，在大数据环境下，采用常规的数据挖掘方法，通过数据采集、加工与分析计算等步骤，将数据转化为可供技术创新决策目标支持的有效知识或观点。具体运用在技术创新管理工作中，“目标驱动决策”模型通过有目的的对大数据环境下科技、网络以及其他数据中的潜在信息进行有效萃取与分析，实现对具体技术领域的“知识发现”与“可视化”，从而达到评估技术发展状态，预测技术发展趋势的最终目的。

技术监测与预警模型以数据为驱动，不同于事

先制定目标，依目标的需求进行相应的数据挖掘工作。技术监测与预警模型通过规则的建立与基于机器学习的算法训练，形成专注于“数据”本身的实时监测模型，通过对小规模数据的训练与学习，形成反应并处理相应大数据的人工智能。在技术创新管理工作中，基于传统数据挖掘方法的基础上，融入能够响应动态数据变化的动态数据挖掘理念，通过提升机器的自组织与自学能力，从而达到分析潜在新兴技术的发展动态，挖掘可能促进技术升级的核心技术，监测竞争对于相关技术领域的最新进展，并针对这一切可能情况做出及时并有效的反应，实现技术监测与预警的目的。面向技术创新管理的双向决策模