大数据发展与情报资源整合的关系探索——基于互联网的情报收集技术解析

大数据发展与情报资源整合的关系探索
——基于互联网的情报收集技术解析
赖志杰1，刘敏颖2，黄宝强1
（1. 广东省科技创新监测研究中心，广东广州 510033；
2. 广东省测试分析研究所//中国广州分析测试中心，广东广州 510070）
摘要：通过对大数据发展轨迹的分析，对情报资源整合进行研究和剖析，摸索找到一个更好的收集、共享利用情报的方法，以有效促进情报资源整合的效率提高，推动相关行业的发展。

关键词：大数据；资源整合；促进利用
中图分类号：G353 文献标志码：A 文章编号：2096-5095(2018)04-0094-05
Research on the Relationship Between the Development of Big Data and the Integration of Intelligence Resources：Analysis of Information Collection Technology Based on Internet
LAI Zhi-jie1, LIU Min-ying2, HUANG Bao-qiang1
(1. Guangdong Science and Technology Innovation Monitoring and Research Center, Guangzhou 510033, China;
2. Guangdong Institute of Analysis//China National Analytical Center, Guangzhou 510070,China) Abstract: Through the analysis of the development trajectory of big data, research and analysis of intelligence resource integration, this paper fi nds a better way to collect and share information, which can effectively promote the effi ciency of intelligence resources integration, and promote the development of related industries.
Key words: big data; resource integration; promote utilization
收稿日期：2018-06-12
基金项目：广东省公益研究与能力建设专项“科技创新监测与研究能力提升计划”（2017A070701010），“广东创新驱动发展能力监测评价研究”（2017A080804002）；广东省科技计划项目“广东科技创新监测研究服务团队建设”（2017ZC0336）
作者简介：赖志杰（1975—），男，广东海丰人，硕士，副研究员，研究方向：科技信息化管理、科技战略；刘敏颖（1972—），女，广东广州人，本科，助理研究员，研究方向：科技计划管理；黄宝强（1995—），男，广东梅州人，本科，研究方向：科技信息化管理。

0 引言
大数据的发展无比迅猛，随着社会方方面面的发展，对于大数据的挖掘利用方面的要求也越来越高，因此，做好数据收集工作（包括前期的积累和梳理）对后面数据的利用和应用将起到引导性的作用。

我国是名副其实的数据大国，人口数量居全球第一，国土幅员广阔，加上我国正处在经济社会快速发展和综合国力的全面上升期，由此产生的各种经济活动和社会活动的数据体量是海量的，如在2014年年底，我国的网页数量就突破了1 899亿个[1]，因此，加强数据的利用和有效应用将对社会发展起到重要意义。

本文将基于互联网的发展和基础，对情报收集技术进行深入解析，希望能顺应形势，找到一个更好的情报收集的发展之道，给行业发展带来便利和帮助。

1 互联网技术的发展历程和情报收集
体系
1.1 互联网技术的发展现状以及未来展望
在20世纪80年代末，美国开始对计算机网络技术进行大量研究，并且成立了相应的基金会，计算机网络技术取得了历史性的突破。

当时，美国学者阿尔·戈尔首先提出了“信息高速公路”理念，而后这个理念在网络上迅速发展。

这样的发展形势也改变了整个世界的交流模式，深深地影响着人们的生活和生产方式，整个社会迎来了巨大的变化。

理念的转换促进了生产的提升，从而增强了国家的综合国力，提高了民族凝集力。

不仅如此，互联网的整体架构以及细致的内容也随之发生了改变。

2001年世界范围内举行了“危机会议”，“信息高速公路”理念得到正式认可。

从此，互联网的格局逐渐发生了改变并出现了一些明显的特征。

这些特征总结如下：
（1）用户共享模式。

用户在使用网络的过程中，不管是网络信息还是网络客户端，都无法避免共享这个形式，尤其是大数据时代的来临，共享资源才能共谋发展，因此，在共享的基础上，有效信息才能得到最大程度的利用。

因此，聚合实际上就是在一定条件下，对一个或者是很多个群体提供一个开放性的组织或是平台，在这个平台中，用户可以进行交流与共享。

当前这个信息爆炸的时代，要求情报工作人员考虑怎样合理合法地开展互联网情报工作。

（2）信息杂乱现象。

互联网时代带来了便捷的同时也带来了一些阻碍，主要体现在信息的杂乱无章，以及各种良莠不齐的信息掺杂其中。

互联网为信息发展提供了平台，从而导致了海量信息的出现，同时也含有许多不良信息，该怎样对不良信息进行整改成为了一直以来的难题。

既然不能够在互联网中彻底解决这些不良信息，那么就需要寻找一个管理的方法将这些信息进行有效地分类与整理。

1.2 情报学的相关研究途径
情报研究工作早在1 000多年前就已经出现，经过漫长的发展历程，情报学的研究与发展现已进入了一个全新的阶段。

现将情报工作方法总结为以下几点：
（1）社会调查法。

社会调查法是指对一个地区进行实地调查研究，并由此得出相应的结论。

目前来说这是使用率最高的一种方法。

研究人员通过实地调查，能够清楚地了解到社会目前的发展形势，并且能够取得预期的成果。

（2）文献计量法。

文献计量法是指通过文件计量的方法从文献中将想要的资料找出来，并对其进行归纳与整理，在得到相应的资料之后，建立相应的数学模型，从以往和现在的发展状况入手，对一般性或是定量的问题进行分析，在此基础上对将来可能要发生的事情进行预测。

（3）数学分析法。

现代数学领域中出现的许多分支都可以应用于信息科学的研究之中，如信息检索技术和情报收集技术等都涉及到了数学的相关知识，包括对数字的计算、对图案的解读、对微积分的应用
等等，可见数学分析法的用处广泛。

（4）系统分析评价法。

系统分析评价法是指从各个角度和不同的方向对信息进行综合分析，实现信息发展的整体化和有效化，进而对系统的理论进行分析与评价，促进信息的健康稳定发展。

该方法可以对情报信息进行处理，对出版物进行关键字或敏感字检索，检测情报产品，强调情报研究的严谨性以及情报研究的智能化[2],对情报服务进行评价。

（5）历史研究法。

历史研究法并非是研究历史，而是对历史材料进行研究。

采用历史研究法首先需要对历史资料进行收集和整理，而后对已经整理好的历史资料进行分析。

在分析历史资料的过程中，能够了解到信息科学的发展历史，从而了解历史中信息发展的时间、地点和原因，以及发生的途径等。

1.3 互联网时代的情报技术与手段发展
在远古时代就产生了情报，优秀的情报机制至今依然适用于互联网之中。

然而，并不是所有的情报机制都适用于网络之中，因此，一些情报工作的方式发生了变化。

这些变化主要可概括为以下三方面。

1.3.1 互联网调查技术手段取得明显进步
由于以前的技术手段不够先进，因此进行社会调查的难度较大，而且进行调查的成本也较高。

随着现代科学技术的进步，互联网几乎在世界各地都通行，不管是发达国家还是发展中国家，互联网用户人数都在不断上升。

发达国家的互联网用户几乎占据所有人口的60%以上。

我国互联网使用人数也在不断增加。

根据有关机构的统计，2010年，我国的互联网用户同比往年有了跨越式的增加，达到了5亿多人。

以新浪微博为例，现在全国范围内使用新浪微博的用户有5亿多人，在新浪微博上进行注册的实际用户也已达到了3亿人。

由此可见，互联网在我国已经得到了很大的发展。

很多涉及国家安全的工作人员不可避免地要在互联网上进行工作；除此以外，教师、作家等拥有较高学历的人也需要通过互联网进行工作。

所以从互联网用户的整体来看，目前我国用户的知识水平还是比较高的。

如今在互联网上查询信息是十分容易的，比如相关单位在网络上明晰了这一段时间的发展规划，互联网用户就可以通过查询得出该机构的工作现状。

1.3.2 互联网调查的覆盖面已有显著扩大
“互联网+”的提出不仅带来了更多的就业机会，也为生活带来了更多的便利，体现了科技改变生活的发展目标。

目前,全世界使用互联网的相关用户数量依旧呈现上升的趋势，且在近些年这种上升的趋势不会被变，全民上网已成为了一种趋势。

对一个国家或地区的上网人数进行统计，就基本上可以得出这个国家或地区的总体人数。

以往使用互联网的用户大多数是知识水平比较高的知识分子，但是随着计算机、便携式上网设备等的逐渐普及，越来越多的人开始接触网络并成为了网络的使用者。

另外，随着互联网使用费用的进一步降低，越来越多人用得起互联网，网民的数量因此大幅增长。

1.3.3 文献分析、历史研究方法的成本减少
互联网在刚刚产生之时的主要服务对象是进行科研的人群，为科研人员提供进行科学研究的基础，但是如今，互联网的工作方向已经在悄然间发生了变化，主要服务的对象也从科研群体变成了普通大众，普通的用户也能够查询出自己想要的科研结果，例如各种科研论坛频频出现，科研人员也在其中发布一些资料。

互联网的内容与以往的科研资料体系相结合，使得互联网的文献分析以及相关研究都取得了重大的突破。

现在只需打开电脑，在搜索引擎中输入一些关键字句，就能够迅速地检索出想要的内容。

越来越多的期刊和文献也都能够在互联网中找到。

此外，在网络之中不仅能够找到需要的资料，甚至可以实现与资料供应者或者作者的直接对话，了解作者的创作理念以及思想，学习作者的创作思路，有效地进行学习与研究。

2010年，美国的一个研究机构对某公司的研发人员进行了研究，结果发现通过使用互联网对论文的检索和查找，能够在研发人员之中建立一种联系，通过对这些资料和人员的分析，能够得出准确的研究结果。

倘若不采取这种方式，而是采取传统的工作方式，在这项工作上所耗费的人力和物力将不可设想，同时也会占用一大部分的人力资源，对经济造成一定的压力。

2 互联网情报收集与处理技术
公共情报可以通过互联网进行收集。

公共情报中包含大量的数据和内容，内容较为浅显易懂，方便大众阅读，将这些数据和内容进行简单化处理能够促进用户的阅读和使用，因此具有很高的实用价值。

公共情报的来源十分宽广，并不局限于一个单独的渠道，主要来源于报纸、图书、手册以及电视节目中。

2.1 困难
由于信息技术的飞跃式发展，互联网涉及的范围也越来越广，包括军事、经济、工业等领域，因此，互联网是公共信息的重要来源。

基于这样的形势，大众需要掌握基于互联网之下的公共情报收集以及处理技术，这一过程中所涉及的主要困难包括以下三方面。

（1）互联网的公共职能收集及处理的系统缺乏整体框架。

互联网从诞生之日起就为世界的发展带来了巨大的影响，但是在其带来便捷的同时也给未来的发展提出了挑战。

由于传统的信息收集及处理都是通过人工的方式进行，大大降低了工作效率，并且给从事这项工作的人们造成很大的困扰，因此，大家热切希望能够出现一种全新的工作方式，希望能够通过机器对信息进行整合和处理。

也就说，需要建立起一个完善的互联网公共职能收集及处理的框架。

（2）对互联网中的公共情报进行有效收集。

互联网中的信息繁多，信息的质量也是良莠不齐，需要结合信息检索技术才能以最快的速度对互联网的信息进行收集。

信息检索技术的出现在很大程度上解决了人们在实际生活中所遇到的困难，但是其自身也存在一定的缺陷。

信息检索技术的工作模式是处于被动状态的，人们在搜索时需要准确地输入关键词汇或语句。

现阶段的信息检索技术只能识别已输入的文字，却无法通过对文字进行智能解读来完成工作，假设在进行检索时所输入的文字是不准确的，那么就不会出现相关的知识，从而阻碍了工作的实际进程。

为了解决这个问题，在搜集资料的时候就需要按照使用者的想法进行改变，作出灵活的、具有跳跃性思维的主题搜索设计，以此解决用户搜索信息的需求问题。

（3）对于公共情报的处理。

对公共信息进行过滤和筛选，能够实现对有效信息的采集。

合理利用公共情报能够解决信息缀余的问题。

2.2 系统结构
通过互联网将情报更公开地收集与处理，或者是对用户所确定的信息进行整合搜集，都需要建立一个完整的系统。

该系统的结构主要由情报的收集、情报的整理、情报的筛选、情报的查询与处理以及对情报库的后期维护组成。

在这样的系统结构下，情报收集工作者首先需要对情报进行简单的筛选和排查，过滤掉互联网中不良和无用的信息，为用户提供更好的体验；另外，也要重视知识库为用户提供权威网站和资料的作用。

同时，专业的知识对于用户来说也是必不可少的，它包含了专业的词汇以及语句，同时也包括这些专业知识的外文词汇等等。

2.3 公开情报的收集
2.3.1 按照用户兴趣定制与文档相关的模型
用户通过信息检索找出所需要的资料然后下载。

在用户下载资料之前，情报人员可以根据自己的兴趣爱好先行对这些资料进行筛选和排查。

对于每一类的关键字，情报人员都可以先进行搜索，并且将和关键字相关的文字也加入到列表之中，从而保证用户下载
资料的质量。

2.3.2 主动式专题搜索引擎
借助活动特性搜索引擎，在互联网上对公开情报进行收集，找到与之相关的资料和信息，用户可以在此基础上按照自己的意愿对文件进行筛选。

2.4 公开情报的处理
至于公开情报的处理方面，则可以通过设置搜索引擎，在信息初始阶段完成对资料分类处理。

搜索引擎的设置包括两种类型：第一种是将信息内容不同的文件进行重新排版；第二种是按照用户的想法对文件归档分类。

3 大数据下的科技资源整合之路
当下，互联网技术飞速发展，创新活动所需的物质与信息资源在快速流动，对社会各方面的渗透愈发深入，同时也对我们提出了更多的要求。

各种创新资源要如何加速汇聚、融合与共享才能为社会贡献更多的创新成果呢？综上所述，基于互联网思维的科技创新资源的开放、共享、共用已成为当前科技创新活动的必然选择[3]。

伴随着互联网经济的快速发展和强势推进，互联网思维理念应运而生，跨区域、跨行业、跨国界的新经济跨界整合必将成为社会发展的新常态[4]，可见互联网思维必将大行其道。

它是基于对行业的科技创新资源公共服务需求分析的基础上，提出如何加快推进科技创新资源开放共享、助力创新驱动的解决之道。

推进发展是政府、高校、企业共同亟待解决的问题。

开放、共享科技创新资源，可使社会创新成本呈递减趋势，从而会带来收益递增[5]，有效促进社会经济发展。

互联网思维的核心理念通常可归纳为开放、共享、体现以用户需求为导向的服务理念，强调用户在创新驱动发展过程中的主体作用和中心地位，尊重用户的个性需求，要从依靠数量和规模扩大的外延式发展模式转变到加强软实力的内涵建设[4]。

在互联网时代，基于互联网思维的科技创新资源开放、共享、共用已成为当前科技创新活动的必然选择，互联网技术也将成为政府和各界在发展中进一步节约成本的创新之道。

参考文献：
[1]中华人民共和国国家统计局．中国统计年鉴
2015：互联网主要指标发展情况（年底数）[DB/ OL].(2016-11-03)[2018-04-03]. http://www.
/tjsj/ndsj/2015/indexch.htm.
[2]李广建,杨林.大数据视角下的情报研究与情报研
究技术[J].图书与情报,2012(6):1-8.
[3]余建潮，叶秉良，汪进前，等.互联网+科技创
新资源整合与共享机制研究[J].实验技术与管理,2018(4):334-36.
[4] 王芬.互联网思维驱动与大众文化发展趋向：
以中国互联网文化现象为例[J]. 管理世界, 2015(8):184-185.
[5]石贵舟，余霞.基于“互联网+”的高校产学研
协同创新[J].现代教育管理，2016（1）：7-12.。