大数据时代下的情报方法体系

¾现状研究，如研究对象的当前水平、最新 动态、基本差距、基础数据等。
¾未来研究，如研究对象的发展趋势、发展 战略等。
化柏林
情况之报告
本方情况
他方情况
总结与评价 监测与跟踪 预测与预见
过去情况
现在情况
将来情况
情报的形式与作用
耳目
尖兵
参谋
动态快报 领域深报
决策参考
1 大数据时代下的情报人员 2 大数据时代下的情报转化 3 大数据时代下的情报本质 4 大数据时代下的情报方法
信息分析方法
信息分析方法
方法类别 计量分析方法
聚类分析方法 路径分析方法
关联分析方法 共现分析方法
奇异值分析方法 可视化分析方法
常见方法 统计排序法、数量分布统计、增长分析、老化分析、 生命周期分析
分层聚类法、迭代聚类法、核聚类法、密度聚类法 技术路线图方法、空白点分析方法、未来技术机会分 析方法、关键技术分析法
2012,3
12,4
2012,7 2012,11
谢谢！
恳请宝贵意见， 欢迎批评指正…
中国科技信息研究所 化柏林
关联规则挖掘方法、链接分析、非相关文献知识发现 方法等。 共词分析、共句分析、合著分析、共引分析、共被引 分析、共链分析等
孤立点分析法、噪声分析法、新颖性探测方法 网络图分析法、地形图分析法、雷达图分析法、多维 尽度分析法、战略坐标法
化柏林
情报研究与传递方法
去粗取精 去伪存真
见微知著 化零为整
知彼知己 偷梁换砥
数据
期刊论文 会议论文 专利数据
······
检索
检索 知识
信息
某主题的 数据集合
分析
分析 知识
情报
研究快报 研究报告
······
1 大数据时代下的情报人员 2 大数据时代下的情报转化 3 大数据时代下的情报本质 4 大数据时代下的情报方法
化柏林
情报：情况之报告
¾问：情报究竟为何物？ ¾答：情况之报告
情况之报告：空间维度
¾从空间上讲分为本方情况和他方情况： ¾对于国家情报机构：就对应着国内情况与
国外情况； ¾对于省级情报机构：还有本省与他省的区
分 ¾对于企业情报机构：还有竞争对手的情况
化柏林
情况之报告：时间维度
¾从时间上讲分为过去的情况，现在的情况 和未来的情况。
¾历史研究，如研究对象的发展历程、经验 教训等。
化柏 林，郑 彦宁
化柏林
化柏林
相关资料
题名
关于数据、信息、知识 与情报转化关系的探讨
期刊 情报理论与实践
情报转化理论（上）： 情报理论与实践 从数据到信息的转化
情报转化理论（下）： 情报理论与实践 从信息到情报的转化
论情报的本质
网络信息环境下的情报 方法体系研究
情报理论与实践 情报理论与实践
年，期 2011,7
化柏林
军事谍报与科技情报的过程共性
通过窃听、监测、 收买等方式获取对 方的保密信息
通过解密、 破译等方法 进行分析
结果为政治、军 事、国防、安全 等方面的报告
信息获取
信息分析
情况报告
通过检索、采集、 购买等方式获取 对方的公开信息
通过计量、汇总、 比较等方法进行 分析
结果为领域、行 业、学科、产业 等方面的报告
对信息进行加工、分析、提取、评 价的结果，反映事物运动状态的规 律及状态变化的规律 有意义的数据，数据在媒介上的映 射，反映事物运动的状态及状态的 变化。
数据是事实的数字化、编码化、序 化化、结构化。
信息链的线性结构
? 情报
数据、信息与情报的转化模型
数据
数据加工
知识
信息
信息分析
知识
情报
科技情报工作实例
网页信息抽取技术与方 法
PDF文件内容抽取方法
定题信息采集方法
网络信息监测方法
中国科技信息研究所 化柏林
信息分析与处理方法
数据融合
数据清选
信息分析
多源数据融合方法 异构数据融合方法 多语数据融合方法
数据过滤方法 数据去重方法 重名区分方法 别名识别方法 数据降维方法
计量分析方法 聚类分析方法 路径分析方法 关联分析方法 共现分析方法 奇异值分析方法 可视化分析方法 中国科技信息研究所 化柏林
¾ 情报IT1：eleven done one too many的明文一个荷兰的
一个电话号码，
化柏林
信息F1 信息F2 信息F3 信息F4
信息F5
知识K1 知识K2
知识K3 知识K4
情报T1：位置 油田位于东北大庆
情报T2：规模 油田覆盖四百公里
情报T3：能力 日炼油100万千升
情报T4：机遇 中国需要购买
化柏林情况之报告本方情况他方情况过去情况现在情况将来情况总结与评价预测与预见监测与跟踪情报的形式与作用决策参考领域深报耳目尖兵参谋动态快报化柏林大数据时代下的情报人员大数据时代下的情报方法大数据时代下的情报本质大数据时代下的情报转化军事谍报与科技情报的过程共性信息获取信息分析情况报告通过窃听监测收买等方式获取对方的保密信息通过解密破译等方法进行分析通过检索采集购买等方式获取对方的公开信息通过计量汇总比较等方法进行分析结果为领域行业学科产业等方面的报告结果为政治军事国防安全等方面的报告情报工作流程中国科技信息研究所化柏林信息搜集与获取方法信息分析与处理方法情报研究与传递方法信息采集与获取方法中国科技信息研究所化柏林搜索引擎方法网络数据库检索方站内检索方法页内检索方法防拷贝网页信息获取方ip翻墙技术与方法密码破译技术与方法单站信息批量获取方法定题信息采集方法网络信息监测方法网页内容获取方法网页垃圾信息过滤方法网页信息抽取技术与方pdf文件内容抽取方法查找信息下载信息提取信息信息分析与处理方法中国科技信息研究所化柏林多源数据融合方法异构数据融合方法多语数据融合方法数据融合数据清选信息分析计量分析方法聚类分析方法路径分析方法关联分析方法共现分析方法奇异值分析方法可视化分析方法数据去重方法重名区分方法别名识别方法数据过滤方法数据降维方法化柏林信息分析方法方法类别常见方法计量分析方法统计排序法数量分布统计增长分析老化分析生命周期分析聚类分析方法路径分析方法技术路线图方法空白点分析方法未来技术机会分析方法关键技术分析法关联分析方法关联规则挖掘方法链接分析非相关文献知识发现方法等
争
大数据时代下的情报特点
面向服务 分 析 为 轴
数据为基
传统谍报人员特质
¾身体好，有独特气质 ¾技术多面手，如开锁、破译密码、截获信
号 ¾方法灵活多变， ¾心理素质过硬
大数据时代情报人员的特质
¾对信息高度敏感 ¾具有专业检索技能 ¾善于综合运用多种分析方法 ¾知其情、报其告、防止对手先知道
如何应对大数据？
化柏林 010‐68598273 huabolin@ 中国科学技术信息研究所
文献
1 2 3 4
1/60
大数据时代下的情报人员 大数据时代下的情报转化 大数据时代下的情报本质 大数据时代下的情报方法
化柏林
大数据情报分析案例
¾美国“棱镜”计划 ¾数据基础：Google、微软等用户数据 ¾分析：序列分析、模式分析 ¾结果：恐怖活动预测与监测、重点国家竞
情报工作流程
信息搜集与 获取方法
信息分析与 处理方法
情报研究与 传递方法
中国科技信息研究所 化柏林
信息采集与获取方法
查找信息
下载信息
提取信息
搜索引擎方法
网络数据库检索方 法
站内检索方法
页内检索方法
防拷贝网页信息获取方 法
IP翻墙技术与方法
网页内容获取方法 网页垃圾信息过滤方法
密码破译技术与方法 单站信息批量获取方法
化柏林
从情报起源看情报本质
¾《孙子兵法》：“知彼知已，百战不殆” ¾《辞海》(1915年版) ：军中集种种报告，并
预见之机兆，定敌情如何，而报于上官者； ¾《辞海》(1939年版)：战时关于敌情之报告
，曰情报
¾强调了三点，即情报的核心是情况，情报的 重点在于他方，情报的形式是报告（并不限 于纸版报告）。
情报
方
工
法
具
大数据大数据大数据大数据大数据
1 2 3 4
37/60
大数据时代下的情报人员 大数据时代下的情报转化 大数据时代下的情报本质 大数据时代下的情报方法
化柏林
密码破译案例
¾ 数据D1: eleven done one too many
¾ 信息IF1: 某间谍身上搜索到的火柴盒上印有eleven done one too many字样
¾ 知识K1（常识知识）：31是荷兰的国际电话区号
¾ 知识K2（专家知识）：键上的首字母代替数字是加密
方式的一种
¾ 知识K3（专家知识）：英文单词的拆分与组合也是加 密方式的一种，如done=d+one,根据K2得出d是3，根据 语言知识库得出one是1，因此done one对应着31
¾ 策略1：用什么样的线索，分析目标是什么
情境分析判断方法
趋势预测方法
逻辑一致检测方法
技术预见方法
关键数据校验方法 零散信息汇总方法
SWOT分析方法 定标比超方法 信息挪用方法
化柏林
情报方法的发展趋势
¾更加适应情报工作流程 ¾多种方法综合运用 ¾方法的技术性越来越强 ¾方法对基础资源的依赖性越来越强
作者
郑彦 宁，化 柏林
化柏 林，郑 彦宁
轻炼油设备
大庆油田案例
• 时间：1966年 •人物：日本情报专家 •来源：1966年7月的某期 《中国画报》 •信息：关于王进喜的封面 照片 •情报：判定中国油田位置 位于北纬46度至48度的区 域，即中国东北的北部寒 冷地区。
信息链的金字塔结构
情报 知识 信息 数据
?
激活了、活化了的知识，反映人们 如何运用知识去解决实际问题。