第六讲：网络信息检索语言与技术
信息检索技术PPT课件
2021/4/4
.
19
信息检索的统计模型
一个信息检索模型IRM 是一个三元组
D是文档的集合；
Q是用户需求的集合；
R：D×Q→ R R是集合D与Q的笛卡尔乘积到实数集R的一个 映射，对每个用户查询 q∈Q，每个文档d∈D ，映射R将 (q d）映射为一个实数，称为用户查询q与文档d的相关度。
2021/4/4
1996年正式提出“超链分析”概念并发表了相关文章 ，1997年2月申请了专利——“超链分析技术”（Hypertext document retrieval system and method，专利号5，920，859 ）。超链分析技术的发明，一改互联网搜索杂乱无章、信 息冗余的局面，使搜索效果大幅提升。
PXY1,… … ,Yn
该条件概率表示该节点与其父节点 Y1,……,依Yn赖关系
的强度，在贝叶斯网络中，一个节点仅条件依赖于它的父 节点。
2021/4/4
.
28
概率模型
索引词节点 k i
文档节点 d j
用户查询 q
边有2种类型： 贝叶斯网络的3个层次
2021/4/4
.
29
概率模型
可见：
2021/4/4
2021/4/4
.
13
信息检索中的系统的评价
精确度-召回率曲线分析
2021/4/4
.
14
信息检索系统中的评价
许多用户对信息检索系统精确度要求较高，他们希望尽快 查到相关的文档，而不把时间浪费在无关的文档上。另外 一些用户则认为召回率更加重要，他们认为相关文档占检 索返回的文档比例越高，系统效果则越好。
.
38
搜索引擎
2021/4/4
网络信息检索技术
网络信息检索技术网络信息检索中，基本的检索技术有布尔逻辑检索、截词检索、位置检索、限制检索等。
一、布尔逻辑检索逻辑检索是一种开发较早、比较成熟、在信息检索系统中广泛应用的技术。
布尔逻辑检索就是采用布尔关系运算符来表达检索词与检索词之间逻辑关系的检索方法，目前最常用的布尔逻辑运算符主要包括逻辑“与"（AND）、逻辑“或"（OR）、逻辑“非”（NOT）。
（一）逻辑“与”逻辑“与”，也称为逻辑乘，用AND表示，是用来组配不同含义检索词之间的限定关系。
检索词A、B以AND （或“*"）相连，即A AND B （或A*B），表示同时包含A、B两词的文献才是命中记录，因而逻辑“与”运算用于对检索词进行限定，从而缩小检索范围，提高检索结果的查准率。
例如，要查找children education （儿童教育）方面的文献，检索逻辑式可表示为“children * education”或者“children AND education” o运算的结果是同时含有检索词children和检索词education的文献才被检索出来。
（二）逻辑“或”逻辑“或”，也称为逻辑加，用OR或者"+”表示，是用来组配同义或者同族检索词之间的并列关系。
检索词A、B若以OR或“+”相连，即A OR B（或A+B），表示只要含有A、B之一或者同时包含A、B的文献都是命中记录。
因而逻辑“或” 运算可用于扩大检索范围。
例如，要查找“汽车”方面的文献，因为汽车在英语中可以用car或者automobile表示，所以为了将有关汽车的文献全部检出，避免漏检，检索逻辑式就可表示为“car OR automobile”或者“car + automobile” o运算的结果是含有car或者automobile任意一个或者同时两个的文献均被检索出来。
（三）逻辑“非”逻辑“非”用NOT或者"-”来表示，是用来组配概念的包含关系，可以从原检索范围中排除一部分，因而使用逻辑“非”运算可以缩小检索范围。
《信息检索技术》课件
案例分析
Google的搜索原理和算法
涵盖PageRank算法、机器学习等 技、中文分词和 文本相似度计算等技术，用于中 文搜索领域。
必应的搜索策略和排名算法
通过搜索证据条件的学习、借鉴 已有的深度学习关系、存储和数 据等技术，提供个性化搜索和推 广广告。
用户交互界面设计
搜索框的设计、搜索结果的展示、用户反馈等。
搜索引擎和信息检索系统
1
搜索引擎的基本原理和框架
爬虫抓取、信息处理、索引建立和查询处理。
2同应用场景下的表现。
3
搜索引擎技术的发展趋势
移动搜索、语音搜索、知识图谱等领域的发展和应用。
总结
1 信息检索技术的定义和应用领域 3 关键技术的应用和发展趋势
2 检索模型的种类和评价指标 4 搜索引擎和信息检索系统的发展情况
检索模型
布尔检索模型
将检索问题和文档表示为布尔 表达式进行匹配。
向量空间模型
将检索问题和文档表示为向量， 在向量空间中进行匹配。
概率检索模型
基于概率理论建立的检索模型， 常用的有BM25模型。
集合模型
将文档表示为词项集合，将检 索问题表示为需要包含的词项 集合。
检索模型的评价
1
检索效果评价指标
检索准确率、查准率、查全率、F1-Score
检索系统的评测方法
2
等。
国际标准评测方法TREC、CLEF，国内开 发的CLEIR评测方法等。
信息检索技术关键技术
自然语言处理
词义消歧、句法分析、情感分析等技术的应用。
文本预处理技术
分词、词性标注、去停用词、词干化、词向量 化等技术的应用。
检索算法和数据结构
Boolean查询、向量查询、倒排索引等算法和数 据结构的应用。
信息检索语言与技术
国际专利分类法（IPC）举例
部
B
作业、运输
分部：交通运输
B64 B64C 飞行器、航空、宇宙飞船 飞行、直升飞机
大类 小类 主组 一点分组 二点分组
B64C25/00
25/02 25/08 25/10 25/18 25/26 25/30
起落装置
· 起落架 · · 非固定的,如:可抛弃的 · · · 可快放的,可折叠的或其他的 · · · · 操作机构 · · · · · 操纵或锁定系统 如果检索的主题涉及飞机的可
人大法简表
1.马克思主义、列宁主义、 毛泽东思想 2.哲学 3.社会科学、政治 4.经济 5.军事 6.法律 7.文化、教育、科学、体 育 8.艺术
9
9.语言、文字 10.文学 11.历史 12.地理 13.自然科学 14.医药卫生 15.工程技术 16.农业科学技术 17.综合参考
000 100 200 300 400 600 700 800 900
26
二.公众分类法的产生与发展
Folksonomy应用:
窄公众分类法（Narrow Folksonomy） 特点：用户特质 因为用户在知识结构和兴 趣领域上具有很大的同质 性。所以窄公众分类的可 以用于为某一领域或专业 的信息或知识提供共享平 台。
-8
27
二.公众分类法的产生与发展
Folksonomy发展趋势：
10
医学 家政 农业 工程 矿冶 化学工业 制造 商业 商学
441 442 443 444 445 446 447 448 449
土木工程 道路工程 水利工程 船舶工程 市政工程 机械工程 陆空交通 电气工程 核子工程
《杜威十进分类法》(DDC)
网络信息检索的方法与技术PPT课件
布尔逻辑算符具体使用
在不同的数据库中，所使用的逻辑符号可能是不同的 ，有的用“and、or、not” 有的用“*、+、-”。
一些检索工具会完全省略任何符号和关系，直接把布 尔逻辑关系隐含在菜单中。
一些网络检索工具如搜索引擎甚至用“︺、，、-” （即空格、逗号、减号）来表示。
位置检索
位置运算符又称邻接算符，其主要作用是限定检索词间的间隔 距离或前后顺序。从而提高检索深度和准确性，避免误检。
(W):表示在它两侧的两个检索词之间，不能插入任何检索词(空 格和标点符号除外)，且前后检索词的位置不能颠倒。
作用：增加限制条件，即增加检索的专指性，以缩小 提问范围，减少文献输出量，提高查准率。
computer AND network
计算机*网络
布尔逻辑检索
逻辑或：用“or”、“+”表示
组配方式：A OR B或者A＋B，表示检索含有A词，或 含有B词，或同时包含A、B两词的文章。
作用：放宽提问范围，增加检索结果，起扩检作用， 提高查全率。
（N）与（nN）算符
N是near的缩写
如：information（1N）retrieval
命 中 的 记 录 中 会 有 “ information retrieval”或“retrieval of ion” 等形式
截词检索（* ？）
开放式截断：如*computer可表示 minicomputer、microcomputer 如work*，可表示work、 worker、working、worked等
信息检索教程第六章
本章的主要内容为：网络信 息系统及网络信息资源的特征 、 网络信息检索的原理与方法 、常 用的网络信息检索工具、网络信 息检索技巧和专业性信息的网络 检索 。
1
第一节 网络信息系统及网络信息资源的特征
一、Internet网络信息系统
TCP/IP协议
DN域名和IP地址
全球资源定位器URL
17
(一)Google()
Google的核心技术称为PageRank(TM)，它 是Larry Page和Sergey Brin在斯坦福大学开发的 一套用于网页评级的系统。该系统以PageRank 技术为基础，这项技术可以确保将搜索结果首先 呈现给用户。Google使用一组独特的硬件和软件， 制造出了一部超网页的 数量每天正以相关搜索 拼音提示
12
(三)自动索引程序
自动索引程序robot广泛搜集网络信 息资源数据，经过一系列判断、选择、 标引、分类等处理后形成供检索用的数 据库，并以Web页面的形式向用户提供 有关的资源导航、目录索引以及检索界 面。
13
二、搜索引擎的运作和检索
(一)搜索引擎技术的运作
发现并搜集网页信息
对信息进行提取并建立索引库
15
(二)搜索引擎的检索方法
简单搜索(Simple Search) 词组搜索(Phrase Search)
高级搜索(Advanced Search)
16
三、万维网搜索引擎
万维网搜索引擎(Web Search Engines)的 主体是全文搜索引擎(Full text Search Engine)， 具 有 代 表 性 的 全 文 搜 索 引 擎 是 Google、 AlltheWeb、AltaVista、Ink站的信息，建立索引数据库，并 在用户检索时予以匹配响应，然后按一定的排 列顺序将结果返回给用户。这里重点介绍四大擎
第六讲：网络信息检索语言与技术
（2）题名 信息资源的名称，如论文篇名、图书书名、网站名称等。 题名： 题名 （3）全文 从资源的全部内容中自动抽取、查找，是目前网上各类搜 全文： 全文
索引擎使用的最多的方法。
＊主题词与关键词的区别
主题词是经过规范化处理后作为文献标识的； 主题词是经过规范化处理后作为文献标识的；关 是经过规范化处理后作为文献标识的 键词则是直接使用自然语言 较少规范化处理。 则是直接使用自然语言， 键词则是直接使用自然语言，较少规范化处理。 简单区别：一个只是概念，一个是特定的词汇。 简单区别：一个只是概念，一个是特定的词汇。
关于大学教育系的文章可能用education department、 例如，关于大学教育系的文章可能用 、 education school、school of education等词，如果语言标识 等词， 、 等词 是关键词，则原文中使用什么就抽取什么；如果语言标识为主题词， 是关键词，则原文中使用什么就抽取什么；如果语言标识为主题词， 则使用主题词表将这一类文章统一规范为school of education。 则使用主题词表将这一类文章统一规范为 。 进行检索时，如果使用school of education检索，检索结果将包 检索， 进行检索时，如果使用 检索 括所有关于大学教育系的文章；如果使用其他的词， 括所有关于大学教育系的文章；如果使用其他的词，检索结果则可能 出现漏检。 出现漏检。
词表分为若干等级， 词表分为若干等级， 上位词与下位词的位 置。 每往下一级， 每往下一级，主题词 专指度更强， 专指度更强，即查阅 到的文献更准确。 到的文献更准确。 同一等级下的主题词 按字母顺序排列。 按字母顺序排列。
信息检索教程 第6章 网络信息检索
– 前程无忧是国内第一个集多种媒介资源优势的专业人力资源服务机构， 已成为中国占有领导地位的专业招聘网站 。 – 网站目标有两大部分：致力于为积极进取的白领阶层和专业人士提供更 好的职业发展机会；同时，网站致力于为企业搜寻、招募到最优秀的人
是大势所趋。
(1) IPv4
目前，我国大部分上网用户使用的都是IPv4地址，IPv4
使用32位地址，因此最多可能有232个网络地址。一般的
书写法为4个用小数点分开的十进制数，每段数字范围为0
～255，段与段之间用句点隔6是IETF（Internet Engineering Task Force，互联网工程任务组）设
6.3 常用网站介绍
目录：
6.3.1
教育类网站
求职招聘类网站
6.3.2
6.3.3
医学健康类网站
其他网站
6.3.4
6.3.1 教育类网站
• 教育网站是专门提供教学、招生、学校宣传、教材、教学 资源共享等的网站。各大学校和教育部门、机构都有自己 的网站 。 • 一般情况下教育网站的后缀域名是edu，代表教育的意思 ，也有部分域名是以com/cn/net作为域名后缀。
第6章 网络信息检索
目录：
6.1 6.2
Internet应用基础
网络搜索引擎
6.3
6.4 6.5 6.6 6.7
常用网站介绍
学术论坛介绍 开放存取资源 小结 习题
6.2 网络搜索引擎
6.2.1 搜索引擎 6.2.2 6.2.3 学术6.1 Internet应用基础
网络信息检索基础知识、方法与技巧
检索语言（retrieval language)
检索语言的概念和作用 检索语言的类型
检索语言的概念和作用
检索语言（retrieval language)：是信息 存储与检索过程中用于描述信息特征和表 达用户信息提问的一种专门语言。检索的 运算匹配就是通过检索语言的匹配来实现 的。是人与检索系统对话的基础。
网络数据库检索系统的特点
(1)检索快捷：处理速度快、运算准确、可靠性 高。 (2)多元灵活：可以采用逻辑运算和限制检索等 功能，使检索词之间能够灵活地进行组配。 (3)信息量大，数量多，一次可以检索各个年代 范围的资源。 (4)更新迅速、及时：如许多动态类资源，可以 随时更新，又如美国OCLC网络的First Search检 索系统，新刊出版后3天内，即可出现。
网络资源的产生与发展（一）
1965年-1990年代：由于集成电路技术、硬盘技 术、数字通信技术、分组交换网技术的发展。开 始有了数据库联机检索系统（如DIALOG、 MEDLINE等），1975年提供使用的联机数据库已 有300个左右，其生产和运作模式也由政府行为 转向商业行为，用户群也由政府机构扩展到更多 的图书馆和科研机构。到80年代末数据库的数量 已达到3600多个，数据库容量增加，出现了光盘 介质，全文数据库迅速增加、出现了数值数据库 和事实数据库。这一时期是联机检索系统发展的 鼎盛时期。
网络信息资源检索系统的物理构成
(1)服务器 服务器是检索系统的核心部分，在检索过程中需 要处理大量的指令和数据。这需要服务器具有较 高的运算速度和处理能力，并且具有相当大的信 息存储容量。 服务器决定了系统的检索速度和存储容量，而软 件部分的作用则是充分发挥硬件的功能，主要进 行信息的存储、处理、检索以及整个系统的运行 管理。服务器软件和硬件的组成反映了整个信息 检索系统的检索能力。（如CNKI服务器）
《网络信息检索》教案
《网络信息检索》教案一、教学目标1. 让学生了解网络信息检索的基本概念和意义。
2. 培养学生运用网络信息检索工具获取信息的能力。
3. 提高学生筛选、评估和合理利用网络信息的能力。
二、教学内容1. 网络信息检索的基本概念解释网络信息检索的定义、特点和作用。
2. 网络信息检索工具介绍常见的网络信息检索工具，如搜索引擎、数据库、在线图书馆等。
3. 检索策略与技巧讲解如何制定检索策略、使用关键词、布尔逻辑等技巧进行有效检索。
4. 信息评估与利用介绍如何评估网络信息的可靠性、权威性和相关性，以及如何合理利用检索到的信息。
5. 实际操作演练演示如何使用搜索引擎和其他网络信息检索工具进行检索，并进行实际操作练习。
三、教学方法1. 讲授法：讲解网络信息检索的基本概念、检索工具和检索策略。
2. 演示法：展示如何使用网络信息检索工具进行检索。
3. 实践法：让学生进行实际操作练习，提高检索能力。
四、教学准备1. 网络环境：确保教学场所具备稳定的网络连接。
2. 教学工具：准备投影仪、电脑等教学设备。
3. 教学资源：收集相关的网络信息检索工具和案例素材。
五、教学评价1. 课堂参与度：观察学生在课堂上的发言和提问情况，评估学生的参与程度。
2. 操作练习：检查学生实际操作网络信息检索工具的效果，评估学生的实际操作能力。
3. 小组讨论：评估学生在小组讨论中的表现，包括信息筛选、评估和利用的能力。
4. 课后作业：布置相关的课后作业，评估学生对课堂所学内容的掌握程度。
六、教学安排1. 第1-2课时：介绍网络信息检索的基本概念和意义。
2. 第3-4课时：介绍常见的网络信息检索工具，如搜索引擎、数据库、在线图书馆等。
3. 第5-6课时：讲解如何制定检索策略、使用关键词、布尔逻辑等技巧进行有效检索。
4. 第7-8课时：介绍如何评估网络信息的可靠性、权威性和相关性，以及如何合理利用检索到的信息。
5. 第9-10课时：进行实际操作演练，演示如何使用搜索引擎和其他网络信息检索工具进行检索。