信息检索与搜索引擎技术实验向量空间模型培训资料

信息检索与搜索引擎 技术实验向量空间模
型
昆明理工大学信息工程与自动化学院学生实验报告
（ 2014—2015 学年第 1 学期）
课程名称：信息检索与搜索引擎技术 开课实验室：信自楼 445 2014 年 12 月 23 日
年级、专业、 计科 学号 20111040513 姓名
成绩
班
111
8
实验项目名称
网络、访问、卫星、有限、先进、总线、升、平
的、是、最、有，这些词作为停用词不能加入系统的有效集合
一、代，去除后并不影响原来句子语义的表达也不能算作系统的有效集合。
2) 写出 d1 和 d2 在 VSM 中的表示（使用 tf*idf，写出各项的数字表达式，具体数值不必实际
计算出来）。
得到的矩阵：
北京
d1 中各词项的数字表达式 “北京”的 “安”的 “立”的 “文”的 “高新”的
“技术”的 “公司”的
d2 中各词项的数字表达式：
“新”的
“网络”的
“访问”的
“技术”的
3)
画出系统的倒排文件示意图。
4) 按照向量夹角的余弦计算公式，给出针对查询“技术的公司”的前 3 个反馈结 果。 该部分由代码实现。
0
1
1
的频度。即该词项出现次数除以该文档的长度（所有词的个数）
：表示词项 k 在 Di 中的出现次数。 ：表示该文档的长度（所有词的个数）
IDF：表示词项在文档集合中的重要程度。一个词项出现的文档数越多，说明该词项的 区分度越差，其在文档集合中的重要性就越低。
N：表示集合中的文档数； ：表示出现词项 k 的文档数。
三、 实验方法、步骤 1． 建立 Java 项目， 2． 建立 DocumentStruct.java 类文件并编辑 3． 建立 TextVector.java 类文件并编辑，如图 4-1，图 4-2 所示
图 4-1
图 4-2 4． 建立 TF.java 类文件并编辑，如图图 4-7 所示
图 4-4 5． 建立 IDF.java 类文件并编辑，如图图 4-5 所示
this.documentID = ID; this.documentSimValue = sim; this.documentName = name; this.documentContent = content; }
public String getDocumentContent() { returndocumentContent;
图 4-5 6． 建立 CaculateSim.java 类文件并编辑，如图 4-6 所示
图 4-6 7． 建立 MainApp.java 类文件并编辑，图 4-7 所示
图 4-7 8． 完成后的项目文件夹如图 4-8 所示
图 4-8
9． 运行结果如图 4-9 所示
1. DocumentStruct.java 代码： packageacm.model; public class DocumentStruct {
publicDocumentStruct(){ this.documentID = 0; this.documentSimValue = 0; this.documentContent = "None"; this.documentName = "None";
}
publicDocumentStruct(int ID, double sim, String name, String content){
B.一般 □ C.没有 □
教师签名：
年月日
一、 上机目的及内容：
给定文档语料:
d1: 北京安立文高新技术公司
d2: 新一代的网络访问技术
d3: 北京卫星网络有限公司
d4: 是最先进的总线技术。。。
d5: 北京升平卫星技术有限公司的新技术有。。。
设计一个针对这些文档的信息检索系统。具体要求是：
1) 给出系统的有效词汇集合（说明取舍原因）。
public void setDocumentName(String documentName) {
this.documentName = documentName;
}
public double getDocumentSimValue() { returndocumentSimValue;
}
public void setDocumentSimValue(double documentSimValue) {
• d3: 北京卫星网络有限公司
• d4: 是最先进的总线技术。。。
• d5: 北京升平卫星技术有限公司的新技术有。。。
设计一个针对这些文档的信息检索系统。具体要求是：
1) 给出系统
Term
d1
的有效词
d2
d3
d4
d5
Term 出 现次数
汇集合
（说明取
舍原
因）。
北
京、安、
立、文、
高新、技
术、公
司、新、
} public void setDocumentContent(String documentContent) {
this.documentContent = documentContent;
}
public String getDocumentName() {
returndocumentName; }
2) 写出 d1 和 d2 在 VSM 中的表示（使用 tf*idf，写出各项的数字表达式，具体数值不必实
际计算出来）。
3) 画出系统的倒排文件示意图。
4) 按照向量夹角的余弦计算公式，给出针对查询“技术的公司”的前 3 个反馈结果。
二、 实验原理
给定文档语料:
• d1: 北京安立文高新技术公司
• d2: 新一代的网络访问技术
1
0
1
0
1
3
安
1
0
0
0
0
1
立
1
0
0
0
0
1
文
1
0
0
0
0
1
高新
1
0
0
0
0
1
说
技术
1
1
0
0
1
3
明：
公司
1
0
1
0
1
3
新
0
1
0
0
1
2
TF： 网络
0
1
1
0
0
2
访问
0
1
0
0
0
1
表示词项 卫星
0
0
1
0
1
2
在该文档
有限 先进
0 0
0 0
1 0
0 1
1 0
2 1
或者查询 总线
0
0
0
1
0
1
升
0
0
0
0
1
1词中出现 平Fra bibliotek00
0
向量空间模型
指导教师 李卫疆
教
师 该同学是否了解实验原理：
A.了解□
B.基本了解□ C.不了解□
评 该同学的实验能力：
A.强 □
B.中等 □ C.差
语□
该同学的实验是否达到要求： A.达到□
B.基本达到□ C.未达到□
实验报告是否规范：
A.规范□
B.基本规范□ C.不规
范□
实验过程是否详细记录：
A.详细□