网络信息检索与搜素引擎系统开发

《网络信息检索与搜素引擎系统开发》考试参考资料Brilliance搜索引擎：从互联网等信息源中以一定的策略采集所需信息，经加工处理(如对网页进行去重处理、抽取信息、索引、生成主题词标引、生成自动文摘、信息分类、对相似网页进行聚类等)，将用户感兴趣的内容按照一定的规则排序后，以超链等形式提供给用户的系统。

搜索引擎主要包括信息采集、信息加工、信息检索与检索结果提供这几个部分搜索引擎分类：目录索引式搜索引擎、自动式搜索引擎、元搜索引擎、分布式搜索引擎自动搜索引擎：利用Robot采集相关网页。

在进信息加工后(如：分析页面内容;生成索引; 摘要;分类)，根据用户给出的查询项进行检索，并将检索结果按相关性排序(可根据匹配程度、查询项出现的位置/频次、网页链接质量等)后返回给用户。

•优点：自动采集，信息量大，更新较及时。

•缺点：检索时缺乏在语义层次上的深层分析。

•查准率查准率(precision)用来评价检索结果中有多少文档是和用户需求相关的。

查准率=检索结果中和查询相关的文档数÷检索结果中的文档总数×100%•查全率查全率：文档库中所有相关文档中到底有多少被系统检索出来查全率=检索结果中和查询相关的文档数÷文档库中所有和查询相关的文档数×100%网络信息检索的未来：1.以智能化为核心的智能检索2.多媒体信息检索3.跨语言检索4.个性化检索案例检索1.输入待解决问题的要求、初始条件及其他相关信息2.根据问题要求及初始条件，从案例库中提取一组与当前问题相似的案例3.从相似的案例中找出最接近当前问题的案例，通过对目标方案的修改来解决当前问题。

4.问题解决后，当前的解即可新的案例存入案例库中，以备后用页面遍历算法广度优先：先采集完同一层的网页，在采集下一层的网页。

深度优先：先沿一条路径采到叶节点，再从同层其他路径进行采集网页信息抽取的大致流程1、通过网络蜘蛛爬取页面，预处理后得到纯文本页面信息；2、对页面进行预处理，去掉JavaScript、图片、Flash等无关内容；3、找到对应的头部和尾部标志，并在其中抽取相应的内容；4、将抽取到的属性信息存入数据表。

对Lucene Demo的测试1、控制台方式（1）建立索引。

在控制台cmd方式下输入：“java org.apache.lucene.demo.IndexFiles“d:\workshop\docs””(设待索引文件在d:\workshop\docs 下)，则对目标文件夹(即d:\workshop\docs)下所有文件建立索引，同时在当前命令行所在位置将生成index文件夹。

（2）javaorg.apache.lucene.demo.SearchFiles，则在当前路径下找index文件夹并进行检索，要在存放索引文件的父目录中执行上述语句。

这时将会出现“Enter Query:”提示符，在其后输入关键字后回车，即可得到查询结果，不支持中文检索。

2、Web方式cmd模式下利用Lucene自带的Demo对指定位置的html文件建立索引并存放在指定的位置。

（1）将D:\lucene-2.4.0\lucene-2.4.0\luceneweb.war复制到Tomcat安装路径的\webapps，输入http://localhost:8080/luceneweb，会打开lucene 的自带的Demo程序。

（2）在新建的这个luceneweb文件夹下新建一docs文件夹，将一些txt、html等类型的文件复制到这个docs中。

（3）对指定路径下的文件建立索引。

cmd下输：java org.apache.lucene.demo.IndexHTML–create –index“D:\eclipse\java\Tomcat 5.5\webapps\luceneweb\index”“D:\eclipse\java\Tomcat 5.5\webapps\luceneweb\docs”–第一个参数是存放索引的目的地，第二个参数是存放待索引的文件的源位置（4）为使Lucene的demo能找到索引文件，需修改Tomcat安装路径下的webapps\Luceneweb\configration.jsp，使之能指向正确的索引位置。

修改“String indexLocation”使之指向正确的Index文件夹，String indexLocation= “..\\webapps\\luceneweb\\index”;（5）在Tomcat运行状态下，在浏览器中输入http://localhost:8080/luceneweb。

在文本框中输入关键字，如“＋Lucene ＋windows”，按照指定的与关系来进行检索。

Lucene索引和检索的主要流程步骤1：构建索引，实例化IndexWriter。

在IndexWriter的构造函数中，第一个参数是有关索引位置的，如果采用FSDirectory方式，就要指定存放索引的位置；第二个参数是绑定分析器Analyze；第三个参数为设定是否用增量索引（true为删除原目录中所有内容新建索引；false为在原索引上追加索引即增量索引）。

步骤2：构建Document并创建Field。

步骤3：调用IndexWriter实例的addDocument()方法将Document添加到索引。

步骤4：实例化IndexSearcher，构建检索字串后可将其交由QueryParser分析处理。

具体地，索引和检索过程中可能涉及的主要代码如下。

（1）构建索引：按照某种方式（如FSDirectory方式）指定存放索引位置及使用的分词分析器后构建索引：IndexWriterwriter = new IndexWriter(INDEX_STORE_P ATH，new StandardAnalyzer()，true);（2）将指定的Field加入索引中：用IndexWriter的addDocument方法实现：write.addDocument(bookname);（3）关闭索引：write.close();（4）构建检索对象：示例代码：IndexSearchersearcher = new IndexSearcher(INDEX_STORE_PATH);（5）给出查询字串：示例代码：String querystr= "computer design";（6）指明检索字段及使用的分析器，这里使用的分析器要和建立索引时使用的一致，示例：QueryParserparser = new QueryParser("bookname", newStandardAnalyzer());（7）指定可能的逻辑运算，如假定采用逻辑“与”，示例代码：parser. setDefaultOperator(QueryParser. AND_OPERATOR);（8）生成Query对象，示例代码：Query query= parser. parse(querystr);（9）得到检索集，示例代码：Hits hits= searcher.search(query);（10）显示检索结果，示例代码：For(inti=0; i<hits.length(); i++){System.out.println(hits.doc(i));}网络蜘蛛的结构和工作流程•结构：有HTTP下载模块、链接分析模块和下载控制模块。

•流程：读取URL入口地址表，生成内存访问队列。

寻找空闲的HTTP下载模块，分配URL，启动下载任务。

HTTP下载模块访问互联网，得到网页内容放入结果队列。

定期保存到网页数据库，为后续索引做好准备涉及到的主要智能化技术1.信息采集中的网页去重研究背景：Internet中的重复信息高达30% ～45%通过对网页URL进行哈希散列实现对同源网页的去重。

用主题概念自动抽取和计算网页间主题概念重合度的方法，实现对内容相似网页的聚类。

2.信息的动态采集与更新研究背景：搜索引擎应根据网站内容及其更新速度的不同，动态调整其采集信息频度。

分析了如何有效完成对网页的动态采集与更新，并根据网站的相关性调节信息采集过程。

能提高信息采集时效性，并能较为合理地使用资源。

3.面向自然语言提问的理解与处理研究背景：目前多数搜索引擎对用户提交的常见自然语言提问不能很好理解，一般来说也未能实现概念检索。

通过定义句模、产生式规则、使用规约算法，识别自然语言提问中的核心检索项，对提问中包含的概念间的逻辑关系进行初步识别及有效处理，对概念间的逻辑优先级进行处理。

4.相关概念反馈及检索结果排序研究背景：相关概念反馈通常能有效扩大相关信息覆盖面；检索结果排序有待改进。

参照多数用户在检索类似问题时的经验，提出一种相关概念反馈方法；将检索结果按其和用户提问的相关性排序输出5.基于用户浏览历史的网页预取算法研究背景：有效的网页预取通常可提高搜索引擎的处理效率和实现个性化服务。

算法充分考虑到用户在特定事件下的历史浏览行为，并通过使用奖励因子和排序方法，使得无须遍历整个树结构就可找到相关内容对内容雷同网页聚类的基本思路按权值大小从网页Ui中取出权值最高的前m个主题概念标引项集合Ti＝{ti1,ti2,…,tim}来近似表示该网页的主要内容若有网页Ui和Uj的主题概念标引项集合是一样的，就认为它们是内容雷同的对内容雷同的网页进行聚类处理在直接检索结果页面中，只显示时效性等较高的网页，而其他聚类结果则会在点击“相关新闻”后显示出来。

这样既对相似网页进行了去重，也可保证相关信息的查全率，同时可根据个人需要选择是否显示出这些相关聚类结果基于句模的理解与分析1句模以能反映检索句特征的“特征项”为框架、以核心检索需求为变项的一个形式化的表述模式。

采用句模解析能有效抽取出常见提问句中的核心检索项。

2核心检索项的抽取过程对号入座：通过一组数字序列来标识检索句对应的句模类型。

去伪存真：从句模库中匹配相应的句模，并按照对应的抽取模式抽取核心检索项。

3概念处理借助知识库进行相关概念的扩展与排除。

代码1.package testlucene;import java.io.BufferedReader;import java.io.InputS treamReader;import java.util.Date;import org.apache.lucene.analysis.standard.StandardAnalyzer;import org.apache.lucene.document.Document;import org.apache.lucene.index.IndexReader;import org.apache.lucene.queryParser.QueryParser;import org.apache.lucene.search.Hits;import org.apache.lucene.search.IndexSearcher;import org.apache.lucene.search.Query;public class LuceneSearch {public static void main(String[] args) throws Exception {BufferedReader inputstring = new BufferedReader(new InputStreamReader(System.in));while (true) {LuceneSearch test = new LuceneSearch();Hits h = null;System.out.print("请输入待检索的英文单词，目前尚不支持中文字符的输入：");String line = inputstring.readLine();//等待用户输入//InputStreamReader string = new InputStreamReader(System.in,"utf8");//采用指定的编码集读入用户输入的内容//BufferedReader br = new BufferedReader (string);//以行为单位读取内容//String outputstring = br.readLine();if (line.length() > 0) {h = test.search(line);test.printResult(h);}elsebreak;}}public LuceneSearch() {try {searcher = new IndexSearcher(IndexReader.open(Constants.INDEX_STORE_PA TH));} catch (Exception e) {e.printStackTrace();}}// 声明一个IndexSearcher对象private IndexSearcher searcher = null;// 声明一个Query对象private Query query = null;public final Hits search(String keyword) {System.out.println("正在检索关键字: " + keyword);try {// 将关键字包装成Query对象query = QueryParser.parse(keyword, "contents", new StandardAnalyzer());Date start = new Date();Hits hits = searcher.search(query);Date end = new Date();System.out.println("检索完成，用时" + (end.getTime() - start.getTime()) + "毫秒");return hits;} catch (Exception e) {e.printStackTrace();return null;}}public void printResult(Hits h) {if (h.length() == 0) {System.out.println("对不起，没有找到您要的结果。