垂直搜索引擎关键技术

合集下载

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

・２４０・２０１５年４月
电子科技
中文科技期刊数据库【文摘版）自然科学
垂直搜索引擎关键技术
杨晓夫重庆交通大学信息科学与工程学院，重庆４０００７４
摘要：随着互联网技术的高速发展近年来ＷＥＢ网页呈指数级增长，面对人们迫切获取主题信息的需求，垂直搜索引擎应运而生。本文根据国内外研究现状着重分析了垂直搜索引擎主题爬虫、索引器、检索器等关键技术。
ｄｏｍｅｓｉｔｃａｎｄｆｏｒｅｉｇｎｒｅｓｅａｒｃｈ，ｔｈｉｓｐａｐｅｒｍａｉｎｌｙａｎａｌｙｚｅｓｔｈｅｋｅｙｔｅｃｈｎｏｌｏｇｉｅｓｏｆｈｅｔｖｅｒｔｉｃａｌｓｅｒｃａｈｅｎｇｉｎｅ，ｓｕｃｈａＳｔｈｅｍｅｍｅｃｒａｗｌｅｒ，
１研究背景近年来互联网行业高速发展，全球网站数量急剧增长。据英国《每日邮报》报道２０１４年９月份全球互联网网站数量已经超过１０亿，且还在持续增长。仅２０１３年，网站数量就增长了１／３，从年初的６．３亿增加到１２月份的８．５亿个，活跃网站１．８亿个。ｗｅｂ站点与ｗｅｂ网页的数量呈现爆炸式增长，使得用户在数以亿计的网页信息中获取到相关信息越来越难。通用搜索引擎虽然可以达到搜索信息的目的，但是在特定领域或相关主题搜索中显得越来越乏力。主要表现在通用搜索引擎搜集了整个互联网上的网页信息，导致了信息更新周期大更新不及时，并且海量的网页信息中大量的信息是用户不关心的这就造成了资源的浪费。除此之外，通用搜索引擎由于其商业化因素导致很多情况下搜索信息杂乱无章造成用户体验度下降［】】。因此研究面向领域、相关主题的搜索引擎技术有着重大的意义与巨大的市场价值。２垂直搜索引擎关键技术２．１主题网络爬虫主题网络爬虫主要由抓取模块、解析模块、过滤模块组成［２］。首先给爬虫初始种子ＵＲＬ及关键字，种子ＵＲＬ是由搜索引擎维护人员通过手工挑选的重要的与主题相关度高的网页ＵＲＬ集合。然后将这些种子ＵＲＬ集合注入到待抓取ＵＲＬ队列中，抓取模块根据待抓取ＵＲＬ队列中的ＵＲＬ通过一定的技术在因特网上进行网页抓取。解析模块将抓取模块获得的网页进行ＨＴＭＬ解析从而获得网页文本内容和页面中ＵＲＬ连接信息【３】。页面过滤模块也叫网页相关度分析模块，主要功能是实现抓取网页文本内容的主题相关性判定［４】。链接过滤模块的功能主要是对提取的ＵＲＬ进行主题相关性预判，它是整个主题网络爬虫的关键模块】。２．２索引器文本库是网络爬虫抓取的与主题相关的网页信息集合，也是文本解析器的数据源。文本解析器即ｈｔｍｌ文本解析器，功能是解析ｈｔｍｌ文本获取网页关键字与主体信息，统一文档格式。文本中间格式库对文本解析器解析的统一文档格式的文本内容进行广告过滤等去噪处理从而得到可以直接分析处理的数据源。索引器分析可以直接处理的数据源生成索引表，并将索
ｈｅｔｉｎｄｅｘｄｅｖｉｃｅ，ｔｈｅｓｅｒｃａｈｄｅｖｉｃｅ．
Ｋｅｙｗｏｒｄｓ：Ｗｅｂｐａｇｅ：Ｔｈｅｍｅ：Ｄｅｖｉｃｅｉｎｄｅｘ：Ｓｅｒｃａｈｄｅｖｉｃｅ
Ｗａｓｈｉｎｇｔｏｎ，ＤＣ：ＩＥＥＥＣｏｍｐｍｅｒＳｏｃｉｅｙ，２ｔ０１０（０３）：３０４ —
３０５．
（上接笫２３５页）总之，机电一体化是科技发展的必然结果。发展前景是不可估量的。在机械工业中，机电一体化几乎渗入到所有的机械产品中，显参考文献然已成为主角。机电一体化技术的飞速发展，加快了社会工业［Ｉ】朱凤花．机电一体化控制系统开放体系结构设计［Ｊ】．电子制生产的改革速度，提升了我国的科技水平，使我国向着发达国作，２０１４，（１２），５６．家的科技水平迈进。机电一体化将各种科学技术相互融合，其
ｈｅｔＥｌｅｖｅｎｔｈＩｎｔｅｒｎａｔｉｏｎａｌＷｏｒｄＷｉｄｅＷ＿ｅｂｃｏｎｆｅｒｅｎｃｅ．２００２
［７］汪涛，主题爬虫的设计与实现．计算机应用［Ｊ］，２００４，２４
ａｐｐｌｉｃａｔｉｏｎｓｔｏｂｉｏｌｏｇｉｃａｌＤｅｅｐＷｅｂｄａｔａｉｎｔｅｇｒａｉｔｏｎ［Ａ】：Ｐｒｏｃｏｆ
ｔｈｅＩＥＥＥＩｎｔＣｏｎｆｏｎＢｉｏｉｎｆｏｍａｒｔｉｃｓｎｄａＢｉｏｅｎｇｎｅｉｅｒｉｎｇ（ＢＩＢＥ）．
中图分类号：０２２９
文献标识码：Ａ
文章编号：１６７１．５５７８（２０１５）０４．０２４０．０１
引表存储与文本索引库中以待检索器进行文本检索【６１。２．３检索器检索器是在索引器基础之上实现文本检索功能搜索引擎的最后一步功能模块。它将用户输入的语句按照建立文本索引的
（０６）：２７０．２７２．
【８】张晓雷．面向Ｗｅｂ挖掘的主题网络爬虫的研究与实现［Ｄ】．西安：西安电子科技大学，２０１２［９］ＬｉｕＴａｎｔａｎ．Ｉｎｓｔａｎｃｅｄｉｓｃｏｖｅｒｙａｎｄｓｃｈｅｍａｍａｔｃｈｉｎｇｗｉｔｈ
［５］黄蔚，ＲＬＳｐｉｄｅｒ：一种自主垂直搜索引擎网络爬虫［Ｊ】．计算机应用与软件，２０１１．２８（１２）：１８３．１８７．
［６］ＴａｋｅｒＨａｖｅｌｉｖａｌａＴｏｐｉｃ —ＳｅｎｓｉｉｔｖｅＰａｇｅＲａｎｋｉｎＰｒｏｃｅｅｄｉｎｇｓｏｆ
关键词：网页；主题；索引器；检索器Ｋｅｙｔｅｃｈｎｏｌｏｇｙｏ பைடு நூலகம் ｖｅｒｔｉｃａｌｓｅａｒｃｈｅｎ￣ｎｅ
ＹａｎｇＸｉａｏｆｕ
（Ｃｏｌｌｅｇｅｏｆｉｎｆｏｒｍａｔｉｏｎｓｃｉｅｎｃｅａｎｄｅｎｇｉｎｅｅｒｉｎｇ，ＣｈｏｎｇｑｉｎｇＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ）
方式进行处理，处理后安装索引库中的关键词进行匹配，最后把相关的索引文本通过排序处理将结果返回给查询用户【７】。用户接口接收用户提交的查询语句，将查询语句交给分词模块进行中文分词处理得到搜索关键字］。检索模块将获得的关键字转换为ｗｏｒｄＩＤ，通过ｗｏｒｄｌＤ可以在索引库中的文档列表中遍历查找ｄｏｃｌＤ，如果找到相应的ｄｏｃＩＤ将该文档移交给排序模块处理。排序模块通过ＰａｇｅＲａｎｋ算法或ＨＩＴＳ等算法对相关结果进行排序并将结果整理返回给用户接口以便用户浏览最终的查询结果［９】。
Ａｂｓｔｒａｃｔ：ＷｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆＩｎｔｅｒｎｅｔｔｅｃｈｎｏｌｏｇｙｉｎｒｅｃｅｎｔｙｅａｒｓ，ｗｅｂｐａｇｅｓａｒｅｅｘｐｏｎｅｎｔｉａｌｇｒｏｗｔｈ，ｉｎｈｅｔｆａｃｅｏｆ
［４］ＳＬａｗｒｅｎｃｅａｎｄＣＬｅｅＤｉｇｉｔａｌＬｉｂｒａｒｉｅｓａｎｄＡｕｏｔｏｎｏｍｏｕｓ
ＣｉｔａｔｉｏｎＩｎｄｅｘｉｎｇ．ＩＥＥＥＣｏｍｐｕｔｅｒ，１９９９，３２（０６）：６７－７１．
参考文献
【１】潘祥．成绵乐城际铁路旅客列车开行方案探讨［Ｊ】．价值工
程，２０１２（０３）：１６．１８．
［２】王俊，面向房产领域的垂直搜索弓Ｊ擎设计与实现［Ｄ】．南昌大学，２０１２［３】李荣荣．基于Ｌｕｃｅｎｅ／ＨｔｔｐＣｌｉｅｎｔ的垂直搜索引擎研究与实现［Ｄ］．成都：电子科技大学，２０１１
ｐｅｏｐｌｅ ’ Ｓｕｒｇｅｎｔｎｅｅｄｔｏｏｂｔａｉｎｉｎｆｏｍａｒｔｉｏｎｏｎｔｈｅｓｕｂｊｅｃｔ，ｔｈｅｖｅｒｔｉｃａｌｓｅｒａｃｈｅｎｇｉｎｅｃａｍｅｉｎｔｏｂｅｉｎｇ．Ｂａｓｅｄｏｎｈｅｔｃｕｒｒｅｎｔｓｉｔｕａｔｉｏｎｏｆ