互联网实时信息搜索引擎

互联网实时信息搜索引擎北京信息工程学院都云程du.yuncheng@北京市经济信息中心武朝尉wucw@TRS信息技术有限公司王洪俊程鸿兴摘要本文介绍了一个实时信息搜索引擎系统的技术实现框架。

系统的设计目标是克服传统搜索引擎在信息更新滞后以及检索结果排序方式单一等方面的缺点，满足用户对特定信息的实时查询需求，并提供检索结果的内容相关排序和时间排序等多种排序手段。

系统融合了基于统计学习理论的自动分类技术以及基于文本特征的自动排重技术等智能化信息处理技术，有效提高了信息服务的质量。

关键词搜索引擎，实时信息，自动分类，相关排序AbstractA real time search engine system is introduced in this paper. The system is designed to overcome the shortcomings of traditional search engines in long index update schedule and retrieval results sorting method, and matches the needs of real time information retrieval and multiple sorting methods. Some intelligent information processing technologies is also adopted in the system in order to improve the effectiveness of system services, such as automatic text classification based on statistical language modeling and overlapped web page filter based on text characteristics.Keywords Search Engine，Real Time Information，A utomatic Text Classification，Relevance Ranking一、背景分析据最新统计，互联网上的Web网页已经超过30亿的数量，这无疑是当今世界上最丰富的信息宝藏。

随着人们日益习惯于在这个宝藏中发掘所需的信息，搜索引擎逐步成为人们越来越依赖的工具。

但是通过研究可以发现，通用的搜索引擎系统在某些方面并不能很好地满足专业化的信息需求，即搜索引擎有其应用上的局限性，这些局限性很大程度上影响着专业化信息搜索的效果。

主要的局限性表现在两点：1、时效性从时间的角度看，互联网是一个内容随着时间不断变化的信息集合。

每时每刻，总有新的网页产生，也有旧的网页被删除。

搜索引擎所能反映的是一个特定的时间段（即建立索引的时间段）内互联网的信息特征。

这样就产生了两个局限：A．搜索引擎不能包容已经被删除掉的网页，也就是说它不能充当资料库的作用。

现在能检索到的信息，可能过一段时间就检索不到了；你也许意识不到，当你得到一个检索结果时，可能有一些对你重要的信息已经不复存在了。

B．目前搜索引擎的更新速度一般需要三周以上的时间。

有的搜索引擎对重要的网站采用较高的采集频率，但一般也要以几天为周期。

可见，如果需要查询事件的最新消息，搜索引擎是无能为力的。

人们不得不采用采用传统的方式在众多的网站之间苦苦寻觅，80%的时间在查找信息，只有20%的时间在利用信息。

2、排序手段互联网搜索引擎的检索结果集合一般都比较庞大，小则几十万条信息，多则千万条信息，因此如何将庞大的信息集合经过适当的排序后提交给用户是一步关键的工作。

目前比较普遍的做法是利用超链分析（PageRanking）和其它网页内容分析技术结合起来做出排序结果。

搜索引擎一般只能给出单一的排序结果，用户则无法选择其它的排序方式。

至于有些搜索引擎提倡的竞价排名排序方式，更多的是出于商业考虑而非技术驱动。

为了克服上述搜索引擎的局限性，满足专业用户对Web信息的处理需求，我们在多年工作的基础上，研制出适合实时信息查询和资料库建设要求的应用系统，称为互联网实时信息搜索引擎。

它的主要特点是，能够即时获取用户所关心的最新信息，并利用资料库做永久保留，采用自动分类、内容过滤、自动排重等技术手段对获取的信息进行智能化加工处理，最终提供基于Web的分类导航、信息浏览、内容检索等服务功能。

二、体系结构和功能特点我们研制的互联网实时信息搜索引擎主要是为了克服搜索引擎存在的信息滞后问题，该系统除了具备常规的信息导航和信息检索功能外，还为了互联网信息管理的方便性增加了自动分类、网页内容自动过滤、自动排重、资料库存储、时间排序等功能。

互联网实时信息搜索引擎结构示意图系统工作过程可以描述为，网页自动采集工具负责按照维护人员指定的周期扫描监控网站上信息的变化情况，发现新的信息后立刻采集到本地，进行全自动的内容过滤、内码转换、自动分类、自动排重等一系列操作，最终把标引好的信息存储到SQL Server数据库，并在TRS内容检索服务器（TRS内容检索服务器是TRS信息技术有限公司的产品）中建立各类索引；Web服务模块负责把数据库中的信息按照统一的模式发布到网站上，并提供分类导航和全方位的信息检索服务，为了更好地控制发布的频道和内容，Web服务模块还提供发布管理功能，使管理员可以对发布的内容进行全面的管理。

系统的主要特点描述为：●实时性：系统可以遵循很短的周期监控目标网站上信息的变化情况，即时获取最新信息。

监控过程中只获取新内容，不重复获取信息。

●可定制性：该系统的维护人员可以自行设定监控范围（网站或频道主页），为用户定制专业内容提供了手段。

●智能化：系统内部融合了中文信息处理的研究成果，将自动分类、自动排重、相似性检索等功能有机结合在系统中，为用户提供高质量的信息服务。

●实用性：系统可对网页进行内容分析和过滤，自动去除广告、版权、栏目等无用信息，精确获取内容主体；对繁体网页统一自动转换为简体存储。

●通用性：系统提供智能分类训练器，用户可以按照本行业的业务要求重新定义分类，从而可以适用于各行各业对信息自动分类的要求。

●开放性：采集到的网页信息经过各种自动标引和加工处理后统一存储到数据库中，方便应用的定制开发和与其它系统的集成。

●持续性：由于采集到的信息被妥善地存储在数据库系统中，这些信息的生命周期被有效延长，成为长期可供服务的信息资源，不会随着原始网站上信息的更迭而消失，从而达到资料库建设的目的。

●信息服务：对所有信息提供统一分类导航、全方位信息检索功能，检索结果可以按时间排序，保证把最新的信息传递给用户；也可以按相关性排序，把系统认为最相关的网页排在前面。

●本地化：网页信息经过内容过滤之后，形成纯文本的信息资料，可以直接在本地提供浏览服务，可以不再需要下载原网页观看，访问速度不再受互联网接入带宽的限制。

三、关键技术互联网实时信息搜索引擎中采用的TRS内容管理服务器是TRS信息技术有限公司的成熟产品，可以完成各种结构化和非结构化的信息检索以及海量文本信息的快速检索，不做重点描述。

在此我们主要描述在系统中使用的自动分类、自动排重、相关性排序等关键技术。

1、自动分类系统的自动分类功能基于统计学习理论的方法，采用支持向量机实现。

实现的过程是首先建立文本的数字化计算模型，然后采用支持向量机学习算法建立分类器。

(1) 文本数字化计算模型文本数字化采用向量空间模型（VSM），该模型在文本分类、自动标引、信息检索等许多领域得到了广泛的应用，是简便，高效的文本数字化模型之一。

在向量空间模型中，文本被形式化为N维空间的一个向量D(W1，W2，…，Wn)，其中，每一个向量代表一个词（或词串），W表示词在文本中的权重，用以描述该词对文档内容中所起作用的大小。

为了确定向量空间的维数，首先要根据一定的算法对文本进行分词和特征提取等一系列操作，最后利用文本的特征单元形成向量空间。

向量空间模型普遍采用基于统计信息的TFIDF 算法表示项的权重：k ik ik idf tf W ⋅=其中tf ik (Term Frequency)表示项t k 在文本D i 中出现的词频，idf k （Inverse Document Frequency ）表示项t k 的逆文本词频，它们有多种计算方法，目前常用的公式为：)01.0log(+⋅=kik ik n N tf W 其中N 表示全部训练集的文本数，n k 表示训练文本中出现t k 的文本频数。

根据香农信息学理论，如果项在所有文本中出现的频率越高，那么它所包含的信息熵就越少；如果项的出现较为集中，那么它就会拥有较高的信息熵。

(2) 支持向量机学习算法支持向量机是Vapnik 等人根据统计学习理论提出的一种新的机器学习方法，它以结构风险最小化原则为理论基础，通过适当选择函数子集及其该子集中的判别函数使学习机的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器对独立测试集的测试误差仍然小, 得到一个具有最优分类能力和推广泛化能力的学习机。

支持向量机算法是从线性可分的情况下的最优分类面提出的。

支持向量机为二元分类算法，设线性可分样本集为),(i i y x ，{}1),(±⨯∈d i i R y x ，k i ,,1 =，d维空间中线性判别函数的一般形式为b x w x g +⋅= )(分类面方程为 0=+⋅b x w 将判别函数进行归一化，使两类所有样本都满足1)(≥x g ，如果分类面对所有样本正确分类，应满足约束01][≥-+⋅b x w y i i k i ,,1 = 最优分类面应使两类样本到决策面的最小距离w /1尽量大。

即在上述条件的约束下最小化w w w w ⋅==2121)(2φ 这是一个二次优化问题，采用lagrange 乘子法，可将原问题转化为优化问题的对偶形式，在约束∑==k i i iy a 10k i a i ,1,0=≥下对lagrange 系数a i 求解下列函数∑∑==⋅-=kj i j i j i j i k i i x x y y a a a a Q 1,1)(21)( 的最大值。

这是一个不等式约束下二次函数极值问题，存在唯一解，若a i *为最优解，则∑=**=k i i i i x y a w 0根据Kuhn-Tucker 条件，这个优化问题的解须满足k i b x w y a i i i ,,1,0)1)(( ==-+⋅由上式可知，远离分类面的样本所对应的a i 必定为零，非零a i 所对应的样本必定位于分类面上，我们称位于分类面上的样本为支持向量。