中英文翻译搜索引擎

中英文翻译搜索引擎
项目报告
一、项目背景：
随着Internet的迅速发展，搜索引擎在网络中扮演着越来越重要的角色，天网、百渡和google 的使用者达到数百万。

搜索引擎预先从网络上抓取网页，在本地建立副本或者索引，对用户的查询作出快速响应。

就目前的搜索引擎而言，存在的问题还有很多，比如：如何提高搜索的精确度和结果的有效性，如何提高搜索引擎的效率和性能，如何构建具有智能代理的信息过滤和个性化服务，如何适应交叉语言在搜索中的使用等等。

因此，搜索引擎已经成为了一个新的研究、开发领域，由于对它的研究需要涉及到信息检索、人工智能、计算机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理等多领域的理论和技术，所以极具综合性和挑战性。

通过研究搜索引擎的发展趋势，我们把注意力集中在开发具有翻译功能的搜索引擎上（具体项目计划可以参看《多语言翻译搜索引擎商业计划》）。

由于时间和技术限制，本次课程实习只实现了中英文翻译的搜索引擎原型。

二、目的和意义
使用搜索引擎，我们只需要输入少量的关键字，就可以在数秒时间内得到所需的信息结果集，从而大大提高我们的工作效率。

中英文搜索引擎中，用户只需要中文关键词，就可以自动翻译成英文关键词进行查询。

可以同时返回中文查询结果和英文查询结果，当然，该搜索引擎也支持通常的单语言的查询。

三、中英文搜索引擎的实现方法
A.基本实现方法
中英文搜索引擎的执行流程如下：
成。

根据金山词霸返回的结果页面，提取较为合理的单词，作为英文关键词。

根据输入的中文短语，金山词霸的返回可能为单个英文单词或者英文短句，在提取英文关键字的时候，必须对两种情况分别处理。

通过分析返回页面，找出统一标志域，然后提取该标志域对应的文本信息。

提取出可能作为关键词的英文单词或者英文语句。

比如金山词霸返回的翻译结果页面为result.htm，单词和短语的处理规则如下：
单词
结果页面result.htm中单词选取时，由于没有语义信息，主要是根据每个词的权值进行选择，权值的大小和词在翻译结果网页中位置，以及其在翻译结果网页中的词频有关。

我们认为词频越大，正确地概率越大。

短语
对于短语的查询，返回的是包含短语的句子。

通过对句子求最大公共子句，找出翻译的结果短语。

同样，对于不同的翻译结果，我们也根据频率选择作为查询关键字。

3．网页的抓取
根据中英文关键词，搜索相关页面。

4．查询结果的返回
返回最为匹配的前10条结果。

B.完整的中英文搜索引擎流程
中文关键词到英文关键词的转化是该搜索引擎的关键部分，为了提高搜索引擎的速率和准确性，建立转化词表，用户输入某个查询词时，先在词表中找是否已经有对应的词条，如果没有，则到金山词霸实现在线翻译，并将翻译的结果加入词表中。

这样，完整的中英文搜索引擎流程可以用下图表示：
测试中可以发现，受金山词霸的影响，人名、地名等翻译支持的不是很好，我们在查询中维护查询记录，可以在词典中增加常用查询词的翻译。

我们的中英文翻译搜索引擎在金山词霸可以正确翻译的情况下，基本上可以正确的获取查询结果。

可以通过更强大的翻译支持，或者本地词典，增加搜索引擎的性能。

五、项目总结
从该搜索引擎项目的提出到开发完成，历时一个月左右，小组内成员分工如下：
调研阶段：施澍网络连接与网页抓取
刘姝网页中单词和短语的提取
黄嘉露网页查询返回结果的选取
赵雅测试集或者词典的选取
开发阶段：施澍、刘姝基本平台的构建，网页中单词短语的提取
测试阶段：赵雅计算机和人名
黄嘉露地名和其他常用词汇
刘姝经济和医学
施澍根据测试中发现的不足修改程序
文档：黄嘉露、刘姝商业计划
刘姝项目开发报告
施澍PPT及报告
六、附录
测试原始数据。