淘尽_爪哇淘淘_演示文档

淘尽
搜索过程
• 效率问题：利用webservices时间在5台机器，每 台机器500条资源记录的情况下。利用 webservices时间大约为0.8秒；利用Socket的时 间为0.3~0.4秒。
淘尽
WebService模块和Socket模块
淘尽
搜索过程
• 表达式查询和高级搜索： • 表达式支持的符号为：+、-、and 、or 、not 、 () 、””、title: 、 keywords : 、 kind : 、 describe ：、date : 、 author : 、 publisher:。 • 可以支持例如+("图书馆" 课件 + 奥运 ) +(kind :doc keywords:课件 + publisher :二中)
淘尽
系统启动
• keywords里面含有“辨析”， describe里面也含 有“辨析”， 很显然，keyword里面的“辨析” 比describe更加“重要”，也就是说，如果有两 条记录，一条在keywords里面含有，另一条在 describe里面含有。显然第一条记录应该比第二 条更符合用户的查询，即排在前面。 • 解决方法：对每个字段打分。按找字段的重要程 度对字段打分，并且可以指定默认字段为零分， 这样就不参与搜索，比如id、 url这两个字段就没 有必要参与搜索。 • 对字段打分在后台由管理员来执行。
淘尽
系统启动
• 先说说“正常”情况下的执行过程： • 默认主服务器启动。然后其余服务器启动，到主 服务器上面去注册，主服务器告诉该服务器当前 已经注册的主机信息，然后主服务器通知已经注 册的主机又有一台新的主机加入了。 • 主机注销：主机注销时，通知主服务器本主机注 销，然后主服务器通知其余主机该主机注销。即 实现了资源服务器动态的加入和退出。 • 当检索资源的时候，如果发现有资源服务器死掉 了，则将其注册信息删除。
淘尽
系统启动
• “注册发布” 的缺点: 注册发布” 注册发布 • 1.必须是remote指向的主服务器先启动。如果主 服务没有先启动，其余的服务器则无法相互之间 取得联系，成为一个个孤岛。 • 2.这种分布式结构严重依赖于主服务器，一旦主 服务当机，整个分布式结构将无法工作。新注册 的主机无法获取已经注册的主机的信息；已经注 册的主机也无法获取新注册的主机的信息；注销 的主机也无法通知别的主机它要注销了。。。
淘尽
选举注册分布的流程图
淘尽
选举注册分布的流程图
淘尽
选举注册分布的流程图（注销）
淘尽
选举注册分布的流程图（注销）
淘尽
选举注册分布的流程图（查询）
淘尽
选举注册分布的流程图（查询）
Hale Waihona Puke 淘尽主服务器等待别人注册的流程 图
淘尽
系统启动
• 二、优化 优化XML制作索引 制作索引 • 优化test.xml采用的方法是制作“倒排表”。 • “倒排表”是目前 搜索引擎公司最对搜索引擎最 常用的存储方式.也是搜索引擎的核心内容! • 通俗的将就是就是将数据分词，然后保存成这样 一个结构：关键字 ->文档1，文档2… • 我们启动的时候将xml文件制作成“倒排表”的形 式，保存到服务器中，这样极大的提高了查询时 候的效率。
– 如果发现有别的主机充当主服务器怎么办。 – 如果没有别的主机，只有自己在提供服务时怎么办。
• 3.一台主机启动时发现默认主服务器死掉了，正好别的主机 没有发现主服务器死掉了，没有别的主机充当主服务器怎么 办。
淘尽
系统启动
• 4.当一台主机退出时发现主服务器已经死掉了， 并且也没有别的主机怎么办。 • 5.当一台主机退出时发现主服务器已经死掉了， 但还有别的主机怎么办。
淘尽
系统启动
• 理论说得不是很清楚，用几个小例子来说明一下： • 1.最简单的选举的触发情况是查询时发现主服务器死掉了。 也就是说查询的时候，发现有主机死掉了该怎么办；
– 如果该主机不是当前的主服务器的时候该怎么办； – 如果该主机是当前的主服务器的时候该怎么办。
• 2.一台主机启动时发现默认主服务器死掉了该怎么办；
淘尽
系统启动
• 下面是选举的执行过程： • 当一台“注册”或者“退出”或“查询”的主机 发现主服务器死了的时候，开始选举过程。 • 发现主服务器出毛病的服务器开始向“优先级” 最小的发出消息，如果不反应，则依次发到到比 自己都大的，如果都没有反应则表明自己是主服 务器，然后向其它机器发送自己是主服务器的消 息；如果有响应则那个是主服务器，它发送消息 说自己是主服务器。
淘尽
搜索过程
• 经过三层过滤之后，用户查询的关键字被提交到 登录的服务器，该服务器向其余服务器发出查询 请求，然后在本地查询，然后各个服务器将查询 的结果返回给发出请求的服务器（超时服务器死 掉的在选举那一部分处理）。然后该服务器将所 有结果汇总排序后，序列化成为本地文件，以提 高重复查询的效率。
淘尽
系统启动
• 我们采用的“选举注册发布” 能顺利解决以上所 选举注册发布” 选举注册发布 有问题。 • 先说明一下几个名词：
“默认主服务器”：就是每台机器remote属性里面指定 的服务器。 “主服务器 或 主机”：就是当前的正在充当主服务器角 色的服务器。它可能是“默认主服务器”，也可能是后 来选举出来服务器。 “服务器”：除了“主服务器”之外的服务器。 “死掉”：指“主服务器”或“服务器”不正常停止服 务。也就是说它没有来得及注销。
淘尽
文档预览程序逻辑
淘尽
FMS流媒体视频播放模块
• 淘尽网络资源检索平台除了在网络资源检索方面 的创新和突破的同时，也在视频播放上另辟蹊径。 采用目前网络中最为流行的FLV流式播放模式， 大大提高了播放的质量和传输的速率。它的出现 有效地解决了视频文件导入Flash后，使导出的 SWF文件体积庞大，不能在网络上很好的使用等 缺点。同时FLV格式所具有的安全性也越来越得 到业界人士的关注和青睐。爪哇淘淘团队特别研 究了大型视频网站如YouTube、优酷等的在线播 放技术，采用了大型网站的视频格式转换方式， 使用ffmpeg及mencoder作为转换插件，通过java 代码控制在后台对匹配资源进行格式转换，用户 即可在网页中通过自制FLV播放器对视频资源进 行流媒体播放。
淘尽
• • • • • • • • • • • • • •
系统启动
二、最test.xml各个属性打分 各个属性打分 下面是test.xml文档一条记录 <resourceitem> <id>1</id> <title>辨析病句</title> <keywords>辨析，病句</keywords> <kind>avi</kind> <describe>中华人民共和国高考辨析病句真题 </describe> <date>2008-6-21 10:43:53</date> <url>http://210.44.129.226:8080/resources/ppt/经济学 基础第一部分.ppt</url> <author>周磊</author> <publisher>历城二中</publisher> </resourceitem>
淘尽
搜索过程
• 对于搜索到的结果，在服务器端序列化后保存到 服务器端文件中，同时将其制作索引供ajax在用 户查询时提示用户。
淘尽
文档预览
• 将poi与jacob技术相结合来处理文档预览。由于 office版本众多，单单采用一种技术难免会有出错 的时候。我们采用充分利用了java的异常捕获机 制，将其抛出的异常捕获再处理，达到增加预览 功能的健壮性的目的。正常情况下，读取word使 用poi读取字节流，返回字符串；异常情况下，经 jacob（Java COM Bridge）装换生成txt，在读取 txt中的字符流，返回字符串。 • 对pdf的预览使用xpdf插件，通过代码控制设置参 数，使用poi读取幻灯片中的文本信息。
淘尽
搜索过程
• 分布式搜索的实现我们一共提供两种方式： • 一种是webservices： webservices的优点是平台 的优点是平台 无关性，别的平台可以根据我们提供的wsdl来连 无关性，别的平台可以根据我们提供的 来连 接查询。 接查询。 • 另一种是 另一种是Socket：对于用 语言开发的平台， ：对于用java语言开发的平台， 语言开发的平台 可以采用Socket来连接，提高查询效率。 来连接， 可以采用 来连接 提高查询效率。
淘尽
• • • • • • • • • • • • • •
系统启动
举一个小例子说其中的算法： 这是主机注销时发现主服务器死了的时候的算法 public void LogOutVoteMasterServer(){ //首先到RemoteIps.xml来查找（grade最小）并且 （不是当前的主服务器）并且（不是本机）的主机的IP,如果发现 只有本机和已死的主服务器，则直接退出. //向该主机发送"您是主服务器的信息"，然后退出该 方法，本机可以退出服务了。 //被通知的主机先去查询当前的主服务器是否活动 //如果原来的主服务器不活动，则向其余主机发出" 我是新服务器"的消息，让其余服务器过来注册。 //其余服务器来新产生的主服务器这里注册。 }
淘尽
XML预处理模块
淘尽
搜索过程
• 用户输入关键字时，利用AJAX异步获取以前搜索过 的记录。
淘尽
搜索过程
• • • • 用户提交的查询关键字首先经过三层过滤： 第一层过滤是：敏感词汇 第二层过滤是：拼音转汉字 第三层过滤是：错误检查