火龙果软件-第6章Web挖掘技术新.ppt

Web挖掘与信息抽取
火龙果 整理
• Web上的IE的研究目的是希望从众多的Web文挡中抽取可 供分析的信息，与Web挖掘的关系也有不同的观点： – IE是Web挖掘整个过程的一部分：这是因为Web上的 数据一般是半结构化或无结构的，因此需要进行规格 化的信息抽取这样的预处理。 – Web挖掘是IE的一个特殊技术：既然IE是希望把Web 蕴藏的信息抽取出来，那么Web挖掘或者文本挖掘只 不过是达到这个目的的特殊技术手段。 • 信息抽取经常被说成是Web挖掘的一个预处理阶段，那是 因为在数据挖掘领域，Web挖掘的更广义的理解应该是一 个知识提取的完整过程。
火龙果 整理
Web挖掘的分类
• Web挖掘依靠它所挖掘的信息来源可以分为： – Web内容挖掘（Web Content Mining）：对 站点的Web页面的各类信息进行集成、概化、 分类等，挖掘某类信息所蕴含的知识模式。 – Web访问信息挖掘（Web Usage Mining）： Web访问信息挖掘是对用户访问Web时在服务 器方留下的访问记录进行挖掘。通过分析日志 记录中的规律，可以识别用户的忠实度、喜好、 满意度，可以发现潜在用户，增强站点的服务 竞争力。
第六章 Web挖掘技术
Web挖掘的意义
火龙果 整理
Web挖掘的分类
Web挖掘的含义 Web挖掘的数据来源 Web内容挖掘方法 Web访问信息挖掘方法
Web结构挖掘方法
火龙果 整理
Web挖掘的意义
• 从大量的信息中发现用户感兴趣的信息 ：因特网上蕴藏 着大量的信息，通过简单的浏览或关键词匹配的搜索引擎 得到的是孤立而凌乱的“表面信息” ，Web挖掘可以发 现潜在的、丰富的关联信息。 • 将Web上的丰富信息转变成有用的知识：Web挖掘是面 向Web数据进行分析和知识提取的。因特网中页面内部、 页面间、页面链接、页面访问等都包含大量对用户可用的 信息，而这些信息的深层次含义是很难被用户直接使用的， 必须经过浓缩和提炼。 • 对用户进行信息个性化：网站信息的个性化是将来的发展 趋势。通过Web挖掘，可以达到对用户访问行为、频度、 内容等的分析，可以得到关于群体用户访问行为和方式的 普遍知识，用以改进Web服务方的设计，提供个性化的服 务。
火龙果 整理
Web挖掘的数据来源
• Web挖掘的数据来源是宽泛的：凡是在Web站点 中对用户有价值的数据都可以成为它挖掘的数据 源。 • 由于这些对象的数据形式及含义的差异，其挖掘 技术会不同。一些比较有代表性的数据源有： – 服务器日志数据 – 在线市场数据
– Web页面
Web挖掘与信息检索
火龙果 整理
• 两种截然不同的观点： – Web上的信息检索是Web挖掘的一个方面：Web挖掘 旨在解决信息检索、知识抽取以及更宽泛的商业问题， 是Web上IR技术的延伸。这种观点大多来自于数据挖 掘研究领域。 – Web挖掘是智能化的信息检索：对于IR领域的研究人 员来说， Web挖掘是IR研究向着智能化的方向发展的 结果。 • 信息检索可能经常被说成是Web挖掘的初级阶段，是为了 强调Web挖掘不是简单的信息索引或关键词匹配技术，而 是实现信息浓缩成知识的过程，它可以支持更高级的商业 决策和分析。
火龙果 整理
• Web页面之间的超链接关系是一种重要的 资源，Web页面的设计者常常会把他们认 为重要的页面地址添加到自己的页面上。 显然如果一个页面被很多页面引用那么它 一定是重要的。这就是从中需要挖掘的知 识。
火龙果 整理
Web内容挖掘的方法
Web内容挖掘可以被认为是基本的Web检索工 作的延伸。有许多技术可用于Web信息检索。如大 多数搜索引擎采用关键字匹配技术。 Web内容挖掘 建立在信息检索基础之上，通过采用概念层次、用 户概貌、页面链接技术等对传统搜索引擎进行改进。
火龙果 整理
Байду номын сангаас
Web内容挖掘分为代理人方法和数据库方法。 – 代理人方法使用软件系统（代理）来完成内容挖掘。包括 智能检索代理、信息过滤和个性化Web代理等。 • 智能检索代理超越了简单的检索机制，使用通过关键 词之外的技术来完成检索，可以利用用户模版或其关 心的知识领域等来实现信息的抽取。 • 信息过滤利用信息检索技术、连接结构的知识和其他 方法来分析和分类文档。 • 个性化Web代理使用有关用户的喜好的信息来指导它 们的检索。 – 数据库方法将所有的Web数据描述为一个数据库系统。 意味着Web是一个多级的异构的数据库系统，可以通过 多种查询语言获得Web的信息来完成信息的抽取。
• •
火龙果 整理
个性化与Web内容挖掘
• 通过个性化，网页的内容和组织将更加适合用户的需要。 个性化服务是Web挖掘技术的重要目标之一。 – 通过个性化，网页的内容和访问方式将修改以更加适 合用户的需求。这些应包括为每个特定用户定制网页， 或根据用户的需求决定哪些网页会被检索到。 – Web内容挖掘的目的之一是基于页面内容相似度进行 用户分类或聚类的，个性化的建立是通过用户过去的 检索内容分析而建立起来的。自动的个性化技术可以 通过过去的需要和相似用户的需要来预知特定用户将 来的需要。
1998 年 WWW 社 团 提 出 了 XML 语 言 标 准 （ eXtensible Markup Language）。该标准通过把一些描述页面内容 的标记（tag）添加到HTML页面中，用于对HTML页面 内容进行自描述。基于XML规范的挖掘研究也是一个重 要的研究分支。
Web页面超链接关系
火龙果 整理
Web挖掘的含义
• WeB挖掘是一个宽泛的概念，可以简单地描述为： – 针对包括Web页面内容、页面之间的结构、用户 访问信息、电子商务信息等在内的各种Web数据， 应用数据挖掘方法以帮助人们从因特网中提取知 识，为访问者、站点经营者以及包括电子商务在 内的基于因特网的商务活动提供决策支持。
Web页面
•
火龙果 整理
Web页面是网站信息的主体，但是它们的主要信息不可 能像关系型数据库那样规整，因此 Web页面的内容组织 形式的分析是研究Web挖掘的具体方法的基础。
•
•
目前的Web页面大多满足 HTML标准，现有的 Web挖掘 方法大多是针对Web页面开展的。
– Web页面超链接关系
火龙果 整理
服务器日志数据
• 对Web服务器的访问，服务器方将会产生3种类型 的日志文件：
– Server logs：记录用户的访问时间、IP地址以及请求 等信息。 – Error logs：存取请求失败的数据，例如丢失连接、授 权失败或超时等 – Cookie logs：Cookie是由web服务器产生的记号并由 客户端持有，用于识别用户和用户的会话。 Cookie是 一种标记，用语自动标记和跟踪站点Web的访问者。
这些日志用于记录用户访问的基本情况，是进行 Web访问信息挖掘的主要数据源。
火龙果 整理
Server logs的一个格式示意
Field Date Client IP User name Bytes Server Request Status Service name Time taken Protocol version User agent Cookie Referrer … Description Date， time， and timezone of request Remote host IP and / or DNS entry Remote log name of the user Bytes transferred (sent and received) Server name， IP address and port URI query and stem http status code returned to the client Requested service name Time taken for transaction to complete Version of used transfer protocol Service provider Cookie ID Previous page …
火龙果 整理
在线市场数据
• 在线市场数据是指和市场活动相关的信息。例如 一个电子商务站点，存储相关的电子商务信息。 • 从内容上说，不同目的商务网站有不同的商务信 息。但是，这类数据通常是用传统的关系数据库 结构来存储数据。 • 在线市场数据是业务数据，是进行业务相关分析 的主体。用户的挖掘目标只有结合在线市场数据 分析才能达到目的。
火龙果 整理
Web内容挖掘的基本技术是文本挖 掘。文本挖掘的方式是有层次的， 基本层次有：
– 关键词检索：最简单的方式，与传统 的搜索技术类似。 – 挖掘项目关联：聚焦在页面的信息 （包括关键词）之间的关联信息挖掘 上。 – 信息分类和聚类：利用数据挖掘的分 类和聚类技术实现页面的分类，将页 面在一个更到层次上进行抽象和整理。 – 自然语言处理：揭示自然语言处理技 术中的语义，实现Web内容的更精确 处理。
Web页面内文本信息挖掘
• 挖掘的目标是对页面进行摘要和分类。
火龙果 整理
– 页面摘要：对页面应用传统的文本摘要方法可得相应的 摘要信息。 – 页面分类：分类器输入Web页面集（训练集），根据页 面文本信息内容进行监督学习，然后就可以将学成的分 类器用于对一个新输入的页面进行分类。
火龙果 整理
虚拟的Web视图
• 一个有效的解决在Web中大量无结构数据的方法是在这 些数据之上建立一个MLDB（Multiple Layered Database）。这个数据库是多层次的， 每层索引都比它 下一层要小。对于最底层来说，需要了解Web文档结构， 而最高层则有着完善的结构并可以通过类似SQL的查询 语言进行访问或挖掘。 MLDB提供一个被称为VMV（Virtual Web View）的视 图机制，Web中的感兴趣的结构被浓缩在这个视图中。 等级概念（近意词组、词汇和语义联系等）将帮助归纳 过程来架构更高层的MLDB。