信息抽取第5章

13
5.1 原理
如果能综合利用上述方法的优点并改进它们的某些缺点， 设计一种新的 IE 模式学习方法，采用领域无关概念层次知识 库 WordNet（HowNet）的支持，不需要人工提供种子模式， 也不需要人工进行语料分类，更不需要人工进行语料标注， 只需要人工定义 IE 任务，辅助进行 IE 目标和相应的 IE 角色 之间的映射及对所学 IE 模式进行质量验证，就可以从一个原 始语料中自动学出相应的 IE 模式，这自然会大大减轻用户在 模式学习过程中的辅助工作量。
7
5.1 原理
（2）从底向上的学习法， CRYSTAL 利用覆盖算法实现从 具体实例到获取通用的规则模式。 CRYSTAL 认为实例中所有 的语法和语义都是对所抽取信息的一种约束，通过放松高度 具体的约束，达到覆盖更多正面实例（含有要抽取信息的语 句）、简化规则的目的。这种算法一般有较强的泛化能力， 可扩充对未知文本的识别范围，学习过程归纳如下： 步骤1 从每个正面实例得到一个高度具体的概念节点的 定义。 步骤2 对于每一个没有被规则所覆盖的概念节点 D 进行 节点泛化。 步骤2.1 寻找最相似的概念节点D’。
28
5.3 规则抽取系统
这个寻找分隔符的过程和 WHISK 的步骤很像，WHISK 的 步骤是用立刻离开左边和右边的抽取短语的边界的项目固定 每个抽取槽。不同就是 Wrapper Induction 假定通用在所有训 练样本中的分割符能够被发现 。 如果没有案例，这个系统 学习包装就是失败的。 WHISK 尽可能多地寻找覆盖正确抽取 的分隔符，但要假定需要多规则覆盖整个训练集。
14
5.2 规则的建立
1.半结构化文本规则抽取
15
5.2 规则的建立
对于上例，不适合语法分析，在这类文本中，对于主语、 动词或者是宾语解析器都是徒劳的。这个简单的规则不能用 于结构化文本中。
16
5.2 规则的建立
2. 自由文本规则的抽取
17
5.2 规则的建立
细微的推论都需要从自由文本中抽取出来。领域对象如 人名、公司名和职位都必须被识别出来。在这些目标中的句 法关系可能含有多样的事件框架。例如“ A 先生是 X 公司的 主席，被任命为 Y 公司的 CEO ，接任了 B 先生， B 先生成为 Z 公司的主席”。 下图显示了在句法分析和自动标注人名、公司名和公司 职位之后的输入文本样本。这个例子被句法分析器处理过的。 这个句子被分割成主体、动词、介词短语、为了和动词有联 系的关于 REL-V 领域的一个广告动词词根，这个词根插入在 每个动词头部后面，以 @ 开头。人名是填充在“ @PN[...]PN ” 中的，职位是填充在“ @PS[...]PS ”中的，公司名是填充在 “ @CN[...]CN ”中的。
22
5.2 规则的建立
一个系统仅仅能够用单槽抽取信息应该是被表示成： 离职的人= Adam，上任的人= Adam，职位= 主席，职位=CEO， 公司名称 = X公司，公司名称 = Y国际公司。
很多领域多槽抽取是必需的。一个网页可能会列出很多 的产品名称，加上相关的价格，描述和指向进一步资料的 URL。除非名字、价格、描述和URL被成套表述，不然输出的 就是一堆没用的东西。
20
5.2 规则的建立
归纳逻辑编程算法采用两种不同的归纳算法：一是自下 而上（一般化）；另一是自上而下（具体化）。自上而下算 法可以归纳出一大类的逻辑程序，但需要相对多的样本；自 下而上算法有为数不多的例子就行了，但只能归纳出一小类 的程序。
21
5.2 规则的建立
3. 单槽和多槽抽取规则 “Adam先生是X公司的前任主席，被任命为Y国际公司的CEO”
第5章 基于规则的信息抽取
原理 规则的建立 规则抽取系统 自由文本规则抽取系统讨论 规则抽取系统比较 规则抽取的困难
5.1 5.2 5.3 5.4 5.5 5.6
1
5.1 原理
基于规则的信息抽取分为信息抽取规则的学习（关键）和 应用规则获取目标信息两个阶段。 信息抽取规则主要用于指明构成目标信息的上下文约束 环境，如 CIRCUS 系统的抽取规则为概念节点，每个概念节点 主要由触发词、激活条件（指定必须满足的语言模式）、硬 性约束（强制性的语义约束）、软性约束（语义限制，可以 违背）和目标信息位置这几项构成。 概念节点成为后面的 AutoSlog、CRYSTAL、AutoSlog-TS 等 系统的通用性规则。
5
5.1 原理
规则的学习主要有两种方式：一是由概括性规则开始， 通 过 实 例的 学 习 获取 规 则 ， 是 从 一 般到 特 殊 的过 程 ， 如 AutoSlog ，是一种自顶而下的学习法。二是由具体性的规则 开始，通过合并获取得到具有覆盖能力的规则，是从特殊到 一般的过程，如 CRYSTAL ，是一种从底向上的学习法。介于 两者之间的，如 PALKA ，则既有从特殊到一般的泛化过程， 又有从一般到特殊的具体化过程。 这里介绍自顶而下和从底向上两种典型的规则学习方法。
6
5.1 原理
（1）自顶而下的学习法， AutoSlog 利用通用的13条语言 模式作为启发性的规则，由用户标注的例子发现语言模式的 具体约束，实现通用规则的具体化。 自顶向下的学习过程如下： 步骤1 寻找到含有目标信息的语句，此语句一般由手工 进行标记过。 步骤2 对此语句进行部分分析，识别出主语、动词词组、 直接宾语和介词短语等。 步骤3 依次应用概括性的语言模式，得到该目标信息所 对应的语言模式。 步骤4 如果存在适用的语言模式，则从目标信息上下文 中产生相应的概念节点。
4
5.1 原理
2.知识的半自动获取 AutoSlog 系统需要用手工标注训练数据，并设置启发式 搜索规则以获取锚点； PALKA 需要手工定义的框架、语义层次和相关的词典； CRYSTAL 除了要有手工标注数据，还要有语义层次和相 关的词典； LIEP 则使用预先定义的关键词和对象识别器，依赖于用 户的交互，给相关的语句分配事件类型。 共同点：依赖手工标注过的数据或通过与用户的交互过 程，利用加工过的语料，学习语言的模式规则，是一种较为 典型的机器辅助式知识获取。
27
5.3 规则抽取系统
1. 结构化文本规则抽取系统 异构数据库应用和软件代理技术能够被 IE 系统用来把网 页转换为与数据库相当的项目。Wrapper Induction 系统把文 本串划分为槽。系统为左边的槽査找一个共同尾部特征，为 右边的每个槽查找一个共同开头的特征。此外，系统从表格 信息中形成网页的页眉和页尾。网页类 Wrapper Induction 可 以处理它们去遵守一个单一的“ HLRT(Head Left Right Tcail) ” 规则： 一个头分隔符，一组左边和右边每个槽的分隔符，一 个尾分隔符。 遵从这种规则的网页几乎都自动格式化为一个 基础数据库列表。
29
5.3 规则抽取系统
WHISK 允许规则在抽取边界内和边界外使用一样的术语， 这与 Wrapper Induction 是不同的。 WHISK 规则也可以有不立 刻连接一个目标槽的术语和语义类，然而 Wrapper Induction 仅仅使用术语。 如果一个 HLRT 规则存在于从一个网页集中抽取的所有 的数据中，那么 Wrapper Induction 系统保证能够找到，但 WHISK 不能提供这样的保证 。WHISK 规则呈现的复杂性产生 了一个巨大的搜索空间，其使用了一个贪婪的搜索。
11
5.1 原理
12
5.1 原理
4. 对上述 IE 模式获取方法的综合评价 从基于语料标注的 IE 模式获取到基于语料分类的 IE 模式 获取再到基于种子模式的自动 IE 模式获取，对用户的工作量 要求逐渐减少。但上述三类 IE 模式获取方法都需要人工建立 的领域相关概念层次知识库的支持。TIMES 试图采用领域无 关的概念层次知识库 WordNet 的支持，但在模式获取过程中， 不仅需要人工提供案例语句并指导生成相应的 IE 模式，而且 需要人工或相应的规则对有SRV 和 RAPIER 对于半结构化文本扩展信息抽取，但每个 系统抽取的仅仅是被孤立的槽。 相关的信息必须被随后的过 程重新组装成一个框架。这在每一文档中只有一个框架的领 域是合适的 。 WHISK 分享了 SRV 和 RAPIER 的能力去处理结构化文本或 者半结构化文本，但是没有对它们进行单槽抽取这样的限制。 与 Wrapper Induction 一样， WHISK 把相关的信息都联系到 多槽的框架中去 。 当在输入提供句法分析器时，WHISK 能够和处理结构化 文本和半结构化文本一样处理自由文本，而且性能可以比得 上专门为自由文本设计的 CRYSTAL 系统。
23
5.2 规则的建立
在其他领域，单槽抽取是很适用的。如果每篇文章不会 超过一个事件，能够单独地分辨出槽来，然后所有从文本中 抽取去出来的都能填充到一个单独的事件框架中。 即使当一个系统能够用多槽抽取时，相关的信息可以被 广泛地散布通过一个文档，尤其是在自由文档这样的情况中。 在这样的事件中，槽能够通过规则抽取，但需要逻辑地操作， 并且需要随后的进程去把相关的信息联系起来，这不是一个 简单的问题。
2
5.1 原理
由于规则较为集中地体现了领域知识和语言知识的融合， 所以其构建过程即为知识的获取过程。根据手工参与程度的 不同，规则的构建可分为三种类型：知识的手工编制、知识 的半自动获取和知识的自动获取。
3
5.1 原理
1. 知识的手工编制 早期的信息抽取系统大多依赖于手工编制。如在MUC-3 上使用的 CIRCUS 系统，所使用的三个知识库（即词典、案例 框架和篇章分析规则库）都是用手工进行编制的。 手工编制：具有专门知识的人员、费时、容易出错、产生 疏漏、代价较高、难以达到很高的语言覆盖面、可移植性差。
8
5.1 原理
步骤2.2 如果D’为主，则完成规则的形成过程，退出循 环。 步骤2.3 以概念层次为依托，合并D和D’得到U。 步骤2.4 如果U的错误率大于预设的阈值，则退出循环； 否则设置D=U。 步骤3 将上述泛化后的概念节点D加入规则集。