基于DeepBeliefNets的中文名实体关系抽取
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
软件学报 ISSN 1000-9825, CODEN RUXUEW Journal of Software,2012,23(10):25722585 [doi: 10.3724/SP.J.1001.2012.04181] ©中国科学院软件研究所版权所有 .
E-mail: jos@iscas.ac.cn http://www.jos.org.cn Tel/Fax: +86-10-62562563
陈宇 等:基于 Deep Belief Nets 的中文名实体关系抽取
2573
中图法分类号: TP391
文献标识码: A
信息抽取是指从大规模的无结构文本中提取出用户感兴趣的信息 ,并以结构化或者半结构化的形式输出 , 其主要包括 3 项子任务:实体抽取、关系抽取和事件抽取,本文主要关注第 2 项子任务 .根据 Automatic Content Extraction(ACE)的定义 , 实体关系是实体之间显式或者隐式的语义联系 . 需要预先定义实体关系的类型 ,然后识 别实体之间是否存在语义关系或是属于哪一种预定义的关系类型 .例如 ,在 “英国外长库克 ”这个描述中 ,“英国 ” 和 “ 库克 ” 分别是两个实体 , 组成一个关系实例 , 它们之间的关系类型属于角色 (role) 关系 .目前 ,关系抽取主要有 基于模式匹配、基于特征和基于核函数这 3 种方法 . 基于模式匹配的方法是根据已有的关系实例 ,人工构造出基于词法分析和句法分析等特征的模式集合 ;然 后 , 将待识别的关系实例进行相同的预处理 , 并与模式集合中的模式进行匹配 , 如果匹配成功 , 即认为该实例具 有对应模式的关系属性 .基于模式匹配的方法能够取得较高的准确率 ,但是由于难以建立完整而准确的模式集 合 , 很难取得理想的召回率 . 模式集合对语料的依赖性很强 , 如果语料的领域发生改变 , 模式需要大量改写甚至 重写 .模式扩展的方法可在一定程度上缓解基于模式匹配方法的不足 ,其思想是定义少量的关系模式种子集合 , 通过自学习 ,种子集合得到扩展[1]. 基于特 征的方 法 是将关系 实 例通过 一定粒 度 的词法分 析 和句法 分析转 换 为平面特 征 向量 , 然后 采 用 Maximum Entropy(ME)[2],Support Vector Machine(SVM)[3]等机器学习模型比较特征向量之间的相似性并分类. 相对于建立模式集合 ,特征的提取简单、有效,不需要具有专业知识的专家进行大量人工操作 .基于特征的信息 抽取方法重点在于构造完整的特征和选取合适的机器学习模型 , 特征应最大限度地包含实例的信息 ,以提高特 征的区分度 .目前 ,特征的构造已经利用了大多数的自然语言处理方法 ,常用的特征组合包括词语特征、词性特 征、实体属性特征、句法组合、语义特征以及结构化信息 .词法与实体特征的提取相对简单 ,但是句法、语义 以及结构化特征的提取受限于对原始语料进行句法分析、 短语块标注等预处理工作的性能[4].另外 ,基于特征方 法的缺点还在于未能引入语法结构和依赖信息 . 基于核函数的方法是通过构造核函数 ,隐式地计算特征向量内积 ,从而得到关系实例之间的相似性 .核函数 引入的实例结构和依赖信息 ,对关系信息有重要的指示作用.近年来 ,多种不同的核函数运用在英文关系抽取任 务中 ,已经取得优于基于特征的方法的结果,例如语义序列核函数 [5]、依赖树核 [6]、最短路径依赖核[7]和卷积语 法树核 [8].但是 ,由于中文的句子结构相对英语而言较为松散 ,词语之间没有位置指示信息,甚至中文的语法分析 方法与工具的运用还不够成熟,所以基于核函数的方法在中文关系抽取任务中未能取得期望的效果 . 关系抽取的研究大多集中于英文语料 , 对中文语料的研究相对较少 , 而且其难度要远大于英文 . 主要原因 是 : ① 汉语词语之间没有明显的分割标志 ; ② 汉语中的词存在更多歧义现象 ; ③ 汉语词语由字组合而成 ,组 合的复杂度高;④ 汉语的词法语态信息没有英语丰富 ,例如 ,汉语词语没有时态、 字母大小写的特征等;⑤ 目前 , 中文分词系统结果依然存在误差 ,分词错误将噪音引入关系抽取任务 .Jing[10] 提出利用基于字特征表征名词信 息 ,克服了以上大部分的汉语难点 .基于字特征使得不再需要对语料进行分词预处理 ,将字与字之间如何组成词 交由机器学习模型去决定.我们针对 ACE04 的语料 ,将实体的字特征、实体的指称特征、实体的类别特征和实 体之间的相对位置特征组成了关系实例的组合特征向量 ,利用 Deep Belief Net(DBN)神经网络进行关系抽取. 目前 ,绝大部分关系抽取的相关研究中都是假设关系中的实体已被正确识别 ,将正确的实体属性作为组合 特征之一 . 由于识别实体的类型也是信息抽取的一项子任务 , 是关系抽取的基础 , 对于大多数文本语料 , 实体属 性是未被标注的 .要对未标注的语料进行关系抽取 ,必须先对语料进行实体识别 ,实体识别的结果直接影响关系 抽取的结果 .Claudio[11]分别假设实体的边界信息和类型信息未知,利用条件随机场(conditional random field,简 称 CRF)模型先后识别实体的边界信息和类别信息 ,然后将这些信息加入核函数中进行关系抽取,验证了英语语 料中实体抽取对关系抽取的重要性 . 实体类型信息对于实体关系具有重要的指示 , 例如 ,假设两个人名 (person) 实体之间存在关系 ,那么这个关系只能是 social 类型 ,不会存在于其他 ACE 预定义的关系类型中 .本文设计了 3
DBN(deep belief nets);神经网络;关系抽取;深层网络;字特征
基金项目 : 国家自然科学基金 (61073130); 国家高技术研究发展计划 (863)(2011AA01A207) 收稿时间 : 2011-06-16; 修改时间 : 2011-08-09; 定稿时间 : 2012-01-16
来自百度文库
relationships between two entities in the text. In this paper, deep belief nets (DBN), which is a classifier of a combination of several unsupervised learning networks, named RBM (restricted Boltzmann machine) and a supervised learning network named BP (back-propagation), is presented to detect and classify the relationships among Chinese name entities. The RBM layers maintain as much information as possible when feature vectors are transferred to next layer. The BP layer is trained to classify the features generated by the last RBM layer. The experiments are conducted on the Automatic Content Extraction 2004 dataset. This paper proves that a character-based feature is more suitable for Chinese relation extraction than a word-based feature. In addition, the paper also performs a set of experiments to assess the Chinese relation extraction on different assumptions of an entity categorization feature. These experiments showed the comparison among models with correct entity types and imperfect entity type classified by DBN and without entity type. The results show that DBN is a successful approach in the high-dimensional-feature-space information extraction task. It outperforms state-of-the-art learning models such as SVM and back-propagation networks. Key words: DBN (deep belief nets); neural network; relation extraction; deep architecture network; character-based feature 摘 要: 关系抽取是信息抽取的一项子任务 , 用以识别文本中实体之间的语义关系 . 提出一种利用 DBN(deep
belief nets)模型进行基于特征的实体关系抽取方法,该模型是由多层无监督的 RBM(restricted Boltzmann machine)网 络和一层有监督的 BP(back-propagation)网络组成的神经网络分类器. RBM 网络以确保特征向量映射达到最优,最 后一层 BP 网络分类 RBM 网络的输出特征向量,从而训练实体关系分类器.在 ACE04 语料上进行的相关测试,一方 面证明了字特征比词特征更适用于中文关系抽取任务;另一方面设计了 3 组不同的实验,分别使用正确的实体类别 信息、 通过实体类型分类器得到实体类型信息和不使用实体类型信息,用以比较实体类型信息对关系抽取效果的影 响.实验结果表明,DBN 非常适用于基于高维空间特征的信息抽取任务,获得的效果比 SVM 和反向传播网络更好. 关键词:
[9]
2574
Journal of Software 软件学报 Vol.23, No.10, October 2012
基于 Deep Belief Nets 的中文名实体关系抽取
陈 宇, 郑德权+, 赵铁军
(哈尔滨工业大学 计算机科学与技术学院 ,黑龙江 哈尔滨 150001)
Chinese Relation Extraction Based on Deep Belief Nets
CHEN Yu, ZHENG De-Quan+, ZHAO Tie-Jun
(School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China)
+ Corresponding author: E-mail: dqzheng@mtlab.hit.edu.cn, http://www.hit.edu.cn
Chen Y, Zheng DQ, Zhao TJ. Chinese relation extraction based on Deep Belief Nets. Journal of Software, 2012,23(10):25722585 (in Chinese). http://www.jos.org.cn/1000-9825/4181.htm Abstract: Relation extraction is a fundamental task in information extraction, which is to identify the semantic
E-mail: jos@iscas.ac.cn http://www.jos.org.cn Tel/Fax: +86-10-62562563
陈宇 等:基于 Deep Belief Nets 的中文名实体关系抽取
2573
中图法分类号: TP391
文献标识码: A
信息抽取是指从大规模的无结构文本中提取出用户感兴趣的信息 ,并以结构化或者半结构化的形式输出 , 其主要包括 3 项子任务:实体抽取、关系抽取和事件抽取,本文主要关注第 2 项子任务 .根据 Automatic Content Extraction(ACE)的定义 , 实体关系是实体之间显式或者隐式的语义联系 . 需要预先定义实体关系的类型 ,然后识 别实体之间是否存在语义关系或是属于哪一种预定义的关系类型 .例如 ,在 “英国外长库克 ”这个描述中 ,“英国 ” 和 “ 库克 ” 分别是两个实体 , 组成一个关系实例 , 它们之间的关系类型属于角色 (role) 关系 .目前 ,关系抽取主要有 基于模式匹配、基于特征和基于核函数这 3 种方法 . 基于模式匹配的方法是根据已有的关系实例 ,人工构造出基于词法分析和句法分析等特征的模式集合 ;然 后 , 将待识别的关系实例进行相同的预处理 , 并与模式集合中的模式进行匹配 , 如果匹配成功 , 即认为该实例具 有对应模式的关系属性 .基于模式匹配的方法能够取得较高的准确率 ,但是由于难以建立完整而准确的模式集 合 , 很难取得理想的召回率 . 模式集合对语料的依赖性很强 , 如果语料的领域发生改变 , 模式需要大量改写甚至 重写 .模式扩展的方法可在一定程度上缓解基于模式匹配方法的不足 ,其思想是定义少量的关系模式种子集合 , 通过自学习 ,种子集合得到扩展[1]. 基于特 征的方 法 是将关系 实 例通过 一定粒 度 的词法分 析 和句法 分析转 换 为平面特 征 向量 , 然后 采 用 Maximum Entropy(ME)[2],Support Vector Machine(SVM)[3]等机器学习模型比较特征向量之间的相似性并分类. 相对于建立模式集合 ,特征的提取简单、有效,不需要具有专业知识的专家进行大量人工操作 .基于特征的信息 抽取方法重点在于构造完整的特征和选取合适的机器学习模型 , 特征应最大限度地包含实例的信息 ,以提高特 征的区分度 .目前 ,特征的构造已经利用了大多数的自然语言处理方法 ,常用的特征组合包括词语特征、词性特 征、实体属性特征、句法组合、语义特征以及结构化信息 .词法与实体特征的提取相对简单 ,但是句法、语义 以及结构化特征的提取受限于对原始语料进行句法分析、 短语块标注等预处理工作的性能[4].另外 ,基于特征方 法的缺点还在于未能引入语法结构和依赖信息 . 基于核函数的方法是通过构造核函数 ,隐式地计算特征向量内积 ,从而得到关系实例之间的相似性 .核函数 引入的实例结构和依赖信息 ,对关系信息有重要的指示作用.近年来 ,多种不同的核函数运用在英文关系抽取任 务中 ,已经取得优于基于特征的方法的结果,例如语义序列核函数 [5]、依赖树核 [6]、最短路径依赖核[7]和卷积语 法树核 [8].但是 ,由于中文的句子结构相对英语而言较为松散 ,词语之间没有位置指示信息,甚至中文的语法分析 方法与工具的运用还不够成熟,所以基于核函数的方法在中文关系抽取任务中未能取得期望的效果 . 关系抽取的研究大多集中于英文语料 , 对中文语料的研究相对较少 , 而且其难度要远大于英文 . 主要原因 是 : ① 汉语词语之间没有明显的分割标志 ; ② 汉语中的词存在更多歧义现象 ; ③ 汉语词语由字组合而成 ,组 合的复杂度高;④ 汉语的词法语态信息没有英语丰富 ,例如 ,汉语词语没有时态、 字母大小写的特征等;⑤ 目前 , 中文分词系统结果依然存在误差 ,分词错误将噪音引入关系抽取任务 .Jing[10] 提出利用基于字特征表征名词信 息 ,克服了以上大部分的汉语难点 .基于字特征使得不再需要对语料进行分词预处理 ,将字与字之间如何组成词 交由机器学习模型去决定.我们针对 ACE04 的语料 ,将实体的字特征、实体的指称特征、实体的类别特征和实 体之间的相对位置特征组成了关系实例的组合特征向量 ,利用 Deep Belief Net(DBN)神经网络进行关系抽取. 目前 ,绝大部分关系抽取的相关研究中都是假设关系中的实体已被正确识别 ,将正确的实体属性作为组合 特征之一 . 由于识别实体的类型也是信息抽取的一项子任务 , 是关系抽取的基础 , 对于大多数文本语料 , 实体属 性是未被标注的 .要对未标注的语料进行关系抽取 ,必须先对语料进行实体识别 ,实体识别的结果直接影响关系 抽取的结果 .Claudio[11]分别假设实体的边界信息和类型信息未知,利用条件随机场(conditional random field,简 称 CRF)模型先后识别实体的边界信息和类别信息 ,然后将这些信息加入核函数中进行关系抽取,验证了英语语 料中实体抽取对关系抽取的重要性 . 实体类型信息对于实体关系具有重要的指示 , 例如 ,假设两个人名 (person) 实体之间存在关系 ,那么这个关系只能是 social 类型 ,不会存在于其他 ACE 预定义的关系类型中 .本文设计了 3
DBN(deep belief nets);神经网络;关系抽取;深层网络;字特征
基金项目 : 国家自然科学基金 (61073130); 国家高技术研究发展计划 (863)(2011AA01A207) 收稿时间 : 2011-06-16; 修改时间 : 2011-08-09; 定稿时间 : 2012-01-16
来自百度文库
relationships between two entities in the text. In this paper, deep belief nets (DBN), which is a classifier of a combination of several unsupervised learning networks, named RBM (restricted Boltzmann machine) and a supervised learning network named BP (back-propagation), is presented to detect and classify the relationships among Chinese name entities. The RBM layers maintain as much information as possible when feature vectors are transferred to next layer. The BP layer is trained to classify the features generated by the last RBM layer. The experiments are conducted on the Automatic Content Extraction 2004 dataset. This paper proves that a character-based feature is more suitable for Chinese relation extraction than a word-based feature. In addition, the paper also performs a set of experiments to assess the Chinese relation extraction on different assumptions of an entity categorization feature. These experiments showed the comparison among models with correct entity types and imperfect entity type classified by DBN and without entity type. The results show that DBN is a successful approach in the high-dimensional-feature-space information extraction task. It outperforms state-of-the-art learning models such as SVM and back-propagation networks. Key words: DBN (deep belief nets); neural network; relation extraction; deep architecture network; character-based feature 摘 要: 关系抽取是信息抽取的一项子任务 , 用以识别文本中实体之间的语义关系 . 提出一种利用 DBN(deep
belief nets)模型进行基于特征的实体关系抽取方法,该模型是由多层无监督的 RBM(restricted Boltzmann machine)网 络和一层有监督的 BP(back-propagation)网络组成的神经网络分类器. RBM 网络以确保特征向量映射达到最优,最 后一层 BP 网络分类 RBM 网络的输出特征向量,从而训练实体关系分类器.在 ACE04 语料上进行的相关测试,一方 面证明了字特征比词特征更适用于中文关系抽取任务;另一方面设计了 3 组不同的实验,分别使用正确的实体类别 信息、 通过实体类型分类器得到实体类型信息和不使用实体类型信息,用以比较实体类型信息对关系抽取效果的影 响.实验结果表明,DBN 非常适用于基于高维空间特征的信息抽取任务,获得的效果比 SVM 和反向传播网络更好. 关键词:
[9]
2574
Journal of Software 软件学报 Vol.23, No.10, October 2012
基于 Deep Belief Nets 的中文名实体关系抽取
陈 宇, 郑德权+, 赵铁军
(哈尔滨工业大学 计算机科学与技术学院 ,黑龙江 哈尔滨 150001)
Chinese Relation Extraction Based on Deep Belief Nets
CHEN Yu, ZHENG De-Quan+, ZHAO Tie-Jun
(School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China)
+ Corresponding author: E-mail: dqzheng@mtlab.hit.edu.cn, http://www.hit.edu.cn
Chen Y, Zheng DQ, Zhao TJ. Chinese relation extraction based on Deep Belief Nets. Journal of Software, 2012,23(10):25722585 (in Chinese). http://www.jos.org.cn/1000-9825/4181.htm Abstract: Relation extraction is a fundamental task in information extraction, which is to identify the semantic