最长名词短语识别研究
汉语最长名词短语的自动识别
汉语最长名词短语的自动识别*周强孙茂松黄昌宁智能技术与系统国家重点实验室清华大学计算机科学与技术系，北京100084摘要：本文通过对包含5573个汉语句子的语料文本中的最长名词短语的分布特点的统计分析，提出了两种有效的汉语最长名词短语自动识别算法：基于边界分布概率的识别算法（算法1）和基于内部结构组合的识别算法（算法2）。
实验结果显示，算法2的识别正确率和召回率分别达到了85.4%和82.3%，取得了较好的自动识别效果。
关键词：最长名词短语，边界识别，句法分析。
1 引言在自然语言句子的理解过程中，能否准确地识别其中的名词短语(np)起了很重要的作用。
按照认知科学的观点，人类必须首先识别、学习和理解文本中的实体(entity)或者概念（具体的或抽象的），才能很好地理解自然语言文本，而这些实体和概念大都是由文本句子中的名词短语所描述的。
因此，如果我们掌握了文本中的名词短语，就可以在很大程度上把握文本所表达的主要意思。
从组成结构上看，句子中的名词短语可分为以下三类：1) 最短名词短语(mNP)：即不包含其他任何名词短语的名词短语；2) 最长名词短语(MNP)：即不被其他任何名词短语所包含的名词短语；3) 一般名词短语(GNP)：所有不是mNP和MNP的名词短语。
从mNP到GNP再到MNP，自动识别的难度是在不断增加的。
而在自然语言处理领域，MNP的自动识别具有更为重要的意义。
因为我们一旦很好地识别出了句子中所有的MNP，就可以很方便地把握句子的整体结构框架，从而很快构建出句子的完整句法树（森林）。
正是认识到了这一点，近几年来，许多研究人员在MNP的自动识别方面进行了许多有益的探索，提出了一些行之有效的识别方法。
在英语方面的工作主要有：1) Church的简单名词短语抽取器[1]，利用概率矩阵信息来确定句子中np的起始和终止位置。
2) Bourigault的术语抽取器LEXTER[2]，通过构造两个阶段的自动分析器发现文本中的术语（即部分MNP）3) Voutilainen的MNP获取工具：NPTool[3]，利用两种有限状态分析机制（NP_否定机制和NP_肯定机制）来发现文本中可能的MNP。
以“的”字结构为核心的最长名词短语识别研究
ｎ ｗ ｓ ｂ ｕ ｔ ｎ ｔ ｈ ａ ｋ ｏ ｉ ｅ ｅ ＭＮＰ ｒ ｃ ｇ ｉ ｏ ． ｅ ｐ ｐ ｒ ｆｒｔ ａ ａｙ ｅ ｈ ｉ ｒ ｕ ｉ ｎ ａ ｄ ｔ ｅ ｓｒ ｃｕ ｅ ｆ ａｕ ｅ ｏ ｈ ｅ ｕ ｓ ｍｐ ｉ ｏ ｔ ｅ ｔｓ ｆ Ｃｈ ｎ ｓ ｏ ｅ ｏ ｎ ｔ ｎＴｈ ａ ｅ ｓ ｎ ｌｚ ｓ ｔ ｅ ｄ ｓｉ ｔ ｎ ｈ ｔ ｔ ｒ ｅ ｔ ｒ ｆ ｔ ｅ ｉ ｉ ｔｂ ｏ ｕ
摘
要： 的” 以“ 字结构为核 心的最长名词短语是 汉语最长名词短语 的一个特殊子类。以该短语 的 自动识别为基础 重新分化 了汉语
ＭＮ Ｐ的识别任务。在 考察其结构和分布特征 的基础 上 ， 出“ 提 先识 别右 边界 ， 识别成果参与左边界识别” 的策略 ， 并使 用边界 分布
概率模 型分治 了左右边界。实验基 于 ８ ５万字的新 闻语料 上进行训练 ， 并在 ４ ２万字的同质语料上进行 了开放测试 ， 取得 了 ８ ． ％ ０６ ３
ｍｅｈ ｄ “ ｏ ｎ ａｙ Ｄｉｔ ｂ ｔ ｎ Ｐｏ ａ ｉｔ” ｔ ｒｃｇ ｉ ｈ ｈ ａｅＡ ｃ ｒｕ （ｂ ｕ ．５ ｍｉｉｎ ｈｎ ｓ Ｃ ａａ ｔｒ ）ｏ ｅ ｓ ｓ ｔｏ Ｂ ｕ ｄ ｒ ｓ ｉｕｉ ｒｂ ｂｌｙ ｏ ｅ ｏ ｎｚ ｔｅ ｐ ｒｓ ． ｏｐ ｓ ａ ｏ ｔ０ ８ ｌｏ Ｃ ｉｅ ｅ ｈ ｒｃｅ ｒ ｏ ｉ ｅ ｌ ｓ ｆ ｎ ｗ ｉ
Ｅ－ ａｌ ｑ ｅｆｙｎｇ １ ．ｏ ｍ ｉ： ｉ ｒ ｉ ＠ ６３ｃ ｎ ｌ
ＱＩ Ｎ ｉｏ ｆｉ ｅ ｏ ｎｔ ｎ ｏ Ａ Ｘ ａ － ｅ． ｃ ｇ ｉ ｏ ｆＭＮＰ ｔ “ ｅ Ｐ ｒ ｓ ”ｃ ｒ ． ｏ ｕｅ ｎ ｉ ｅ ｒ ｇ ａ ｄ Ａ ｐｉａ ｏ ｓ ２ １ ， ６ １ ）１ ８ １ １ Ｒ ｉ ｈ Ｄ － ｈ ａ ｅ ｏ ｅ ｍｐ ｔｒ Ｅ ｇｎ ｅ ｉ ｎ ｐ ｌ ｔ ｎ ， ０ ０ ４ （ ８ ：３ － ４ ． Ｃ ｎ ｃｉ
组块分析研究综述
组块分析研究综述组块分析是一种新的句法分析思路和策略，侧重于解决底层歧义问题。
文章归纳分析了组块分析的不同任务和研究方法，指出统计和规则方法相结合常常能取得更好的效果，但基本名词短语，最长名词短语等相对较大的语块的识别效果仍然不能令人满意。
未来需要考虑如何将语言学特征融入统计机器学习，并且更好地将统计和规则方法结合起来。
标签：组块句法分析综述一、引言句法分析是中文信息处理领域诸多应用技术的基础，如机器翻译、人机对话系统等。
但传统的完全句法分析技术在处理大规模真实语料时遇到了较大的困难，正确率徘徊在70%～80%左右。
在今天词法分析已经能够基本达到应用要求的情况下，句法分析技术已经成为制约中文信息处理技术发展的瓶颈。
20世纪90年代中后期，国内引进英语浅层句法分析的思想，展开了组块识别与分析研究。
由于底层句法歧义在很大程度上影响了句法分析的效果，浅层句法分析主张从识别句子中某些简单的组块开始，在充分化解底层歧义的基础上，逐步完成句法分析的任务。
它把一个句子的完整分析过程划分为三个部分：组块识别、组块间依存关系的识别以及组块内部的结构分析，并着力于组块的识别和内部结构分析。
组块分析是句法分析技术的进步，特别适合于分析缺乏形态变化，底层歧义较多的汉语句子，成为汉语句法分析技术的重要发展趋势。
二、系统性的组块分析研究组块分析是自然语言处理一个新兴的研究课题。
它起源于上世纪80年代末90年代初国外关于组块（chunk）的研究。
组块分析可以分为单一组块分析和一般组块分析。
单一组块主要研究基本名词块或基本名词短语的识别分析问题。
一般组块扩展了研究范围，研究多个（实）语块的识别分析问题，可以称为系统性的组块分析。
上世纪90年代中后期，国际上展开了对基本块的全面识别研究。
（一）英语组块分析研究早期的系统性组块分析主要采用基于规则的方法，包括基于简单规则，基于转换的错误驱动的方法和基于有限状态机的方法，取得了一定的效果。
名词短语的可及性与关系化一项类型学视野下的英汉对比研究
名词短语的可及性与关系化一项类型学视野下的英汉对比研究一、本文概述本文旨在通过类型学的视角，对英汉两种语言中的名词短语可及性与关系化现象进行深入对比研究。
我们将探讨两种语言在处理名词短语时的共性与差异，特别是它们在构建和表达复杂语义关系时的不同策略。
本文的研究不仅有助于我们更深入地理解英汉语言的本质特点，也有助于揭示人类语言的普遍规律。
在概述部分，我们将首先界定名词短语可及性与关系化的概念，并阐述这两种现象在语言研究中的重要性。
接着，我们将回顾以往的相关研究，分析当前研究的不足，并说明本文的研究目的和研究问题。
我们还将介绍本文的研究方法，包括语料来源、数据处理方法以及数据分析工具等。
通过本文的研究，我们期望能够揭示英汉两种语言在名词短语可及性与关系化方面的异同，为语言类型学研究提供新的视角和证据。
我们也希望能够为英汉语言的教学和翻译实践提供有益的启示和建议。
二、文献综述可及性（Accessibility）和关系化（Relationalization）是语言学中两个核心概念，尤其在类型学视野下，对于不同语言的名词短语结构和功能差异具有重要的解释力。
本文旨在从类型学的角度出发，对英汉两种语言中的名词短语可及性与关系化现象进行深入的对比研究。
名词短语的可及性通常指的是在语言中名词短语被识别、提取和加工的难易程度。
这一概念与句法结构、语义关系以及认知心理等多个方面紧密相关。
在汉语和英语中，名词短语的可及性受到多种因素的影响，如词序、修饰语的位置和类型、以及名词短语内部的层级结构等。
通过对比研究，我们可以发现英汉两种语言在名词短语可及性方面的异同，以及这些差异如何影响语言的表达和理解。
关系化则是指通过一定的语法手段将名词短语转化为从句的过程。
关系化现象在不同语言中表现出不同的类型和特点，反映了语言类型学的多样性。
在汉语中，关系化通常通过“的”字结构来实现；而在英语中，则主要依赖于关系代词和关系副词。
通过对比英汉两种语言的关系化手段，我们可以深入了解它们在句法结构、语义功能和信息组织方面的差异。
的 字结构为核心的最长名词短语识别研究
1 引言
最长名词短语（MNP）是指句子中不被其他名词短语直接 包含的名词短语。它的识别能够为自动句法分析、机器翻译系 统提供有力的支持。如对于句法分析而言，最长名词短语内部 结构比较复杂，几乎涉及了汉语所有的词类和句法结构，如果 能够识别出句子中所有的最长名词短语，那么计算机就能较好 地构建出句子的句法树或森林。以往的研究表明，最长名词短 语识别对于结构长度较为敏感，长度大于等于 5 的复杂最长名 词短语的识别精度一般要比简单最长名词短语低 16 个百分 点；并且复杂定语规定的左边界识别难度远远大于右边界[1]。
dePMNP 的下文特征的分布规律与上文有所不同，不仅表 现在邻接关系中，在与局部下文的共现关系上也有所体现。前 者如“是”等动词经常出现在 dePMNP 下文一元邻接词位置 R1 上；后者如“是”之前有时会加上一些副词，表达程度的不同或 委婉的语气等，使得“是”后退到下文二项共现词位置 RC2 上， 如“最令人喜爱的还是”。造成这种情况的有两种因素：（1） dePMNP 常位于主语位置上，R1 位置上也常常出现动词；（2）汉 语中存在一条语法规则：动词可以受副词等语言成分修饰。下 面就从下文一元邻接词集合 R1Set、二项共现词集合 RC2Set 及 位于前的修饰词三个方面讨论 dePMNP 的下文特征。
文献[2]将“的”划分为副词性语法单位的后附成分“的 1”，形 容词性语法单位的后附成分“的 2”，名词性语法单位的后附成分 “的 3”。然而“，的 2”和“的 3”的区分有时并不十分明晰。如“更+A+ 的”中“的”应该是“的 2”，但有的形式却能出现在主语或宾语的 位置上指称事物，如“我要更好的。”文献[3]区分了表述功能的词 汇层面和句法层面，在此基础上把“的”看成是词汇层面的“饰词 标记”，上述“更好的”则是该短语在句法层面的指称化。
认知语言学与汉语名词短语
认知语言学与汉语名词短语认知语言学是一种以认知过程为研究对象的语言学分支学科，其研究对象与传统语言学不同，主要研究人类语言习得、语言处理、语言理解以及语言能力，尤其是在认知心理学的基础上，探讨语言如何为人类认知服务。
汉语名词短语则是认知语言学的研究重点之一，本文将从这个角度展开讨论。
名词短语是指由名词和其修饰语组成的短语结构。
在汉语中，名词短语通常是一种具有复杂基础结构的短语，在句法和语义上都有着丰富的内涵和多个层面的结构。
因此，从认知语言学的角度来看，汉语名词短语具有独特的认知性质和特征。
从语法角度来看，汉语名词短语的结构通常是由数词、量词、形容词以及其他修饰语与名词组成。
不同的修饰语不仅可以影响名词短语的语义，还可以影响名词短语的句法。
例如，“三个大苹果”和“大三个苹果”虽然都由相同的单词组成，但它们具有不同的语义和句法结构。
因此，名词短语的结构和组成成分对于语言的理解和识别非常重要。
从语义角度来看，名词短语的语义涵义通常由其结构和内部关系决定。
在汉语中，名词短语的语义涵义可以通过修饰语的选择和位置表达出来。
例如，“三个苹果”和“大苹果”都是有意义的名词短语，但它们的语义不同。
另外，名词短语的修饰语也可以强调名词与句子的关系。
例如，“我的苹果”与“他的苹果”具有不同的语义，因为它们的修饰语反映了不同的说话者和所指对象。
从认知角度来看，名词短语的认知机制与人类的思维和语言能力密切相关。
一方面，名词短语的构建和理解需要依赖人类的记忆和复杂的认知过程。
人们在理解名词短语时需要将其与其上下文进行比较和理解，从而确定其语义和句法结构。
另一方面，名词短语也反映了人类的语言习得和语言能力，因为这种短语结构通常需要经过语言学习和语境实践才能掌握。
总之，汉语名词短语是认知语言学的研究重点之一，其复杂的句法和语义结构对于人类的思维和语言能力有着深刻的影响。
在今后的研究中，我们需要进一步探讨名词短语的构建和认知机制，以更好地理解人类语言和思维的本质。
基于规则的英语名词短语结构自动识别研究
Ｒｅ ｓ ｅ ａ ｒ ｃ ｈ ｏ ｎ Ａｕｔ ｏ ｍａ ｔ ｉ ｃ Ｒｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ｏ ｆ Ｎｏ ｕ ｎ Ｐｈｒ ａ ｓ ｅ Ｓ ｔ ｒ ｕｃ ｔ ｕ ｒ ｅ Ｂａ ｓ ｅ ｄ ｏ ｎ Ｒｕ ｌ ｅ ｓ
Ｋｅ ｙ ｗｏ ｒ ｄｓ： ｕｌ ｒ ｅ ｓ；Ｅｎｇ ｌ ｉ ｓ ｈ ｎｏ ｕ ｎ ｐ ｈ ｒ ａ ｓ ｅ ｓ ；ｐ ｈｒ ａ ｓ ｅ ｓ ｔ ｕｃ ｒ ｔ ｕ ｒ ｅ；ａ ｕ ｔ ｏ ｍａ ｔ ｉ ｃ ｒ ｅ ｃ ｏ ｇ ｎｉ ｔ ｉ ｏ ｎ；ｃ ｏ ｒ ｐ ｕ ｓ
名 词短 语 是 英 语 句子 的核 心组 成 部 分 ， 然 而 不 同名词 短语类 型 的结构 用法 及其 在 句子 中所作 成 分 的复杂 性一 直 困扰 着英 语 的机 器识 别 技术 。基本 名
作者简介 ： 章忠宪（ １ ９ ６ ３ 一 ） ， 男， 安徽安庆人 ， 漳州职业技术学院计 算机工程 系副教授 ， 硕士 ， 主要从事人工智 能研究 。
第２ ９卷 第 ７期
章 忠宪 ： 基于 规则 的英语 名 词短 语结 构 自动识 别研 究
・ ７ １・
串在逻 辑上 可 能发生 的各种 情 况 ， 即 改变 、 减 少 和 增 加， 总之都是 一种变 化。同化规则 属于转 换规则 。
ｓ ｅ ｍａ ｎｔ ｉ ｃ ｃ ｏ ｌ ｌ ｏ ｃ ａ ｔ ｉ ｏ ｎ，ｒ ｅ ｖ ｅ ａ ｌ ｓ ｔ ｈｅ ｒ ｅ ｌ ａ ｔ ｉ ｏ ｎ ｓ ｈ ｉ ｐ ｂ ｅ ｔ ｗｅ ｅ ｎ ｔ ｈ ｅ ｎ ｏ ｕ ｎ ｐ ｈ ｒ ａ ｓ ｅ ｔ ｙ ｐ ｅ ａ ｎ ｄ ｉ ｔ ｓ ｃ ｏ ｍｐ ｏ ｓ ｉ ｔ ｉ ｏ ｎ ｉ ｎ ｔ ｈｅ ｓ ｅ ｎ ｔ ｅ ｎ ｃ ｅ，ｏ ｂ ｖ ｉ ｏ ｕｓ ｌ ｙ ｉ ｍｐ ｒ ｏ ｖ ｅ ｓ ｔ ｈ ｅ ａ ｃ ｃ ｕ ｒ ａ ｃ ｙ ｏ ｆ ｎ ｏ ｕ ｎ ｐ ｈ ｒ ａ ｓ ｅ ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ．
基于归约的汉语最长名词短语识别方法
模 型 观 察 窗 口受 限 的 矛盾 。 开放 测 试 取 得 了 ８ ８ ． ６ ８ 的正 确率和 ８ ９ ． ２ １ 的 召回率 ； 归 约 方 法 全 面提 升 了识 别 性
能， 特 别是 将 多词 结 构 的 调 和 平 均 值提 高 １ ， 优化幅度达 ６ 以上 ， 并且 对 长距 离 复 杂 结 构 有 着 更好 的识 别 效 果 。
ｗｉ ｎ ｄ ｏ ｗｓ ｉ ｏ ｄ ｅ ｌ ｓ ．Ｔｈ ｅ ｅ ｘ ｐ ｅ ｒ ｉ ｍｅ ｎ ｔ ｉ ｎ ｄ ｉ ｃ ａ ｔ ｅ ｓ ａ ｇ ｏ ｏ ｄ ｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ｏ ｆ ８ ８ ． ６ ８ ％ ａ ｎ ｄ ａ ｒ ｅ ｃ ａ ｌ ｌ ｏ ｆ ８ ９ ． ２ １ ．Ｔｈ ｅ ｒ ｅ —
关 键 词 ：最 长 名 词 短 语 ； 识 别； 归约 ； 基 本 名 词 短 语
中 图分 类 号 ：ＴＰ ３ ９ １ 文 献 标 识 码 ：Ａ
Ｃ ｈ ｉ ｎｅ ｓ ｅ Ｍａ ｘ ｉ ｍａ ｌ Ｎｏ ｕ ｎ Ｐｈ ｒ ａ ｓ ｅ Ｒｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ Ｂａ ｓ ｅ ｄ ｏ ｎ Ｒｅ ｄ ｕ ｃ ｔ ｉ ｏ ｎ
ｄｕｃ ｔ ｉ ｏ ｎ ｍｅ ｔ ｈ ｏｄ ｃ ｏｍ ｐ ｒ ｅ ｈ ｅ ｎｓ ｉ ｖ ｅ ｌ ｙ ｉ ｍｐ ｒ ｏｖｅ ｓ ｓ ｙｓ ｔ ｅ ｍ ｐｅ ｒ ｆ ｏｒ ｍａ ｎｃ ｅ，ｅ ｓ ｐｅ ｃ ｉ ａ ｌ ｌ ｙ ｉ ｔ ｉ ｍｐ ｒ ｏｖ ｅ ｓ Ｆ１ 一 ｓ ｃ ｏ ｒ ｅ ｂ ｙ １
汉语最长名词短语的自动识别
汉语最长名词短语的自动识别
周强;孙茂松;黄昌宁
【期刊名称】《软件学报》
【年(卷),期】2000(11)2
【摘要】通过对包含5573个汉语句子的语料文本中的最长名词短语的分布特点的统计分析,提出了两种有效的汉语最长名词短语自动识别算法:基于边界分布概率的识别算法和基于内部结构组合的识别算法.实验结果显示,后者的识别正确率和召回率分别达到了85.4%和82.3%,取得了较好的自动识别效果.
【总页数】7页(P195-201)
【作者】周强;孙茂松;黄昌宁
【作者单位】不详;不详
【正文语种】中文
【中图分类】TP18
【相关文献】
1.基于归约的汉语最长名词短语识别方法 [J], 钱小飞;侯敏
2.基于混合策略的汉语最长名词短语识别 [J], 钱小飞;侯敏
3.统计和规则相结合的汉语最长名词短语自动识别 [J], 代翠;周俏丽;蔡东风;杨洁
4.汉语内层最长名词短语的识别研究 [J], 钱小飞
5.汉语内层最长名词短语的识别研究 [J], 钱小飞
因版权原因，仅展示原文概要，查看原文内容请购买。
中文最长名词短语识别研究
本文还将最长名词短语识别应用到了面向特定任务的指代消解中。中文 最长名词短语包含了最长名词短语中的中心名词的修饰成分，这修饰成分中 会包括中心名词的性别、颜色、数量、日期、方位等类型的描述信息。指代 消解所需要则是上述一系列描述信息中的数量信息和性别等信息，因此可以 使用最长名词短语识别，从文本中提取出相应的信息，帮助指代消解的工 作。
Wang Yueying Prof. Zhao Tiejun Master of Engineering Computer Science and Technology School of Computer Science and Technology July, 2007 Harbin Institute of Technology
哈尔滨工业大学工学好的识别出名词短语可以很大程度 上帮助把握文章所表达的主要意思。而中文最长名词短语亦是如此。中文最 长名词短语应用于诸多自然语言处理任务中，如信息检索、文本分类、自动 文摘、指代消解等，因此对于中文最长名词短语的研究是有必要的。本文对 中文最长名词短语的识别作专门的研究，分别使用了隐马尔可夫模型和条件 随机域模型对中文最长名词短语进行识别。
关键词 名词短语；最长名词短语识别；隐马尔可夫模型；条件随机 域模型
- I-
名词短语提取的训练题目
名词短语提取的训练题目
本文档旨在提供一些训练题目，帮助练名词短语的提取。
以下是一些题目示例：
题目一
阅读以下句子，提取出句子中的名词短语：
1. 他是一位优秀的篮球运动员。
2. 这个城市的发展速度很快。
3. 大学生活充满了挑战和机会。
4. 他买了一本关于历史的书。
5. 这个问题的解决方案很复杂。
题目二
阅读以下短文，提取出短文中的名词短语：
中国的传统文化源远流长。
中国的建筑、绘画、音乐和舞蹈都
有独特的特色。
中国的饮食文化也非常丰富多样。
中国菜以其独特
的口味和精致的制作工艺而闻名世界。
中国的茶文化也是独具特色。
中国人喜欢品茗，喝茶已经成为生活中的一种乐趣。
题目三
思考以下话题，写一段描述，其中包含至少三个名词短语：
话题：旅行
描述：我最喜欢的旅行地是海滩。
我喜欢在沙滩上散步，感受
海风拂过脸颊的清爽。
在海滩上，我可以享受阳光、大海和沙滩的
美景。
我最喜欢的活动是冲浪。
毫无疑问，海滩旅行是我最喜欢的
度假方式之一。
以上题目可供练习名词短语的提取。
希望对您有所帮助！。
最大熵方法在英语名词短语识别中的应用研究
Ｗ‘ ＡＮＧ Ｘ ａ — ｕ ｎ ．Ｚ ｉｏ ｊａ ＨＡ０ Ｃ ｕ ｈｎ
（ ．Ｈ ａ ｇｕｉ ｎｖｒｉ ，Ｆｃｈ ｆ ｏ ｐ ｔ ， ｈ ｍ ｄａ ｅａ ６ ００ ｈ ａ １ ｕｎｈ ａ Ｕ ｉｅ ｔ ａｕ ｙｏ Ｃ ｍ ｕｅ Ｚ ｕ ａｉｎＨ ｎｎ４ ３０ ，Ｃ ｉ ； ｓｙ ｒ ｎ ２ Ｃ ｌｇ ｆ ｉｘ ｎ ， ｉ ｉ ｇＨ ｎｎ４３ ０ ， ｈ ａ ． ｏｅｅｏ Ｘｎｉ ｇ Ｘｎ ａ ｅａ ５ ０３ Ｃ ｉ ） ｌ ａ ｘｎ ｎ
ＡＢＳ ＲＡＣＴ ： ｓ ｔ ｅｂ ｓｓｏ ｈ ｙ ｔｘ ａ ￣ｙ ｉ ，Ｂ ｓ ＮＰ ｒ ｃ ｇ ｉ ｏ ｓａ ｏｔ ｎ ｔ ｐ ｉ ｎ ｌ ｈ ｍａ ｈ ｎ ａ ｓ Ｔ Ａ ｈ ａ ｉ ｆ ｅ ｓ ｎ ａ ｎ ｓ ｔ ｓ ａ ｅ ｅ ｏ ｎｔ ｎ ｉ ｎ ｉ ｒａ ｔ ｅ Ｅ ｇｉ ｃ ｉ ｅ ｔ ｎ — ｉ ｍｐ ｓ ｎ ｓ ｒ
最长名词短语识别研究
一
、
引言
模 仿 ／ 是 ／ Ｃ 更 为／ Ｄ 巧妙 ／ 的／ 一 ／ 位 ／ Ｎ 艺 术家 ｖ ｖ ｄ ａ ｕ ｍ ｑ
（ ）［ ２ 电荷 ／ 周 围／ ］ 有 ／ ［ 场 ／ ］ ｎ ｓ伴 ｖ 电 ｎ ，／ ［ ， 电场
最 长 名 词 短 语 识 别 研 究
口钱 小飞
摘 要 ：本 文分 析 了最 长 名 词短 语 的 内部 构 成 特征 ，提 出 了一种 基 于基 本 名 词 短语 中心 归约 的最 长 名词 短 语
识别方法，并使用条件 随机场模型识别 了最长名词短语 实验取得 了８． ８ 的正确率和８ ． １的召回率 。 ７ ５％ ８３％
｛ ”
汉 语 最 长 名词 短语 的识 别 效 果 逐 步 提 高 ， 但 由于Ｍ Ｐ自身 构 ／ 已／ 发 布 ／ 在 ／ 先 ／ 者 ／ ］，／ Ｎ ｄ ｄ ｖ ｐ ｆ ｋ ，Ｎ／ 尽行 ／ 削 ｃ ｄ 造 的 复 杂 性 ，Ｍ Ｐ 别 问题 还 有 待 进 一 步 的研 究 。在 前 人 研 芸 Ｎ识
造 概 率模 型识 ￣ Ｍ Ｐ 周 强 、孙 茂 松 等 （ ０ ０ ＩＮ ； Ｊ ２ ０ ）提 出两 种 不 展 ／ Ｎ 与 ／ 联 机／ 情 报／ 系 统／ 的 ／ 建 立／ Ｎ 为 ／Ｃ ｖ ｃ ｂ ｎ ｎ ｕ ｖ ｖ
同的 识 别 算法 ， 其 中基 于 内 部 结 构 组 合 的算 法 通 过 基 本 组 特 征 ／ 的／ ］ 。／ ｎ ｕ 。
最长 名词 短 语 （Ｎ ）的 识 别 能够 显 著 地 改 善 句 法 分 析 ／ ”／ 的 ／ 评 说／ Ｎ 。／ ＭＰ ｎ ” ｕ ｖ］ 。 等 系 统 的 性 能 。如 对 于 句 法 分 析 而 言 ， 最 长 名 词 短 语 在 句 识 别 出这 些 结 构 ， 可 以大 大 降低 句 法 分 析 过 程 中 的 浅层 歧
自然语言处理中的名词短语识别技术研究
自然语言处理中的名词短语识别技术研究一、引言自然语言处理（Natural Language Processing，简称NLP）是一门涉及语言学、计算机科学和人工智能等多个领域的交叉学科，在信息检索、机器翻译、自动问答等领域都有广泛的应用。
名词短语识别是NLP中的一个重要研究方向，其在信息提取、语义分析、文本分类等应用场景中都起到了至关重要的作用。
二、名词短语的定义名词短语是一个语言单位，指一个名词及其周围的修饰成分组成的“短语”。
一个名词短语通常由一个中心名词和与它相关的修饰成分组成，如形容词、副词、介词短语等。
例如，“红色苹果”就是一个名词短语，其中“苹果”是中心名词，“红色”则是其形容词修饰部分。
三、名词短语识别技术名词短语识别技术是一种将给定的自然语言文本中的名词短语标注出来的技术。
常用的方法主要包括基于规则的方法、机器学习方法和混合方法。
1.基于规则的方法基于规则的方法是一种使用手动编写的规则来识别名词短语的方法。
这种方法的优点是可以针对具体语言的语法规则来进行开发，具有较高的准确性和可解释性。
在此方法中，常用的规则包括分块规则、语法规则和语义规则等。
分块规则主要是指通过找到一定的分块模式来对名词短语进行划分，如NP（名词短语）-VP（动词短语）-NP。
语法规则则是通过语言的语法规则来识别名词短语，如使用上下文无关文法（Context-Free Grammar，CFG）描述名词短语。
语义规则则是通过语言的语义规则来对名词短语进行判断，如基于WordNet词库的语义规则。
2.机器学习方法机器学习方法是一种基于给定数据集进行训练的方法，通过学习数据集中的模式来进行名词短语识别。
机器学习方法主要包括基于统计的方法和基于神经网络的方法。
在统计学习方法中，通常采用基于条件随机场（Conditional Random Field，CRF）和最大熵模型（Maximum Entropy，ME）等算法。
在神经网络模型中，常用的方法主要包括循环神经网络（Recurrent Neural Network，RNN）和卷积神经网络（Convolutional Neural Network，CNN）。
浅层句法分析方法概述
浅层句法分析方法概述孙宏林俞士汶一、引言浅层句法分析(shallow parsing)，也叫部分句法分析(partial parsing)或语块分析(chunk parsing)，是近年来自然语言处理领域出现的一种新的语言处理策略。
它是与完全句法分析相对的，完全句法分析要求通过一系列分析过程，最终得到句子的完整的句法树。
而浅层句法分析则不要求得到完全的句法分析树，它只要求识别其中的某些结构相对简单的成分，如非递归的名词短语、动词短语等。
这些识别出来的结构通常被称作语块(chunk)，语块和短语这两个概念通常可以换用。
浅层句法分析的结果并不是一棵完整的句法树，但各个语块是完整句法树的一个子图(subgraph)，只要加上语块之间的依附关系(attachment)，就可以构成完整的句法树。
所以浅层句法分析将句法分析分解为两个子任务：（1）语块的识别和分析；（2）语块之间的依附关系分析。
浅层句法分析的主要任务是语块的识别和分析。
这样就使句法分析的任务在某种程度上得到简化，同时也利于句法分析技术在大规模真实文本处理系统中迅速得到利用。
90年代以来，国外在英语的浅层句法方面做了不少工作，国内也有一些学者采用英语中的方法探索汉语的浅层句法分析。
本文主要就在英语浅层句法分析中所应用的一些技术进行简要的介绍，并简单介绍汉语的有关研究。
其中有些方法虽然是面向完全句法分析的，但由于其对完全句法分析的任务进行了分解，所以其技术也可以归入浅层分析的范畴。
概括起来，句法分析的方法基本上可以分成两类：基于统计的方法和基于规则的方法。
当然也可以采用规则和统计相结合的混合方法。
下面第2节介绍基于统计的方法，第3节介绍基于规则的方法，第4节简要介绍汉语的有关研究，最后是结束语。
二、基于统计的方法随着语料库技术的发展，近10年来许多统计方法被用在短语识别和分析方面。
这些方法的理论主要来自概率统计和信息论。
以下将介绍其中具有代表性的几种方法：（1）基于隐马尔科夫模型的方法；（2）互信息方法；（3） 2统计方法；（4）基于中心词依存概率的方法。
基于混合策略的汉语最长名词短语识别
Ｃ ｏ ｍｍｕ ｎ ｉ ｃ ａ ｔ ｉ ｏ ｎ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｃ ｈ ｉ ｎ ａ ， Ｂ ｅ ｉ ｊ ｉ ｎ ｇ １ ０ ０ ０ ２ ４，Ｃｈ ｉ ｎ ａ ）
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ ：Ｔｈｉ ｓ ｐａ ｐ ｅ ｒ ｐ ｒ ｏ ｐｏ ｓ ｅ ｄ ａ ｃ ｌ ａｓ ｓ ｉ ｆ ｉ ｅ ｒ ｅ ｎｓ ｅ ｍ ｂｌ ｅ ｍｅ ｔ ｈｏ ｄ ｂ ａ ｓ ｅ ｄ ｏｎ ｔ ｈｅ ｌ ａ ｎｇｕ ａ ｇｅ ｅ ｖ ａ ｌ ｕａ ｔ ｉ ｏｎ， ａ ｎｄ ｆ ｕ ｓ ｅ ｄ ｔ ｈｅ Ｍ Ｎ Ｐ ｒ ｅ ｃ ｏ ｇｎｉ ｔ ｉ ｏｎ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｏｆ Ｓ ＶＭ ｓ ａｎ ｄ ｃ ａ ｓ ｃ ａ ｄｅ ＣＲ Ｆｓ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｒ ｅ ｄ ｕｃ ｔ ｉ ｏ ｎ ｍｅ ｔ ｈｏｄ，ｕｓ ｉ ｎ ｇ ｔ ｈｅ ａ ｕｔ ｏ ｍａ ｔ ｉ ｃ ａ ｌ ｌ ｙ ｏｂ ｔ ａ ｉ ｎ ｅ ｄ ｃ ｏ ｌ ｌ ｏｃ ａ— ｔ ｉ ｏ ｎｓ ａ ｎ ｄ ｔ ｈｅ ｍａ ｎｕ ａ ｌ ａ ｓ ｓ ｅ ｓ ｓ ｒ ｕｌ ｅ ｓ ．Ｉ ｔ ｔ ｈｅ ｎ ｆ ｕｒ ｔ ｈｅ ｒ ｔ ａ ｒ ｇｅ ｔ ｅ ｄ ｒ ｅ ｃ ｏ ｇｎ ｉ ｚ ｅ ｄ ｔ ｈｅ ｅ ｒ ｒ ｏｒ － ｐｒ ｏｎ ｅ ｓ ｔ ｒ ｕｃ ｔ ｕ ｒ ｅ ｓ ｏ ｆ ｔ ｈｅ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｓ
中 图分 类 号 ： ＴＰ ３ ９ １
文献标识码 ： Ａ
Ｃｈ ｉ ｎ ｅ ｓ ｅ Ｍａ ｘ ｉ ｍａ ｌ Ｎｏ ｕ ｎ Ｐｈｒ ａ ｓ ｅ Ｒｅ ｃ ｏ ｇ ｎｉ ｔ ｉ ｏ ｎ Ｂａ ｓ ｅ ｄ ｏ ｎ Ｍｉ ｘ ｅ ｄ Ｓ ｔ ｒ ａ ｔ ｅ ｇ ｙ
ＱＩ ＡＮ Ｘｉ ａ ｏ ｆ ｅ ｉ ，Ｈ０Ｕ Ｍｉ ｎ
基于辅助短语标记的名词短语识别
Ｊ ｏ ｕ ｍａ ｌ ｏ ｆ Ｓ ｈ ｅ ｎ ｙ ａ ｎ ｇ Ａｅ ｒ ｏｓ ｐ ａ ｃ ｅ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ
Ｖ Ｏ１ ． ３１ Ｎ ｏ ． １
Ｆｅ ｂ． ２ ０ １ ４
ｄ ｏ ｉ ： １ ０ ． ３ ９ ６ ９ ／ ｊ ． ｉ ｓ ｓ ｎ ． ２ ０ ９ ５—１ ２ ４ ８ ． ２ ０ １ ４ ． ０ １ ． ０ １ ２
Ｒｅ ｃ ｏ ｇ ｎｉ ｔ ｉ ｏ ｎ ｏ ｆ Ｃｈ ｉ ｎｅ ｓ ｅ ｎ ｏ ｕｎ ｐ ｈｒ ａ ｓ ｅ ｂａ ｓ ｅ ｄ ｏ ｎ ａ ｕ ｘ ｉ ｌ ｉ ａ ｒ ｙ ｐｈ ｒ ａ ｓ ｅ ｍａ ｒ ｋ
式对不 同分类体 系的短语类别之间进行映射 。然后 ， 根据 映射结 果及短语 的概 率分布进行辅 助短
语标记 的组合 。实验结果表 明， 本文 的方法在提高 值 的基础上 ， 有效地降低 了系统的时问开销 。
关键词 ： 辅助短语标记 ； 名词短语 ； 映射公式
中图分类号 ： Ｔ Ｐ ３ ９ １ ． １ 文献标志码 ： Ａ
Ｌ Ｉ Ｕ Ｆ ｅ ｉ ， Ｚ Ｈ Ｏ Ｕ Ｑ ｉ ａ ｏ — ｌ ｉ ， Ｚ ＨＡ ＮＧ Ｇ ｕ ｉ — ｐ ｉ ｎ ｇ
（ Ｋ ｎ ｏ ｗ ｌ ｅ ｄ ｇ ｅ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ Ｃ ｅ ｎ ｔ ｅ ｒ ， Ｓ ｈ ｅ ｎ ｙ ａ ｎ ｇ Ａ ｅ ｒ ｏ ｓ ｐ ａ ｃ ｅ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ， Ｓ ｈ ｅ ｎ ｙ ａ ｎ ｇ １ １ ０ １ ３ ６ ）
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ ：Ｎ ｏ ｕ ｎ Ｐ ｈ ｒ ａ ｓ ｅ Ｒｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ｉ ｓ ｏ ｎ ｅ ｏ ｆ ｔ ｈ ｅ ｍｏ ｓ ｔ ｃ ｉｔ ｒ ｉ ｃ ａ ｌ ｃ ｏ ｍｐ ｏ ｎｅ ｎ ｔ ｓ ｉ ｎ ｎ ａ ｔ ｕ ｒ ａ ｌ ｌ ａ ｎｇ ｕ ａ ｇ ｅ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ｉｅ ｆ ｌ ｄ． Ｔｈ ｅ ｎｏ ｕ ｎ ｐ ｈ ｒ ａ ｓ ｅ ｒ ｅ ｃ ｏｇ ｎ ｉ ｔ ｉ ｏ ｎ ｐｅ ｒ ｆ ｏ ｒ ｍａ ｎ ｃ ｅ ａ ｎ ｄ ｉ ｔ ｓ ｅ ｉｃ ｆ ｉ ｅ ｎ ｃ ｙ ａ ｒ ｅ ｔ ｈ ｅ ｆ ｏ ｃ ｕ ｓ ｏ ｆ ｒ ｅ ｓ ｅ ｒｃ ａ ｈｅ ｒ ｓ ａ ｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ． Ｉ ｎ ｏ ｒ ｄ ｅ ｒ ｔ ｏ ｃ ｏ ｍｂ ｉ ｎ ｅ ｔ ｈｅ ｔ ｗｏ ｅ ｌ ｅ ｍｅ ｎ ｔ ｓ， ｔ ｈ ｉ ｓ ｐ ａ ｐ ｅ ｒ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｓ ａ ｍｅ ｔ ｈｏ ｄ ｏ ｆ ｒ ｅ ｃ ｏ ｇ ｎｉ ｚ ｉ ｎ ｇ ｎ ｏ ｕ ｎ ｐ ｈ ｒ ａ ｓ ｅ ｓ ｂａ ｓ ｅ ｄ ｏ ｎ ａ ｕ ｘ ｉ ｌ — ｉ ａ ｒ ｙ ｐ ｈ ｒ ａ ｓ ｅ ｍａ ｒｋ． Ｆ ｉ ｒ ｓ ｔ ， ｔ ｈ ｉ ｓ ｐ ａ ｐ ｅ ｒ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ｓ ａ ｍａ ｐ ｐｉ ｎ ｇ ｂ ｅ ｔ ｗｅ ｅ ｎ ｐ ｈ ｒ ａ ｓ ｅ ｓ ｂ ｙ ｕｓ ｉ ｎ ｇ ｈｅ ｔ ｍａ ｐ ｐｉ ｎ ｇ ｆ ｏ ｒ ｍｕ ｌ ａ ｂ ａ ｓ ｅ ｄ
汉维语短语搭配的识别和对齐
２ １ 亟 ０１
设 一 个 汉 维 语 句 子 对 齐 ＜ Ｃ Ｕ ＞ Ｃ的 汉 字 数 目为 ｌ， 语 ， 维
文献 ［ ］ 出了一 种短语 切分 方法 ， 句子 的短语 切分 概 ６提 将
率化 ， 识别出汉语语料库 中出现次 数大 于 ２次 的词 语 串作 为汉 语短语 ， 然后用 最短路径 方法进行 短语切分 ， 实验 表明 ， 于长 对 句子 ， 短语切分模型的加入有助于提高 翻译质量 。
文 献［ ］ ８ 采用条 件随 机域建 立统计 模 型 ， 针对 性地 研究 有
法 。然而 ， 词作为翻译 的基本单元 ， 不能很好地解决词 在翻译时
对上下文 的依赖 问题。 因此 ， 有效 的基于短 语 的模 型 出现并 更 成为统计机器 翻译方 法的主流。基于短语模型 的方法在 翻译 时
和维语 单词的共现信息 ， 免语 料 中个别词 汇数 目极少 而共现信息值较 大 出现 噪音 ， 用 ｔ 避 采 检验 消 除， 相对 于利用 分词和 词性标 注
等技术 的抽取 方法 ， 算法简单且 时间效率较高 。实验 结果表 明， 该 该方 法利用 较小规模 的语 料库也 能达到 较好 的短语搭 配抽取 效
３ ）输 出扩 展区域对应 的汉维 语搭 配词汇 ， 将扩展 区域 所在 的行列值均赋值为 一 ９ ， ９ ９ 转步骤 １ 。
４ ）将 剩余 没有扩展的序列 直接合 并作 为汉维语 短语搭 配
输 出。
文献 ［３ 提出了基 于 “ １］ 有效 句 型” 概念 和 “ 翻译 中相对 不变 准
禹 龙 田生伟 杨飞宇
（ 新疆 大学 网络 中心 新疆 乌鲁木齐 ８ ０４ ） ３ ０ ６ 新疆 乌鲁木齐 ８ ０４ ３０ ６）
（ 新疆大学信息科 学与工程学 院 新疆 乌鲁木齐 ８ ０４ ） ３ ０６
英汉“时名—long／—长”结构化及其句法特征考察
英汉“时名—long／—长”结构化及其句法特征考察本文基于词汇化理论，采取定量分析方法，借用来自BNC以及CCL的语料，考察英汉“时间名词-long/-长”结构化及其句法特征。
首先，结构化上“有异无同”，英汉部分高频时间名词可被“时名-long/-长”形容词化；汉语“时名-长”结构通常不能形容词化，少部分可以名词化。
其次，句法上“同大于异”，英语“时名-long”形容词化和汉语“时名-长”名词化后其句法特征名词性显著，作前置定语，通常不能作后置定语、表语、主语补足语、宾语补足语，都无程度词修饰、比较级、最高级、评价句、结果句、祈使句、拷贝句，差异在于英语作前置定语自由，而汉语必需“的”字结构化。
标签：英汉时名-long/长结构化句法特征一、引言“英汉‘时名-long/-长’结构化”是指“时间名词-long/-长”的结构化现象，如“year-long”和“周长”，前者是将英语时间名词形容词化，其结果是获得一个复合形容词，表示“特定时长”，后者则是将少数汉语时间名词名词化，得到一个复合名词或非独立的语言结构，如，“天长”不能独立使用，需与“地久”组合成为“天长地久”，方能表意独立成词。
二、相关研究及本文的研究方法与步骤（一）相关研究与不足就时间名词的相关研究而言，或研究“时间名词-ly/-的”结构及其句法特征（如：罗思明、王文斌，2015），或关注“大+时间名词（+的）”结构（如：顾倩，2013），或考察时间名词的搭配（如：陈晦，2011；曹瑞芳，2014），却未见有人对英语中“时间名词-long”结构以及汉语中“时间名词-长”结构进行研究，也未见有专文对此二者结构进行对比。
鉴于此，本文基于词汇化理论和较为详尽的语料，对比分析英汉“时间名词-long/-长”的结构化及其句法特征。
（二）本文研究方法与步骤研究方法。
首先，基于语料库，定量考察英汉“时间名词-long/-长”结构化及其使用频率。
然后，立足定量结果，定性探究其句法异同。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最长名词短语识别研究本文分析了最长名词短语的内部构成特征,提出了一种基于基本名词短语中心归约的最长名词短语识别方法,并使用条件随机场模型识别了最长名词短语。
实验取得了87.58%的正确率和88.31%的召回率。
标签：最长名词短语基本名词短语条件随机场中心规约一、引言最长名词短语(MNP)的识别能够显著地改善句法分析等系统的性能。
如对于句法分析而言,最长名词短语在句子中主要充当主语和宾语,其内部结构复杂多样。
正确地识别出这些结构,可以大大降低句法分析过程中的浅层歧义,提高句法分析器的性能。
最长名词短语的识别研究涉及自然语言处理中常见的统计和规则方法。
李文捷等(1995)使用边界分布信息构造概率模型识别MNP;周强、孙茂松等(2000)提出两种不同的识别算法,其中基于内部结构组合的算法通过基本组合成分向左迭代组合,形成新的最长名词短语,取得了良好效果;代翠等(2008)则使用了条件随机场模型识别最长名词短语,并针对识别错误使用后继规则进行修正。
总的来说,随着一些新的统计模型和新方法的应用,汉语最长名词短语的识别效果逐步提高,但由于MNP自身构造的复杂性,MNP识别问题还有待进一步的研究。
在前人研究的基础上,本文提出了一种基于基本名词短语中心压缩的最长名词短语的方法,并基于条件随机场模型实现了该方法,实验证实了这种方法的有效性。
二、最长名词短语及其构成中文信息处理学界所说的“名词短语”与本体语言学的定义大体一致,是“名词性短语”“体词性短语”的意思。
周强、孙茂松等(2000)从组成结构上将名词短语分为最短名词短语(MNP)、最长名词短语(MNP)、一般名词短语(GNP)三类,其中,最长名词短语的定义沿承了Kuang-hua Chen (1994)关于英语MNP的定义,指“不被其他名词短语所包含的名词短语”。
我们把最长名词短语定义为不被其他任何名词短语所包含的名词短语,最长名词短语是句子级的短语单位,其上层结构即为句子根节点S。
本文定义的最长名词短语包含单词短语,下面的句子用括号标注了MNP:(1)[罗马/nS 时代/n]也/d 有/v[“/“想象/v 比/p 模仿/v 是/vC 更为/dD 巧妙/a 的/u 一/m 位/qN 艺术家/n ”/” 的/u 评说/vN]。
/。
(2)[电荷/n 周围/s]伴有/v [电场/n],/,[电场/n]对/p [电荷/n]产生/v [力/n 的/u 作用/n]。
/。
从内部结构看,可以把最长名词短语分为后附式结构、定中式结构和联合式结构。
通常后附式结构内部较为复杂,以“的”字结构、“者”字结构等最为典型:(3)[它/rN]是/vC 【以/p 情报/n 技术/n 的/u 发展/vN 与/c 联机/b 情报/n 系统/n 的/u 建立/vN 为/vC 特征/n 的/u】。
/。
(4)“/“ 在/p [学术/n 研究/vN]上/f 有/v [创新/n]才/d 能/vM 有/v [建树/n],/,凡/d [自己/rN]在/p [学术/n]上/f 提出/v [新说/n],/,一旦/d 发现/v [其/rN]有/v 【与/p 别人/rN 偶同/a、/、而/c 别人/rN 确/d 已/d 发布/v 在/p 先/f 者/k】,/,则/c 尽行/d 削去/v 。
/。
”/”此外,后附式结构还包括一些简单的构形结构:(5)[我/rN]最/dD 不/dN 习惯/v 也/d 最/dD 讨厌/v 【男人/n 们/k】指/v 着/u [自己/rN 的/u 鼻尖/n]数落/v “/“ [你们/rN 女人/n]……/…… ”/”[女人/n]怎么/rV 啦/y 。
/。
定中式结构是最长名词短语最主要的结构类型,其中包括含“的”的定中式结构和不含“的”的定中式结构。
正如“的”字结构一样,含“的”的定中式结构内部比较复杂,可以是简单结构,如“形容词+的+名词”的模式,也可以是复杂的“动词短语+的+名词短语”模式:(6)不/dN 在/p【想/vM 哭/v 的/u 时候/n】佯装/v [笑脸/n],/, 也/d 不/dN 会/vM 在/p【高兴/a 的/u 时候/n】收敛/v【自己/rN 的/u 情绪/n】。
/。
不含“的”的最长名词短语以简单结构居多,如例(4)中的“学术/n 研究/vN”,但也存在极少数复杂结构,如“动词短语+名词”构成的MNP:(7)“/“ [伟大/a 的/u 理论/n]指导/v [伟大/a 的/u 实践/vN],/, 【建设/v 有/v 中国/nS 特色/n 社会主义/n 理论/n】为/p [中华/nR 民族/n]指出/v 了/u [腾飞/v 之/u 路/n]。
/。
”/”联合式MNP也可以分为简单联合结构和复杂联合结构,简单联合结构由不含“的”的简单定中式结构联合而成,复杂联合结构由简单MNP与复杂MNP、复杂MNP与复杂MNP、甚至复杂MNP与谓词性短语联合而成,下面是一个复杂联合结构的例子:(8)可是/c,/,在/p[目前/t 经济/n 体制/n 转型/v 时期/n],/, 由于/p【法律/n 法规/n 的/u 不/dN 健全/a 以及/c 监督/vN 机制/n 的/u 薄弱/a】,/, 由于/p [利己主义/n 、/、拜金主义/n 的/u 影响/vN],/,[一些/m 人/n][社会/n 责任感/n 和/c 社会/n 道德/n 观念/n]淡薄/a ,/,[有的/rN 人/n]甚至/d 扰乱/v [社会/n 秩序/n],/,败坏/v [社会/n 风气/n]。
/。
可以看出,相对于组块分析中的基本名词短语,最长名词短语长度较大,内部结构较为复杂。
我们的想法是先识别基本名词短语,对基本名词短语进行规约,再识别最长名词短语。
这在一定程度上可以化解底层歧义,缩短结构长度,提高识别效率。
三、条件随机场模型条件随机场是Lafferty在2001年提出的一个序列切分和标注模型。
令X表示一个待标记数据序列的随机变量,Y表示相应的标记的序列,则条件随机场(X,Y)是以X为全局条件的无向图模型。
条件随机场的定义如下:令G=(V,E)是一个无向图,Y=(Yv),那么,Y以G的顶点为索引。
如果当以X为条件,随机变量Yv遵从图的马尔科夫属性:=,其中,w～v表示w和v是图中相邻的结点,那么(X,Y)就是一个条件随机场。
常见的图G是一个简单的链结构。
比如,序列X=(X1,X2,…,Xn)和Y=(Y1,Y2,…,Yn)。
这样,在给定x的情况下,标记序列y的联合分布具有以下形式:其中,x表示观察数据,y表示一个标记序列,和是特征函数。
和分别是它们的权值。
是归一化函数。
最长名词短语识别可以看作是文本中词语序列、词性标记序列等特征选择边界标记的过程,因此,可以采用适当的识别策略,利用CRF进行边界识别。
四、基于基本名词短语中心规约的最长名词短语识别(一) 基本名词短语的识别赵军(1998)针对汉语动词可以充当定语的特点,从基本名词短语内部结构的角度提出了汉语基本名词短语的定义:baseNPbaseNP+baseNPbaseNPbaseNP+名词|名动词baseNP 限定性定语+baseNPbaseNP限定性定语+名词|名动词限定性定语形容词| 区别词| 动词| 名词| 处所词| 西文字串| 数量词本文的研究针对最长名词短语识别,将基本名词短语定义为以名词性成分为中心,同时不包括谓词性结构的最大名词性短语。
如:(9)对/p 企业/n ,/, 保证/v 其/rN 实现/v [生产/vN 计划/n 任务/n]和/c [流通/vN 计划/n 任务/n]所/u 需要/v 的/u [资金/n 供给/vN];/; 对/p [整个/b 经济/n],/, 保证/v 实现/v [生产/vN 资料/n]和/c [消费/vN 资料/n]进行/v [计划/vN 流转/vN]所/u 必需/v 的/u [货币/n 供给/vN]。
/。
我们使用CRF模型,选择前后3个词和词性作为简单特征,语料格式如下:表1:基本名词短语标注格式样例词语词性baseNP标记多数m B人n I持v O肯定 a B意见n I, , O(二)最长名词短语的识别首先基于基本名词短语的识别结果进行规约,以中心词替代基本名词短语本身,使用上文的例子,过程如下所示:基本名词短语识别结果:[多数/m 人/n]持/v[肯定/a 意见/n],/,基本名词短语规约结果:[人/n]持/v[意见/n],/,同时,我们记录了中心规约过程中的基本名词短语结构长度,是否中心词等信息,单词基本名词短语的结构长度规定为0,是否中心词为“否”。
新的模型选择前后3个词及词性,以及当前词是否为中心词、当前基本名词短语的长度作为特征。
语料格式如下:表2:中心规约实验标注格式样例词语词性是否中心词 baseNP长度MNP标记人n Head 2 B持v No 0 O意见n Head 2 B, , No 0 O五、实验结果及分析实验从清华大学TCT树库中随机抽取10000个无重复的段落,其中9000段用作训练语料,另外1000句用作测试语料。
(一)基本名词短语实验基本名词短语的实验语料及其比例与上文划分的最长名词短语实验语料相同,以其中9000段用作训练语料,另外1000句用作测试语料。
实验结果如下:表3:基本名词短语识别实验结果测试类型SC RC CC P R F封闭测试17261 17262 17260 99.99 99.99 99.99开放测试1892 1915 1722 89.92 91.01 90.46其中,SC、RC、CC分别表示结构数、识别数和正确数,P表示正确率,R表示召回率,F表示调和平均值。
可以看出,开放测试中,由于基本名词短语内部结构相对简单,实验取得了较好的效果,基本名词短语识别的F值达到90.46%,为最长名词短语的识别奠定了一定的基础。
(二)最长名词短语实验我们选择不同的窗口长度,以及中心规约特征构成不同的特征模板观察特征对于MNP识别结果的影响。
评测结果是将中心规约的语料还原为原始标注语料后进行的。
表4报告了开放测试的实验结果。
表4:中心规约的特征模板测试模板窗口中心规约特征SC RC CC P R F1 [-1,1] 中心词4122 4146 3558 85.82 86.32 86.072 [-2,2] 中心词4122 4141 3611 87.20 87.60 87.403 [-3,3] 中心词4122 4156 3140 87.58 88.31 87.944 [-3,3] 中心词+长度4122 4154 3636 87.53 88.21 87.875 [-3,3] 长度4122 4155 3637 87.53 88.23 87.886 [-3,3] - 4122 4152 3627 87.36 88.00 87.687 - - 4122 4164 3603 86.53 87.41 86.97其中,模板7对应了不采用基本名词短语中心规约的简单实验。