自然语言理解

T =（the,man,killed,a,deer,likes) N =（S,NP,VP,N,ART,V,Prep,PP) S=S P：(1) S→NP+VP (2) NP→N (3) NP→ART+N (4) VP→V (5) VP→V+NP (6) ART→the|a
13
(7)N→man|deer
14
10.4.2 句法分析树
在对一个句子进行分析的过程中，如果把分析句子各 成分间关系的推导过程用树形图表示出来，那么这种图 称为句法分析树。 例如：The man killed a deer S →NP + VP →The man + VP
.
→ART + N + VP →The man + V + NP
特点：切分单词容易，找出词素复杂。
词法分析算法举例：
repeat look for word in dictionary if not found then modify the word
例：importable分为 import-able或 im-port-able
Until word is found or no further modification possible
4
10.1.2 自然语言理解研究的产生与发展
1. 萌芽时期（20世纪40年代末50年代初）
A. Donald Booth & W. Weaver 2. 以关键词匹配技术为主的时期 （20世纪60年代始）
M. Chomsky 形式语言和文法
3. 以句法语义分析技术为主的时期 （ 20世纪70年代后）
SHIPNAME→HUANGHE|CHANGJIANG
CLASSNAME→carrier|submarine
23
10.5.2 格文法
目的：为了找出动词和跟动词处在结构关系中的名词的
语义关系，同时也涉及动词或动词短语与其他的各种名词 短语之间的关系。
例：Mary hit Bill Bill was hit by Mary (Hit(Agent Mary) (Dative Bill))
19
10.4.4 扩充转移网络
短语（NP）的扩充转移网络 ：
① f→g A:Number←*.Number ② g→h C:Number←*.Number or Ф
应用：检查NP中数的一致问题，其中特征是“数”， 值为单数和复数。C是弧上的条件，A是弧上的操作。* 是当前值。 this book，the book，the books，these books 可以顺利 通过，而this books或these book就无法通过。
例：
开始状态
开始状态 NP→ART + N NP→N 开始状态
NP
中间状态
中间状态
N
VP
S→NP + VP 终止状态 终止状态 终止状态
ART
N
V
中间状态
V
NP
NP→V + NP NP→V
17
10.4.3 转移网络
例 The man laughed.
18
10.4.4 扩充转移网络
ATN（augmented transition network ）
（3）逐词遍历匹配法 ：逐词遍历匹配法中存放的词按 由长到短的顺序，逐个与待切分的语料文本进行匹配， 直到把文本中的所有词都切分出来为止。
28
10.6.2 汉语自动分词方法
汉语自动分词难点：
（1）词的概念 （2）岐义问题 （3）未登录词的识别 各类名字、缩略语、派生词、专业术语
29
10.6.3 汉语词性的标注方法
10.7 机器翻译 10.8 语音识别
25
10.6.1 语料库及其特征
基于规则方法的缺点：自然语言理解的复杂性，各种 知识的“数量”繁多，高度的不确定性和模糊性。 1990年l 3届国际计算机语言学大 传统词典特征及不足： 会提出大规模真实文本目标 特征：把各类不同的信息放入一个词汇单元中，包 括拼音、读音、词形变化及派生词、词根、短语、时 态变换的定义及说明、同义词、反义词、特殊用法注 释，偶尔还有图示或插图。
11
10.4 句法分析
10.4.1 乔姆斯基的形式文法
10.4.2 句法分析树
10.4.3 转移网络
10.4.4 扩充转移网络
12
10.4.1 乔姆斯基的形式文法
1950年提出，表示形式：G = (T，N，S，P) T：终结符集合 N：非终结符集合 S：起始符 P：产生式规则集
例 1 G=（T，N，S，P）
文字表达句子的层次：词素→词或词形→词组或句子。
语用分析：研究语言所存在的外界环境对语言使用产 生的影响。
构成单词发音的独立单元是音素。上下文不同而发音 不同。 语音分析就是根据音位规则，从语言流中区分出一个 个独立的音素，再根据音位形态规则找出一个个音节 及其对应的词素或词。
7
第10章 自然语言理解及其应用
包含将近95 600个词形(51 500单词和44100搭配词)和70 100个词义，分为名词、动词、形容词、副词和虚词5类。
WordNet中，按语义而不是按词性来组织词汇信息，名 词有57 000个，含有48 800个同义词集，分成25类文件， 平均深度12层。最高层为根概念，不含有固有名词。
汉语词法分析 特点：找出词素简单，切分出词困难。 例如：优秀人才学人才学 1. 优秀人－才学人才学 2. 优秀人才－学人才学
10
第10章 自然语言理解及其应用
10.1自然语言理解的概念与发展历史 10.2 语音分析 10.3 词法分析
10.4 句法分析
10.5 语义分析 10.6 基于语料库的大规模真实文本的处理 10.7 机器翻译 10.8 语音识别
9
10.3 词法分析
例如：对于单词catches、ladies可以做如下的分析。
ladies, 词典中查不到 ly副词后辍； ladie 修改1：去掉s ed动词过去分词 ladi 修改2：去掉e lady 修改3：把i变成y 这样，在修改2的时候，就可以找到catch，在修改3的时候就可以找到lady。 catches catche catch
特点：允许以动词为中心构造分析结果，尽管文法规则
只描述句法，但分析结果产生的结构却对应于语义关系，
而非严格的句法关系。
24
第10章 自然语言理解及其应用
10.1 自然语言理解的概念与发展历史
10.2 语音分析
10.3 词法分析
10.4 句法分析
10.5 语义分析
10.6 基于语料库的大规模真实文本的处理
10.4 句法分析
10.5 语义分析 10.6 基于语料库的大规模真实文本的处理 10.7 机器翻译 10.8 语音识别
2
第10章 自然语言理解及其应用
10.1 自然语言理解的概念与发展历史
10.2 语音分析 10.3 词法分析 10.4 句法分析 10.5 语义分析 10.6 基于语料库的大规模真实文本的处理 10.7 机器翻译 10.8 语音识别
相关联。
简单做法：依次使用独立的句法分析程序和语义解释 程序。 缺点：使句法分析、语义分析分离 语义文法
格文法
22
10.5.1 语义文法
语义文法是将文法知识和语义知识组合起来，以统
一的方式定义为文法规则集。
舰船信息：
S→PRESENT the ATTRIBUTE OF SHIP PRESENT→What is|Can you tell me ATTRIBUTE→length|class SHIP→the SHIPNAME|CLASSNAME
ATN由一组转。由寄存器的方式实现。
ATN的寄存器构成：句法特征寄存器和句法功能寄存器。
数：单数和复数，缺省为空
特征寄存器：每一维特征都由一个特征名和一组特征 值以及一个缺省值来表示。 功能寄存器：反映了句法成分之间的关系和功能。
20
第10章 自然语言理解及其应用
10.1 自然语言理解的概念与发展历史
10.2 语音分析
10.3 词法分析
10.4 句法分析
10.5 语义分析
10.6 基于语料库的大规模真实文本的处理 10.7 机器翻译 10.8 语音识别
21
10.5 语义分析
语义分析是将句法成分与应用领域中的目标表示
Artificial Intelligence Principles and Applications
第 10 章 自然语言理解及其应用
教材：
王万良《人工智能及其应用》（第2版）
高等教育出版社，2008. 6
第10章 自然语言理解及其应用
10.1 自然语言理解的概念与发展历史
10.2 语音分析
10.3 词法分析
10.1自然语言理解的概念与发展历史
10.2 语音分析
10.3 词法分析
10.4 句法分析
10.5 语义分析 10.6 基于语料库的大规模真实文本的处理 10.7 机器翻译 10.8 语音识别
8
10.3 词法分析
定义：从句子中切分出单词，找出词汇的各个 词素 ，并确定其词义。
例：unchangeable： un-change-able 英语词法分析
不足：以“树”为例，解释为一种大型的、木制的、
多年生长的、具有明显树干的植物。
缺失了很多构造性信息
26
10.6.1 语料库及其特征
90年代，自然语言理解的研究在基于规则的技术中引 入语料库，包括统计方法、基于实例的方法和通过语 料加工手段使语料库转化为语言知识库的方法等。 WordNet语料库：1990年由Princeton大学的Miller等人 设计和构造的。