《人工智能》-第十一章 自然语言理解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第十一章 自然语言理解 (Natural Language Understanding)
11.1 语言及其理解的一般问题 11.2 句法和语义的自动分析 11.3 句子的自动理解 11.4 语言的自动生成 11.5 自然语言理解系统应用举例 11.6 小结
11.1 语言及其理解的一般问题
(General Issues of Language and Its Understanding)
❖ 自然语言理解的研究已促进计算机辅助语言教 学(CALI)和计算机语言设计(CLD)等的发展。
中南大学 智能系统与智能软件研究所
6
11.1 语言及其理解的一般问题
11.1.3 自然语言理解过程的层次
语言的分析和理解过程是一个层次化 的过程，它主要包括如下四个层次：
❖ 语音分析 ❖ 词法分析 ❖ 句法分析 ❖ 语义分析
中南大学 智能系统与智能软件研究所
12
11.2 句法和语义的自动分析
用LFG语法对句子进行分析的过程如下：
❖ 用上下文无关语法分析获得C-structure，不 考虑语法中的下标；该C-structure就是一棵 直接成分树；
❖ 将各个非叶节点定义为变量，根据词汇规 则和语法规则中的下标，建立功能描述(一 组方程式)；
❖ 对方程式作代数变换，求出各个变量，获 得功能结构F-structure。
中南大学 智能系统与智能软件研究所
13
11.2 句法和语义的自动分析
11.2.4 语义的解析
语义解析的步骤如下：
❖ 第一步 确定每个词在句子中所表达的词义；
❖ 第二步 根据已有的背景知识来确定语义。
逻辑形式表达是一种框架式的结构，它表达一 个特定形式的事例及其一系列附加的事实，如 “Jack kissed Jill”，可以用如下逻辑形式来表 达：
11.1.1 语言与语言理解
❖ 语言是用于传递信息的表示方法、约定和规 则的集合，它由语句组成，每个语句又由单 词组成；组成语句和语言时，应遵循一定的 语法与语义规则。
❖ 要研究自然语言理解，必须对自然语言的构 成有个基本认识。
❖ 语言的构成框图如图11.1所示
中南大学 智能系统与智能软件研究所
2
语言
q4
pron.
q0
q3
qT
q2
noun
verb
adj
q5
noun
adj
图11.2 转移网络(TN)
中南大学 智能系统与智能软件研究所
9
11.2 句法和语义的自动分析
11.2.2 扩充转移网络
扩充转移网络ATN是由一组网络所构成 的，每个网络都有一个网络名，每条弧 上的条件扩展为条件加上操作。 ATN的每个寄存器由两部分构成：
中南大学 智能系统与智能软件研究所
11
11.2 句法和语义的自动分析
11.2.3 词汇功能语法(LFG)
LFG用一种结构来表达特征、功能、词汇和 成分的顺序。
LFG对句子的描述分为两部分：
❖ 直接成分结构(Constituent Structure,简称CStructure);
❖ 功能结构(Functional Structure,简称F-structure)。
11.3.1 简单句的理解方法 为了理解一个简单句，需要做以下两方 面 的工作：
❖ 理解语句中的每一个词。
(PAST S1 KISS-ACTION［AGENT(NAME j1
PERSON“Jack”)］［THEM ENAME(NAME j2
中南大学 智能P系E统与R智S能软O件N研究“所Jill”)］)
14
11.3 句子的自动理解
(Automatic Understanding of Sentences)
中南大学 智能系统与智能软件研究所
5
11.1 语言及其理解的一般问题
11.1.2 自然语言理解研究的进展
❖ 机器翻译是自然语言理解最早的研究领域。
❖ 70年代初期，对语言理解对话系统的研究取得 进展。
❖ 80年代，自然语言理解的应用研究广泛开展， 机器学习研究又十分活跃。
❖ 自然语言理解的研究为专家系统的知识获取提 供了新的途径。
这也可以用状态转移图来表示，称之为转移网络 (TN，transition network)，如图11.2所示。
图中，q0,q1,…qT是状态，q0是初态，qT是终态。弧 上给出了状态转移的条件以及转移的方向。
中南大学 智能系统与智能软件研究所
8
11.2 句法和语义的自动分析
q pron. v源自文库rb 1
11.1 语言及其理解的一般问题
词汇
语法
词 熟语
词法
句法
词素
构形法 构词法 词组构 造法
图11.1 语言的构成图
中南大学 智能系统与智能软件研究所
造句法
3
11.1 语言及其理解的一般问题
❖ 从微观上讲，语言理解是指从自然语 言到机器(计算机系统)内部之间的一种 映射。
❖从宏观上看，语言理解是指机器能够 执行人类所期望的某些语言功能。这 些功能包括：
中南大学 智能系统与智能软件研究所
7
11.2 句法和语义的自动分析
(Automatic Analysis of Syntax and Semantics)
11.2.1 句法模式匹配和转移网络
句法分析最为简单直观的方法------模式匹配。
一个句子可以表示成：
(pronoun∨(adj*noun))verb(pronoun∨(adj*noun))
❖ 句法特征寄存器 ❖ 句法功能寄存器
图11.3所示是一个简单的名词短语(NP) 的扩充 转移网络。
中南大学 智能系统与智能软件研究所
10
11.2 句法和语义的自动分析
6: prop.
NP f
5: pron. 1: det
g
4: noun
2: jump
3: adj
8: send
h
7: pp
图11.3 名词短语(NP)的扩充转移网络
❖ 回答有关提问；
❖ 提取材料摘要；
❖不同词语叙述；
❖不同语言翻译。
中南大学 智能系统与智能软件研究所
4
11.1 语言及其理解的一般问题
怎样才算理解了语言呢? 归纳起来主要有 以下几个方面：
❖能够理解句子的正确词序规则和概念，又能理 解不含规则的句子
❖知道词的确切含义、形式、词类及构词法 ❖了解词的语义分类以及词的多义性和歧义性 ❖指定和不定特性及所有(隶属)特性 ❖问题领域的结构知识和时间概念 ❖语言的语气信息和韵律表现 ❖有关语言表达形式的文学知识 ❖论域的背景知识
11.1 语言及其理解的一般问题 11.2 句法和语义的自动分析 11.3 句子的自动理解 11.4 语言的自动生成 11.5 自然语言理解系统应用举例 11.6 小结
11.1 语言及其理解的一般问题
(General Issues of Language and Its Understanding)
❖ 自然语言理解的研究已促进计算机辅助语言教 学(CALI)和计算机语言设计(CLD)等的发展。
中南大学 智能系统与智能软件研究所
6
11.1 语言及其理解的一般问题
11.1.3 自然语言理解过程的层次
语言的分析和理解过程是一个层次化 的过程，它主要包括如下四个层次：
❖ 语音分析 ❖ 词法分析 ❖ 句法分析 ❖ 语义分析
中南大学 智能系统与智能软件研究所
12
11.2 句法和语义的自动分析
用LFG语法对句子进行分析的过程如下：
❖ 用上下文无关语法分析获得C-structure，不 考虑语法中的下标；该C-structure就是一棵 直接成分树；
❖ 将各个非叶节点定义为变量，根据词汇规 则和语法规则中的下标，建立功能描述(一 组方程式)；
❖ 对方程式作代数变换，求出各个变量，获 得功能结构F-structure。
中南大学 智能系统与智能软件研究所
13
11.2 句法和语义的自动分析
11.2.4 语义的解析
语义解析的步骤如下：
❖ 第一步 确定每个词在句子中所表达的词义；
❖ 第二步 根据已有的背景知识来确定语义。
逻辑形式表达是一种框架式的结构，它表达一 个特定形式的事例及其一系列附加的事实，如 “Jack kissed Jill”，可以用如下逻辑形式来表 达：
11.1.1 语言与语言理解
❖ 语言是用于传递信息的表示方法、约定和规 则的集合，它由语句组成，每个语句又由单 词组成；组成语句和语言时，应遵循一定的 语法与语义规则。
❖ 要研究自然语言理解，必须对自然语言的构 成有个基本认识。
❖ 语言的构成框图如图11.1所示
中南大学 智能系统与智能软件研究所
2
语言
q4
pron.
q0
q3
qT
q2
noun
verb
adj
q5
noun
adj
图11.2 转移网络(TN)
中南大学 智能系统与智能软件研究所
9
11.2 句法和语义的自动分析
11.2.2 扩充转移网络
扩充转移网络ATN是由一组网络所构成 的，每个网络都有一个网络名，每条弧 上的条件扩展为条件加上操作。 ATN的每个寄存器由两部分构成：
中南大学 智能系统与智能软件研究所
11
11.2 句法和语义的自动分析
11.2.3 词汇功能语法(LFG)
LFG用一种结构来表达特征、功能、词汇和 成分的顺序。
LFG对句子的描述分为两部分：
❖ 直接成分结构(Constituent Structure,简称CStructure);
❖ 功能结构(Functional Structure,简称F-structure)。
11.3.1 简单句的理解方法 为了理解一个简单句，需要做以下两方 面 的工作：
❖ 理解语句中的每一个词。
(PAST S1 KISS-ACTION［AGENT(NAME j1
PERSON“Jack”)］［THEM ENAME(NAME j2
中南大学 智能P系E统与R智S能软O件N研究“所Jill”)］)
14
11.3 句子的自动理解
(Automatic Understanding of Sentences)
中南大学 智能系统与智能软件研究所
5
11.1 语言及其理解的一般问题
11.1.2 自然语言理解研究的进展
❖ 机器翻译是自然语言理解最早的研究领域。
❖ 70年代初期，对语言理解对话系统的研究取得 进展。
❖ 80年代，自然语言理解的应用研究广泛开展， 机器学习研究又十分活跃。
❖ 自然语言理解的研究为专家系统的知识获取提 供了新的途径。
这也可以用状态转移图来表示，称之为转移网络 (TN，transition network)，如图11.2所示。
图中，q0,q1,…qT是状态，q0是初态，qT是终态。弧 上给出了状态转移的条件以及转移的方向。
中南大学 智能系统与智能软件研究所
8
11.2 句法和语义的自动分析
q pron. v源自文库rb 1
11.1 语言及其理解的一般问题
词汇
语法
词 熟语
词法
句法
词素
构形法 构词法 词组构 造法
图11.1 语言的构成图
中南大学 智能系统与智能软件研究所
造句法
3
11.1 语言及其理解的一般问题
❖ 从微观上讲，语言理解是指从自然语 言到机器(计算机系统)内部之间的一种 映射。
❖从宏观上看，语言理解是指机器能够 执行人类所期望的某些语言功能。这 些功能包括：
中南大学 智能系统与智能软件研究所
7
11.2 句法和语义的自动分析
(Automatic Analysis of Syntax and Semantics)
11.2.1 句法模式匹配和转移网络
句法分析最为简单直观的方法------模式匹配。
一个句子可以表示成：
(pronoun∨(adj*noun))verb(pronoun∨(adj*noun))
❖ 句法特征寄存器 ❖ 句法功能寄存器
图11.3所示是一个简单的名词短语(NP) 的扩充 转移网络。
中南大学 智能系统与智能软件研究所
10
11.2 句法和语义的自动分析
6: prop.
NP f
5: pron. 1: det
g
4: noun
2: jump
3: adj
8: send
h
7: pp
图11.3 名词短语(NP)的扩充转移网络
❖ 回答有关提问；
❖ 提取材料摘要；
❖不同词语叙述；
❖不同语言翻译。
中南大学 智能系统与智能软件研究所
4
11.1 语言及其理解的一般问题
怎样才算理解了语言呢? 归纳起来主要有 以下几个方面：
❖能够理解句子的正确词序规则和概念，又能理 解不含规则的句子
❖知道词的确切含义、形式、词类及构词法 ❖了解词的语义分类以及词的多义性和歧义性 ❖指定和不定特性及所有(隶属)特性 ❖问题领域的结构知识和时间概念 ❖语言的语气信息和韵律表现 ❖有关语言表达形式的文学知识 ❖论域的背景知识