AI11章--自然语言理解PPT课件
合集下载
人工智能理论的自然语言理解PPT
学(CALI)和计算机语言设计(CLD)等的进展。
5
11.1 语言及其理解的一般问题
自然语言理解过程的层次
语言的分析和理解过程是一个层次化 的过程，它主要包括如下四个层次：
❖ 语音分析 ❖ 词法分析 ❖ 句法分析 ❖ 语义分析
6
11.2 句法和语义的自动分析
(Automatic Analysis of Syntax and Semantics)
13
11.3 句子的自动理解 (Automatic Understanding of Sentences) 简洁为句了理的解理一解个方简法洁句，需要做以下两方
面 的工作： 理解语句中的每一个词。 以这些词为根底组成一个可以表达整个语
句意义的构造。其中其次项工作又可 分成以下3个局部来进展：
14
11.3 句子的自动理解
23
❖句法分析将单词之间的线性次序变换 成一个显示单词如何与其它单词相关 联的构造。
❖语义分析各种意义被赋于由句法分析 程序所建立的构造，即在句法构造和 任务领域内对象之间进展映射变换。
❖语用分析为确定真正含义，对表达的 构造重新加以解释。
15
11.3 句子的自动理解
复合句的理解方法
复合句的理解，要求觉察句子之间的相 互关系。这种关系包括以下几种： 一样的事物 事物的一局部 行动的一局部 与行动有关的事物 因果关系 打算次序
句。 假设该语句是陈述句，则在学问库中增加
该子句，否则认为该子句为一个问题， 并演绎地检索相应的答案。
19
11.5 自然语言理解系统应用举例
此3项功能主要由谓词talk完成，talk的 定义是：
talk(Sentence,Reply)： -Parse(Sentence,LF,-Type), clausify(LF,Clause,Freevars),!, reply(Type,Ereevars,Clause,Reply). talk(Sentence,error(‘too difficult”)). 上述定义中引出 3 个谓词，即parse, clausify, reply分别对应上述 3 项功能。
5
11.1 语言及其理解的一般问题
自然语言理解过程的层次
语言的分析和理解过程是一个层次化 的过程，它主要包括如下四个层次：
❖ 语音分析 ❖ 词法分析 ❖ 句法分析 ❖ 语义分析
6
11.2 句法和语义的自动分析
(Automatic Analysis of Syntax and Semantics)
13
11.3 句子的自动理解 (Automatic Understanding of Sentences) 简洁为句了理的解理一解个方简法洁句，需要做以下两方
面 的工作： 理解语句中的每一个词。 以这些词为根底组成一个可以表达整个语
句意义的构造。其中其次项工作又可 分成以下3个局部来进展：
14
11.3 句子的自动理解
23
❖句法分析将单词之间的线性次序变换 成一个显示单词如何与其它单词相关 联的构造。
❖语义分析各种意义被赋于由句法分析 程序所建立的构造，即在句法构造和 任务领域内对象之间进展映射变换。
❖语用分析为确定真正含义，对表达的 构造重新加以解释。
15
11.3 句子的自动理解
复合句的理解方法
复合句的理解，要求觉察句子之间的相 互关系。这种关系包括以下几种： 一样的事物 事物的一局部 行动的一局部 与行动有关的事物 因果关系 打算次序
句。 假设该语句是陈述句，则在学问库中增加
该子句，否则认为该子句为一个问题， 并演绎地检索相应的答案。
19
11.5 自然语言理解系统应用举例
此3项功能主要由谓词talk完成，talk的 定义是：
talk(Sentence,Reply)： -Parse(Sentence,LF,-Type), clausify(LF,Clause,Freevars),!, reply(Type,Ereevars,Clause,Reply). talk(Sentence,error(‘too difficult”)). 上述定义中引出 3 个谓词，即parse, clausify, reply分别对应上述 3 项功能。
第11章 自然语言理解(AI应用3版)
汉语词法分析 特点：找出词素简单，切分出词困难。 例如：优秀人才学人才学 1. 优秀人－才学人才学 2. 优秀人才－学人才学
10
第11章 自然语言理解及其应用
11.1自然语言理解的概念与发展历史
11.2 语音分析
11.3 词法分析
11.4 句法分析
11.5 语义分析 11.6 基于语料库的大规模文本处理 11.7 机器翻译 11.8 语音识别 11.9基于隐马尔科夫模型的语音识别方法
T =（the,man,killed,a,deer,likes) N =（S,NP,VP,N,ART,V,Prep,PP) S=S P：(1) S→NP+VP (2) NP→N (3) NP→ART+N (4) VP→V (5) VP→V+NP (6) ART→the|a
13
(7)N→man|deer
22第11章自然语言理解及其应用111自然语言理解的概念与发展历史112语言处理过程的层次113词法分析114句法分析115语义分析116基于语料库的大规模文本处理117机器翻译118语音识别119基于隐马尔科夫模型的语音识别方法3第11章自然语言理解及其应用?111自然语言理解的概念与发展历史112语言处理过程的层次113词法分析114句法分析115语义分析116基于语料库的大规模文本处理117机器翻译118语音识别119基于隐马尔科夫模型的语音识别方法41111自然语言理解的概念微观角度
.
→ART + N + VP →The man + V + NP
→The man killed + NP
→The man killed + ART + N
→The man killed a deer.
自然语言理解PPT课件
• Perhaps I could learn to get along with my mother. （也许我可以学会如何和 我母亲相处。）
• My mother takes care of me.（我母亲照顾我。）
• My father.（我父亲。） • You are like my father in
层次。
例如：
She read me a story 和 A story was read to me
的表层结构不一样，但它们的深层结构则是一样的。再如，主动句和被动句
也只是表层结构不同，其深层结构则是相同的。
在变换文法中，句子深层结构和表层结构之间的变换是通过变换规则实
现的。 句子
句子
名词短语1 动词短语
发展时期
• 20世纪60年代和70年代，对自然语言理解对话系 统的研究取得进展。
• 60年代：拉法勒（B.Raphael）在麻省理工学院完 成的信息检索系统SIR；韦森鲍姆在麻省理工学院 的ELIZA。
• 70年代：伍兹(Woods)的LUNAR系统、威诺甘德 (Winogand)的SHRDLU系统和香克(Schank)的 MARGIE系统等。
book
句法规则的表示方法——上下文无关法
上下文无关文法(Context-free Grammars)是乔姆斯基提出的一种对自 然语言语法知识进行形式化描述的方法。在这种文法中，语法知识是 用重写规则表示的。作为例子，下面给出了一个英语的很小的子集。
语句 → 句子 终标符
句子 → 名词短语 动词短语
动词短语 → 动词 名词短语
名词短语 → 冠词 名词
名词短语 → 专用名词
冠词 → the
名词 → professor
人工智能ArtificialIntelligence精品课件完整版
80年代以来旳实用化和工程化
• 主要特点是开始走向实用化和工程化。其主要标志之一是 有一批商品化旳自然语言人机接口系统和机器翻译系统推 向了市场。
• 另一方面，人们已经开始对大规模真实文本进行了解 • 句法－语义分析为主旳思想来自于规则旳措施，而规则不
可能把全部旳知识表达出来 –自然语言在数量上浩瀚无际 –在性质上具有不拟定性和模糊性。
Artificial Intelligence
NLP: 15
© Graduate University , Chinese academy of Sciences.
自然语言了解旳一般问题(13)
• 自然语言了解旳研究大致上经历了三个 时期
– 萌芽时期 – 发展时期
• 早期: 60年代以关键词匹配为主流 • 中期: 70年代以句法－语义分析为主流 • 近期: 80年代以来开始走向实用化和工程化
了解自然语言，首先要让计算机能从库存旳大规模语料中 自动或半自动地获取语言了解所需旳多种知识，对语言现 象作出客观旳、细致旳描述。
• 目前采用旳主要手段是建立多种统计模型，可用于词类旳 自动标注，以及句法语义旳更高层次旳分析。该措施能够 和规则措施相互补充。
Artificial Intelligence
自然语言了解旳一般问题(14)
• 60年代以关键词匹配为主流
特点：
– 没有真正意义上旳语法分析，主要依托关键词匹配技术来辨认输入 句子旳意义
– 在系统中事先存储了大量包括某些关键词旳模式，每个模式与一种 或多种解释(响应式)相相应。
– 每当输入一种句子，系统便查找与之匹配旳模式，一旦匹配成功， 系统就输出相应旳解释，不考虑其他成份对句子意义旳影响
– 语法分析：将单词之间旳线性顺序变换成一种显示单词 怎样与其他单词有关联旳构造。拟定语句是否合乎语法
• 主要特点是开始走向实用化和工程化。其主要标志之一是 有一批商品化旳自然语言人机接口系统和机器翻译系统推 向了市场。
• 另一方面，人们已经开始对大规模真实文本进行了解 • 句法－语义分析为主旳思想来自于规则旳措施，而规则不
可能把全部旳知识表达出来 –自然语言在数量上浩瀚无际 –在性质上具有不拟定性和模糊性。
Artificial Intelligence
NLP: 15
© Graduate University , Chinese academy of Sciences.
自然语言了解旳一般问题(13)
• 自然语言了解旳研究大致上经历了三个 时期
– 萌芽时期 – 发展时期
• 早期: 60年代以关键词匹配为主流 • 中期: 70年代以句法－语义分析为主流 • 近期: 80年代以来开始走向实用化和工程化
了解自然语言，首先要让计算机能从库存旳大规模语料中 自动或半自动地获取语言了解所需旳多种知识，对语言现 象作出客观旳、细致旳描述。
• 目前采用旳主要手段是建立多种统计模型，可用于词类旳 自动标注，以及句法语义旳更高层次旳分析。该措施能够 和规则措施相互补充。
Artificial Intelligence
自然语言了解旳一般问题(14)
• 60年代以关键词匹配为主流
特点：
– 没有真正意义上旳语法分析，主要依托关键词匹配技术来辨认输入 句子旳意义
– 在系统中事先存储了大量包括某些关键词旳模式，每个模式与一种 或多种解释(响应式)相相应。
– 每当输入一种句子，系统便查找与之匹配旳模式，一旦匹配成功， 系统就输出相应旳解释，不考虑其他成份对句子意义旳影响
– 语法分析：将单词之间旳线性顺序变换成一种显示单词 怎样与其他单词有关联旳构造。拟定语句是否合乎语法
高级人工智能第十一章
强化学习分类
根据智能体是否依赖模型（即环境动态性的 先验知识），强化学习可分为基于模型的强 化学习和无模型的强化学习；根据更新策略 的方式，可分为值迭代和策略迭代。
价值迭代与策略迭代算法
价值迭代算法
价值迭代是一种通过不断更新状态值函数来寻找最优策略的方法，其核心思想 是利用贝尔曼方程进行迭代计算。
自然语言处理领域应用
机器翻译
实现不同语言之间的自动翻译，为跨语言交流提供便利。
情感分析与舆情监测
通过对文本的情感倾向进行分析，实现对舆情的自动监测 和预警。
智能问答与对话系统
构建能够自动回答问题和进行对话的智能系统，为用户提 音实时转换为文字，为听力 障碍者提供便利，同时也可用于 会议记录、语音笔记等场景。
策略迭代算法
策略迭代是一种通过交替进行策略评估和策略改进来寻找最优策略的方法，其 中策略评估是计算当前策略下的状态值函数，策略改进是根据状态值函数更新 策略。
深度强化学习算法及应用
深度强化学习算法
深度强化学习是将深度学习与强化学习相结合的方法，通过神经网络来逼近值函数或策略，以解决高维状态空间 或动作空间的问题。常见的深度强化学习算法包括DQN、PPO、A3C等。
梯度消失与梯度爆炸问题
深度神经网络在训练过程中可 能遇到的梯度消失或梯度爆炸 问题，以及相应的解决策略， 如批量归一化、残差结构等。
卷积神经网络应用
计算机视觉任务
卷积神经网络（CNN）在计算机视 觉领域的应用，包括图像分类、目标 检测、语义分割等。
卷积层与池化层
卷积层负责提取图像局部特征，池化 层则对特征进行降维处理，减少计算 量和过拟合风险。
高级人工智能第十一章
contents
目录
根据智能体是否依赖模型（即环境动态性的 先验知识），强化学习可分为基于模型的强 化学习和无模型的强化学习；根据更新策略 的方式，可分为值迭代和策略迭代。
价值迭代与策略迭代算法
价值迭代算法
价值迭代是一种通过不断更新状态值函数来寻找最优策略的方法，其核心思想 是利用贝尔曼方程进行迭代计算。
自然语言处理领域应用
机器翻译
实现不同语言之间的自动翻译，为跨语言交流提供便利。
情感分析与舆情监测
通过对文本的情感倾向进行分析，实现对舆情的自动监测 和预警。
智能问答与对话系统
构建能够自动回答问题和进行对话的智能系统，为用户提 音实时转换为文字，为听力 障碍者提供便利，同时也可用于 会议记录、语音笔记等场景。
策略迭代算法
策略迭代是一种通过交替进行策略评估和策略改进来寻找最优策略的方法，其 中策略评估是计算当前策略下的状态值函数，策略改进是根据状态值函数更新 策略。
深度强化学习算法及应用
深度强化学习算法
深度强化学习是将深度学习与强化学习相结合的方法，通过神经网络来逼近值函数或策略，以解决高维状态空间 或动作空间的问题。常见的深度强化学习算法包括DQN、PPO、A3C等。
梯度消失与梯度爆炸问题
深度神经网络在训练过程中可 能遇到的梯度消失或梯度爆炸 问题，以及相应的解决策略， 如批量归一化、残差结构等。
卷积神经网络应用
计算机视觉任务
卷积神经网络（CNN）在计算机视 觉领域的应用，包括图像分类、目标 检测、语义分割等。
卷积层与池化层
卷积层负责提取图像局部特征，池化 层则对特征进行降维处理，减少计算 量和过拟合风险。
高级人工智能第十一章
contents
目录
人工智能11(北邮课件)
18
图11.2 转移网络(TN)
19
用TN来识别句子The little orange ducks swallow flies 的过 程如表11.1。
词
The little orange ducks swallow files
当前状态
a b b b c e
弧
Байду номын сангаас
新状态
b b b c e F(识别)
20
13
1、语音分析 语音分析则是根据音位规则，从语音流 中区分出一个个独立的音素，再根据音位形 态规则找出一个个音节及其对应的词素或词。 2、词法分析 词法分析的主要目的是找出词汇的各个 词素，从中获得语言学信息。
14
3、句法分析 句法分析是对句子和短语的结构进行分 析。自动句法分析的方法很多，有短语结构 语法、格语法、扩充转移网络、功能语法等 等。句法分析的最大单位就是一个句子。分 析的目的就是找出词、短语等的相互关系以 及各自在句子中的作用等，并以一种层次结 构来加以表达。
3
语法是语言的组织规律。语法规则制约着如何 把词素构成词，词构成词组和句子。语言正 是在这种严密的制约关系中构成的。用词素 构成词的规则叫构词规则。语法中的另一部 分就是句法。句法也可分成两部分：词组构 造法和造句法。词组构造法是词搭配成词组 的规则。造句法则是用词或词组造句的规则。
4
图11.1 语言的构成
9
语言理解包括下列几个方面的内容： (1) 能够理解句子的正确词序规则和概念，又 能理解不含规则的句子。 (2) 知道词的确切含义、形式、词类及构词法。 (3) 了解词的语义分类以及词的多义性和歧义 性。 (4) 指定和不定特性及所有(隶属)特性。 (5) 问题领域的结构知识和时间概念。 (6) 语言的语气信息和韵律表现。 (7) 有关语言表达形式的文学知识。 (8) 论域的背景知识。
自然语言理解PPT课件
some ways.（你在某些方 面像我父亲。）
• ……
• Tell me more about your family.（告诉我更多你家 里的情况。）
• Who else in your family takes care of you?（你家 里还有谁照顾你？）
• Your father?（你父亲。） • What resemblance do
you see?（你看到了有什 么形似之处？）
• ……
提出问题：
• 什么是自然语言和自然语言理解? • 自然语言理解与人类的哪些智能有关? • 自然语言理解研究是如何发展的? • 目前自然语言理解有哪些成果？
Outline
1
自然语言理解概述
2
自然语言理解的发展
3
自然语言理解的层次
4
自然语言理解的应用
自然语言理解概述
• 自然语言：是指人类语言集团的本族语言，如汉 语、英语等，它是相对于人造语言而言的，如C语 言、Java语言等。
• 自然语言的两种形式：书面语和口语 ——文本和语音
• 从微观上讲，自然语言理解是指从自然语言到机 器(计算机系统)内部之间的一种映射。
• 从宏观上看，自然语言理解是指机器能够执行人 类所期望的某些语言功能。这些功能包括：
–回答问题：计算机能正确的回答用自然语言输入的有 关问题；
–文摘生成：机器能产生输入文本的摘要；
–释义：机器能用不同的词语和句型来复述输入的自然 语言信息；
–翻译：机器能把一种语言翻译成另一种语言。
• 自然语言理解是研究如何让电脑读懂人类语言的 一门技术，是自然语言处理技术中最困难的一项。
• 人工智能中一个长期努力的目标就是开发出可以 理解并产生人类语言的程序。
• ……
• Tell me more about your family.（告诉我更多你家 里的情况。）
• Who else in your family takes care of you?（你家 里还有谁照顾你？）
• Your father?（你父亲。） • What resemblance do
you see?（你看到了有什 么形似之处？）
• ……
提出问题：
• 什么是自然语言和自然语言理解? • 自然语言理解与人类的哪些智能有关? • 自然语言理解研究是如何发展的? • 目前自然语言理解有哪些成果？
Outline
1
自然语言理解概述
2
自然语言理解的发展
3
自然语言理解的层次
4
自然语言理解的应用
自然语言理解概述
• 自然语言：是指人类语言集团的本族语言，如汉 语、英语等，它是相对于人造语言而言的，如C语 言、Java语言等。
• 自然语言的两种形式：书面语和口语 ——文本和语音
• 从微观上讲，自然语言理解是指从自然语言到机 器(计算机系统)内部之间的一种映射。
• 从宏观上看，自然语言理解是指机器能够执行人 类所期望的某些语言功能。这些功能包括：
–回答问题：计算机能正确的回答用自然语言输入的有 关问题；
–文摘生成：机器能产生输入文本的摘要；
–释义：机器能用不同的词语和句型来复述输入的自然 语言信息；
–翻译：机器能把一种语言翻译成另一种语言。
• 自然语言理解是研究如何让电脑读懂人类语言的 一门技术，是自然语言处理技术中最困难的一项。
• 人工智能中一个长期努力的目标就是开发出可以 理解并产生人类语言的程序。
自然语言理解PPT课件
依存关系
词语之间的依赖关系，包括主谓关系、 动宾关系等。
语义分析
语义分析
理解句子所表达的实际意义，涉 及词义消歧、句义理解等方面。
词义消歧
确定多义词在具体语境中的意义。
句义理解
理解整个句子的意义，涉及句子的 主旨、意图等。
语境理解
语境理解
结合上下文信息，理解当前词语 或句子的意义。
上下文信息
当前词语或句子之前的文本信息， 用于推断当前词语或句子的意义。
自然语言理解的重要性
提高人机交互的效率和体验
自然语言理解技术使得人机交互更加自然、便捷，提高了用户体 验。
推动人工智能技术的进步
自然语言理解技术的发展对于人工智能技术的进步具有重要意义， 是人工智能技术发展的重要方向之一。
促进跨语言交流
自然语言理解技术可以帮助不同语言和文化背景的人们进行交流， 促进跨文化交流和理解。
语境效应
上下文信息对当前词语或句子意 义的改变效果。
04 自然语言理解的技术挑战 与解决方案
数据稀疏性问题
总结词
数据稀疏性是指训练数据不足或数据分布不均匀，导致模型难以学习到有用的特征和模式 。
详细描述
在自然语言处理任务中，数据稀疏性是一个常见问题。由于语言本身的复杂性和多样性， 很难收集到足够丰富和多样的训练数据。此外，不同领域和场景的数据分布也可能存在很 大差异，导致模型在某些情况下表现不佳。
语境理解问题
总结词
语境理解问题是指模型需要理解句子或段落之间的逻辑关系和语义联系，以推断出正确的意义。
详细描述
在自然语言处理中，语境理解是非常重要的。一个词或句子的含义往往需要结合上下文才能确定。例如，“他是一名 医生”这句话在不同的语境下可能有不同的含义，可能是指他是医生这个职业，也可能是指他正在扮演医生的角色。
湘潭大学人工智能课件真体及自然语言理解25页PPT
谢谢！
湘潭大学人工智能课件真体及自然语 言理解
11、用道德的示范来造就一个人，显然比用法律来约束他更有价值。—— 希腊
12、法律是无私的，对谁都一视同仁。在每件事上，她都不徇私情。—— 托马斯
13、公正的法律限制不了好的自由，因为好人不会去做法律不允许的事 情。——弗劳德
14、法律是为了保护无辜而制定的。——爱略特 15、像房子一样，法律和法律都是相互依存的，也会招来人们的反感轻蔑和嫉妒。——培根 22、业精于勤，荒于嬉；行成于思，毁于随。——韩愈
23、一切节省，归根到底都归结为时间的节省。——马克思 24、意志命运往往背道而驰，决心到最后会全部推倒。——莎士比亚
25、学习是劳动，是充满思想的劳动。——乌申斯基
湘潭大学人工智能课件真体及自然语 言理解
11、用道德的示范来造就一个人，显然比用法律来约束他更有价值。—— 希腊
12、法律是无私的，对谁都一视同仁。在每件事上，她都不徇私情。—— 托马斯
13、公正的法律限制不了好的自由，因为好人不会去做法律不允许的事 情。——弗劳德
14、法律是为了保护无辜而制定的。——爱略特 15、像房子一样，法律和法律都是相互依存的，也会招来人们的反感轻蔑和嫉妒。——培根 22、业精于勤，荒于嬉；行成于思，毁于随。——韩愈
23、一切节省，归根到底都归结为时间的节省。——马克思 24、意志命运往往背道而驰，决心到最后会全部推倒。——莎士比亚
25、学习是劳动，是充满思想的劳动。——乌申斯基
人工智能ArtificialIntelligence--精品PPT课件
目标语言)
Artificial Intelligence
NLP: 5
© Graduate University , Chinese academy of Sciences.
自然语言理解的一般问题(3)
• 自然语言理解 – 自然语言理解是语言信息处理技术的一个高层次的重要 方向。是人工智能领域关注的核心问题之一。 – 自然语言理解的困难原因： • 目标表示的复杂性 • 映射类型的多样性 • 源表示中各元素间交互程度的差异性
• 自然语言“理解”的准则：
给计算机输入一段自然语言文本，如果计算机能 – 问答(question-answering)－机器能正确地回答输入 文本中的有关
问题； – 文摘生成(summarizing)－机器有能力产生输入文本 的摘要； – 释义(paraphrase)－机器用不同的词语和语句复述输入文本； – 翻译(translation)－机器把一种语言(源语言)翻译为 另一种语言(
• 语言学的研究－理解的层次
– 语音分析：找出最小可独立的声音单元----音素 – 词法分析：找出词汇的各个词素（词根），从中获得语
言学信息 例：我们研究所有东西;把手放在桌上 我们--研究所--有--东西 （交叉歧义） 我们--研究--所有--东西 把--手--放在--桌上 （组合歧义） 把手--放在--桌上
The Principles of AI-----Wang Wenjie
自然语言理解
NLP: 2
© Graduate University , Chinese academy of Sciences.
Artificial Intelligence
NLP: 3
© Graduate University , Chinese academy of Sciences.
Artificial Intelligence
NLP: 5
© Graduate University , Chinese academy of Sciences.
自然语言理解的一般问题(3)
• 自然语言理解 – 自然语言理解是语言信息处理技术的一个高层次的重要 方向。是人工智能领域关注的核心问题之一。 – 自然语言理解的困难原因： • 目标表示的复杂性 • 映射类型的多样性 • 源表示中各元素间交互程度的差异性
• 自然语言“理解”的准则：
给计算机输入一段自然语言文本，如果计算机能 – 问答(question-answering)－机器能正确地回答输入 文本中的有关
问题； – 文摘生成(summarizing)－机器有能力产生输入文本 的摘要； – 释义(paraphrase)－机器用不同的词语和语句复述输入文本； – 翻译(translation)－机器把一种语言(源语言)翻译为 另一种语言(
• 语言学的研究－理解的层次
– 语音分析：找出最小可独立的声音单元----音素 – 词法分析：找出词汇的各个词素（词根），从中获得语
言学信息 例：我们研究所有东西;把手放在桌上 我们--研究所--有--东西 （交叉歧义） 我们--研究--所有--东西 把--手--放在--桌上 （组合歧义） 把手--放在--桌上
The Principles of AI-----Wang Wenjie
自然语言理解
NLP: 2
© Graduate University , Chinese academy of Sciences.
Artificial Intelligence
NLP: 3
© Graduate University , Chinese academy of Sciences.
人工智能导论课件第11-12章
11.2 什么是自然语言处理
• 使用自然语言与计算机进行通信，这是人们长期以来所追求的。因为它既有明 显的实际意义，同时也有重要的理论意义：人们可以用自己最习惯的语言来使 用计算机，而无需再花大量的时间和精力去学习不很自然和不习惯的各种计算 机语言；人们也可通过它进一步了解人类的语言能力和智能的机制。
• 自然语言处理的历史可追溯到以图灵的计算算法模型为基础的计算机科学发展 之初。在奠定了初步基础后，该领域出现了许多子领域，每个子领域都为计算 机进一步的研究提供了沃土。
• 图灵的工作导致了其他计算模型的产生，如McCulloch-Pitts神经元，它是对人 类神经元进行建模，具有多个输入，并且只有组合输入超过阈值时才产生输出。
• 实现人机间自然语言通信意味着要使计算机既能理解自然语言文本的意义，也 能以自然语言文本来表达给定的意图、思想等。前者称为自然语言理解，后者 称为自然语言生成，因此，自然语言处理大体包括了这两个部分。历史上对自 然语言理解研究得较多，而对自然语言生成研究得较少。但这种状况已有所改 变。
11.2 什么是自然语言处理
• 在构建这个领域的过程中，Shannon与Chomsky对自然语言处理的早期工作产 生了另一个重大的影响。特别是Shannon的噪声通道模型，对语言处理中概率 算法的发展至关重要。在噪声通道模型中，假设输入由于噪声变得模糊不清， 则必须从噪声输入中恢复原始词。在概念上，Shannon对待输入就好像输入已 经通过了一个嘈杂的通信通道。基于该模型，Shannon使用概率方法找出输入 和可能词之间的最佳匹配。
11.2 什么是自然语言处理
• 另一方面，人理解一个句子不是单凭语法，还运用了大量的有关知识，包括生 活知识和专门知识，这些知识无法全部贮存在计算机里。因此一个书面理解系 统只能建立在有限的词汇、句型和特定的主
人工智能及其应用-第11章 自然语言理解(AI应用3版)
兼类词 一个词具有两个或者两个以上的词性 英文的Brown语料库中，10.4%的词是兼类词。
例如：
The back door On my back Promise to back the bill 汉语兼类词，例如：
把门锁上， 买了一把锁 他研究...， 研究工作
11.3 词法分析-词性标注方法
语言是音义结合的词汇和语法体系，是实现思维活动的物 质形式。语言是一个符号体系，但与其他符号体系又有所 区别。
语言是以词为基本单位的，词汇又受到语法的支配才可构 成有意义的句子，句子按一定的形式再构成篇章等。词汇 又可分为词和熟语。熟语就是一些词的固定组合，如汉语 中的成语。
词由词素构成，“教师”是由“教”和“师”这两个词素 所构成的。
会议研究通过了贯彻落实“两会”精神的有关决定， 审议通过了中国农工民主党中央１９９８年工作要点（草 案），并任命了中央副秘书长。
农工民主党中央主席蒋正华主持了会议，他说，农工 民主党有１００多名党员作为代表和委员参加了今年的 “两会”，各位党员要认真履行代表和委员的职责，开好 会，在１９９８年的工作中认真贯彻“两会”精神，加强 农工民主党的自身建设，推动事业进一步发展，为建设有 中国特色社会主义事业作出新的贡献。
构形法和构词法称为词法。
11.2 语言处理过程的层次
句法：词组构造法和造句法。 词组构造法是词搭配成词组的规则，如红+铅笔→红铅 笔。这里“红”是一个修饰铅笔的形容词，它与名词 “铅笔”组合成了一个新的名词。 造句法则是用词或词组造句的规则，“我是计算机专 业的学生”，这是按照汉语造句法构造的句子。
利用计算机自动地从原始文档中提取全面、准 确地反映该文档中心内容的简洁、连贯的短文。
应对信息过载 分为单文档摘要和多文档摘要
例如：
The back door On my back Promise to back the bill 汉语兼类词，例如：
把门锁上， 买了一把锁 他研究...， 研究工作
11.3 词法分析-词性标注方法
语言是音义结合的词汇和语法体系，是实现思维活动的物 质形式。语言是一个符号体系，但与其他符号体系又有所 区别。
语言是以词为基本单位的，词汇又受到语法的支配才可构 成有意义的句子，句子按一定的形式再构成篇章等。词汇 又可分为词和熟语。熟语就是一些词的固定组合，如汉语 中的成语。
词由词素构成，“教师”是由“教”和“师”这两个词素 所构成的。
会议研究通过了贯彻落实“两会”精神的有关决定， 审议通过了中国农工民主党中央１９９８年工作要点（草 案），并任命了中央副秘书长。
农工民主党中央主席蒋正华主持了会议，他说，农工 民主党有１００多名党员作为代表和委员参加了今年的 “两会”，各位党员要认真履行代表和委员的职责，开好 会，在１９９８年的工作中认真贯彻“两会”精神，加强 农工民主党的自身建设，推动事业进一步发展，为建设有 中国特色社会主义事业作出新的贡献。
构形法和构词法称为词法。
11.2 语言处理过程的层次
句法：词组构造法和造句法。 词组构造法是词搭配成词组的规则，如红+铅笔→红铅 笔。这里“红”是一个修饰铅笔的形容词，它与名词 “铅笔”组合成了一个新的名词。 造句法则是用词或词组造句的规则，“我是计算机专 业的学生”，这是按照汉语造句法构造的句子。
利用计算机自动地从原始文档中提取全面、准 确地反映该文档中心内容的简洁、连贯的短文。
应对信息过载 分为单文档摘要和多文档摘要
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
自然语言处理既是一项技术，又是一门科 学。
2021/3/10
2
5.1 基本概念
信息的主要载体－语言
语言的两种形式－文字和声音
文字和声音作为语言的两个不同形式的载体，所 承载的信息占整个信息组成的70％以上（文字： 70％，图象：20％；其它：10％）
q 如何让计算机实现人们希望实现的语言处理 功能？
自然语言理解
主 讲 ：付 宏 杰
第五章 单 位 ：信息工程学院 自然语言理解 使用教材： 人 工 智 能 基 础
高 济 朱淼良 何钦铭
高等教育出版社
2021/3/10
1
第五章：自然语言理解
基本概念
当我们从事任何一项研究的时候，总要关 注两方面的问题：一是是什么，为什么？二是 做什么，怎么做？这恰恰是科学与技术紧密相 关的两个方面。
2021/3/10
7
5.1 基本概念
q计算语言学(Computational Linguistics)
计算语言学是利用电子数字计 算机进行的语言分析。虽然许多其 它类型的语言分析也可以运用计算 机，计算分析最常用于处理基本的 语言数据－例如建立语音、词、词 元素的搭配以及统计它们的频率。
－《大不列颠百科全书》
2021/3/10
8
5.1 基本概念
q计算语言学(Computational Linguistics)
是语言学的一个研究分支，用计算技术和 概念来阐述语言学和语音学问题。已开发的领 域包括自然语言处理(natural language processing, NLP)，言语合成，言语识别，自动 翻译，编制语词索引，语法的检测，以及许多 需要统计分析和领域（如文本考释）。
结合形成新的研究分支，因此，很多人在谈到
“计算语言学”、“自然语言处理”或“自然
语言理解”这些术语时，往往默认为同一个概
念。甚至有些专著中干脆直接这样解释：计算
语言学也称自然语言处理或自然语言理解[刘 颖，2002]。
2021/3/10
11
5.2 关于“理解”标准
q 如何判断计算机系统的智能？ 计算机系统的表现(act)如何？
2021/3/10
5
5.1 基本概念
根据不同的研究方法，语音学又分为：
(a)一般语音学(general phonetics): 对 语音发音、声学或知觉的一般研究。
－与语言学的分析目的没有什么关系。
(b)实验语音学(experimental phonetics): 对具体语言语音特点的研究。
－语言学研究的一部分，有人甚至认
q如何让计算机真正实现海量的语言信息的自动
处理和有效利用？
2021/3/10
3
5.1 基本概念
q 语言学(linguistics)
是指对语言的科学研究。作为一门纯理论的学科，
语言学在近期获得了快速发展，尤其从上个世纪60年
代起，已经成为一门知晓度很高的广泛教授的学科。
包括：历时语言学（diachronic linguistics）（或
应用：文献翻译、网页翻译和辅助浏 览等。
实用系统：Systran ()36种语言对， 20个专门领域。
/3/10
13
5.3 自然语言理解研究的内容
v 机器翻译现状和对机器翻译的认
2021/3/10
4
5.1 基本概念
q 语音学(phonetics)
研究人类发音特点，特别是语音发音特点，并提出各种 语音描述、分类和转写方法的科学。
包括: (1)发音语音学(articulatory phonetics)，研究 发音器官如何产生语音；(2)声学语音学(acoustic phonetics)，研究口耳之间传递语音的物理属性；(3) 听觉语音学(auditory phonetics), 研究人通过耳、听觉 神经和大脑对语音的知觉反应。
反应(react)如何？ 相互作用(interact )如何？
与有意识个体（人）比较如何？
图灵(Turing)设计的“模仿游戏”， 即图灵实验(Turing test)
2021/3/10
12
5.3 自然语言理解研究的内容
q 按照应用目标划分－
v 机器翻译(Machine translation, MT)：实 现一种语言到另一种语言的自动翻译。
称历史语言学（historical linguistics））和共时语言学 （synchronic linguistics）、描述语言学 （descriptivelinguistics）、对比语言学（contrastive linguistics）、结构语言学（structural linguistics）等等。
为是语言学不可或缺的基础。
2021/3/10
6
5.1 基本概念
问题：
语音学究竟是一门独立的学科还是应视为语 言学的一个分支呢？
复数的语言科学（linguistic sciences）
语言学和其它学科的交叉产生了许多语言学 的新分支，包括纯理论的和应用性的，如人类 语言学(anthropologicallinguistics)、计算语言学 (computational linguistics)、生物语言学 (biolinguistics)、心理语言学(psycholinguistics)、 教育语言学(educational linguistics)和社会语言 学(sociolinguistics)等等。
-冯志伟《自然语言的计算机处理》
2021/3/10
10
5.1 基本概念
近几年来，自然语言处理研究得到了前所
未有的重视和长足的进展，并逐渐发展成为一
门相对独立的学科而倍受关注，而且自然语言 处理技术不断与语音识别(speech recognition)、 语音合(speech synthesis)等语音技术相互渗透和
2021/3/10
－《现代语言学词典》[戴维.克里斯特尔，1997]
9
5.1 基本概念
q自然语言处理
或称自然语言理解(natural language understanding, NLU)，人工智能研究的重要内 容之一。自然语言处理（natural language processing，NLP）就是利用计算机为工具对人 类特有的书面形式和口头形式的自然语言的信 息进行各种类型处理和加工的技术。
2021/3/10
2
5.1 基本概念
信息的主要载体－语言
语言的两种形式－文字和声音
文字和声音作为语言的两个不同形式的载体，所 承载的信息占整个信息组成的70％以上（文字： 70％，图象：20％；其它：10％）
q 如何让计算机实现人们希望实现的语言处理 功能？
自然语言理解
主 讲 ：付 宏 杰
第五章 单 位 ：信息工程学院 自然语言理解 使用教材： 人 工 智 能 基 础
高 济 朱淼良 何钦铭
高等教育出版社
2021/3/10
1
第五章：自然语言理解
基本概念
当我们从事任何一项研究的时候，总要关 注两方面的问题：一是是什么，为什么？二是 做什么，怎么做？这恰恰是科学与技术紧密相 关的两个方面。
2021/3/10
7
5.1 基本概念
q计算语言学(Computational Linguistics)
计算语言学是利用电子数字计 算机进行的语言分析。虽然许多其 它类型的语言分析也可以运用计算 机，计算分析最常用于处理基本的 语言数据－例如建立语音、词、词 元素的搭配以及统计它们的频率。
－《大不列颠百科全书》
2021/3/10
8
5.1 基本概念
q计算语言学(Computational Linguistics)
是语言学的一个研究分支，用计算技术和 概念来阐述语言学和语音学问题。已开发的领 域包括自然语言处理(natural language processing, NLP)，言语合成，言语识别，自动 翻译，编制语词索引，语法的检测，以及许多 需要统计分析和领域（如文本考释）。
结合形成新的研究分支，因此，很多人在谈到
“计算语言学”、“自然语言处理”或“自然
语言理解”这些术语时，往往默认为同一个概
念。甚至有些专著中干脆直接这样解释：计算
语言学也称自然语言处理或自然语言理解[刘 颖，2002]。
2021/3/10
11
5.2 关于“理解”标准
q 如何判断计算机系统的智能？ 计算机系统的表现(act)如何？
2021/3/10
5
5.1 基本概念
根据不同的研究方法，语音学又分为：
(a)一般语音学(general phonetics): 对 语音发音、声学或知觉的一般研究。
－与语言学的分析目的没有什么关系。
(b)实验语音学(experimental phonetics): 对具体语言语音特点的研究。
－语言学研究的一部分，有人甚至认
q如何让计算机真正实现海量的语言信息的自动
处理和有效利用？
2021/3/10
3
5.1 基本概念
q 语言学(linguistics)
是指对语言的科学研究。作为一门纯理论的学科，
语言学在近期获得了快速发展，尤其从上个世纪60年
代起，已经成为一门知晓度很高的广泛教授的学科。
包括：历时语言学（diachronic linguistics）（或
应用：文献翻译、网页翻译和辅助浏 览等。
实用系统：Systran ()36种语言对， 20个专门领域。
/3/10
13
5.3 自然语言理解研究的内容
v 机器翻译现状和对机器翻译的认
2021/3/10
4
5.1 基本概念
q 语音学(phonetics)
研究人类发音特点，特别是语音发音特点，并提出各种 语音描述、分类和转写方法的科学。
包括: (1)发音语音学(articulatory phonetics)，研究 发音器官如何产生语音；(2)声学语音学(acoustic phonetics)，研究口耳之间传递语音的物理属性；(3) 听觉语音学(auditory phonetics), 研究人通过耳、听觉 神经和大脑对语音的知觉反应。
反应(react)如何？ 相互作用(interact )如何？
与有意识个体（人）比较如何？
图灵(Turing)设计的“模仿游戏”， 即图灵实验(Turing test)
2021/3/10
12
5.3 自然语言理解研究的内容
q 按照应用目标划分－
v 机器翻译(Machine translation, MT)：实 现一种语言到另一种语言的自动翻译。
称历史语言学（historical linguistics））和共时语言学 （synchronic linguistics）、描述语言学 （descriptivelinguistics）、对比语言学（contrastive linguistics）、结构语言学（structural linguistics）等等。
为是语言学不可或缺的基础。
2021/3/10
6
5.1 基本概念
问题：
语音学究竟是一门独立的学科还是应视为语 言学的一个分支呢？
复数的语言科学（linguistic sciences）
语言学和其它学科的交叉产生了许多语言学 的新分支，包括纯理论的和应用性的，如人类 语言学(anthropologicallinguistics)、计算语言学 (computational linguistics)、生物语言学 (biolinguistics)、心理语言学(psycholinguistics)、 教育语言学(educational linguistics)和社会语言 学(sociolinguistics)等等。
-冯志伟《自然语言的计算机处理》
2021/3/10
10
5.1 基本概念
近几年来，自然语言处理研究得到了前所
未有的重视和长足的进展，并逐渐发展成为一
门相对独立的学科而倍受关注，而且自然语言 处理技术不断与语音识别(speech recognition)、 语音合(speech synthesis)等语音技术相互渗透和
2021/3/10
－《现代语言学词典》[戴维.克里斯特尔，1997]
9
5.1 基本概念
q自然语言处理
或称自然语言理解(natural language understanding, NLU)，人工智能研究的重要内 容之一。自然语言处理（natural language processing，NLP）就是利用计算机为工具对人 类特有的书面形式和口头形式的自然语言的信 息进行各种类型处理和加工的技术。