第七章自然语言理解

– 检测语义错误。
编译器工作过程
• 编译器 • 例子： • 中间代码生成
– 生成中间表示。
中间代码生成器 temp1 := inttoreal( 60) temp2 := id3 * temp1 temp3 := id2+ temp2 id1 := temp3 代码优化器 temp1 := id3 * 60.0 id1 := id2 + temp3 目标代码生成器 MOVF MULF MOVF ADDF MOVF id3, R2 #60.0, R2 id2, R1 R2,R1 R1,id1
歧义
• 注音歧义
– 快乐(le4)的单身汉 – 火红的第五乐(yue4)章
• 分词歧义
– 交叉型歧义
• 研究/ 生命/ 的/ 起源 • 研究生/ 命/ 的/ 起源
– 组合型歧义
• 他/ 从/ 马/ 上/ 下来 • 他/ 从/ 马上/ 下来
• 分词歧义
– 和未登录词绞在一起
• 刘挺/ 拔/ 出/ 宝剑 • 刘/ 挺拔/ 出/ 宝剑
2 Position 3 Position 4 ... ...
词法分析器 id1 := id2 + id3 * 60 语法分析器 := id1 id2 id3 语义分析器 := id1 id2 id3 + * inttoreal 60 中间代码生成器 + * 60
• 语法分析：
– 句子结构分析。
• 语义分析：
• 其他名称：
– 自然语言处理（Natural Language Processing，NLP） – 自然语言理解（Natural Language Understanding， NLU） – 人类语言技术（Human Language Technology）
• 相关名称：
– 中文信息处理（Chinese Information Processing） – 网络信息处理（Web Information Processing）
• 词性标注
– 给句子的词标注正确的词性 – 例如：钓鱼岛n/是v/中国n/的de/领土n / 。
S
• 句法分析
NP
VP
பைடு நூலகம்
– 分析句子的组成结构， – 句子结构成分之间的相互关系。 钓鱼岛 – 判定一个句子的合法性
V
是 中国
NP
的 领土
机器理解自然语言的步骤
• 词义消岐
– 研究给句子的词标注正确的词义。 – 例如：这个人真牛。//牛：动物｜了不起。
理性主义和经验主义
• 研究对象不同
– 理性主义
• 研究人的语言知识结构。 • 试图书写大量的语言规则，复制人脑中的语言模型。 • 结构主义者
– 经验主义
• 研究大规模真实文本，认为语料库是语言知识的来源。 • 将语言视为随机现象，用概率分布描述语言。 • 选择一个概率模型，采用统计学、模式识别、机器学习方法， 应用大规模真实文本中的例子，训练模型的参数。 • 功能主义者
源程序 词法分析器 语法分析器
语义分析器 符号表管理器 中间代码生成器 异常处理
代码优化器
代码生成器 目标程序
编译器工作过程
Position := initial + rate * 60
• 编译器 • 例子： • 词法分析
– 将输入的字符流切分为token序 符号表 1 Position ... 列。
NLP的研究内容（应用研究）
NLP的不同层次
[应用系统] 数字图书馆、电子商务、 电子政务、远程教育、语言学习
[应用技术研究] 自动问答、机器翻译、信息检索、 文本挖掘、自动校对、信息抽取 [基础研究] 分词、词性标注、短语切分、 句法分析、语义分析、篇章理解等 [资源建设] 语料库资源建设 语言学知识库建设 软件企业
为什么要研究计算语言学？
• 信息时代到了！语言是信息的载体。 • 提高计算机的智能：能理解和处理大量语言信息。
机器能够理解人的语言吗？
• 很难，但是没有证据表明不行。 • 什么是理解？
– 结构主义：机器的理解机制与人相同。
• 问题在于谁也说不清自己理解语言的步骤。
– 功能主义：机器的表现与人相同。
• 词汇转换
Miss Smith put (+ed) two book+s on this dining table. 小姐 史密斯 放 两 书 在…上面 这 餐桌
• 短语转换
小姐史密斯放两书在上面这餐桌 史密斯小姐放两书在这餐桌上面
• 生成
– 史密斯小姐放两书在这桌子上面。 – 史密斯小姐（把）两（本）书放在这（张）桌子上面。
机器理解自然语言的步骤
• 篇章分析
– 分析篇章的结构、主题、观点、摘要、有用信息。
• • • • • 主题分析 观点分析 自动文摘 信息抽取 信息过滤
• 海量文档处理
– 信息检索
• 搜索引擎、数字图书馆
– 文本分类、聚类
• 分类检索、聚类检索
– 话题探测与追踪
• 信息自组织
NLP的研究内容（基础研究）
Introduction of Artificial Intelligence
内蒙古大学计算机学院 闫蓉
Mail: csyanr@
第七章 自然语言处理概述
基本概念
• 什么是计算语言学（Computation Linguistics）
– 用机器处理人类语言的理论和技术。 – 构造计算模型，用于自然语言的分析、转换、生成。
• 语义分析（这句话说了什么）
– 研究如何从一个语句中词的意义，以及这些词在该语 句的句法结构中的作用来推导出该语句的意义。 – 语言和世界的映射关系 – 施事、受事、工具等
• 语用分析（为什么要说这句话 ）
– 研究不同语境中的语句的应用，及语境对语句理解的 作用 – 语言交际目的：主题、述体、焦点
NLP方法论
理性主义和经验主义
• 对语言知识来源的不同认识
– 理性主义
• 信仰Chomsky的语言本能的观点。（先天论） • 先天语言结构：人的大部分语言知识是与生俱来的， 由遗传决定的。
– 经验主义
• 人的语言知识是从感官的输入，通过联想、模式识 别、泛化等操作学习到的。（学习论） • 学习：从大量语言数据中学习复杂、广泛的语言知 识。
NP
NP
training workers
Our company is training workers(2)
S NP Aux V Our company is VP
VP
NP
training workers
• 词义歧义
– 打[玩]乒乓球 – 打[编制]毛衣 – 打[通讯]电话 – ……
• 语用歧义
– 高层模块建立在底层模块分析的基础上 – 底层模块需要高层模块的指导才能准确分析
• 如何克服这种致命的矛盾
– 简单级联
• 每层的准确率是90%，如果系统分6层，最终结果是：53%； 即使每层95%，最终结果73%
– 一体化：如分词/词性标注一体化 – 反馈
• 人是怎么做的？
– 人在瞬间综合运用各个层面的知识
机器理解自然语言的步骤
• 文本预处理：
– 文本采集 – 文本格式转换：PDF、Office、HTML纯文本 – 文本编码识别、转换：GB、Big5、Unicode。
• 句子切分
– 句子边界识别 – 例如：Mr. Wang likes swimming, dancing and reading.
• 形态分析：
– 由于作者疏忽造成的错误 – 真实的语言是非常脏的
重述(Paraphrasing)
• 举例
– 毛泽东出生于1893年 – 毛泽东出生在1893年 – 毛泽东诞生于1893年 – 毛泽东同志是1893年出生的 – 毛主席生于1893年 – 毛泽东生于光绪6年（虚拟的）
层间循环依赖问题
• 循环依赖
理性主义和经验主义
• 研究方法不同
– 理性主义
• 理论：一般根据Chomsky 语言理论，设计语言描述文法。 • 方法：根据一些语言现象，总结出语言规则，形成语言的规则集。 • 应用：应用语言规则，分析句子的结构，判断其合法性。
– 词汇符号化（Tokenization）：相当于中文分词。
– 分析结果：
Miss Smith put (+ed) two book+s on this table.
• 句法分析（Syntactic Analysis）：分析句 子的结构。
S NP V NP VP PP
Miss Smith put two books on the table.
• 图灵测试：如果通过自然语言问答，一个人无法识别和他对话 的是人还是机器，那么就应该承认机器具有智能。
一个NLP的例子：英汉翻译
• 输入英文句子：
– Miss Smith put two books on this table.
• 形态分析(Morphological Analysis)
– 词形还原（Lemmatization）：将词还原为词典中的原型。
NLP研究者
语言学家
NLP的学科特点
• 交叉性学科
– 语言学：语言学基础知识。
• 语言学理论：形式语言文法 • 语言学资源：词典、语料库、知识库
– 数学
• 语料库语言学的数学基础：概率论、统计学、信息论。 • 模型：自动机、Markov模型、HMM等。
– 计算机科学
• 机器学习：机器的学习算法 • 人工智能（问题求解，知识表示，状态空间的图搜索算法）
– – – – 研究构词方法，词的有意义的组合。 构词的基本单位：词素（词根、前缀、后缀、词尾） 例如：老虎← 老＋ 虎； 图书馆← 图＋ 书＋ 馆 例如： work + er → worker do + ing →doing