第一章 自然语言处理概论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
-列夫.托尔斯泰
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
本人印象深刻的至理名言
The grand aim of all science is to cover the greatest number of empirical facts by logical deduction from the smallest number of hypotheses or axioms -爱因斯坦
自然语言处理中的歧义问题 （续）
语法分析歧义
咬死了猎人的狗
那只狼咬死了猎人的狗 咬死了猎人的狗失踪了
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
自然语言处理中的歧义问题 （续）
主要研究室
语言技术研究中心 社会计算与信息检索研究中心 智能接口与人机交互研究中心 ……
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
个人简介
关毅
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
几点感性认识（续）
团队合作
“128个字节的偏移量” 要求同学们善于协作，有团队精神 “一只美丽的小花猫” 要求同学们勇于创新
几个时间段（续）
六十多年
自然语言处理技术起源于人们对机器翻译 技术的研究，从1946年算起至今，已有60 多年的历史了 “目前一些试用过的用户表示，改进后的 翻译服务在质量方面令人惊讶。对于那些 从未使用机器翻译的用户来说，他们完全 可以通过翻译后的文本理解原文的意思， 一些细微的错误并不会引起太大的麻烦。”
哈尔滨工业大学计算机学院语言技术研究中心
---Bill Manaris, 1999
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014. HIT. All Rights Reserved
解题
本学科的主题与背景：“自然语言处理 可以定义为研究在人与人交际中以及在 人与计算机交际中的语言问题的一门学 科。”
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
自然语言处理中的歧义问题
在自然语言处理的各个阶段广泛大量地 存在着形形色色的歧义问题，这是自然 语言与人工语言的根本差别之一，也是 自然语言处理的难点所在
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
2、自然语言处理概论
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014. HIT. All Rights Reserved
语义分析歧义
At last, a computer that understands you like your mother.
– 1985 McDonnell-Douglas ad
含义1：计算机会象你的母亲那样很好地 理解你（的语言） 含义2：计算机理解你喜欢你的母亲 含义3：计算机会象很好地理解你的母亲 那样理解你
人人交际中的语言问题
例如语言不通的问题，促进了机器翻译这一语 言处理中最重要的应用之一的发展 例如语言文字的输入输出问题，促进了智能化 人机接口技术的研究
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
起源
80年代初
王开铸教授，俄汉机器翻译 李生教授，汉英机器翻译
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
哈尔滨工业大学计算机学院的 自然语言处理团队（续）
机器人HAL和Dave进行了如下对话：
百度文库
Dave Bownman: Open the pod bay doors, HAL. (Dave Bownman：HAL, 请你打开太空舱的分离 门。) HAL: I‘m sorry Dave, I am afraid I can‘t do that. (HAL：对不起，Dave，我恐怕不能这样做。)
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
自然语言处理中的歧义问题 （续）
词法分析歧义
分词
严守一把手机关了
严守/ 一把手/ 机关/ 了 严守一/ 把/ 手机/ 关/ 了
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
几点感性认识
有点繁琐枯燥
“从繁体词库到简体词库” 要求同学们一丝不苟的认真精神
充满乐趣
“机器翻译及其应用激起了人们极其浓厚 的兴趣” 要求同学们有愚公移山，坚持到底的精神
第一章 自然语言处理概论
关毅 guanyi@hit.edu.cn
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
主要内容
1、开场白 2、自然语言处理概论 3、学习方法
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014HIT. All Rights Reserved
课程概貌
研究生专业必修课：自然语言处理 学时：32学时+16学时 授课方式：课堂讲授+课后上机练习 考察方式：闭卷考试 实验课
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
独创精神
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
本人印象深刻的至理名言
取法其上，仅得其中；取法其中，仅得 其下；取法其众，得其上。
-中国古代思想家
Every important idea is simple
1992年开始进入自然语言处理领域 主要工程项目
微软拼音输入法 BOPOMOFO汉字输入系统 Weniwen搜索引擎 关于相似的研究-提出系统相似度测度理论
主要科学贡献
现为哈工大计算机学院语言技术研究中心 教授，博士生导师
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
两件宝贝
Mindjet MindManager Endnote/Mendeley/NoteExpress
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
哈尔滨工业大学计算机学院语言技术研究中心
1、开场白
欢迎大家加入可能是世界上人 数最多的自然语言处理团队！
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014HIT. All Rights Reserved
哈尔滨工业大学计算机学院的 自然语言处理团队
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心
自然语言处理中的歧义问题 （续）
自然语言处理应用中的歧义问题
音字转换例
ji qi fan yi ji qi ying yong ji qi le ren men ji qi nong hou de xing qu
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
几个时间段（续）
自然语言处理是一个“AI complete‖问题 自然语言与（分子）生物学有着深刻的渊 源 生物学中有着至少500年也解决不完的有 趣问题 —Donald E. Knuth
词性标注
我/pro 计划/v 考/v 研/n 我/pro 完成/v 了/aux 计划/n 秦兵坑杀赵军40万于长平
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
命名实体识别
哈尔滨工业大学计算机学院语言技术研究中心
什么是自然语言处理
定义1：自然语言处理可以定义为研究 在人与人交际中以及在人与计算机交际 中的语言问题的一门学科。自然语言处 理要研制表示语言能力（linguistic competence）和语言应用（linguistic performance）的模型，建立计算框架 来实现这样的语言模型，提出相应的方 法来不断地完善这样的语言模型，根据 这样的语言模型设计各种实用系统，并 探讨这些实用系统的评测技术。
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
教材
Christopher Manning and Hinrich Schutze: Foundations of Statistical Language Processing, MIT press, 1999（有中译本，译者 苑春法 等） 自然语言处理综论 Daniel Jurafsky &James H. Martin著 冯志伟 孙乐 译 王晓龙、关毅 《计算机自然语言处理》 清华大学出版社 2005年
几个时间段
二十多年
崛起于80年代初的统计自然语言处理技术， 已经成为自然语言处理的主流技术 本课程重点介绍统计语言处理技术，特别 是基于统计的汉语词法分析技术
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
自然语言处理中的歧义问题 （续）
语用分析歧义
“你真坏”至少有如下三种理解：
当人们对干了坏事的成年人说时，是一种严厉 的斥责 当妈妈对淘气的儿子说时，实际表达的是对儿 子的一种疼爱 当恋爱中的女孩对男友说这句话时，则是女孩 在男友面前撒娇的一种表现 ……
--Franz Josef Och
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
几个时间段（续）
还需要多少年才能实现计算机与人类无 障碍地沟通？
1968年的美国影片《2001太空奥德赛》
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
本人印象深刻的至理名言
The grand aim of all science is to cover the greatest number of empirical facts by logical deduction from the smallest number of hypotheses or axioms -爱因斯坦
自然语言处理中的歧义问题 （续）
语法分析歧义
咬死了猎人的狗
那只狼咬死了猎人的狗 咬死了猎人的狗失踪了
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
自然语言处理中的歧义问题 （续）
主要研究室
语言技术研究中心 社会计算与信息检索研究中心 智能接口与人机交互研究中心 ……
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
个人简介
关毅
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
几点感性认识（续）
团队合作
“128个字节的偏移量” 要求同学们善于协作，有团队精神 “一只美丽的小花猫” 要求同学们勇于创新
几个时间段（续）
六十多年
自然语言处理技术起源于人们对机器翻译 技术的研究，从1946年算起至今，已有60 多年的历史了 “目前一些试用过的用户表示，改进后的 翻译服务在质量方面令人惊讶。对于那些 从未使用机器翻译的用户来说，他们完全 可以通过翻译后的文本理解原文的意思， 一些细微的错误并不会引起太大的麻烦。”
哈尔滨工业大学计算机学院语言技术研究中心
---Bill Manaris, 1999
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014. HIT. All Rights Reserved
解题
本学科的主题与背景：“自然语言处理 可以定义为研究在人与人交际中以及在 人与计算机交际中的语言问题的一门学 科。”
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
自然语言处理中的歧义问题
在自然语言处理的各个阶段广泛大量地 存在着形形色色的歧义问题，这是自然 语言与人工语言的根本差别之一，也是 自然语言处理的难点所在
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
2、自然语言处理概论
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014. HIT. All Rights Reserved
语义分析歧义
At last, a computer that understands you like your mother.
– 1985 McDonnell-Douglas ad
含义1：计算机会象你的母亲那样很好地 理解你（的语言） 含义2：计算机理解你喜欢你的母亲 含义3：计算机会象很好地理解你的母亲 那样理解你
人人交际中的语言问题
例如语言不通的问题，促进了机器翻译这一语 言处理中最重要的应用之一的发展 例如语言文字的输入输出问题，促进了智能化 人机接口技术的研究
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
起源
80年代初
王开铸教授，俄汉机器翻译 李生教授，汉英机器翻译
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
哈尔滨工业大学计算机学院的 自然语言处理团队（续）
机器人HAL和Dave进行了如下对话：
百度文库
Dave Bownman: Open the pod bay doors, HAL. (Dave Bownman：HAL, 请你打开太空舱的分离 门。) HAL: I‘m sorry Dave, I am afraid I can‘t do that. (HAL：对不起，Dave，我恐怕不能这样做。)
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
自然语言处理中的歧义问题 （续）
词法分析歧义
分词
严守一把手机关了
严守/ 一把手/ 机关/ 了 严守一/ 把/ 手机/ 关/ 了
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
几点感性认识
有点繁琐枯燥
“从繁体词库到简体词库” 要求同学们一丝不苟的认真精神
充满乐趣
“机器翻译及其应用激起了人们极其浓厚 的兴趣” 要求同学们有愚公移山，坚持到底的精神
第一章 自然语言处理概论
关毅 guanyi@hit.edu.cn
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
主要内容
1、开场白 2、自然语言处理概论 3、学习方法
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014HIT. All Rights Reserved
课程概貌
研究生专业必修课：自然语言处理 学时：32学时+16学时 授课方式：课堂讲授+课后上机练习 考察方式：闭卷考试 实验课
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
独创精神
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
本人印象深刻的至理名言
取法其上，仅得其中；取法其中，仅得 其下；取法其众，得其上。
-中国古代思想家
Every important idea is simple
1992年开始进入自然语言处理领域 主要工程项目
微软拼音输入法 BOPOMOFO汉字输入系统 Weniwen搜索引擎 关于相似的研究-提出系统相似度测度理论
主要科学贡献
现为哈工大计算机学院语言技术研究中心 教授，博士生导师
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
两件宝贝
Mindjet MindManager Endnote/Mendeley/NoteExpress
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
哈尔滨工业大学计算机学院语言技术研究中心
1、开场白
欢迎大家加入可能是世界上人 数最多的自然语言处理团队！
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014HIT. All Rights Reserved
哈尔滨工业大学计算机学院的 自然语言处理团队
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心
自然语言处理中的歧义问题 （续）
自然语言处理应用中的歧义问题
音字转换例
ji qi fan yi ji qi ying yong ji qi le ren men ji qi nong hou de xing qu
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
几个时间段（续）
自然语言处理是一个“AI complete‖问题 自然语言与（分子）生物学有着深刻的渊 源 生物学中有着至少500年也解决不完的有 趣问题 —Donald E. Knuth
词性标注
我/pro 计划/v 考/v 研/n 我/pro 完成/v 了/aux 计划/n 秦兵坑杀赵军40万于长平
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
命名实体识别
哈尔滨工业大学计算机学院语言技术研究中心
什么是自然语言处理
定义1：自然语言处理可以定义为研究 在人与人交际中以及在人与计算机交际 中的语言问题的一门学科。自然语言处 理要研制表示语言能力（linguistic competence）和语言应用（linguistic performance）的模型，建立计算框架 来实现这样的语言模型，提出相应的方 法来不断地完善这样的语言模型，根据 这样的语言模型设计各种实用系统，并 探讨这些实用系统的评测技术。
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
教材
Christopher Manning and Hinrich Schutze: Foundations of Statistical Language Processing, MIT press, 1999（有中译本，译者 苑春法 等） 自然语言处理综论 Daniel Jurafsky &James H. Martin著 冯志伟 孙乐 译 王晓龙、关毅 《计算机自然语言处理》 清华大学出版社 2005年
几个时间段
二十多年
崛起于80年代初的统计自然语言处理技术， 已经成为自然语言处理的主流技术 本课程重点介绍统计语言处理技术，特别 是基于统计的汉语词法分析技术
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
自然语言处理中的歧义问题 （续）
语用分析歧义
“你真坏”至少有如下三种理解：
当人们对干了坏事的成年人说时，是一种严厉 的斥责 当妈妈对淘气的儿子说时，实际表达的是对儿 子的一种疼爱 当恋爱中的女孩对男友说这句话时，则是女孩 在男友面前撒娇的一种表现 ……
--Franz Josef Och
哈尔滨工业大学计算机学院语言技术研究中心
研究生专业必修课 自然语言处理 , 2014年秋季 Copyrights @ 2014 HIT. All Rights Reserved
几个时间段（续）
还需要多少年才能实现计算机与人类无 障碍地沟通？
1968年的美国影片《2001太空奥德赛》