第一章 自然语言处理概论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1、开场白 2、自然语言处理概论 3、学习方法
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010 HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
1、开场白
欢迎大家加入可能是世界上人 数最多的自然语言处理团队！
自然语言处理中的歧义问题 （续）
语义分析歧义
At last, a computer that understands you like your mother.
– 1985 McDonnell-Douglas ad
含义1：计算机会象你的母亲那样很好地 理解你（的语言） 含义2：计算机理解你喜欢你的母亲 含义3：计算机会象很好地理解你的母亲 那样理解你
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
自然语言处理中的歧义问题
在自然语言处理的各个阶段广泛大量地 存在着形形色色的歧义问题，这是自然 语言与人工语言的根本差别之一，也是 自然语言处理的难点所在
第一章 自然语言处理概论
关毅 guanyi@hit.edu.cn
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010 HIT. All Rights Reserved
主要内容
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几点感性认识
有点繁琐枯燥
“从繁体词库到简体词库” 要求同学们一丝不苟的认真精神
充满乐趣
“机器翻译及其应用激起了人们极其浓厚 的兴趣” 要求同学们有愚公移山，坚持到底的精神
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
课程概貌
研究生专业必修课：自然语言处理 学时：36学时 授课方式：课堂讲授+课后上机练习 考察方式：闭卷考试？ 实验课（？）
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
--Franz Josef Och
董振东：JSCL 2005 ”拿统计机器翻译说 事” 哈尔滨工业大学计算机学院语言技Hale Waihona Puke Baidu研究中心
哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几个时间段（续）
还需要多少年才能实现计算机与人类无 障碍地沟通？
1968年的美国影片《2001太空奥德赛》
机器人HAL和Dave进行了如下对话：
Dave Bownman: Open the pod bay doors, HAL. (Dave Bownman：HAL, 请你打开太空舱的分离 门。) HAL: I’m sorry Dave, I am afraid I can’t do that. (HAL：对不起，Dave，我恐怕不能这样做。)
本人印象深刻的至理名言
The grand aim of all science is to cover the greatest number of empirical facts by logical deduction from the smallest number of hypotheses or axioms -爱因斯坦
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
教材
Christopher Manning and Hinrich Schutze: Foundations of Statistical Language Processing, MIT press, 1999（有中译本，译者 苑春法 等） 自然语言处理综论 Daniel Jurafsky &James H. Martin著 冯志伟 孙乐 译 王晓龙、关毅 《计算机自然语言处理》 清华大学出版社 2005年
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几个时间段（续）
六十多年
自然语言处理技术起源于人们对机器翻译 技术的研究，从1946年算起至今，已有60 多年的历史了 “目前一些试用过的用户表示，改进后的 翻译服务在质量方面令人惊讶。对于那些 从未使用机器翻译的用户来说，他们完全 可以通过翻译后的文本理解原文的意思， 一些细微的错误并不会引起太大的麻烦。”
当人们对干了坏事的成年人说时，是一种严厉 的斥责 当妈妈对淘气的儿子说时，实际表达的是对儿 子的一种疼爱 当恋爱中的女孩对男友说这句话时，则是女孩 在男友面前撒娇的一种表现 ……
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
自然语言处理中的歧义问题 （续）
语用分析歧义
“你真坏”至少有如下三种理解：
自然语言处理中的歧义问题 （续）
自然语言处理应用中的歧义问题
音字转换例
ji qi fan yi ji qi ying yong ji qi le ren men ji qi nong hou de xing qu
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
自然语言处理中的歧义问题 （续）
词法分析歧义
分词
严守一把手机关了
取法其上，仅得其中；取法其中，仅得 其下；取法其众，得其上。
-中国古代思想家
Every important idea is simple
-列夫.托尔斯泰
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
严守/ 一把手/ 机关/ 了 严守一/ 把/ 手机/ 关/ 了
词性标注
我/pro 计划/v 考/v 研/n 我/pro 完成/v 了/aux 计划/n
命名实体识别
秦兵坑杀赵军40万于长平
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几个时间段（续）
自然语言处理是一个“AI complete”问题 自然语言与（分子）生物学有着深刻的渊 源 生物学中有着至少500年也解决不完的有 趣问题 —Donald E. Knuth 问天再借500年
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几个时间段
二十多年
崛起于80年代初的统计自然语言处理技术， 已经成为自然语言处理的主流技术 本课程重点介绍统计语言处理技术，特别 是基于统计的汉语词法分析技术
独创精神
“一只美丽的小花猫” 要求同学们勇于创新
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
本人印象深刻的至理名言
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010 HIT. All Rights Reserved
哈尔滨工业大学计算机学院的 自然语言处理团队
起源
80年代初
王开铸教授，俄汉机器翻译 李生教授，汉英机器翻译
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几点感性认识（续）
团队合作
“128个字节的偏移量” 要求同学们善于协作，有团队精神
自然语言处理中的歧义问题 （续）
语法分析歧义
咬死了猎人的狗
那只狼咬死了猎人的狗 咬死了猎人的狗失踪了
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
两件宝贝
Mindjet MindManager （ver 8.0） Biblioscape（ver 7.0）
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
哈尔滨工业大学计算机学院的 自然语言处理团队（续）
主要研究室
关毅
1992年开始进入自然语言处理领域 主要工程项目
微软拼音输入法 BOPOMOFO汉字输入系统 Weniwen搜索引擎
主要科学贡献
关于相似的研究-提出系统相似度测度理论
现为哈工大计算机学院语言技术研究中心 教授，博士生导师
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
语言技术研究中心 信息检索研究中心 语音处理研究室 ……
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
个人简介
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010 HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
1、开场白
欢迎大家加入可能是世界上人 数最多的自然语言处理团队！
自然语言处理中的歧义问题 （续）
语义分析歧义
At last, a computer that understands you like your mother.
– 1985 McDonnell-Douglas ad
含义1：计算机会象你的母亲那样很好地 理解你（的语言） 含义2：计算机理解你喜欢你的母亲 含义3：计算机会象很好地理解你的母亲 那样理解你
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
自然语言处理中的歧义问题
在自然语言处理的各个阶段广泛大量地 存在着形形色色的歧义问题，这是自然 语言与人工语言的根本差别之一，也是 自然语言处理的难点所在
第一章 自然语言处理概论
关毅 guanyi@hit.edu.cn
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010 HIT. All Rights Reserved
主要内容
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几点感性认识
有点繁琐枯燥
“从繁体词库到简体词库” 要求同学们一丝不苟的认真精神
充满乐趣
“机器翻译及其应用激起了人们极其浓厚 的兴趣” 要求同学们有愚公移山，坚持到底的精神
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
课程概貌
研究生专业必修课：自然语言处理 学时：36学时 授课方式：课堂讲授+课后上机练习 考察方式：闭卷考试？ 实验课（？）
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
--Franz Josef Och
董振东：JSCL 2005 ”拿统计机器翻译说 事” 哈尔滨工业大学计算机学院语言技Hale Waihona Puke Baidu研究中心
哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几个时间段（续）
还需要多少年才能实现计算机与人类无 障碍地沟通？
1968年的美国影片《2001太空奥德赛》
机器人HAL和Dave进行了如下对话：
Dave Bownman: Open the pod bay doors, HAL. (Dave Bownman：HAL, 请你打开太空舱的分离 门。) HAL: I’m sorry Dave, I am afraid I can’t do that. (HAL：对不起，Dave，我恐怕不能这样做。)
本人印象深刻的至理名言
The grand aim of all science is to cover the greatest number of empirical facts by logical deduction from the smallest number of hypotheses or axioms -爱因斯坦
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
教材
Christopher Manning and Hinrich Schutze: Foundations of Statistical Language Processing, MIT press, 1999（有中译本，译者 苑春法 等） 自然语言处理综论 Daniel Jurafsky &James H. Martin著 冯志伟 孙乐 译 王晓龙、关毅 《计算机自然语言处理》 清华大学出版社 2005年
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几个时间段（续）
六十多年
自然语言处理技术起源于人们对机器翻译 技术的研究，从1946年算起至今，已有60 多年的历史了 “目前一些试用过的用户表示，改进后的 翻译服务在质量方面令人惊讶。对于那些 从未使用机器翻译的用户来说，他们完全 可以通过翻译后的文本理解原文的意思， 一些细微的错误并不会引起太大的麻烦。”
当人们对干了坏事的成年人说时，是一种严厉 的斥责 当妈妈对淘气的儿子说时，实际表达的是对儿 子的一种疼爱 当恋爱中的女孩对男友说这句话时，则是女孩 在男友面前撒娇的一种表现 ……
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
自然语言处理中的歧义问题 （续）
语用分析歧义
“你真坏”至少有如下三种理解：
自然语言处理中的歧义问题 （续）
自然语言处理应用中的歧义问题
音字转换例
ji qi fan yi ji qi ying yong ji qi le ren men ji qi nong hou de xing qu
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
自然语言处理中的歧义问题 （续）
词法分析歧义
分词
严守一把手机关了
取法其上，仅得其中；取法其中，仅得 其下；取法其众，得其上。
-中国古代思想家
Every important idea is simple
-列夫.托尔斯泰
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
严守/ 一把手/ 机关/ 了 严守一/ 把/ 手机/ 关/ 了
词性标注
我/pro 计划/v 考/v 研/n 我/pro 完成/v 了/aux 计划/n
命名实体识别
秦兵坑杀赵军40万于长平
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几个时间段（续）
自然语言处理是一个“AI complete”问题 自然语言与（分子）生物学有着深刻的渊 源 生物学中有着至少500年也解决不完的有 趣问题 —Donald E. Knuth 问天再借500年
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几个时间段
二十多年
崛起于80年代初的统计自然语言处理技术， 已经成为自然语言处理的主流技术 本课程重点介绍统计语言处理技术，特别 是基于统计的汉语词法分析技术
独创精神
“一只美丽的小花猫” 要求同学们勇于创新
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
本人印象深刻的至理名言
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010 HIT. All Rights Reserved
哈尔滨工业大学计算机学院的 自然语言处理团队
起源
80年代初
王开铸教授，俄汉机器翻译 李生教授，汉英机器翻译
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几点感性认识（续）
团队合作
“128个字节的偏移量” 要求同学们善于协作，有团队精神
自然语言处理中的歧义问题 （续）
语法分析歧义
咬死了猎人的狗
那只狼咬死了猎人的狗 咬死了猎人的狗失踪了
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
两件宝贝
Mindjet MindManager （ver 8.0） Biblioscape（ver 7.0）
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
哈尔滨工业大学计算机学院的 自然语言处理团队（续）
主要研究室
关毅
1992年开始进入自然语言处理领域 主要工程项目
微软拼音输入法 BOPOMOFO汉字输入系统 Weniwen搜索引擎
主要科学贡献
关于相似的研究-提出系统相似度测度理论
现为哈工大计算机学院语言技术研究中心 教授，博士生导师
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
语言技术研究中心 信息检索研究中心 语音处理研究室 ……
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室 哈工大 阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 年秋季 Copyrights @ 2010. HIT. All Rights Reserved
个人简介