第一章 自然语言处理概论ppt课件

研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
哈尔滨工业大学计算机学院的 自然语言处理团队
起源
80年代初
王开铸教授，俄汉机器翻译 李生教授，汉英机器翻译
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
本课程重点介绍统计语言处理技术，特别 是基于统计的汉语词法分析技术
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几个时间段（续）
六十多年
现为哈工大计算机学院语言技术研究中心 教授，博士生导师
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
课程概貌
研究生专业必修课：自然语言处理 学时：32学时+16学时 授课方式：课堂讲授+课后上机练习 考察方式：闭卷考试 实验课
机器人HAL和Dave进行了如下对话：
Dave Bownman: Open the pod bay doors, HAL. (Dave Bownman：HAL, 请你打开太空舱的分离 门。)
HAL: I’m sorry Dave, I am afraid I can’t do that. (HAL：对不起，Dave，我恐怕不能这样做。)
自然语言处理中的歧义问题 （续）
词法分析歧义
分词
严守一把手机关了
严守/ 一把手/ 机关/ 了 严守一/ 把/ 手机/ 关/ 了
词性标注
我/pro 计划/v 考/v 研/n 我/pro 完成/v 了/aux 计划/n
命名实体识别
秦兵坑杀赵军40万于长平
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几个时间段
二十多年
崛起于80年代初的统计自然语言处理技术， 已经成为自然语言处理的主流技术
第一章 自然语言处概论
关毅 guanyi@
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
主要内容
1、开场白 2、自然语言处理概论
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
个人简介
关毅
1992年开始进入自然语言处理领域 主要工程项目
微软拼音输入法 BOPOMOFO汉字输入系统 Weniwen搜索引擎
主要科学贡献
关于相似的研究-提出系统相似度测度理论
在自然语言处理的各个阶段广泛大量地 存在着形形色色的歧义问题，这是自然 语言与人工语言的根本差别之一，也是 自然语言处理的难点所在
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
自然语言处理技术起源于人们对机器翻译 技术的研究，从1946年算起至今，已有60 多年的历史了
“目前一些试用过的用户表示，改进后的 翻译服务在质量方面令人惊讶。对于那些 从未使用机器翻译的用户来说，他们完全 可以通过翻译后的文本理解原文的意思， 一些细微的错误并不会引起太大的麻烦。”
--Franz Josef Och
3、学习方法
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
1、开场白
欢迎大家加入可能是世界上人 数最多的自然语言处理团队！
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
哈尔滨工业大学计算机学院的 自然语言处理团队（续）
主要研究室
语言技术研究中心 社会计算与信息检索研究中心 智能接口与人机交互研究中心 ……
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
源 生物学中有着至少500年也解决不完的有
趣问题 —Donald E. Knuth
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
自然语言处理中的歧义问题
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几个时间段（续）
还需要多少年才能实现计算机与人类无 障碍地沟通？
1968年的美国影片《2001太空奥德赛》
哈尔滨工业大学计算机学院语言技术研究中心 哈工大-阿里巴巴联合实验室
研究生专业必修课 自然语言处理 , 2010年秋季 Copyrights @ 2010. HIT. All Rights Reserved
几个时间段（续）
自然语言处理是一个“AI complete”问题 自然语言与（分子）生物学有着深刻的渊