最新整理基于语料库的工作.ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
人身保险公司的雇员
– database – data base harddisk – hard disk
标记化：什么是一个词
• 非词语分界的空格
– data base – database, 9365 1873 – 93651873 – New York, San Francisco – 如果和连字符一起出现，问题就更加复杂了
• the New York – New Haven Railroad – 习惯搭配形成的词
• Work out
– I couldn’t work the answer out.
wk.baidu.com
标记化：什么是一个词
电话号码
0171 378 0647 (44.171 830 1007) +44 (0) 1225 753678 01256 468661 (202) 522-2239 1-925-225-3000 212.995.5402
标记化：什么是一个词
• 相同形式表示不同的“词语”
– saw – 工具 – saw – see的过去时
标记化：什么是一个词
• 其它语言中的分词
– 中文、日文、泰文 • 严守一把手机关上 — 严守一 把 手机 关上
– 德语中大多数的词语有空格分割，但是复合名 词写成单独的词 • Lebensversicherungsgesellschaftsangestellter
低级格式问题
• 大小写
– the，The，THE – Richard Brown brown paint
• 识别句子中人名的启发式方法
– 把每个句子开头的大写字母转换成小写字母 – 把一串连续大写的词当作标题和副标题 – 这样，其余的大写字母就可以认为是名字
标记化：什么是一个词
• 什么是词
– 前后有空格的连续字母组成的字符串，可以包 含连字符和省略号，但是不能包含其它的标点 符号。 – Kucera and Francis（1967）
• ACL/DCI语料库
– The Association for Computational Linguistics – Data Collection Initiative
• UPenn树库
• LDC（ Linguistic Data Consortium ）
超大规模（上亿词级）标准编码体系深度标注/多语种NLP应用
• 生语料库/熟语料库
– 生语料库就是未经加工的,没有任何切分,标注标记的原 始语料库
– 熟语料库就是指经过加工,带有切分,标注标记的语料库
• 系统型语料库/专用型语料库
– 系统型语料库就是依据事先确定的选材原则和比例选 取语料的语料库
– 专用型语料库就是指专门服务于某个特定目的的语料 库
• 单语种语料库/多语种语料库
– $22.50，Micro$oft，C|net
标记化：什么是一个词
• 句点
– 大多数句点的作用是表明句子结束，其它情况 表示缩写，例如：etc.，Calif.。
• 保留句点的意义
– Wash.（Washington）-- Wash
• etc.出现在句子的末尾的时候，只保留一个
句点，这个句点同时表示两种意思。
标记化：什么是一个词
• 单撇号
– I’m，isn’t …… – I am，is not
• dog’s 表示什么？
– dog is，dog has，还是所有格形式？
• 词末尾的单撇号如何处理？
– 通常代表一对引号的结束，不是该词的一部分 – 如果它跟着一个s出现
• boys’ toys
标记化：什么是一个词
关于语料库的三点基本认识
• 语料库中存放的是在语言的实际使用中真
实出现过的语言材料；
• 语料库是以电子计算机为载体承载语言知
识的基础资源；
• 真实语料需要经过加工（分析和处理），
才能成为有用的资源；
语料库示例
北京大学计算语言所富士通人民日报标注语料库样例：
历史/n 将/d 铭记/v 这个/r 坐标/n ：/w 北纬/b ４１．１ /m 度/q 、/w 东经/b １１４．３/m 度/q ；/w 人们/n 将 /d 铭记/v 这/r 一/m 时刻/n ：/w １９９８年/t １月/t １ ０日/t １１时/t ５０分/t 。/w ……
语料库建设中处理的问题
• 文本
– 生文本 – 标注文本
• 语料库建设中处理的问题
– 低级格式问题 – 标记化：什么是一个词？ – 词法 – 句子
低级格式问题
• 垃圾格式
– 由于语料库的来源复杂，语料库中可能存在无 法处理的各种各样的格式或内容，他们是没有 用处的，需要过滤掉。 • 文档页眉、分隔符、排版代码、表和图表 • 如果数据来源于OCR，会引入错误识别的问题
语料库发展简史
• 第一代（1970－80年代） • 第二代（1980－90年代） • 第三代（1990年代－）
第一代语料库
• Brown语料库
• LOB语料库
• LLC语料库
百万词级以语言研究为导向
第二代语料库
• COBUILD语料库 • Longman语料库
千万词级词典编纂－应用导向
第三代语料库
[中国/ns 政府/n]nt 顺利/ad 恢复/v 对/p 香港/ns 行使/v 主权/n ，/w 并/c 按照/p “/w 一国两制/j ”/w 、/w “/w 港 人治港/l ”/w 、/w 高度/d 自治/v 的/u 方针/n 保持/v 香 港/ns 的/u 繁荣/an 稳定/an 。/w
语料库的分类
• 连字符：不同形式表示相同形式的词
– 带有连字符的一串字母应该看成一个词还是两个？ （有时候是一个，有时候是两个） • 一个，来源于排版印刷
– 找到一行中最后的连字符，丢弃它，把本行的词和下一行的连起 来
– e-mail, co-operate – 连字符用于表示引用的短语或者数量、比率
• the 26-year-old – database, data base, data-base – 破折号和词语之间的空格
国家
UK UK UK UK USA USA USA
电话号码
+45 43 48 60 60 95-51-279648 +411/284 3797 (94-1) 866854 +49 69 136-2 98 05 33 1 34 43 32 36 ++31-20-5200161
– database – data base harddisk – hard disk
标记化：什么是一个词
• 非词语分界的空格
– data base – database, 9365 1873 – 93651873 – New York, San Francisco – 如果和连字符一起出现，问题就更加复杂了
• the New York – New Haven Railroad – 习惯搭配形成的词
• Work out
– I couldn’t work the answer out.
wk.baidu.com
标记化：什么是一个词
电话号码
0171 378 0647 (44.171 830 1007) +44 (0) 1225 753678 01256 468661 (202) 522-2239 1-925-225-3000 212.995.5402
标记化：什么是一个词
• 相同形式表示不同的“词语”
– saw – 工具 – saw – see的过去时
标记化：什么是一个词
• 其它语言中的分词
– 中文、日文、泰文 • 严守一把手机关上 — 严守一 把 手机 关上
– 德语中大多数的词语有空格分割，但是复合名 词写成单独的词 • Lebensversicherungsgesellschaftsangestellter
低级格式问题
• 大小写
– the，The，THE – Richard Brown brown paint
• 识别句子中人名的启发式方法
– 把每个句子开头的大写字母转换成小写字母 – 把一串连续大写的词当作标题和副标题 – 这样，其余的大写字母就可以认为是名字
标记化：什么是一个词
• 什么是词
– 前后有空格的连续字母组成的字符串，可以包 含连字符和省略号，但是不能包含其它的标点 符号。 – Kucera and Francis（1967）
• ACL/DCI语料库
– The Association for Computational Linguistics – Data Collection Initiative
• UPenn树库
• LDC（ Linguistic Data Consortium ）
超大规模（上亿词级）标准编码体系深度标注/多语种NLP应用
• 生语料库/熟语料库
– 生语料库就是未经加工的,没有任何切分,标注标记的原 始语料库
– 熟语料库就是指经过加工,带有切分,标注标记的语料库
• 系统型语料库/专用型语料库
– 系统型语料库就是依据事先确定的选材原则和比例选 取语料的语料库
– 专用型语料库就是指专门服务于某个特定目的的语料 库
• 单语种语料库/多语种语料库
– $22.50，Micro$oft，C|net
标记化：什么是一个词
• 句点
– 大多数句点的作用是表明句子结束，其它情况 表示缩写，例如：etc.，Calif.。
• 保留句点的意义
– Wash.（Washington）-- Wash
• etc.出现在句子的末尾的时候，只保留一个
句点，这个句点同时表示两种意思。
标记化：什么是一个词
• 单撇号
– I’m，isn’t …… – I am，is not
• dog’s 表示什么？
– dog is，dog has，还是所有格形式？
• 词末尾的单撇号如何处理？
– 通常代表一对引号的结束，不是该词的一部分 – 如果它跟着一个s出现
• boys’ toys
标记化：什么是一个词
关于语料库的三点基本认识
• 语料库中存放的是在语言的实际使用中真
实出现过的语言材料；
• 语料库是以电子计算机为载体承载语言知
识的基础资源；
• 真实语料需要经过加工（分析和处理），
才能成为有用的资源；
语料库示例
北京大学计算语言所富士通人民日报标注语料库样例：
历史/n 将/d 铭记/v 这个/r 坐标/n ：/w 北纬/b ４１．１ /m 度/q 、/w 东经/b １１４．３/m 度/q ；/w 人们/n 将 /d 铭记/v 这/r 一/m 时刻/n ：/w １９９８年/t １月/t １ ０日/t １１时/t ５０分/t 。/w ……
语料库建设中处理的问题
• 文本
– 生文本 – 标注文本
• 语料库建设中处理的问题
– 低级格式问题 – 标记化：什么是一个词？ – 词法 – 句子
低级格式问题
• 垃圾格式
– 由于语料库的来源复杂，语料库中可能存在无 法处理的各种各样的格式或内容，他们是没有 用处的，需要过滤掉。 • 文档页眉、分隔符、排版代码、表和图表 • 如果数据来源于OCR，会引入错误识别的问题
语料库发展简史
• 第一代（1970－80年代） • 第二代（1980－90年代） • 第三代（1990年代－）
第一代语料库
• Brown语料库
• LOB语料库
• LLC语料库
百万词级以语言研究为导向
第二代语料库
• COBUILD语料库 • Longman语料库
千万词级词典编纂－应用导向
第三代语料库
[中国/ns 政府/n]nt 顺利/ad 恢复/v 对/p 香港/ns 行使/v 主权/n ，/w 并/c 按照/p “/w 一国两制/j ”/w 、/w “/w 港 人治港/l ”/w 、/w 高度/d 自治/v 的/u 方针/n 保持/v 香 港/ns 的/u 繁荣/an 稳定/an 。/w
语料库的分类
• 连字符：不同形式表示相同形式的词
– 带有连字符的一串字母应该看成一个词还是两个？ （有时候是一个，有时候是两个） • 一个，来源于排版印刷
– 找到一行中最后的连字符，丢弃它，把本行的词和下一行的连起 来
– e-mail, co-operate – 连字符用于表示引用的短语或者数量、比率
• the 26-year-old – database, data base, data-base – 破折号和词语之间的空格
国家
UK UK UK UK USA USA USA
电话号码
+45 43 48 60 60 95-51-279648 +411/284 3797 (94-1) 866854 +49 69 136-2 98 05 33 1 34 43 32 36 ++31-20-5200161