中文信息处理概述.ppt

2019-8-26
谢谢观赏
8
二、文字信息处理的基本问题
• 文字信息的计算机处理过程
– 要用计算机来处理文字，必须解决如何把文字输入计算机并在计 算机中存储起来，进行适当处理之后再输出文字等问题。
文字信息的输入 文字信息的处理 文字信息的输出
2019-8-26
谢谢观赏
9
二、文字信息处理的基本问题
• 文字信息处理的实质，是先把文字信息数字化，即用一个 固定的数码代表一个字母或文字。
• 例如：
• 汉字
第一字节
第二字节 十六进制
区位码
•
啊
0110000
0100001
3021
1601
•
保
0110001
0100011
3123
1703
•
播
0110010
0100101
3225
1805
2019-8-26
谢谢观赏
17
区位码
• 国标码还可以表示成区位码的形式。在GB2312-80代码表 中，将行号称为区号，列号称为位号，分别有94个区和 94个位。将汉字置于其中，由区号与位号标识出汉字在 代码表中的位置。
• 信息处理：中文情报检索、中文文本校对、机器翻译、自 然语言理解、中文人机界面、语义网、电子字典、电脑辅 助翻译等
• 中文化：软件的国际化（internationalization）和本土 化（localization）。
• 中文编程：目前有两种发展，一种是英文coding直接翻译， 以降低开发人员的语言学习成本；一种是根据中文特点， 发展出融合中国人思维模式的新的计算机语言。
• 如“大”字的区位码为2083，国标码为3473H，机内码为 3473H+8080H=B4F3H。将B4F3H 化为二进制数得： 1011010011110011，这就是在计算机中实际使用的机内 码的二进制形式。
• 8080H等于二进制的1000000010000000，国标码加上
8080H，可以保证机内码每个字节首位均为１。
• 输入技术：中文输入法、中文手写输入、中文语音输入、 光学字符识别等。
• 输出技术：汉字字模技术（字体库）、汉字激光照排、汉 语语音合成、动态组字等。
• 外字处理：动态组字、造字、电子书等。 • 存储技术：汉字库标准中文、字符编码等。 • 转换技术：繁简转换等
2019-8-26
谢谢观赏
13
三、中文信息处理主要研究对象
2019-8-26
需要语言知识 ！！！
12 译文输出 11 译后编辑
7
内部表示转换
谢谢观赏
10 词形变化 9 句子生成 8 译词选择
机器翻译全过程7
中文信息处理的现状和发展趋势
• 现状 符号层的处理成果已经得到广泛应用； 中文输入/字库/字处理软件/排版/……
内容层的处理目前在词语识别和词性标注方面已经取得 重要进展，句子结构分析和语义分析方面仍有待探索
• 区位码与国标码之间有一定的对应关系： • 将区位码的区号和位号分别由十进制转换成对应的十六进
制数，然后加上十六进制数2020H（H表示2020为十六进制 数码），就得到对应的国标码。例如，“啊”字的区位码 是1601，分别将区号和位号转换成对应的十六进制数得 1001H，再加上2020H就得到“啊”字的国标码为3021H。
• 国标码是汉字编码的国家标准。在GB 2312-80代码表中，纵向分为 0~93，共94行；横向也是0~93，共94列。行与列分别用七位二进制码
表示，第一字节表示行，第二字节表示列。其值都从0100001到 1111110。这正是ASCII 码的可打印字符的编码。其范围为十六进制 的21~7E。汉字国标码是将第一字节和第二字节连写而得到的。由于 二进制形式太长，通常用十六进制表示。
第六章 中文信息处理
概述
2019-8-26
谢谢观赏
1
一、中文信息处理
• 《计算机科学技术百科全书》(清华大学出版社，1998)
– 中文信息处理是用计算机对汉语的音、形、义等语言文字信息进 行的加工和操作，包括对字、词、短语、句、篇章的输入、输出、 识别、转换、压缩、存储、检索、分析、理解和生成等各方面的 处理技术。
2019-8-26
谢谢观赏
Baidu Nhomakorabea
14
四、汉字编码标准
• 为了用0、1代码串表示汉字，在汉字系统或通信系统之间交换信息， 必须给每个汉字规定一个统一的代码。这就是汉字的交换码。
• 1981年5月，我国国家标准总局颁布《信息交换用汉字编码字符集》 (GB 2312-80)，作为汉字交换码编码的国家标准，简称国家标准汉 字编码，或国标码。
2019-8-26
谢谢观赏
11
汉字信息处理的基本问题
• 计算机的键盘原本就是为英文输入设计的，只要按照字母击键， 就可以输入英文。键盘的译码电路按照所击的键产生英文字符 的ASCII码，输入到计算机的内存中。
• 经过编辑的文本仍然以ASCII码表示。输出时，这些代码必须 转换成字符字形的点阵，以便显示或打印。因此，计算机必须 存储每个英文字符、数码以及标点符号的点阵信息。这些点阵 信息构成了所谓“字模库”。字模库的点阵以有点或无点来表 示文字和符号。
• 收进该标准的字符共有7 445个。其中一级汉字3 755个，二级汉字3 008个，共计6 763个。一、二级汉字约占近代文献汉字累计使用频 度的99.99%。
• 为便于查找，一级汉字按汉语拼音顺序排列；二级汉字一般不易熟 记它们的发音，故按部首和笔画排列。另外还包括常用符号、序号、 GB 1988图形字符集、日文假名、希腊字母、俄文字母、汉语拼音、 注音字符、制表符号等。
• 信息的两个层次： 符号层 —— 中文 / 汉语 / 汉字 内容层 —— 符号所承载的意义
• 中文信息处理的两个层次： 字符处理（输入、存储、输出等） 内容处理（词语切分，词性标注，结构分析，意义理解， 推理，翻译……等等）
2019-8-26
谢谢观赏
4
符号层的信息处理
• 拼音文字：小字符集 —— 比较容易 • 非拼音文字：大字符集 —— 难度很大
2019-8-26
谢谢观赏
22
汉字编码的关系 00 00 GB2312－80
2个扩充的汉字字符集
GB2312
GB12345－90
FF
00
00
GBK－95
GBK-95
2019-8-26
GB18030-2000
2019-8-26
谢谢观赏
10
二、文字信息处理的基本问题
• 英文字符的编码标准是ASCII码，即美国信息交换标准代 码。这是七位的二进制代码，它是美国国家标准学会 （ANSI）为计算机的信息交换提出的标准，后来由国际标 准组织（ISO）确定为国际标准字符编码。
• 为了和国际标准兼容，我国根据它制定了英文字符编码国 家标准，即GB1988。其中除了将货币符号置换为人民币符 号外，其他都与ASCII码相同。
2019-8-26
谢谢观赏
21
五、汉字编码字符集
• 按照一组无歧义的规则而定义的汉字字汇的有序集合。 其中每一个汉字与它的代码表示之间具有一一对应关 系。
• 在信息处理技术中汉字编码字符集用于汉字信息的表 示、交换、传输、处理、存储、输入及显示。
• 在国际标准化组织ISO的定义中，“无歧义的规则” 很重要，制定这些规则的目的是为了确保编码的唯一 性，避免重码。
• 《中文信息处理技术教程》，朱巧明，清华大学出版社， 2005年版
• 《计算语言学概论》，俞士汶主编，商务印书馆，2003年 9月第1版
• 《计算语言学》，刘颖，清华大学出版社，2002年版
• 中国语言文字网
2019-8-26
谢谢观赏
3
中文信息处理
• 中文信息处理分为汉字信息处理与汉语信息处理两部分
– 在英文信息中，以26个字母作为文字信息处理的单位，因此要对 26个字母逐个地确定代替它的数码。
– 汉字一般是以一个整字作为文字信息处理的单位，因此要对每一 个整字惟一地确定代表它的数码。
• 这一数码统称为代码(code)
• 在计算机内部处理文字信息时，就像处理数据一样对待。 处理完毕后，再把替代的数码还原成相应的字母或文字。 利用计算机能够调整处理数据的性能，使文字信息处理也 能够分享计算机技术的这一独特优点，从而实现文字信息 处理的高效化。
– 中文信息处理分为汉字信息处理与汉语信息处理两部分
• 中文信息处理是自然语言信息处理的一个分支，是一门与 计算机科学、语言学、数学、信息学、声学等多种学科相 关联的综合性学科。
2019-8-26
谢谢观赏
2
参考文献
• 《中文信息处理技术——原理与应用》，李宝安等，清华 大学出版社，2005年7月第1版
2019-8-26
谢谢观赏
19
机内码
• 汉字机内码是在计算机内部实际用来表示汉字的代码。不 同的计算机系统使用的机内码是不同的。在微型机中，多 采用两字节代码作为机内码。在大、中型机中，多采用三 字节或四字节代码作机内码。
• 制订机内码必须考虑下列因素：汉字与西文易于区别；中、 西文兼容；码长短，每个汉字所占字节数少；与国标码有 较简单的对应关系，便于信息转换。
2019-8-26
谢谢观赏
15
汉字编码标准
• 累计使用频度不足0.001%的汉字数量接近1万个。为了满足计算机实 际应用的需要，我国在GB 2312-80的基础上扩大收字的范围，制定了 “汉字内码规范”GBK，包含了20 902个汉字，又称为扩展的国标码。 在Windows 95/98和其后的Windows 2000中，装入了GBK的全部汉字和 符合GBK和GB 2312-80的输入法。
2019-8-26
谢谢观赏
20
机内码
• 目前，多数微机汉字系统的机内码是以国标GB 2312-80 规定的双七位代码为依据，经一定转换后用两个字节表 示一个汉字。每个字节的最高位均为１，以此作为汉字 的标记，以便于与ASCII码编码的符号相区别。
• 由国标码转换为机内码的规则是：将十六进制的国标码 加上8080H，就得到对应的机内码。
• 区号与位号都用两位十进制数表示，不足两位的前面补 零。每个汉字或符号的区号和位号连起来就组成这个汉 字或符号的区位码。
• 这样，每个汉字或其他符号都可以用４位十进制数表示。 因此，区位码可以用来作为汉字输入的编码。
2019-8-26
谢谢观赏
18
区位码
• 在区位码表中，1~9区为字母、数字、特殊图形符号等； 10~15区是未定义的空区；16~55区为一级汉字区；56~87 区为二级汉字区。例如，“啊”字的区位码是1601，“保” 字的区位码是1703，“播”字的区位码是1805，等等。
• 拉丁字母只有26个符号 • 斯拉夫字母只有33个符号 • 阿尔明尼亚字母只有38个符号 • 泰米尔字母只有36个符号 • 缅甸字母只有52个符号 • 泰文字母只有44个符号 • 老挝字母只有27个符号 • 藏文字母只有35个符号 • 韩文字母只有24个符号 • 日文假名只有48个符号
2019-8-26
• 汉字是一个大字符集 《说文解字》（东汉）：9353字 《玉篇》（南朝）收录16,917字 《广韵》（宋代）收字26,194字 《字汇》（明朝）收录33,197字 《康熙字典》（清朝）收录47,043字 《汉语大字典》（1992年）5.6万 《中华字海》（ 1994年） 8.6万
• 汉字信息的计算机处理过程与英文信息处理过程是类似的。不 过，由于汉字信息的特点，以及要考虑与英文信息处理系统兼 容等问题，处理的难度更大。我国经过多年的研究，汉字处理 的基本问题已经解决。
2019-8-26
谢谢观赏
12
三、中文信息处理主要研究对象
• 基础研究：汉字字频统计、词频统计、汉语自动分词、句 法属性研究、汉字编码字符集、通用汉字样本库、汉字属 性字典、语料库等
• 由于汉字的字符多，一个字节八位二进制代码不足以表示所有的常用 的汉字。为了不与西文的ASCII 码混淆，在微型机汉字系统中，国标 码的每个符号都用两个字节（十六位）代码来表示，并作为转换为机 内码或其他汉字处理代码的依据。
2019-8-26
谢谢观赏
16
国标码
• 汉字国标码就是GB 2312-80为汉字规定的代码，也称为交换码。
谢谢观赏
5
符号层的信息处理
汉字输入
自动输入
键盘输入
字形识别
声音识别
4
手写体识别
5
在线手写
整字键盘
6
脱机手写
7 印刷体识别
2019-8-26
谢谢观赏
主辅式 感应式
通用键盘
8
形码 1
音码 2 9
形音结合码
3
6
内容层的信息处理
原文
译文
原文输入 1 译前编辑 2
词法分析 3 句法分析 4 语义分析 5 语境分析 6