西文字符编码

一、西文字符的编码

1.西文字符集：由拉丁字母、数字、标点符号及一些特殊符号组成。

2.字符的编码：字符集中每一个字符各有一个代码，即字符的二进制表示，称为该字符的编码。

3.字符代码表:字符集中不同字符的编码互相区别，构成该字符集的代码表。

4.ASCII字符集和ASCII码

1)美国标准信息交换码(American Standard Code for Information Interchange)：使用7个二进位对

字符进行编码（叫做标准ASCII码），称为ISO-646标准。

2)基本的ASCII字符集共有128个字符，96个可打印字符（常用字母、数字、标点符号等）32个控

制字符，特殊字符的ASCII码空格（32）、A（65）、a（97）、0（48）

●数字，字母的ASCII码是连续的，对应大小写字母ASCII码相差32。

●不同类型的ASCII码的十进制数值由小到大：数字、大写字母、小写字母

3)汉字的编码（一）

●GB2312-80汉字编码

A.第一部分：字母、数字和各种符号，包括拉丁字母、俄文、日文平假名与片假名、希腊字母、汉

语拼音等共682个（统称为GB2312图形符号）

B.第二部分：一级常用汉字，共3755个，按汉语拼音排列

C.第三部分：二级常用字，共3008个，按偏旁部首排列

✓区位码：GB2312国标字符集构成一个二维平面，它分成94行、94列，行号称为区号，列号称为位号。每一个汉字或符号在码表中都有各自的位置，字符的位置用它所在的区号(行号)及位号(列号)来表示。每个汉字的区号和位号分别用1个字节来表示｛如：“大”字的区号20，位号83，区位码是20 83

用2个字节表示为：00010100 01010011｝

4)国标交换码:

●问题：信息通信中，汉字的区位码与通信使用的控制码（00H～1FH）发生冲突。解决方案：为

了避免汉字区位码与通信控制码的冲突，ISO2022规定，每个汉字的区号和位号必须分别加上32（20H）得到国标交换码。

5)机内码：

●问题：文本中的汉字与西文字符经常是混合在一起使用的，汉字信息如不予以特别的标识，它

与单字节的标准ASCII码就会混淆不清。解决方法：把一个汉字看作两个扩展ASCII码，使表示GB2312汉字的两个字节的最高位(b7)都等于“1”。这种高位为l的双字节(16位)汉字编码就称为GB2312汉字的“机内码”，又称内码。（如：“大”字的内码是：10110100 11110011（B4F3））

●汉字编码例

●国标码=区位码+2020H

●机内码=国标码+8080H

●机内码=区位码+A0A0H

例如：“啊”

区位码： 16 01 => 10 01H 0001 0000 0000 0001

国标码： 30 21H <= 10 01H

＋20 20H 0011 0000 0010 0001

机内码： B0 A1H <= 30 21H

＋80 80H 1011 0000 1010 0001

6)GBK汉字内码扩充规范

●问题：GB2312-80只有6763个汉字，使用时功能不够。解决方法：1995年发布GBK，全称为《汉

字内码扩展规范》GBK字符集中一共有21003个汉字和883个图形

●GBK字符集中的每个字符都采用双字节表示，总的编码范围为8140-FEFE，首字节在81-FE之

间，尾字节在40-FE之间(剔除xx7F一条线不安排字符)，总计23940个码位，共收入21886个汉字和图形符号，未使用的区域作为用户自定义区。

●应用：

操作系统——Windows 95以上简体中文版，采用GBK代码，并提供了多种输入法和字体

应用软件——Office 95以上简体中文版本提供GBK码的检索和排序

互联网应用——许多网站的网页使用GBK代码，但目前还不是所有搜索引擎都支持 GBK 汉字文本的搜索

7)UCS/Unicode与GB18030汉字编码标准

●通用编码字符集UCS/Unicode

约有6800种语言和文字在使用，需要建立一个多文种（Multilingual）处理环境

在ISO2022基础上，使用代码页号切换不同字符集的方法过于繁琐，且与其他系统不兼容

目标与途径：实现所有字符在同一字符集中统一编码

●UCS/Unicode与GB18030汉字编码标准

优点：编码空间极大，能容纳足够多的各种字符集（13亿字符）

缺点：4字节的字符编码使存储空间浪费严重

5.文字与文本

1)文本（text）：文字信息在计算机中的表示形式，组成文本的基本元素是字符，字符在计算机

中采用二进制编码表示。

2)文本处理过程

●文本在计算机中的处理过程：文本的准备（例如汉字的输入），文本编辑，文本处理，文本存

储与传输、文本展现等，根据应用的不同，各个处理环节的内容和要求可能有很大的差别。

●文本信息的输入方法

A.人工输入：通过键盘、手写笔或语音输入方式输入字符

特点：速度慢、成本高，不适合需处理大批量文字的应用

B.自动输入：将纸介质上的文本通过识别技术自动转换为文字的编码

特点：速度快，效率高

C.文字的自动识别分为：印刷体识别和手写体识别

●文本信息的输入方法

由于汉字字数很多，无法使每个汉字与西文键盘上的键一一对应，因此必须使用一个或几个键来表示汉字，这就称为汉字的“键盘输入编码”。好的汉字键盘输入编码方案的特点：易学习、易记忆、效率高(平均击键次数较少)、重码少、容量大(可输入的汉字字数多)等

✓汉字的输入编码与汉字的内码是不同范畴的概念。使用不同的输入编码方法向计算机输入的同一个汉字，它们的内码是相同的