方正超大字库解决方案

方正超大字库解决方案

方正超大字库解决方案

■关于汉字和汉字编码

殷商出土的甲骨文可视为中国文字的渊源，历经几千年的历史演变，汉字

无论是在字形、字体，还是数量方面都发生了很大变化，从下面一组数据就可

以看出汉字在数量方面的演变。

《说文解字》(公元100年)收9353字；《声类》(227-239年)收11520字；《玉篇》(5 43年)收22726字；《唐韵》(751年)收26194字；《类篇》(1066年)收31319字；《字汇》(1615年)收33179字；《康熙字典》(1716年)收47035字；《中华大字典》(1915年)收48000字；《中文大字典》(1968年)收49905字；《汉语大字典》(1986年)收56000字。

汉字家族在不断增加，从"说文解字"到"汉语大字典"的大约2000年的时间里，汉字的数量增加了5倍多，而我们常用的6000多个汉字仅仅是汉字家庭中的一小部分。到目前为止，国际标准组织(ISO)制定国际标准时，共收集到汉字七万多字。

从中文信息处理的角度来看，国家及国际相继颁布了不同的汉字编码标准，从GB2132到GBK，从GBK到GB18030，标准收录的汉字从6763个增加到现在的27000多个，但对于汉字的庞大家族来说，尴尬难以避免。在银行、邮电、保险、报业、公安等行业，经常会碰到生僻的人名、地名，只能用拼音代替或手

工贴图，而古籍整理、辞书出版、光盘出版、地理信息系统等则会遇到很多缺字，补字的工作量很大。其它使用汉字的国家和地区，如日本、韩国、越南、

新加坡等，其文化遗产多以汉字的形式保存，随着信息时代的到来，将其转换

为电子资料时经常碰到的问题就是：电脑中的汉字不够用。

■方正超大字库的发展历程

作为中国最早从事中文字库开发的专业厂商，北大方正非常关注中文字库技术进步和中文印刷字体的发展，积极参与中国国家标准和国际标准化(ISO)组织相关标准的制订，如GB2312-80、GBK、GB18030、ISO/IEC-10646等。

为了进一步规范汉字的编码，国际标准化(ISO)组织对汉字做了扩充，这就是汉字EXT B，北大方正积极参加了编辑讨论工作。2000年8月22日，公布的SuperCJK V10.2共包含70205字，也正是最新的方正超大字库的全部内容，即方正超大字库基本包含了中、日、韩、越的主要汉字。

由于汉字来源复杂，按照国家的要求，必须改成现行的写法，方正邀请了多位文字学专家进行指导，对70205字进行了新笔形化，同时邀请多位字体设计专家对质量进行把关，保证字形、笔形规范、统一，符合国家语委的标准。方正宋一超大字库收录了70244个汉字，2月16日通过了新闻出版署、国家语委、全国印刷字体工作委员会的联合审定。与会专家认为，方正超大字库符合国家用字规范和印刷标准，具有良好的通用性、兼容性和一致性，符合国际流行的工业标准。

■方正超大字库解决方案

1、方正超大字库编码方案

为解决古籍整理、辞书出版中遇到的补字问题，方正超大字库采用GBK编码，分成三个字库，将汉字扩充到70244字，这可以有效地解决出版问题，但在检索时会出现重码。

现在有三个方案：

(1)使用Unicode所定义的surrogate机制：

双字节和四字节混合编码，四字节部分共可对应到至多一百万个字符

(1M,1024x1024)，这一百万个字符的容量可以对应到ISO 10646定义的16个字面(plane)，每一个字面的容量为64K(64x1024)，CJK区域的扩展B字符集，位于第二个字面(plane 2)。

目前微软的WINDOWS 2000已经支持这个方案。

(2)中国刚发布的GB18030：

双字节和四字节混合编码，是GBK的扩充，四字节部分共1587600个码位，也可以对应到ISO 10646定义的16个字面(plane)，还需要软件厂商的支持。

(3)ISO 10646的四字节编码：

这种四字节编码到现在还没有支持的操作系统。

现在，不同国家和地区还在广泛使用各自不同的汉字编码标准，相同的汉

字放在不同的码位，好在ISO 10646.2字符集快要出台，包含了大多数汉字，

也引起了世界各国的重视，许多国家已经采取步骤向UCS过渡。相信在不远的

将来，使用汉字的人们能使用同一种编码交流，以便增进彼此之间的理解。

2、方正超大字库输出方案

现已面市的方正超大字库，将极大地方便专业辞书和古籍的排印。从字数

上看，它目前包含《汉语大字典》的全部5万6千余字，共收录汉字70244个，并且前后端一致，所见即所得。借助于配套的方正书版9.0及典码输入法，可

以免除大量的补字问题，降低劳动强度，提高工作效率。

方正超大字库解决方案

最初的中文计算机系统中文字符数十分有限，例如GB2312-80编码标准仅

收录了6763个汉字，在实际使用中人们越来越发现，汉字不够用了。这一点倒不难理解，因为虽然人们在实际生活中并不使用过多烦难的汉字，但是作为源

远流长的中华文明在5000年历史长河中留下了无数历史，地理，科学，文化，生活等等方方面面的资料，许多现在已经不再使用的汉字字符，依然大量保留

在这些史籍之中。这些历史文化资料在计算机，信息技术日益发达的今天，数

字化是留存他们的非常适合的保存方式。除此之外今天许多的地名也依然保留

着中华文明的古老痕迹，人们在起名时也往往因为某个古老的汉字美好寓意而

采用他们。

但是，当人们满心欢喜的准备把这些资料数字化存储到计算机时，却发现

这时有的汉字却在现有字库中找不到。古籍资料，历史文献中的生僻文字无法

输入计算机电子化，数字化，即便是对仍在使用中的地名，人名现有的汉字也

是远不够用，例如，在银行、邮电、保险、报业、公安等行业，经常会碰到生

僻的人名、地名，这时就只能用拼音代替或手工贴图，这些问题使得文档难以

处理，给人们的生活平添烦恼。而古籍整理、辞书出版则会遇到很多缺字，虽

然现在可以通过补字的方式增加所缺字符，但是有时补字的工作量很大，而且

往往造成和现有字体不能保证完全一致的风格。此外还有其它使用汉字的国家

和地区，如日本、韩国、越南、新加坡等，其文化遗产也多以汉字的形式保存。随着信息时代的已经到来，将各种资料，信息转换为电子文档时经常碰到的问

题就是：电脑中的汉字不够用。

中国人对汉字的需求仿佛随着时间的推移越来越大，2000年一个新的国家

标准GB18030-2000开始强制执行了。从GB2132到GBK，从GBK到GB18030，标准收录的汉字从6763个增加到现在的27000多个，人们不禁要问：汉字到底够不够用呢?到底多少汉字才够用呢?那么让我们首先追溯历史，殷商出土的甲骨

文可视为中国文字的渊源，历经几千年的历史演变，汉字无论是在字形、字体，还是数量方面都发生了很大变化，今天，我们用到的汉字有多少呢?康熙字典》收录了四万七千零三十五字，《汉语大字典》收录了五万六千多个。到目前为止，国际标准组织(ISO)制定国际标准时，共收集到汉字七万多字。那么实际中我们可以推断存在，存在过和使用中汉字字符数目要超过现有有编码的汉字总数。

北大方正作为中国最早从事中文字库开发的专业厂商，非常关注中文字库

技术进步和中文印刷字体的发展，积极参与中国国家标准和国际标准化(ISO)组织相关标准的制订，如GB2312-80、GBK、GB18030、ISO/IEC-10646等，不断为中国的中文信息现代化贡献自己的力量。

为了进一步规范汉字的编码，国际标准化组织(ISO)对汉字做了扩充，这就是汉字扩充字符集B，简写为EXT B，方正公司积极参加了编辑讨论工作。2000年8月22日，公布的SuperCJK V10.2共包含70205字，也正是最新的方正超

大字库的全部内容，即方正超大字库基本包含了中、日、韩、越的主要汉字。

由于汉字来源复杂，按照国家的要求，必须改成现行的写法为统一的标准

写法和笔形，北大方正邀请了多位文字学专家进行指导，对70205字进行了新