浅谈汉字字频统计方法的改进的策略

浅谈汉字字频统计方法的改进的策略浅谈汉字字频统计方法的改进的策略

一、汉字字频统计的概念

在汉语汉字的语境下，汉字字频常常简称为字频，汉字字频是汉字使用的一个重要属性。冯志伟指出:“传统的文字学认为，汉字具有形、音、义三个要素，但是，汉字作为记录汉语的符号，它必须作为一种交际工具而存在，在交际过程中，有的汉字使用得多些，有的使用的少些，呈现出一定的统计规律性。因此，从使用的角度来看，汉字还具有第四个要素——字频。”?顾名思义，字频就是字的使用频度。苏培成在《现代汉字学纲要》(增订本)给字频下的定义是:“字频就是汉字的使用频度，是指在一定的历史时期内经抽样取得的文字资料里，每一个汉字的使用次数与抽样资料总字数的比例。”?他所说的“字频”，就是指汉字字频。沙宗元在《文字学术语规范研究》中收了“字频”这个词条，他给出的定义是:“某个汉字在一定语料中使用(出现)的次数与样本总字数(又叫样本容量)之比。”?这个“字频”也指汉字字频。两家的定义大体不错，但表述不够严密。第一，用来作为字频统计的文字资料不一定是经抽样取得的，如《史记》的字频统计这类专书字频统计是根据特定目的选取的，而非“经抽样取得”的。“经抽样取得”不能作为字频统计的必要条件。第二，“总字数”的说法比较含混，应该改作“总字次”。第三，“样本总字数”的“样本”表意不明确。综合学术界的研究，汉字字频可以定义为:个体汉字字符在按特定原则选定的文本中出现的次数与选定文本总字次之比。

对使用中的汉字进行字频统计，并按字频的高低排列汉字的顺序即可以得出汉字的频序，依据频序给汉字分级可以划分出汉字的频级，汉字的频级是对使用中的

汉字进行分级的主要依据，对汉字规范、汉字教学及汉字信息处理有重要意义。汉字字频统计是汉字研究中的一项具有实用意义的重要工作。

二、汉字字频统计的主要成果

以往的汉字字频统计与研究取得了重要的研究成果，为汉字的研究与应用作出了重要的贡献。字频统计一般分综合字频统计及分类字频

统计两类。其代表性成果主要有以下几项:

现代汉字综合字频统计的主要成果有:1.《汉字频度表》，此表于1976年月由“七四八”工程查频组完成。本次字频统计使用的语料时间范围为1973-1975年，语料内容包括科学技术、文学艺术、政治理论和新闻通讯四类，统计方式为手工操作。备选语料3亿多字次，选用语料2160多万字次，统计得出6376个字种。2.《汉字频率表》，此表包含在北京语言学院语言教学研究所编的《现代汉语频率辞典》中，1986年6月由北京语言学院出版社出版。本次字频统计使用的语料时间范围较多选用20世纪40年代至70年代的作品，语料内容包括报刊政论文章及专着、科普书刊材料、剧本和日常口语材料和各种体裁的文学作品四类，统计方式采用人工和计算机相结合。选用语料180万字次，统计得出“不同汉字4574个”。(参考该书“前言”和编纂说明)3.《现代汉语字频统计表》，此表由北京航空学院计算机科学与工程系和国家语言文字委员会汉字处研制，于1992年1月由语文出版社出版，出版署名单位是国家语言文字工作委员会和国家标准局。本次字频统计使用的语料时间范围为1977-1982年，语料内容包括自然科学和社会科学两大类，统计方式完全采用计算机自动统计，选用语料13800万字次，抽取出的统计样本语料11873029字次，统计得出汉字7754个。(参考该书说明)4.《报纸、广播电视、网络用字总表》，本表收录在“中国语言生活状况报告”课题组编《中国语言生活状况报告(2005)》中，《报告》于2006年9月由商务印书馆出版。《中国语言生活状况报告(2005)》是由国家语委首次向社会发布的年度语言生活报告，其中的

《报纸、广播电视、网络用字总表》是2005年年度用字字频统计表。该表语料时间范围为2005年，语料介质包括报纸、广播电视和网络，统计手段采用计算机，共选择892034个文本文件，包括732143010字次，统计得出字种数88个。(该书把字种界定为“这里的字种，指字形不同的汉字。”?)

古代文献使用汉字的综合字频统计成果主要有《古籍汉字字频统计》，该书由北京书同文数字化技术有限公司编写，年7月由商务印书馆出版。本书统计的语料为电子版《四库全书》和《四部丛刊》，统计方式完全采用计算机自动统计，使用语料8亿字次，统计得出汉

字307个。(在该书收录的“大规模古籍汉字用字统计报告”中“统计结果汇总与初步分析”一节中介绍该书统计出的总字数时说:“1.文渊阁《四库全书》汉字总字数:29088字;2.《四部丛刊》汉字用字总字数:27606字;3.《四库全书》与《四部丛刊》汉字用字合计:307字。”?但是该书《古籍字频统计表》的顺序号的最后一号是30136，比307多出9个数字。查《古籍字频统计表》中含有部分空格和非汉字符号，如八卦卦符、古琴书中的指符等，甚至有新式标点和网址符@。因此，本书给出的总字数并不准确，只是个大致的数字。)

古代文献专书使用汉字字频统计的成果主要有《史记字频研究》，李波着《史记字频研究》，2006年3月由商务印书馆出版。该书的字频统计以汉代司马迁所撰《史记》一书的全部文字为对象，选择中华书局标点本130卷《史记》三家注本作底本，统计方式采用计算机手段。全书计572864字次，统计得出4932个字。

上述字频统计的成果在汉字理论研究和现实应用等方面起了重要作用。理论研究方面，如周有光在字频统计成果的基础上发现了汉字效用递减率?。王凤阳在字频统计成果的基础上发现了汉字常用字笔画递减率?。社会应用方面，如1980年由国家标准总局发布，1981年5月1日实施的《信息交换用汉字编码字符集?基本集》是在《汉字频度表》的基础上研制完成的。1988年1月26日由国家语言文字

工作委员会、国家教育委员会联合发布的《现代汉语常用字表》的研制参考了《汉字频度表》(常用字部分4152字)、《社会科学、自然科学综合汉字频度表》(常用字部分3500字)和《汉字频率表》(4574字)?。1988年3月25日由国家语言文字工作委员会、中华人民共和国新闻出版署联合发布的《现代汉语通用字表》也参考了上述字频统计成果。这些字频统计的结果和在字频统计成果基础上研制的《字表》对汉字教学、汉字水平测试、汉字识别、汉字信息处理、汉字字典编纂、汉字规范等工作都起到了重要的参考作用。

三、汉字字频统计存在的主要问题

尽管汉字字频统计取得了诸多重要的研究成果，但是，由于受汉字自身的复杂性以及汉字信息处理技术的局限性等因素的影响，目前的汉字字频统计还存在很多问题，影响了字频统计的质量。其问题主要

表现在以下几个方面:

1.近些年来多数汉字字频统计依据的是电子语料库，这些电子语料库建库目标主要是为语言研究服务的，加之计算机字库收字的限制，在把纸质文本转换成电子文本的过程中未能保持文字使用的原始状态，影响到统计结果的客观性。比如，1956年1月28日国务院全体会议第23次会议通过了《关于公布〈汉字简化方案〉的决议》，1956年1月31日《人民日报》全文发表了国务院的《关于公布〈汉字简化方案〉的决议》和《汉字简化方案》，在此之前报刊图书主要使用繁体字(偶尔也用简体字)。1955年月文化部和文改会联合发布了《第一批异体字整理表》(以下简称《一异表》)，要求从1956年2月起在全国实施，这之前异体字未经整理。1977年月20日《人民日报》、《光明日报》、《解放军报》及各省、市、自治区一级报纸发表中国文字改革委员会《第二次汉字简化方案(草案)》，月21日《人民日报》开始试用《第二次汉字简化方案(草案)》第一表的简化字，1978年7月停止试用这批简化字，1977年月21日至1978年7月之间《人民日