英语信源汉语信源信息熵的研究

英语信源、汉语信源及其信息熵的研究

摘要 英语信源和汉语信源是两种不同的自然语信源，而信息熵反映了信源的记忆长度，信源的记忆长度越长，熵就越小。只有当记忆长度为0，即信源符号间彼此没有任何依赖关系且等概率分布时，信源熵达到最大值。也就是说，信源符号相关性越强，所提供的平均信息量就越小。所以，研究这两种信源的信息熵，就可以得出每种信源中符号的相关性，和提供的平均信息量，量化的来比较两种语言。 关键词 英语信源 汉语信源 信息熵

正文

一、英语信源及其信息熵

英语字母有26个，加上空格，共27个符号。根据熵的性质，信源的最大熵

02log 27 4.76(/)H bit symbol ==

但实际上，英语中的字母并非等概率出现，字母之间还有严格的依赖关系。如果我们对英语书中27个符号出现的概率加以统计，可得：

27个英语字符出现的概率 符号

概率 符号 概率 符号 概率 空格

0.2 S 0.052 Y,M 0.012 E

0.105 H 0.047 G 0.011 T

0.072 D 0.035 B 0.0105 O

0.0654 L 0.029 V 0.008 A

0.063 C 0.023 K 0.003 N

0.059 F,U 0.0225 X 0.002

I

0.055 M 0.021 J,Q 0.001 R 0.054 P 0.0175 Z 0.001

如果不考虑上述符号之间的依赖关系，即近似地认为信源是离散无记忆信源，根据离散上的定义可得

27121()log () 4.03(/)

i i i H p a p a bit symbol ==-=∑

按上述表格中的概率分布，随机选择英语字母排列起来，得到一个信源输出序列：

AI_NGAE_ITE_NNR_ASAEV_OTE_BAINTHA_HYROO_POER_SE

TRYGAIETRWCO …

可见，这些字母完全是随机排列，毫无相关性，却不是英语单词，所以我们应该考虑字母的依赖性。

为了进一步逼近实际情况，可把婴语信源近似地看作1阶，2阶，…，∞阶马尔可夫信源，求得相应的熵

2 3.32(/)H bit symbol =

3 3.1(/)H bit symbol =

异推出，马尔可夫信源阶数越高，输出的序列越接近实际情况。当依赖关系延伸到无穷远时，信源输出就是真正的英语。所以我们求马尔可夫信源的极限熵

1.4(/)H bit symbol ∞=

二、汉语信源及其信息熵

对于英语，字符数少，可轻松的计算出英语信源的信息熵，但是对于汉语这个中文字符极其庞大的信源，科学家们做出了大量的统计与计算。方法同上面的英语信源信息熵的计算，不过计算量增加了非常多。下面是截取的一些统计资料。

CCL 语料库-现代汉语总字频数：307,317,060

总字种数：9711

字频表：

的:11523375 一:4140344 是:3291508 了:3059837 在:2933070

人:2827726 不:2733842 国:2645758 有:2507415 中:2182025

他:2029395 这:1968713 我:1940875 和:1872750 大:1832977

个:1701835 上:1615128 为:1607942 年:1529238 地:1464121

来:1456483 会:1445285 到:1353359 们:1350664 出:1262480

要:1259098 以:1240442 发:1218837 说:1186888 时:1137791

生:1133029 作:1114127 家:1092024 对:1074655 业:1018180

经:1015211 就:996530 日:991991 行:988420 成:944114

也:906313 工:891269 多:880855 学:860176 于:844000

得:839902 自:833435 子:824453 民:821583 过:810433

着:802863 方:801878 后:801821 下:797775 可:796081

能:792017 进:780713 部:779801 开:747231 新:746180

而:742961 主:741817 里:735032 现:730526 同:727742

全:723495 用:718945 产:713207 理:712150 法:709521

市:708052 之:705141 事:685890 动:683263 本:681058

者:680848 长:677790 你:677378 那:676119 实:670861 …………………………

…………………………

中国科学家冯志伟等人的对中文字符信息熵计算的结果是：

汉字容量：1 1052 1830 4912 5104 5211 12370

信息熵值：0 7.53 9.52 9.61 9.63 9.64 9.65

随着汉字容量增大，信息熵的增加趋缓；汉字增加到12370以后，不再使信息熵有明显的增加。通过数理语言学中著名的齐普夫定律（ZIPF'S LAW）核算，汉字的容量极限是12366个汉字，汉字的平均信息量是9.65比特

三、英语信源和汉语信源的比较

显而易见，汉语信源的信源熵远远大于英语信源的信息熵，说明英语信源的记忆长度比汉语的长，相关性比汉语信源强，非常简洁。很多人认为信源的信息熵小就一定好，但并不是这样，并不是信息熵小就好，信息熵大也有他的好处。

汉语是“表意文字”，英语是“表音文字”。表意文字要求汉字拥有了一个数量庞大的字符集，但现代汉语已经不用增加字符来表达新的概念，而是创造新词，加上对汉字汉语的规范化，这已经基本上达到了减少了使用字数的目的，大大减少了汉字的冗余度。汉字对拼音文字的这种信息熵优势是什么概念？简单的比喻就是十进制数与二进制数的差别。十进制数字系统需要人记忆0-9，10个符号，二进制只需要记忆0 和1两个符号。十进制乘除要记忆9X9表，二进制只需要学会与、或、非的简单逻辑。但是，人类在日常生活中为什么不使用二进制数字系统呢？因为那样很浪费，一个数字“7”表示成二进制就成了“111”，记个大数不把人累死？反过来，人类为什么不用十六进制，或更高的进制呢？一方面是人脑智力的限制，另一方面，十六进制也未必能大幅度提高信息熵。这种信息熵反映在文字上，就是联合国文件中，中文版本一定是最薄的。信息熵高是不是就不利于计算机处理呢？这方面恐怕还很难下结论。简单的比较汉与英文的输入速度是不能说明问题的，因为“字”与“word”是不同的概念。