天平称球中的信息论

天平秤球中的信息论

mjwu

mjwu1940@

天平秤球过程是人们对事物认识不断深化的过程。从一开始的一无所知，通过分盘秤球，逐步加深认识，直到最后完全了解为止。因此，用信息论方法来描述这一过程会获得意想不到的结果。

（虽然本文撰写并不要求读者掌握信息论，但先学点信息论基础对本文的阅读与理解有帮助。）

m个球中含有一个次球，通过n次天平秤球，查寻次球并确定其轻重。球编号为1，…，m。初始，球的状态用原始向量X=(x1,…,x m)来表示，x i为0表示i号球为正品，1——重球，-1——轻球；仅有一个xi为1或-1。分盘秤球过程中，人们对球的估计与判定用估判向量Y=(y1,…,y m) 来表示，y i为0表示判定i号球为正品，1——疑重球（或重球或正品），-1——疑轻球（或轻球或正品），2——待定球（或重球或轻球或正品）。统计估判向量Y中的疑重球数z，疑轻球数，待定球数d，正品好球数h，z+q+d+h=m。秤球过程中，估判向量Y不断变化。从初始的Y=(2,…,2)，z=q=0,d=m开始，每次秤球后，Y都有所变化，直到Y仅含有一个分量yi为1（或-1）为止。此时Y=X,z+q=1,d=0。为方便讨论，第i次秤球后估判向量Y记为Y(i)；为简化书写长度，估判向量Y=(y11,…,y m)有时写成Y=(z,q,d)。

一、估判向量的信息量

下面考察秤球过程中估判向量Y信息量（即其不肯性）的变化：1，初始，估判向量Y(0)=(2,…,2)，次球可能在1，…，m号位置上，其取值有2中可能:1或-1。因此，有2m种可能状态，初始Y(0)的信息量I(0)为log(2m)，（底为2，下同）。

2，第i次秤球后，估判向量Y(i)的各分量有多种可能。但仅有两种类型：一种是z=0,q=0,d>0，此时，Y(i)的各分量仅为0与2，Y(i)的信息量为log(2d)；另一种是z+q>0,d=0，此时，Y(i)的各分量仅为0,1与-1，Y(i)的信息量I(i)为log(z+q);

3，最后，估判向量Y(n)的各分量仅有一个为1或-1，即z=1,q=0或者z=0,q=1。z+q=1, Y(n)的信息量I(n)为log(z+q)=log(1)=0。此表明，不肯定性完全消失，查寻完成。

综上所述，对于所有的第i次秤球后，估判向量Y(i)的信息量I(i)=log(z+q+2d)。

例1。设m=10,X=(0,…,0,1,0)，即第9号球为重球。初始，Y(0)=(2,…2), 其信息量I(0)=log(2*10)=log(20)。第一次秤球时，左盘1-3号球，右盘4-6球，不放盘7-10号球。秤球结果：平衡。估判向量Y变为Y(1)=(0,0,0,0,0,0,2,2,2,2)；z=0,q=0,d=4；其信息量I(1)=log(2*4)=log(8)。

例2，m=14,X=(1,0,…,0)，即第1号球为重球。第一次秤球时，左盘1-5号球，右盘5-10球，不放盘11-14号球。秤球结果：左重右轻。估判向量Y变为Y(1)=(1,1,1,1,1，-1，-1，-1，-1,-1,0,0,0,0)；z=5,q=5,d=0；其信息量I(1)=log(5+5)=log(10)。

二、秤球的互信息

对于第i次秤球一次而言，估判向量Y从原先的Y(i-1)变成Y(i)。其信息量从I(i-1)变成I(i)，信息量减少了。所减少的信息量I(i-1)-I(i)是第i次秤球所提供的信息量，称为秤球的互信息，记为H(i)：H(i)=I(i-1)-I(i)

H(i)表示第i次秤球所生成的不肯定性下降量。

如在例1中，H(1)= I(0)-I(1)=log(20)-log(8)=log(2.5)=1.3219。在例2中，H(1)= I(0)-I(1)=log(20)-log(10)=log(2)=1。

秤球的过程是不肯定性不断减少的过程，也即估判向量Y的信息量不断减少的过程。通过秤球所提供的互信息，使得原先的不肯定性下降到0为止。于是，通过n次秤球可判定次球及其轻重，其初始的不肯定性I(0)可分解为

I(0)= H(1)+ H(2)+…+ H(n)

事实上，I(0)=( I(0)-I(1))+ ( I(1)-I(2))+…+( I(n-1)-I(n))+ I(n)，而I(n) =0。

三、用信息论探讨秤球的分盘方法

下面对天平秤球作遍历性讨论。n次秤球的遍历实际是一个三叉树。

对于第i次天平秤球，有三种结果：平衡，左重右轻，左轻右重。其生成的互信息记为H0(i), H1(i), H-1(i)。因此，其加权平均为H(i)=p0*H0(i)+p1*H1(i)+p-1*H-1(i)

其中，p0 ,p1 ,p-1分别表示在平衡，左重右轻，左轻右重时形成估判向量中所包含的球状态数的百分比。（参见下例m=13的第一次分盘秤球）。

1，均匀分盘及其秤球所生成的互信息

对于第i次分盘而言，其原先的估判向量Y(i-1)。当z=0,q=0,d>0，d是3的倍数，或者d=0,z+q>1,z与q都是3的倍数时，可进行均匀分盘，即放在左盘、右盘及不放盘的球数相等。

如d=da+db+dc>0，da=db=dc=d/3，分别表示放在左盘、右盘及不放盘的球数。此时，原先估判向量Y(i-1)的信息量I(i-1)=log(2d)，而秤球时，如天平平衡，估判向量Y(i)的信息量I(i)=log(2d/3)，本次秤球所生成的互信息H0(i)= I(0)-I(1)= log(2d)-log(2d/3)=log(3)；如天平左重右轻，估判向量Y(i)的信息量I(i)=log(da+db)=log(2d/3)，本次秤球所生成的互信息H1(i)= I(0)-I(1)= log(2d)-log(2d/3)=log(3)；如天平左轻右重，同样的所生成的互信息H-1(i)=log(3)。故，其平均，H(i)=log(3)。

如d=0,z=za+zb+zc=z/3>0，q=qa+qb+qc=q/3，并分别表示放在左盘、右盘及不放盘的球数。此时，原先估判向量Y(i-1)的信息量

I(i-1)=log(z+q)，而秤球时，如天平平衡，估判向量Y(i)的信息量

I(i)=log(zc+qc), 所生成的互信息H0(i)= I(0)-I(1)=log(3); 同理，H1(i)= H-1(i)= log(3)。故，其平均，H(i)=log(3)。

结论：均匀分盘秤球所生成的互信息H(i)=log(3)。根据最大熵原理，均匀分盘秤球的互信息H(i)的互信息H(i)最大，其他不等量分盘一次秤球所生成的互信息均