差错控制编码第2章 信息的统计度量

j i i j
H(X ) H(X |Y)
关于平均互信息I(X;Y)
互信息 I(x ; y) 代表收到某消息y后获得关于某 事件x的信息量。它可取正值，也可取负值。 I(X;Y)是I (x ; y)的统计平均，所以I(X;Y) >= 0。 若I(X;Y) = 0，表示在信道输出端接收到输出符 号Y后不获得任何关于输入符号X的信息量----全 损信道。
n

熵的意义（对通信系统）
H(X)：表示信源中每个符号的平均信息量（信源熵）。
H(Y)：表示信宿中每个符号的平均信息量（信宿熵）。
H(X|Y)：表示在输出端接收到Y的全部符号后，发送端X
尚存的平均不确定性。这个对X尚存的不确定性是由于干扰 引起的。信道疑义度(损失熵，含糊度)
H(Y|X)：表示在已知X的全部符号后，对于输出Y尚存的

熵的单位同自信息量的单位
熵的例子
串口通信 某串口的概率空间为

0 X P 1 2 1 1 2

则熵为
1 1 1 1 H ( X ) p ( xi ) log p ( xi ) log log 1 2 2 2 2 i 1
互信息量的性质2 互信息量可为0

概率乘法公式 p ( x, y ) p ( y ) p ( x | y ) 全概率公式
p( x) p( x, yi ) p( yi ) p( x | yi )
i 1 i 1 n n
当事件x、y统计独立时，互信息量为0 p(x|y)=p(x) 无论是否知道y，都对x出现的概率没有影响 x和y没有什么关系

证明：
p( x | y ) p ( x) I ( x; y ) log log log1 0 p ( x) p ( x)


含义：当两个事件相互独立时，一个事件不能提供另一个 事件的任何信息。 即一个事件发生之后，对于确定另一个事件是否发生没有 任何帮助。
互信息量的性质3 互信息量可正可负
信息论与编码理论 第2章 信息的统计度量
主要内容 从概率的角度研究问题
自信息量 互信息量 平均自信息量 平均互信息量

信息的大小
多个信息之间 关联的密切程度
2.1 自信息和条件自信息

2.1.1 自信息量
事件发生的概率越大，它发生后提供的信息量
越小。
张三今天吃饭了 事件发生的概率越小，一旦该事件发生，它提 供的信息量就越大。 美国总统的专机发生空难

举例
张三今天没来上课 张三有可能病了

为什么没来上课就会猜到生病了？ 因为二者有关系 互信息衡量的就是这种关系的大小
2.2.1 互信息量
定义2-4 随机事件yj的出现给出关于事件xi 的信息量，定义为互信息量。 定义式：

I ( xi ; y j ) log

p( xi | y j ) p( xi )

2.1.2 条件自信息量
定义2-3 事件xi在事件yj给定的条件下的条件自 信息量定义为： I ( xi | y j ) log p( xi | y j ) 含义：知道事件yj之后，仍然保留的关于事件xi 的不确定性；或者，事件yj发生之后，事件xi再 发生，能够带来的信息量。

先验概率
证明：
p( x | y ) I ( x; y ) log p ( x)
p( xy ) p ( y | x) p ( x) log I ( y; x) p( y ) p( y )
p( x | y ) p( y ) log log p ( x) p ( y )

含义：由y所提供的关于x的信息量等于由x 所提供的关于y的信息量

证明
p( x | y ) 1 I ( x; y ) log log I ( x) p( x) p( x)
同理：I(x;y) = I(y;x) ≤ I(y) 互信息量=原有的不确定性-尚存在的不确定 性

2.3 离散集的平均自信息量（熵）





离散集X={x1, x2, …, xn} x2 xn 离散集的概率分布表示为 X x1 P p( x ) p ( x ) p ( x ) 1 2 n 离散集中的每一个事件 I ( x1 ) I ( x2 ) I ( xn ) 都有自己的自信息量 所有这些自信息量的均值，就是离散集的平均自 信息量 定义2-5 集X上，随机变量I(xi)的数学期望定义为 平均自信息量。 n H ( X ) E ( I ( xi )) E[ log p( xi )] p( xi ) log p( xi ) 又称作集X的信息熵，简称熵。 H(X)又可记作H(p1,p2,…,pn)

概率：

前面已求出自信息量和条件自信息量为：
I ( x) 13.2877
而x和y的互信息量为：
I ( x | y) 6.6439
p( x | y ) 1% I ( x; y ) log log log100 6.6439 p ( x) 0.01% I ( x) I ( x | y )

这表明该事件的不确 定性很小。


联合自信息量

定义2-2 二维联合集XY上的元素(xiyj) 的联 合自信息量定义为
I ( xi y j ) log p( xi y j )
联合自信息量衡量的是多个事件同时出现 的不确定性； 或者，两个事件同时发生带给我们的信息 量的大小； 或者，将该信息量表示出来，所需的二进 制位的个数。

含义：本身的不确定性，减去知道了事 件y之后仍然保留的不确定性，即由y所 提供的关于x的信息量，或者说由y所消 除的x的不确定性。
I ( x; y) I ( x) I ( x | y)
互信息量=原有的不确定性-尚存在的不确定性
互信息量的例子

事件：

x=“美国总统的专机发生空难” y=“今天是9.11” p(x)= 0.01% p(x|y)=1%
单位：同自信息量
对数的几个性质：
互信息量的含义
p( x | y ) I ( x; y ) log 还可表示为： p ( x)
1 log a log a a log log a log b b log ab log a log b
log p( x | y) log p( x) log p( x) log p( x | y) I ( x) I ( x | y)
I ( X ; Y ) p( xi y j )I ( xi ; y j ) p( xi y j ) log
j i j i j i j i
p( xi | y j ) p( xi )
p( xi y j ) log p( xi | y j ) p( xi y j ) log p( xi ) p( xi y j ) log p( xi | y j ) log p( xi ) p( xi y j )
和
p(x1)
p(x2)
…
p(xn)
1
互信息量的性质1 互信息量的互易性

概率乘法公式 p ( x, y ) p ( y ) p ( x | y ) 全概率公式
p( x) p( x, yi ) p( yi ) p( x | yi )
i 1 i 1 n n
I(x;y) = I(y;x)
x：李四考了全班第一名。 p( x | y ) y：李四没有复习功课。 1 p( x | y ) p( x)
p( x)

无论正负，互信息量的绝 对值越大，x和y的关系越密 切。
回想自信息量I(x) I(x)≥0：x的出现或多或少总能 带来一些信息
互信息量的性质4 互信息量不大于其中任一事件的自信息量
i 1


平均自信息量

含义
熵表示了集合中所有事件是否发生的平均不确
定性的大小。 熵表示了集合中事件发生，带给我们的平均信 息量的大小。 熵表示了确定集合中到底哪个事件发生时，所 需的平均信息量的大小。 熵表示了，如果用二进制数据将集合中的各个 元素表示出来，所需的二进制位的个数的平均 值。
即：互信息量表示先验的不确定性减去尚存的不确定性， 这就是收信者获得的信息量 对于无干扰信道，I(xi ; yj) = I(xi)； 对于全损信道，I(xi ; yj) = 0；
平均互信息I(X; Y)： I(xi ; yj)的统计平均。
它代表接收到符号集Y后平均每个符号获得的
关于X的信息量，也表示了输入与输出两个随 机变量之间的统计约束程度。
自信息量的例子

假设“张三今天吃饭 了”这个事件发生的 概率是99.99%，则该 事件的自信息量为：
log(0.9999) 0.00014428

假设“美国总统的专 机发生空难”这个事 件发生的概率是0.01%， 则该事件的自信息量 为： log(0.0001) 13.2877 这表明该事件的不确 定性很大。

事件x的自信息量为： I ( x) log p( x) log 0.01% 13.2877 事件x在事件y发生的情况下的条件自信息量为： I ( x | y) log p( x | y) log1% 6.6439
2.2 互信息量
象形字，本意：绞绳用的工具，又象握手 互相，两者或者多者相互作用 两个或者多个事件之间关联的密切程度
2.1.1 自信息


定义2-1 任意随机事件 的自信息量定义为该事 件发生概率的对数的负 值。 假设事件xi发生的概率为 p(xi)，则其自信息定义 式为