证明----信息论海大

R’= L log r =2.63×log2(二元码符号/信源符号 比特/二元码符号)=2.63 bit 信源符号
在 10*10 的图像上，共需 263 位二进制表示，以每秒传输 100 位计算，共需 2.63 秒钟传输完。
l =1 l
r
j
| al )
为常数, ∀j ∈ Bk
这是因为：
1 r p (al ) p (b j | al ) = ∑ p (b j | al ) = Ak 0 ∑ r l =1 l =1
r
对于子矩阵 Bk ，
N
∑ p(b
l =1
r
j
| al ) 为某一列所有元素之和，由对称性知， j ∈ Bk 时，为常数。
? 右边= ¦ pk log pk ¦ ql log ql
k 1 l 1
n 1
m
又
¦ p ¦q
k k 1 l 1
n 1
m
l
1 ? 右边= H ( p1 , p2 ,..., pn 1 , q1 , q2 ,..., qm )
http://cheung.colin.googlepages.com
1 , i = 1,2,..., r r
将准对称信道矩阵按列分为N个子矩阵， 每个子矩阵对应的信道为对称信道 Qk , k = 1,2,..., N ，Qk 对应的 列标集合为 Bk , k = 1,2,..., N ， Bk 是集合B={1,2,…,s}的子集。 那么 I ( X = ai ; Y ) =
∑ p( y
i
j
| xi ) 表示每一列元素之和，在每一个子矩阵中 ∑ p( y j | xi ) 都相等，因此在同一子矩阵中求
i
和项可以进行合并，合并后对数符号前的值就等于子矩阵中行元素之和，即：
1 [∑ p( y1 | xi ) log ∑ p( y1 | xi ) +∑ p( y2 | xi ) log ∑ p( y2 | xi ) + .. + ∑ p( ys | xi ) log ∑ p( ys | xi )]. r i i i i i i N N ⎛ ⎞ ⎛ ⎞ 1 = ∑ ∑ ⎜ ∑ p ( y j | xi ) log ∑ p ( y j | xi ) ⎟ = ∑ ∑ ⎜ ∑ p ( y j | xi ) log M k ⎟ r k =1 j∈Bk ⎝ i i ⎠ k =1 j∈Bk ⎝ i ⎠
j∈Bk
∑ p(b j | ai ) log
p (b j | ai ) Ak 0
= ∑ Ck 0
k =1
N
是常数。当k取遍集合 {1,2,..., N } 时，对任意 ai ，都 I ( X = ai ; Y ) 相等。
由定理3.3知，上面的论证说明当输入分布 p (ai ) =
1 , i = 1,2,..., r 即等概率时，准对称信道达到信道容量。 r
p3 p2 , ) p 2 p 3 p 2 p3
证明： H ( p1 , p 2 , p3 ) H ( p1 , p 2 p3 ) ( p2 p3 ) H (
证明： 1、事件 XY： «
ª A1 ¬ p1
A2 p2
A3 º 可以分步发生， p3 » ¼
http://cheung.colin.googlepages.com
第一步，发生事件 X： «
ª A1 ¬ p1
A2 A3 º ； p 2 p3 » ¼
ª A2 第二步，在发生事件 X 的前提下，发生事件 Y： « p 2 « ¬ p 2 p3
2、(2.1) H ( XY ) (2.2) H ( X )
A3 º p3 » » p 2 p3 ¼
H ( p1 , p2 , p3 ) H ( p1 , p2 p3 ) p( A1 ) H (Y | A1 ) p( A2 A3 ) H (Y | A2 A3 )
又因为 A1 , A2 , A3 两两为互斥事件，所以 p( A1 A2 )
(提示：互斥事件与独立事件是完全不同的两个概念；注意复习概率论中事件的相关知识) 则 p( A2 | A1 ) 故 H (Y | X )
p( A3 | A1 ) 0 Æ H (Y | A1 ) 0
p ( A2 A3 ) H (Y | A2 A3 ) ( p 2 p3 ) H ( p3 p2 , ) p 2 p3 p 2 p3
所以
' ,... ps' ) − ∑ N k log M k C = log r − H ( p1' , p2 k =1 N
统计图像中各灰度级的出现次数，如果考虑信源符号的统计特性，对上述灰度级进行编 码，如图所示。平均码长为：
LN =1 =1×40%+3×17%+4×10% ×2+4×7%+4×6%+4×5%×2=2.63 二元码符号/信源符号（灰度级）
[ 1 p( y1 | xi ) + ∑ p( y2 | xi ) log ∑ p( y2 | xi ) + ... ∑ p( y1 | xi ) log ∑ r i i i i
i i
' + ∑ p( ys | xi ) log ∑ p( ys | xi )] − H ( p1' , p2 ,... ps' )
(2) 再计算机准对称信道输入分布为等概时，信道容量的具体数值。
I ( X ;Y ) = H (Y ) − H (Y | X )
= p ( y1 ) log
1 1 1 ' + p( y2 ) log + ... + p( ys ) log − H ( p1' , p2 ,... ps' ) p ( y1 ) p ( y2 ) p ( ys ) 1 ， i = 1,2,..., r 时达到信道容量，这时 r 1 ∑ p( y j | xi ) r i
xz0 x 0
这是因为 lim x log x
x o0
lim
x o0
log x 1 x
1 lim x x o0 1 2 x
lim( x) 0 ，所以 F ( x) 是[0,1]上的连续函数；
x o0
(1.2) 高等数学中有定理： 若 F ( x) 在 [a, b] 上连续，二阶可导，且在(a b)内 F ( x) 0 则 F ( x) 在 [a, b] 上是上凸函数。
∑∑ p( y
i =1 j =1
r
s
j
| xi ) =r ⋅ 1
1 = [∑ p ( y1 | xi ) + ∑ p( y2 | xi ) + ... + ∑ p( ys | xi )] log r − r i i i 1 [∑ p( y1 | xi ) log ∑ p( y1 | xi ) + ∑ p ( y2 | xi ) log ∑ p( y2 | xi ) + ... r i i i i
n
¦c
i 1
n
i
f i ( x) 也是上凸函数。
我们令 f ( pi )
pi log pi ，则可知熵函数 H ( p1 , p 2 ,..., p n ) ¦ pi log pi 是[0,1]上的上凸函数。
i 1
二、 根据熵的条件可加性
H ( XY ) H ( X ) H (Y | X )
? 右边= ¦ pk log pk ¦ ql log ql ( pn log pn ¦ ql log pn )
k 1 l 1 l 1
pn log pn ¦ ql log pn = ( p n ¦ ql ) log pn = 0
l 1 l 1
m
m
http://cheung.colin.googlepages.com
证明准对称信道当输入等概率分布时达到信道容量：
' C = log r − H ( p1' , p2 ,... ps' ) − ∑ N k log M k k =1 N
' ,... p s' ， N k 和 M k 的含义见教材P.96。 其中r为信源符号数， p1' , p 2
证明： (1) 先证明对于准对称信道，输入分布为等概时达到信道容量。 设输入分布 p (ai ) =
第二章的证明题参考答案
一、信息熵的上凸性的证明
1、 首先证明 f ( x)
x log x 是[0,1]上的上凸函数。(此处为了方便，记 log 为自然对数) x log x 的定义域自然的扩充到 0 点， F ( x)
罗必达法则
(1.1)为此我们可将 f ( x)
­ x log x ® ¯0
''
在(0,1)上 F ( x) 二阶可导，且 F ( x)
n
''
1 0 ，所以 F ( x) 是[0,1]区间上的上凸函数。 x
2、 再证明 H ( p1 , p 2 ,... p n )
¦ pi log pi 是 p1 , p2 ,... pn 的上凸函数。
i 1
根据教材附录中的定理：如果 f i ( x) 都是上凸函数，并且 ci t 0 ，则
I ( X = ai ;Y ) = ∑ ∑ p(b j | ai ) log
k =1 j∈Bk
p(b j | ai )
∑ p(a ) p(b
l =1 l
r
j
| al )
= ∑ ∑ p(b j | ai ) log
k =1 j∈Bk
N
p(b j | ai ) Ak 0
= ∑ Ck 0
k =1
N
又由对称性知，对于 Qk 的每一行都为同一集合元素的不同排列。所以对于不同的 ai
∑ p(b
j∈B
j
| ai ) log
p(b j | ai ) p (b j )
=∑ p(b j | ai ) log
j∈B
p(b j | ai )
∑ p(a ) p(b
l =1 l
r
j
| al )
= ∑ ∑ p(b j | ai ) log
k =1 j∈Bk
N
p(b j | ai )
∑ p(a ) p(b
…＋
1 1 ' − H ( p1' , p2 p ( y s | xi ) log ,... p s' ) ∑ 1 r i ∑ p ( y s | xi ) r i
=
1 1 1 p( y1 | xi ) log r + ∑ p( y2 | xi ) log r + ... + ∑ p( ys | xi ) log r − ∑ r i r i r i
由于准对称信道当输入等概分布 p ( xi ) =
p ( y j ) = ∑ p ( y j | xi ) p( xi ) =
i
所以
C=
1 1 1 1 p( y1 | xi ) log + ∑ p ( y2 | xi ) log + ∑ 1 1 r r i i ∑ p( y1 | xi ) ∑ p( y2 | xi ) r i r i
(2.3) H (Y | X )
(提示：这里 Ai A j 表示 Ai 或 A j 发生； Ai A j 表示 Ai , A j 同时发生) 而 H (Y | A1 )
p( A2 | A1 ) log p( A2 | A1 ) p( A3 | A1 ) log p( A3 | A1 ) p( A1 A3 ) 0 ，
3、根据熵的条件可加性，对于 1 中采取的事件分步方式有：
H ( XY )
H ( X ) H (Y | X ) Æ H ( p1 , p 2 , p3 )
H ( p1 , p 2 p3 ) ( p 2 p3 ) H (
p3 p2 , ) p 2 p 3 p 2 p3
三、用定义证明熵的递增性
右边=
¦p
k 1 m
n
k
log pk pn (¦
l 1
m
ql q log l ) pn pn
pn ( ¦
l 1
m m m q ql q log l ) = ¦ q l log l = ¦ ql log ql ¦ ql log pn pn l 1 pn pn l 1 l 1
n 1 m m
' + ∑ p( ys | xi ) log ∑ p( ys | xi )] − H ( p1' , p2 ,... ps' ) i i
--------------------------------------(Q-1) 因为准对称信道可以按列分成若干个对称的子矩阵 Qk (k = 1,2,..., N ) ，在子矩阵中每一行、每一列 的元素都相同，把式(Q-1)括号内的求和分成在不同的子矩阵中求和。
=百度文库
N ⎛ ⎞ 1 N 1 N 1 N ⎜ ⎟ ( ) p ( y | x ) log M = N log M = rN log M = N k log M k ∑ ∑ j∑ ∑∑ k ∑ k ∑ j i k⎟ k k r k =1 i ⎜ r k =1 k =1 ⎝ ∈B k ⎠ r k =1 i