信息论与编码第四章课后习题答案

p( x2 | x1 ) = p ( x 2 ) p( x3 | x1 x 2 ) = p ( x3 ) …… p( x N | x1 x2 L x N −1 ) = p( x N ) 即 p( x1 x 2 ) = p ( x1 ) p( x 2 ) p( x1 x 2 x3 ) = p ( x1 ) p( x 2 ) p ( x3 ) …… p( x1 x 2 L x N ) = p ( x1 ) p( x2 )L p( x N ) 【4.8】设连续随机变量 X ，已知 X ≥ 0 ，其平均值受限，即数学期望为 A ，试求 在此条件下获得的最大熵的最佳分布，并求出最大熵。 解： 给定条件如下：
∫ p( x)dx = 1 ∫ xp( x)dx = A
目标：求 − ∫ p( x) log p( x)dx 的最大值。 构造函数 F ( p ( x )) = − ∫ p ( x) log p( x)dx + λ ∫ p( x)dx + µ ∫ xp ( x )dx = ∫ (− p ( x ) log p ( x) + λp ( x ) + µxp ( x ))dx dF ( p ( x )) d (− p ( x ) log p( x) + λp ( x ) + µxp( x) ) = 0 ，只需 = 0 即可，因此有 dp ( x ) dp ( x) − log p( x ) − log e + λ + µx = 0 p( x) = 2 λ + µx−log e
0 = − log λ + log et ln t 1 − log e ∫ dt
= − log λ + log e = log （2） e λ
h( X ) = − ∫ p ( x ) log p ( x)dx ∞ 1 1 −λ x −λ x = −∫ λe log λe dx −∞ 2 2 ∞ 1 = − ∫ λe −λx log λe −λx dx 0 2 ∞ ∞ 1 = − ∫ λe −λx log dx − ∫ λe −λx log λe −λx dx 0 0 2 e = log 2 + log λ 2e = log λ 注： （2）题直接借用了（1）的结论。
x2
因此 Y1 = X 1 + X 2 也是一个高斯分布的随机变量，其均值为 0，方差为 2，即
p( x1 x 2 ) = 因此其差熵为
1 −4 e 2π
y2
1 1 2 h(Y ) = log 2πeσ y = log 4πe 2 2 【4.5】设一连续消息通过某放大器，该放大器输出的最大瞬时电压 b ，最小瞬时 电压为 a 。若消息从放大器中输出，问放大器输出消息在每个自由度上的最大熵 是多少？又放大器的带宽为 F ，问单位时间内输出最大信息量是多少？ 解： 该问题等价于取值受限的随机变量的最大熵，根据差熵的极值性，当等概率 分布时其差熵最大，即 h(Y ) = log(b − a ) 如果放大器的带宽为 F ，则取样率为 2 F ，单位时间内输出的最大信息量为 2 F log(b − a) 比特/秒 【4.6】有一信源发出恒定宽度，但不同幅度的脉冲，幅度值处在 a1 和 a2 之间， 此信源连至某信道， 信道接收端接收脉冲的幅度 y 处在 b1 和 b2 之间。已知随机变 量 X 和 Y 的联合概率密度函数 p( xy ) = 1 (a2 − a1 )(b2 − b1 )
2 2 x1 + x2 2
− ∞ < x1 , x2 < ∞
求随机变量 Y1 = X 1 + X 2 的概率密度函数，并计算变量 Y 的熵 h(Y ) 。 解： 1 − p( x1 x 2 ) = e 2π
2 2 x1 + x2 2
1 − 21 = e 2π
x2
1 − 22 e = p( x1 ) p ( x 2 ) 2π
解： （1）
h( X ) = − ∫ p ( x) log p( x )dx
= − ∫ λe −λx log λ e −λx dx = − ∫ λe −λx log λ dx − ∫ λe −λx log e −λx dx = − log λe −λx
∞ 0
+ log e ∫ ln e −λx de −λx
第四章课后习题
【4.1】 设有一连续随机变量，其概率密度函数为 π A cos x x ≤ p( x) = 2 其他值 0 又有 ∫ p( x)dx = 1 ，试求这随机变量的熵。 解： h( X ) = − ∫ p( x) log p ( x )dx
π 2 π − 2 π 2 π − 2
= − ∫ A cos x log Adx − ∫ A cos x log cos xdx = − A log A sin x − ∫ A cos x log cos xdx
= −2 A log A − ∫ A cos x log cos xdx 而
∫ cos x log cos xdx
= log e ∫ ln 1 − sin 2 x d sin x 1 = log e ∫ ln(1 + sin x ) + ln(1 − sin x )d sin x 2 1 1 = log e ∫ ln(1 + sin x )d sin x + log e ∫ ln(1 − sin x)d sin x 2 2 = (1 + sin x) ln(1 + sin x) = 2 ln 2 − 2
欲使
根据 ∫ p ( x)dx = 1 ， ∫ xp( x )dx = A ，可得
∫2
x
λ + µx − log e
dx = 1 ⇒ µ = −2 λ −log e 1
2
∫ xp( x)dx = A ⇒ µ = − A (log e)
2 1 2 − (log e ) 因此 p( x) = (log e ) 2 A ，此时 A
h( X ) = − ∫ p ( x) log p( x )dx 1 2 2 = − log (log e ) + (log e ) A 【 4.9 】 N 维 连 续 型 随 机 序 列 X 1 X 2 L X N ， 有 概 率 密 度 p( X 1 X 2 L X N ) 以 及 E[( X i = mi )] = σ i2 。证明：当随机序列的分量各自达到正态分布并彼此统计独立 时熵最大。最大熵为 N 2 2 1/ N log 2πe(σ 12σ 2 ) Lσ N 2 证明： h( X 1 X 2 L X N ) ≤ h( X 1 ) + h( X 2 ) + L + h( X N ) 等号成立当且仅当各分量统计独立。 而对于任何一个分量而言，当 E[( X i = mi )] = σ i2 时，高斯分布的差熵最大，为 h( X i ) = 因此原序列差熵的最大值为： h( X 1 X 2 L X N ) = 1 1 1 2 2 log 2πeσ 12 + log 2πeσ 2 + L + log 2πeσ N 2 2 2 1 N 2 2 N = log 2πe σ 12σ 2 Lσ N 2 1 log 2πeσ i2 2
试计算 h( X ) ， h(Y ) ， h( XY ) 和 I ( X ; Y ) 。 解： p( x) = ∫ p ( x, y )dy 1 =∫ dy (a 2 − a1 )(b2 − b1 ) = 1 a2 − a1
同理， p( y ) = 因此
1 。 b2 − b1
h( X ) = − ∫ p ( x ) log p ( x)dx = log(a 2 − a1 ) h(Y ) = − ∫ p( y ) log p( y )dy = log(b2 − b1 ) h( XY ) = − ∫ p ( x, y ) log p ( x, y )dxdy = log( a2 − a1 ) + log(b2 − b1 ) I ( X ; Y ) = h( X ) + h(Y ) − h( XY ) = 0 【4.7】在连续信源中，根据差熵、条件差熵和联合差熵的定义，证明 （1） h( X | Y ) ≤ h( X ) ，当且仅当 X 和 Y 统计独立时等号成立； （2）h( X 1 X 2 L X N ) ≤ h( X 1 ) + h( X 2 ) + L + h( X N ) ，当且仅当 X 1 X 2 L X N 彼此统计 独立时等式成立。 证明： （1） h( XY ) = − ∫ p( y )dy ∫ p( x | y ) log p ( x | y )dx ≤ − ∫ p ( y )dy ∫ p( x | y ) log p ( x )dx = − ∫ p( x, y ) log p ( x )dxdy = h( X ) 等号成立当且仅当 p( x | y ) = p ( x ) ，即 p( x, y ) = p( x ) p ( y ) ，因此仅当 X 和 Y 统计 独立时等号成立。 （2）根据条件概率密度的相关公式，有 h( X 1 X 2 X N ) = h( X 1 ) + h( X 2 | X 1 ) + h( X 3 | X 1 X 2 ) + L + h( X N | X 1 X 2 X N −1 ) 根据（1）的结论，条件差熵小于差熵，因此有 h( X 1 X 2 L X N ) ≤ h( X 1 ) + h( X 2 ) + L + h( X N ) 等号成立当且仅当
π 2 π − 2
−∫
1 − sin x d sin x 1 − sin x
因此有
h( X ) = −2 A log A −
A log e(2 ln 2 − 2 + 2 ln 2 − 2) 2 = −2 A log A + 2 A log e − 2 A log e ln 2 = −2 A log A + 2 A log e − 2 A 1 ，因此 2
0 a
= − log b − 2b log e ∫ x 2 ln xdx
0
a
=
2 2 3 a b log e − a 3b log a − log b 3 9
由于 ∫ p ( x)dx = 1 ，因此 a 3 b = 3 ，因此 2 h( X ) = log e + log a − log 3 3 当 Y1 = X + K ( K > 0) 时， ∂X = 1 ，因此 ∂Y1
【4.3】设有一连续随机变量，其概率密度函数为： bx 2 p( x) = 0 0≤ x≤a 其他值
试求这随机变量的熵。又若 Y1 = X + K ( K > 0) ， Y2 = 2 X ，试分别求出 Y1 和 Y2 的
熵 h(Y1 ) 和 h(Y2 ) 。 解：
h( X ) = − ∫ p( x) log p ( x )dx = − ∫ bx 2 log bx 2 dx
而 ∫ 2π p( x)dx = 1 ，即 A =
− 2
π
1 h( X ) = − log + log e − 1 = 1 + log e − 1 = log e 2 【4.2】计算连续随机变量 X 的差熵 （1） 指数概率密度函数 p( x) = λe − λx ， x ≥ 0, λ > 0 1 −λ x （2） 拉普拉斯概率密度函数， p( x) = λe ， − ∞ < x < ∞, λ > 0 2
2 h(Y1 ) = h( X ) − E[log1] = h( X ) = log e + log a − log 3 3 当 Y2 = 2 X 时， ∂X 1 = ，因此 ∂Y1 2
1 2 3 h(Y1 ) = h( X ) − E[log ] = h( X ) = log e + log a log 2 3 2 【4.4】设给定两随机变量 X 1 和 X 2 ，它们的联合概率密度为 1 − p( x1 x 2 ) = e 2π
π 2 π − 2
∫ ln(1 + sin x)d sin x ∫ ln(1 − sin x)d sin x
−∫
1 + sin x d sin x 1 + sin xFra Baidu bibliotek
= − ∫ ln(1 − sin x)d (1 − sin x ) = −(1 − sin x ) ln(1 − sin x ) = 2 ln 2 − 2