信息论基础-练习与思考2
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
C log2 3, p(x1) p(x2 ) p(x3) 1/ 3
当＝1/ 2时
C 1, p(x1) 1/ 2, p(x2 ) p(x3) 1/ 4
2020/3/22
21
习题6
第三章 信道容量
6.5设一连续消息通过某放大器，该放大器输 出的最大瞬时电压为b,最小瞬时电压为a。若 消息从放大器中输出，问放大器输出消息在每 个自由度上的最大熵是多少？又放大器的带宽 为F,问单位时间内输出最大信息量是多少？
C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当 输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性
有关；
信道容量是完全描述信道特性的参量；
信道容量是信道能够传送的最大信息量。
2020/3/22
3香农公式说明p(源自xi/yj) p(xi ) p( y j / xi ) p(yj )
可得：p(x1 / y1) 5 / 8, p(x1 / y2 ) 1/ 2, p(x2 / y1) 3 / 8, p(x2 / y2 ) 1/ 2
信道疑义度：
22
H (X / Y )
p(xi ) p( y j / xi ) log2 p(xi / y j ) 0.9635bit / symbol
1 6
1 6
1 3
,
Pb
1 2
1
6
1 3
1 3
1 2
1 6
1 6
1
3
1 2
均满足对称性，所以这两个信道是对称离散信道。由对 称离散信道的信道容量公式得：
C1
log2
4
H
(
1 3
,
1 6
,
1 3
,
1 6
)
0.0817bit
/
symbol
C2
log2
3
H
(
1 2
,
1 3
,
1 6
)
0.126bit
/
symbol
第三章 信道容量
当信道容量一定时，增大信道带宽，可以降低对信噪功率比 的要求；反之，当信道频带较窄时，可以通过提高信噪功率 比来补偿。
当信道频带无限时，其信道容量与信号功率成正比。
2020/3/22
4
香农公式
第三章 信道容量
限频带(W)、限时(T)条件下的信源通过一个限功率(PN)的白色 高斯信道，其信道容量为
信 信道 道传 容递量矩（阵最为大：信息P 传00输..09率28 ）00..09为28：
C=1-H(P)=1-H(0.98)≈0.8586bit/symbol
2020/3/22
14
习题3
第三章 信道容量
得最大信息传输速率为：
Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒
2020/3/22
12
习题3
第三章 信道容量
3.9.有一个二元对称信道，其信道矩阵如下图所示。设 该信道以1500个二元符号/秒的速度传输输入符号。现 有一消息序列共有14000个二元符号，并设在这消息 中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒 钟内能否将这消息序列无失真地传送完？
最佳输入分布（即达到信道容量的输入分布）是等概率
分布
2020/3/22
17
习题5
第三章 信道容量
3.12.求下图中信道的信道容量及其最佳的输入概率 分布。并求当ε=0和1/2时的信道容量C。
X
Y
1
0
0
1-ε
1
1
ε
ε
2
1-ε
2
2020/3/22
18
习题5
第三章 信道容量
解答：图中信道的信道矩阵如下
它指出了信号间各物理量参量之间的辨证关系，它为一些不 同的通信体制提供了基本原理。
用频带换取信噪比，它是现代扩频通信的基本原理
其目的是为了提高通信系统的可靠性。如果在通信中信噪比成为主 要矛盾时，而信号带宽有富余，往往就可以采用带宽换取信噪比的 办法提高通信的可靠性。现代移动通信中常采用伪码直接扩频，跳 频编码等扩展频谱手段，提高可靠性等。
0.4
3 4
0.8
X
p(
y2
)
0.6
1 6
0.4
1 4
0.2;
满足归一性即p(
y1)+p(
y2
)
1
可算得：
I (x1;
y1 )
log2
25 24
0.059bit;
I (x1;
y2 )
log 2
5 6
0.263bit
I
( x2 ;
y1 )
log2
15 16
0.093bit;
I
( x2 ;
y2
)
log2
H(Y/X) 0.918bit/symbol;H(X/Y) 0.749bit/symbol
因此，I(X;Y)=H(X)-H(X/Y) 0.062bit/symbol
(2)此信道为二元对称信道，所以信道容量为
C
1
H
(
p)
1
H
(
2 3
)
0.082bit/symbol
当输入符号为等概率分布时信道的信息传输率才能达到该值。
i1 j1
噪声熵：
22
H (Y / X )
p(xi ) p( y j / xi ) log2 p( y j / xi ) 0.7145bit / symbol
i1 j1
(5)接收到Y后获得的平均互信息I(X;Y)
I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) 0.0075bit/symbol
≈1.288×103比特/秒
此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小 于这消息序列所含有的信息量，故从信息传输的角度 来考虑，不可能在10秒钟内将这消息无失真的传送完。
2020/3/22
15
习题4
第三章 信道容量
第三章 信道容量
子曰：“不愤不启，不 悱不发，举一隅不以三隅 反，则不复也”
－孔子
2020/3/22
1
第三章总结
第三章 信道容量
信道容量 C：在信道中最大的信息传输速率，单位 是比特/信道符号。
单位时间的信道容量 Ct：若信道平均传输一个符号 需要 t 秒钟，则单位时间的信道容量为
Ct 实际是信道的最大信息传输速率。
p(
y3
)
p( y2 )
1 0 0
P 0 1
0 1
(4)求p(xi )
根据p( y j )
3 i 1
p(xi ) p( y j
/
xi )
p(
x1
)
1
2(1
1
)1
p(
x2
)
p( x3 )
(1 )1 1 2(1 )1
2020/3/22
20
习题5
第三章 信道容量
当＝0时，此信道为一一对应信道，即
2020/3/22
2
求信道容量的方法
第三章 信道容量
当信道特性 p(yj /xi) 固定后，I(X;Y) 随信源概率分布 p(xi) 的变化而变化。
调整 p(xi)，在接收端就能获得不同的信息量。由平均互 信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能 找到一种概率分布 p(xi)（即某一种信源），使信道所能 传送的信息率为最大。
0
0.98
0
0.02
0.02
1
0.98
1
2020/3/22
13
习题3
第三章 信道容量
解答：消息是一个二元序列，且为等概率分布，即
P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。 则该消息序列含有的信息量＝14000(bit/symbol)。
下面计算该二元对称信道能传输的最大的信息传输 速率：
在深空通信中，往往利用这一原理传送信息。它是利用信号与干扰 统计特性上的差异来实现的。比如，在深空通信中，噪声很强，它 可以远远高于信号强度。但是由于信号是规则的，它可以按时间积 累线性增长，然而，噪声是随机的，其增长速率远低于信号的线性 增长，随着时间的积累，信号由弱变强，而噪声由强变弱，从而可 以提高信噪比实现弱信号的累积接收。
用时间换取频带
在一些特殊需要的情况下，比如可以采用频带很窄的电话线路，传 送准活动的图像。
2020/3/22
6
第三章 信道容量
信道编码定理：若有一离散无记忆平稳信道，其容 量为 C，输入序列长度为 L，只要待传送的信息率 R<C，总可以找到一种编码，当 L 足够长时，译码 差错概率Pe<ε，ε为任意大于零的正数。反之，当 R>C时，任何编码的 Pe 必大于零，当 L→∞，Pe→1。
1 0 0
P 0 1
此信道为一般信道。 0 1
(1)求 j
3
3
p( y j / xi ) j p( y j / xi ) log2 p( y j / xi ),i 1, 2,3
j 1
j 1
1 0 (1 )2 3 (1 ) log2 (1 ) log2
2 (1 )3 log2 (1 ) log2 (1 )
通过一干扰信道，接收符号为Y=[y1,y2],信道传递概率如 下图所示。求
①信源X中事件x1和x2分别含有的信息量。
②收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息
量。
x1
5/6
y1
③信源X和信源Y的信息熵。
1/6
④信道疑义度H(X/Y)和噪声熵H(Y/X)。
⑤接收到消息Y后获得的平均互信息。
5 4
0.322bit
2020/3/22
9
习题1
第三章 信道容量
(3)H ( X ) 0.6 log2 0.6 0.4 log2 0.4 0.971bit / symbol
H (Y ) 0.8log2 0.8 0.2 log2 0.2 0.722bit / symbol
解答：
(4)p( y1 / x1) 5 / 6, p( y2 / x1) 1/ 6, p( y1 / x2 ) 3 / 4, p( y2 / x2) 1/ 4 由公式：
解答：(1)已知二元对称信道的传递矩阵和输入信源的概率分布，
可求出输出Y的概率分布和后验概率
p(y=0)=7/12;p(y=1)=5/12;p(x=0/y=0)=6/7;p(x=1/y=0)=1/7
p(x=0/y=1)=3/5;p(x=1/y=1)=2/5
进一步可算得：H(X) 0.811bit/symbol
解方程得：12＝ 03 (1 ) log2 (1 ) log2
2020/3/22
19
习题5
第三章 信道容量
(2)求C
C log2 2 j j
log2 [1 2(1 )1 ] (3)求p( y j )
p(
y1
)
21 C
1
1 2(1 )1
p(
y2
)
1
(1 )1 2(1 )1
信道编码定理说明：同无失真信源编码定理类似， 信道编码定理也是一个理想编码的存在性定理。它 指出信道容量是一个临界值，只要信息传输率不超 过这个临界值，信道就可几乎无失真地把信息传送 过去，否则就会产生失真。
2020/3/22
7
习题1
第三章 信道容量
3.1.设信源
X P(x)
x1 0.6
x2 0.4
用信噪比换频带，它是多进制多电平多维星座调制通信方式的 基本原理
在优质信道中，信噪比有富余，而使用的频带进展，这时可用信噪 比换频带。比如在光缆信道，卫星和微波接力等较优质信道中，常 常采用的多进制、多电平、多维星座调制就是基于这一原理。
2020/3/22
5
香农公式
第三章 信道容量
用时间换取信噪比，它是弱信号累积接收的基本原理
计算互信I (x息i负存对; 一y j值在另)般确取，，一lo定第g负接个2性二p值收消(个p反x(i表到息等x/i而y)式明一是j )增，由个否l必加o于消出g须2了噪息现p先(。py计(声后的jy/算j的，不x)i出) p( y j )
p( y1)
p(xi )
p( yj
/
xi )
0.6
5 6
3/4
x2
1/4
y2
2020/3/22
8
习题1 (1)I (x1) log2 p(x1) log2 0.6 0.737bit
I (x2 ) log2 p(x2 ) log2 0.4 1.32it
可见，概率越小的事件含有的自信息越大。
第三章 信道容量
解答：
(由2)互p(信y1息/ x公1)互式 5信：/ 6息, p可( y2以/ x1为) 正1/ 6值, p也( y1可/ x2以) 为3 / 4, p( y2 / x2) 1/ 4
2020/3/22
10
习题2
第三章 信道容量
3.3.设二元对称信道的传递概率为
2 3
1 3
1 3
2 3
①若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。
②求该信道的信道容量及达到信道容量时的输入概率分
布。
2020/3/22
11
习题2
第三章 信道容量
3.10.求下图中信道的信道容量及其最佳的输入概率 分布。
1/3
1/2
1/6
1/3 1/6
1/3 1/6
1/6 1/2
1/6
1/3
1/3 1/6 1/3
（a）
1/3 1/6 1/2
(b)
2020/3/22
16
习题4
第三章 信道容量
解答：图中两个信道的信道矩阵分别为
Pa
1 3
1 6
1 6
1 3
1 3
当＝1/ 2时
C 1, p(x1) 1/ 2, p(x2 ) p(x3) 1/ 4
2020/3/22
21
习题6
第三章 信道容量
6.5设一连续消息通过某放大器，该放大器输 出的最大瞬时电压为b,最小瞬时电压为a。若 消息从放大器中输出，问放大器输出消息在每 个自由度上的最大熵是多少？又放大器的带宽 为F,问单位时间内输出最大信息量是多少？
C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当 输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性
有关；
信道容量是完全描述信道特性的参量；
信道容量是信道能够传送的最大信息量。
2020/3/22
3香农公式说明p(源自xi/yj) p(xi ) p( y j / xi ) p(yj )
可得：p(x1 / y1) 5 / 8, p(x1 / y2 ) 1/ 2, p(x2 / y1) 3 / 8, p(x2 / y2 ) 1/ 2
信道疑义度：
22
H (X / Y )
p(xi ) p( y j / xi ) log2 p(xi / y j ) 0.9635bit / symbol
1 6
1 6
1 3
,
Pb
1 2
1
6
1 3
1 3
1 2
1 6
1 6
1
3
1 2
均满足对称性，所以这两个信道是对称离散信道。由对 称离散信道的信道容量公式得：
C1
log2
4
H
(
1 3
,
1 6
,
1 3
,
1 6
)
0.0817bit
/
symbol
C2
log2
3
H
(
1 2
,
1 3
,
1 6
)
0.126bit
/
symbol
第三章 信道容量
当信道容量一定时，增大信道带宽，可以降低对信噪功率比 的要求；反之，当信道频带较窄时，可以通过提高信噪功率 比来补偿。
当信道频带无限时，其信道容量与信号功率成正比。
2020/3/22
4
香农公式
第三章 信道容量
限频带(W)、限时(T)条件下的信源通过一个限功率(PN)的白色 高斯信道，其信道容量为
信 信道 道传 容递量矩（阵最为大：信息P 传00输..09率28 ）00..09为28：
C=1-H(P)=1-H(0.98)≈0.8586bit/symbol
2020/3/22
14
习题3
第三章 信道容量
得最大信息传输速率为：
Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒
2020/3/22
12
习题3
第三章 信道容量
3.9.有一个二元对称信道，其信道矩阵如下图所示。设 该信道以1500个二元符号/秒的速度传输输入符号。现 有一消息序列共有14000个二元符号，并设在这消息 中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒 钟内能否将这消息序列无失真地传送完？
最佳输入分布（即达到信道容量的输入分布）是等概率
分布
2020/3/22
17
习题5
第三章 信道容量
3.12.求下图中信道的信道容量及其最佳的输入概率 分布。并求当ε=0和1/2时的信道容量C。
X
Y
1
0
0
1-ε
1
1
ε
ε
2
1-ε
2
2020/3/22
18
习题5
第三章 信道容量
解答：图中信道的信道矩阵如下
它指出了信号间各物理量参量之间的辨证关系，它为一些不 同的通信体制提供了基本原理。
用频带换取信噪比，它是现代扩频通信的基本原理
其目的是为了提高通信系统的可靠性。如果在通信中信噪比成为主 要矛盾时，而信号带宽有富余，往往就可以采用带宽换取信噪比的 办法提高通信的可靠性。现代移动通信中常采用伪码直接扩频，跳 频编码等扩展频谱手段，提高可靠性等。
0.4
3 4
0.8
X
p(
y2
)
0.6
1 6
0.4
1 4
0.2;
满足归一性即p(
y1)+p(
y2
)
1
可算得：
I (x1;
y1 )
log2
25 24
0.059bit;
I (x1;
y2 )
log 2
5 6
0.263bit
I
( x2 ;
y1 )
log2
15 16
0.093bit;
I
( x2 ;
y2
)
log2
H(Y/X) 0.918bit/symbol;H(X/Y) 0.749bit/symbol
因此，I(X;Y)=H(X)-H(X/Y) 0.062bit/symbol
(2)此信道为二元对称信道，所以信道容量为
C
1
H
(
p)
1
H
(
2 3
)
0.082bit/symbol
当输入符号为等概率分布时信道的信息传输率才能达到该值。
i1 j1
噪声熵：
22
H (Y / X )
p(xi ) p( y j / xi ) log2 p( y j / xi ) 0.7145bit / symbol
i1 j1
(5)接收到Y后获得的平均互信息I(X;Y)
I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) 0.0075bit/symbol
≈1.288×103比特/秒
此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小 于这消息序列所含有的信息量，故从信息传输的角度 来考虑，不可能在10秒钟内将这消息无失真的传送完。
2020/3/22
15
习题4
第三章 信道容量
第三章 信道容量
子曰：“不愤不启，不 悱不发，举一隅不以三隅 反，则不复也”
－孔子
2020/3/22
1
第三章总结
第三章 信道容量
信道容量 C：在信道中最大的信息传输速率，单位 是比特/信道符号。
单位时间的信道容量 Ct：若信道平均传输一个符号 需要 t 秒钟，则单位时间的信道容量为
Ct 实际是信道的最大信息传输速率。
p(
y3
)
p( y2 )
1 0 0
P 0 1
0 1
(4)求p(xi )
根据p( y j )
3 i 1
p(xi ) p( y j
/
xi )
p(
x1
)
1
2(1
1
)1
p(
x2
)
p( x3 )
(1 )1 1 2(1 )1
2020/3/22
20
习题5
第三章 信道容量
当＝0时，此信道为一一对应信道，即
2020/3/22
2
求信道容量的方法
第三章 信道容量
当信道特性 p(yj /xi) 固定后，I(X;Y) 随信源概率分布 p(xi) 的变化而变化。
调整 p(xi)，在接收端就能获得不同的信息量。由平均互 信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能 找到一种概率分布 p(xi)（即某一种信源），使信道所能 传送的信息率为最大。
0
0.98
0
0.02
0.02
1
0.98
1
2020/3/22
13
习题3
第三章 信道容量
解答：消息是一个二元序列，且为等概率分布，即
P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。 则该消息序列含有的信息量＝14000(bit/symbol)。
下面计算该二元对称信道能传输的最大的信息传输 速率：
在深空通信中，往往利用这一原理传送信息。它是利用信号与干扰 统计特性上的差异来实现的。比如，在深空通信中，噪声很强，它 可以远远高于信号强度。但是由于信号是规则的，它可以按时间积 累线性增长，然而，噪声是随机的，其增长速率远低于信号的线性 增长，随着时间的积累，信号由弱变强，而噪声由强变弱，从而可 以提高信噪比实现弱信号的累积接收。
用时间换取频带
在一些特殊需要的情况下，比如可以采用频带很窄的电话线路，传 送准活动的图像。
2020/3/22
6
第三章 信道容量
信道编码定理：若有一离散无记忆平稳信道，其容 量为 C，输入序列长度为 L，只要待传送的信息率 R<C，总可以找到一种编码，当 L 足够长时，译码 差错概率Pe<ε，ε为任意大于零的正数。反之，当 R>C时，任何编码的 Pe 必大于零，当 L→∞，Pe→1。
1 0 0
P 0 1
此信道为一般信道。 0 1
(1)求 j
3
3
p( y j / xi ) j p( y j / xi ) log2 p( y j / xi ),i 1, 2,3
j 1
j 1
1 0 (1 )2 3 (1 ) log2 (1 ) log2
2 (1 )3 log2 (1 ) log2 (1 )
通过一干扰信道，接收符号为Y=[y1,y2],信道传递概率如 下图所示。求
①信源X中事件x1和x2分别含有的信息量。
②收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息
量。
x1
5/6
y1
③信源X和信源Y的信息熵。
1/6
④信道疑义度H(X/Y)和噪声熵H(Y/X)。
⑤接收到消息Y后获得的平均互信息。
5 4
0.322bit
2020/3/22
9
习题1
第三章 信道容量
(3)H ( X ) 0.6 log2 0.6 0.4 log2 0.4 0.971bit / symbol
H (Y ) 0.8log2 0.8 0.2 log2 0.2 0.722bit / symbol
解答：
(4)p( y1 / x1) 5 / 6, p( y2 / x1) 1/ 6, p( y1 / x2 ) 3 / 4, p( y2 / x2) 1/ 4 由公式：
解答：(1)已知二元对称信道的传递矩阵和输入信源的概率分布，
可求出输出Y的概率分布和后验概率
p(y=0)=7/12;p(y=1)=5/12;p(x=0/y=0)=6/7;p(x=1/y=0)=1/7
p(x=0/y=1)=3/5;p(x=1/y=1)=2/5
进一步可算得：H(X) 0.811bit/symbol
解方程得：12＝ 03 (1 ) log2 (1 ) log2
2020/3/22
19
习题5
第三章 信道容量
(2)求C
C log2 2 j j
log2 [1 2(1 )1 ] (3)求p( y j )
p(
y1
)
21 C
1
1 2(1 )1
p(
y2
)
1
(1 )1 2(1 )1
信道编码定理说明：同无失真信源编码定理类似， 信道编码定理也是一个理想编码的存在性定理。它 指出信道容量是一个临界值，只要信息传输率不超 过这个临界值，信道就可几乎无失真地把信息传送 过去，否则就会产生失真。
2020/3/22
7
习题1
第三章 信道容量
3.1.设信源
X P(x)
x1 0.6
x2 0.4
用信噪比换频带，它是多进制多电平多维星座调制通信方式的 基本原理
在优质信道中，信噪比有富余，而使用的频带进展，这时可用信噪 比换频带。比如在光缆信道，卫星和微波接力等较优质信道中，常 常采用的多进制、多电平、多维星座调制就是基于这一原理。
2020/3/22
5
香农公式
第三章 信道容量
用时间换取信噪比，它是弱信号累积接收的基本原理
计算互信I (x息i负存对; 一y j值在另)般确取，，一lo定第g负接个2性二p值收消(个p反x(i表到息等x/i而y)式明一是j )增，由个否l必加o于消出g须2了噪息现p先(。py计(声后的jy/算j的，不x)i出) p( y j )
p( y1)
p(xi )
p( yj
/
xi )
0.6
5 6
3/4
x2
1/4
y2
2020/3/22
8
习题1 (1)I (x1) log2 p(x1) log2 0.6 0.737bit
I (x2 ) log2 p(x2 ) log2 0.4 1.32it
可见，概率越小的事件含有的自信息越大。
第三章 信道容量
解答：
(由2)互p(信y1息/ x公1)互式 5信：/ 6息, p可( y2以/ x1为) 正1/ 6值, p也( y1可/ x2以) 为3 / 4, p( y2 / x2) 1/ 4
2020/3/22
10
习题2
第三章 信道容量
3.3.设二元对称信道的传递概率为
2 3
1 3
1 3
2 3
①若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。
②求该信道的信道容量及达到信道容量时的输入概率分
布。
2020/3/22
11
习题2
第三章 信道容量
3.10.求下图中信道的信道容量及其最佳的输入概率 分布。
1/3
1/2
1/6
1/3 1/6
1/3 1/6
1/6 1/2
1/6
1/3
1/3 1/6 1/3
（a）
1/3 1/6 1/2
(b)
2020/3/22
16
习题4
第三章 信道容量
解答：图中两个信道的信道矩阵分别为
Pa
1 3
1 6
1 6
1 3
1 3