第三章 信道与信道容量 习题解答

噪声熵：
（5）平均互信息量：
2．有一个生产 A、B、C、D四种消息的信源其出现的概率相等，通过某一通信系统传输时，B和 C无误，A 以 1/4概率传为 A，以 1/4概率误传为 B、C、D，而 D以 1/2概率正确传输，以 1/2概率误传为 C，
（1）试求其可疑度？（2）收到的信号中哪一个最可靠？（3）散布度为多少？ 解：（1）
（2）信源熵速率： 接收熵速率： （3）一消息共有 4000个二元符号，该消息的信息量： 无失真地传递完该消息所需的时间：
10.有一个二元对称信道，其信道矩阵为
，设该信源以 1500符号/秒的速度传输输入符号。现
有一消息序列共有 14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否 将这消息序列无失真地传递完？ 解：根据信道转移矩阵画出下图：
当
时，根据
，
得：
作业：1、3(2)、6、7(1)、8、9或 10、11、13、15、16(1)
mW/Hz、限频 、限输入
9
符号 含有的自信息量：
（2）根据信道转移概率
：
，求；
计算联合概率：
：
计算信宿端概率： 计算后验概率：
： ：
计算互信息量：
：
收到消息 后获得的关于 的信息量：
收到消息 后获得的关于 的信息量：
收到消息 后获得的关于 的信息量：
收到消息 后获得的关于 的信息量：
（3）信源熵： 信宿熵：
1
（4）信道疑义度：
先写出
Hale Waihona Puke Baidu
：
再根据式 同样得
求各联合概率：
求 Y端概率空间的各
：
同样得
2
，
，
求联合熵：
信宿熵： 得可疑度： （2）接收可靠的依据是根据下式求
比特/消息 ，越大表示越可靠：
可见接收信号 A最可靠。 （3）计算信源熵： 得散布度：
比特/消息
比特/每对消息 比特/消息
3.设二元对称信道的传递矩阵为
（1） 若
，
，求
，
，
和
；
（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：
（1）先写出
：
根据公式
计算联合概率：
信宿端符号分布概率：
根据公式
计算：
3
求各熵： 信源熵：
比特/消息
信宿熵：
比特/消息
可疑度：
平均互信息量： 噪声熵： （2）二元对称离散信道的信道容量：
比特/消息 比特/消息
比特/秒
信源等概分布时（
13.已知理想通信系统接收机输入端的功率信噪比为 10分贝，为了使接收机输出端的功率信噪比增加到 30分贝，信道带宽至少应为多少？假设原始消息带宽为 15KHz。如果将功率信噪比改为电压信噪比，分贝 数改为倍数，请重新计算.。
解：由
可得：10dB对应 10倍，30dB对应 1000倍，
利用扩频通信原理：
试计算该信道的最大信息传输速率。 解： 该信道的最大信息传输速率：
比特/秒
8
16．设电话信号的信息率为 5.6×104比特/秒，在一个噪声功率谱为
功率 的高斯信道中传送，
（1）若
kHz，问无差错传输所需要的最小功率
（2）若
，则 是多少？
是多少？
解：（1）
根据公式
，
，
得
，为无差错传输所需最小功率。
（2）由于
信源熵： 单位时间的符号数：
比特/消息 消息/秒
信息速率：
如果点、划出现的概率相等时，则
信源熵：
比特/消息
单位时间符号数：
比特/秒 消息/秒
信息速率：
比特/秒
可见等概率时，信息速率反而降低了。但与理论不矛盾，因为信息速率不光与信源熵有关，还与每秒发送的
符号数有关，该信源的两个消息是非同价代码（每个码元(消息)的时间长度不同），等概率时，信源熵提高了，
解：（1）信源每秒输出的字母数：
信源熵： 信源熵速率：
（2）信源熵：
信源熵速率：
8.有一传输“0”和“1”的二元数字通信系统，以 1000码元/秒的速率传输，传送“0”和“1”的概率分别为：
，由于信道有噪声，误码率为
，试求接收的信息速率？
解：
先写出信道转移概率
：
5
根据公式
计算联合概率：
求信宿端符号概率分布：
第三章 信道与信道容量 习题解答
1.设信源
通过一干扰信道，接收符号为
信道传递矩阵为
（1） 信源 中符号 和 分别含有的自信息量。
（2） 收到消息
后，获得的关于
（3） 信源 和信宿 的信息熵。
（4） 信道疑义度
和噪声熵
。
（5） 接收到信息 后获得的平均互信息量。
解：
的信息量。
（1）符号 含有的自信息量：
根据公式
计算后验概率：
求可疑度：
信源熵：
平均互信息量： 得接收熵速率：
比特/消息 比特/秒
比特/消息
9.有一个传输“0”和“1”的二元数字通信系统，以平均 1000码元/秒的速率传输，传送“0”和“1”的概率相等， 由于信道有噪声，误码率为 0.15，
（1）试求信道可疑度； （2）计算信源熵速率和接收熵速率； （3）现有一消息共有 4000个二元符号，无失真地传递完该消息需要多少时间？ 解：（1）信道可疑度：
）达到信道容量。
比特/消息
4.某一个二元通信系统，等概率分布发送消息：p(0)=p(1)=0.5，由于噪声干扰，信号对称信道，其差错率
为 1%，计算该通信系统的可疑度和平均互信息量。
解：可疑度 =理想观察者提供的附加熵：
，
信源熵： 平均互信息量：
5.设有一批电阻，按阻值分 70%是 2 ，30%是 5 ，按功耗分 64%是 1/8W，其余是 1/4W。现已知 2 阻值的电阻中 80%是 1/8W，问通过测量阻值可以平均得到的关于瓦数的信息量是多少？
（2） 若要保持信道容量不变，信噪比降为 5，信道带宽应为多少？
（3） 若要保持信道容量不变，信道带宽降为 0.5MHz，信号的功率信噪比应为多少？
（4） 其中有什么规律可总结？
解：根据香农公式：
（1） 信噪比为 10倍，信道容量： （2） 信噪比为 5倍，信道带宽：
比特/秒
（3） 信道带宽为 0.5MHz，信号的功率信噪比：
但每秒发送的符号数下降了，因此才有此结果。
7.一个通信系统，信源消息由 A、B、C、D四个字母组成，采用二元代码对信源编码为 A：00、B：01、C：10、 D：11，假设系统传输每个二元代码需要 5ms， （1）若信源各字母等概率出现，计算其信源熵速率； （2）若信源各字母出现的概率为：p(A)=1/5，p(B)=1/4，p(C)=1/4，p(D)=3/10，计算其信源熵速率。
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
解：已知
根据公式：
前者改善不明显，后者改善明显，故存在阀值效应。 15.设加性高斯白噪声信道中，信道带宽 3kHz，又设
6
由于二元信源，等概率分布，信道对称，满足山农的理想观察者原理的三个假设条件，因此计算疑义度： 比特/消息
接收熵速率：
比特/秒
而系统要求的传信率为：
比特/秒，大于 1289比特/秒，故 10秒内无法无失真传递完。
11.已知一个平均功率受限的连续信号，通过带宽
的高斯白噪声信道，试求
（1） 若信噪比为 10，信道容量为多少？
解：设下标 1为原状况，下标 2为改变后状况。由
可得：
，
倍
如果功率节省一半则
倍 ，为 了 使 功 率 节 省 一 半 又 不 损 失 信 息 量 I，根 据
，可以： （1） 加大信道带宽 W，用带宽换取信噪比
，
，
7
缺点是对设备要求高。 （2） 加大传输时间 T，用传输时间换取信噪比，同理可得：
缺点是传输速度降低了。
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
6.有一以“点”和“划”构成的老式电报系统，“点”的长度为 30毫秒，“划”的长度为 150毫秒，“点”和“划”出现的
4
概率分别为 0.8和 0.2，试求信息速率为多少？“点”、“划”出现的概率相等时，信息速率为多少？是否“点”、“划” 出现的概率相等时信息速率一定最高？是否和理论相矛盾？为什么？ 解：
（4）说明如果信噪比降低，则为保持信道容量不变，必须加大信道带宽。反之加大信道带宽，则可降低对信 噪比的要求。如果信道带宽降低，则为保持信道容量不变，必须加大信号功率信噪比。反之加大信号功率信 噪比，则可降低对信道带宽的要求。
12.在一个理想通信系统中，已知信道中功率信噪比为 10分贝，为了使功率节省一半又不损失信息量，有 几种办法？请计算并讨论各自的优缺点。