信息论试题6
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、填空题（共15分，每空1分）
1、当 时，信源与信道达到匹配。
2、若高斯白噪声的平均功率为6 W ，则噪声熵为 。如果一个平均功率为9 W 的连续信源的熵等于该噪声熵，则该连续信源的熵功率为 。
3、信源符号的相关程度越大，信源的符号熵越 ，信源的剩余度越 。
4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率 的符号用短码，对概率 的符号用长码，从而减少平均码长，提高编码效率。
8、香农第一编码定理指出平均码长的理论极限值为 ，此时编码效率为 。
4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<” （1）()()2212X X H H =
X ()X 3H = ()3
321X X X H
（2）()XY H ()()Y X H Y H |+ ()()X H Y H +。
9、有一信源X ，其概率分布为⎥⎥⎦
⎤
⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡818141214321x
x x x P X ，若对该信源进行１００次扩展，
则每扩展符号的平均信息量是 。
11、当时，信源熵为最大值。８进制信源的最大熵为。
二、判断题（正确打√，错误打×）（共5分，每小题1分）
1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。
（）
2）即时码可以在一个码字后面添上一些码元构成另一个码
字。（）
3）连续信源的熵可正、可负、可为
零，（）
4）平均互信息始终是非负
的。（）
5）信道容量C只与信道的统计特性有关，而与输入信源的概率分布无关。（）
三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算：
1） 香农信道容量；
2） 无误码传输的最高符号速率。
四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在1a 和2a 之间。此信源连至信道，信道接收端接收脉冲的幅度y 处在1b 和2b 之间。已知随机变量X 和Y 的联合概率密度函数
)
)((1)(1212b b a a xy p --=
试计算)(),(),(XY h Y h X h 和);(Y X I
五、（10分）设某信道的传递矩阵为
0.80.10.10.10.10.8⎡⎤
=⎢⎥⎣⎦
P
计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。
六、（１0分）设随机变量X和Y的联合概率分布如下所示：
Z ，计算H（X），H（Z），H（XY），H（X/Z），I（X；Y）已知随机变量XY
七、（20分）一个离散无记忆信源
1
23456()1/161/161/161/161/41/2X x x x x x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
1) 求()H X 和冗余度；（4分）
2) 编成Fano 码，计算编码效率；（8分） 3) 编成Huffman 码，计算编码效率。（8分）
八、（10分）设一个离散无记忆信源的概率空间为⎥
⎦
⎤
⎢⎣⎡=⎥⎦⎤⎢
⎣⎡8.02.0)(21x x x P X ，它们通过干扰信道，信道矩阵为⎥⎦
⎤
⎢
⎣⎡=7.03.01.09.0P 。信道输出符号集为[]21,y y Y =，试计算：
（1）信源X 的信息熵；（２分）
（2）收到信息2y 后，获得的关于1x 的信息量；（２分） （3）共熵)(XY H ；（２分） （4）信道疑义度(|)H X Y ；（2分）
（5）收到消息Y 后获得的关于信源X 的平均信息量。（２分）
九、（10分）有一个二元马尔可夫信源，其状态转移概率如图所示，括号中的数表示转移时发出的符号。试计算
（1）达到稳定后状态的极限概率。
。
（2）该马尔可夫信源的极限熵H
《信息论基础》试卷答案
《信息论基础》试卷答案
一、填空题（共15分，每空1分）
1，当（R=C或信道剩余度为0）时，信源与信道达到匹配。
2，若高斯白噪声的平均功率为6W，则噪声熵为（1/2log12πe=3。337bit/自由度）如果一个平均功率为9W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为
（6W）
3，信源符号的相关程度越大，信源的符号熵越（小），信源的剩余度越（大）
4，离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号
的统计特性，对概率（大）的符号用短码，对概率（小）的符号用长码，从而减少平均
码长，提高编码效率。
8，香农第一编码定理指出平均码长的理论极限值为（信源熵H(S)/logr或H R(S)），
此时编码效率为（1）
9，在下面空格中选择填入数学符号“=,<,>,≤≥
，”
H2(X)=H(X1X2)/2 H3(x)=H(X1X2X3)/3
H (XY) = H(Y)+H(X/Y) ≤ H(Y)+H(X)
10,有一信源X，其概率分布为
1234
x x x x
1/21/41/81/8
X
P
⎡⎤⎡⎤
=
⎢⎥⎢⎥
⎣⎦⎣⎦
，若对该信源进行100次扩展，
其每扩展符号的平均信息量是（175bit/扩展符号）
11当（概率为独立等概）时，信源熵为最大值，8进制信源的最大熵为（3bit/符号）二、判断题（本大题共5小题，每小题1分，共5分）
1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大（⨯）
2）即时码可以在一个码字后面添上一些码元构成另一个码字（⨯）
3）连续信源的熵可正可负可零（∨）
4）平均互信息始终是非负的（∨）
5）信道容量C只与信道的统计特性有关，而与输入信源概率分布无关（∨）
三、（10分）计算机终端发出五种符号，出现概率分别为1/16，1/16，1/8,1/4,1/2.通过一条带宽为18KHz的信道传输数据，假设信道输出信噪比为2047，试计算：