信息论与编码第2章习题
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
⑦ 两个点数是7的信息量。
2012-9-16 1
习题1
1 1 2 3 4 5 6
2
3
4
5
6
1,1 1,2 1,3 1,4 1,5 1,6 2 3 4 5 6 7
3 4 5 6 7 8 2,1 2,2 2,3 2,4 2,5 2,6
4 5 6 7 8 9 3,1 3,2 3,3 3,4 3,5 3,6 5 6 7 8 9 10 4,1 4,2 4,3 4,4 4,5 4,6 6 7 8 9 10 11 5,1 5,2 5,3 5,4 5,5 5,6
0 1
习题8、9
8. 某无记忆信源的符号集为{0,1}，已知p0=1/4， p1=3/4。 求： ① 求符号的平均熵。 ② 由100个符号构成的序列，求某特定序列（m个“0” 和100-m个“1”）的自信息量的表达式。 ③ 计算②中序列的熵。 9. 设有一个二进制一阶马尔可夫信源，其信源符号为 X∈(0,1)，条件概率为 p(0/0)=0.25 p(0/1)= p(1/1)=0.5 p(1/0)=0.75 画出状态图并求出各符号稳态概率。
2012-9-16 11
习题11
11. 一个马尔可夫过程的基本符号0,1,2，这三 个符号以等概率出现，具有相同的转移概 率，并且没有固定约束。
① 画出一阶马尔可夫过程的状态图，并求稳定状 态下的马尔可夫信源熵H1。 ② 画出二阶马尔可夫过程的状态图，并求稳定状 态下二阶马尔可夫信源熵H2。
2012-9-16
习题1
1. 同时掷两个正常的骰子，即各面呈现的概率都是 1/6。求：
① “3和5同时出现”这一事件的自信息量。 ② “两个1同时出现”这一事件的自信息量。 ③ 两个点数的各种组合（无序对）的熵。 ④ 两个点数之和（即2,3，…，12构成的子集）的熵。 ⑤ 两个点数中至少有一个是1的自信息。
⑥ 两个点数是3的信息量。
2012-9-16 3
习题3
3. 有6行、8列的棋型方格，若有两个质点A和 B分别以等概率落入任一方格内，但A、B 不能落入同一方格内。求：
① 若仅有质点A，求A落入任一个格的平均信息量 ② 若已知A已落入，求B落入的平均信息量 ③ 若A、B是可分辨的，求A、B都落入的平均信 息量
201Hale Waihona Puke Baidu-9-16
7 8 9 10 11 12 6,1 6,2 6,3 6,4 6,5 6,6
2012-9-16
2
习题2
2. 黑白传真机的消息元只有黑色和白色两种， 即X＝{黑，白}。一般气象图上，黑色出现 的概率为p(黑)＝0.3，白色出现的概率为 p(白)＝0.7。求：
① 假设黑白消息视为前后无关，求信源熵H(X)， 并画出该信源的香农线图。 ② 实际上各元素之间有关联，其转移概率为： p(白/白)＝0.9143 p(黑/黑)＝0.8 求：这个一阶马尔可夫信源的信源熵，并画出该信 源的香农线图。
2012-9-16
j i
1
2
3
1 2
3
1/2 2/3
2/3
1/4 0
1/3
1/4 1/3
0
13
12题的答案
1.H(X1X2X3)=H(x1)+H(x2/x1)+H(x3/x2) H(x1)=-0.5log0.5-2*0.25log0.25=1.5bit/符号 P(aiaj)=P(ai)*p(aj/ai)得到图二，同理得图三； H(X2/X1)= P(aiaj)*log(paj/ai)相加；同理，得H(X3/X2); 2.根据图一画香农线图，的平稳概率，求极限熵； 3.H0=1-H
4
习题4
4. 从大量统计资料知道，男性中红绿色盲的 发病率为7%，女性发病率为0.5%，如果你 问一位男士：“你是否色盲？”他的回答 可能是“是”，可能是“否”，问这两个 回答中各含有多少信息量，平均每个回答 中含有多少信息量？如果问一位女士，则 答案中含有的平均自信息量是多少？
2012-9-16
12
习题12有点难度，重点看看
12. 有一个一阶马尔可夫链X1, X2,…, Xr,…,各Xr取 值于集A={a1, a2, a3}。已知起始概率p(ai)为： p1=1/2, p2=p3=1/4，转移概率如下表所示。求： ① X1X2X3的联合熵和 平均符号熵。 ② 这个链的极限平均 符号熵。 ③ H0,H1,H2和它们所 对应的冗余度。
2012-9-16 16
13题的答案
2012-9-16
17
习题13
2012-9-16
18
习题14
14. 一阶马尔可夫信源 的状态图如图所示。 信源X的符号集为 {0,1,2}。
① 平稳后的信源的概 率分布。 ② 信源熵H∞ ③ 当p=0或p=1时信源 的熵，并说明其理 由。
2012-9-16 19
习题6
6. 有一个可旋转的圆盘，盘面上被均匀地分成 38份，用1,2，…，38数字标示，其中有2份 涂绿色，18份涂黑色，18份涂红色。圆盘停 转后，盘面上指针指向某一数字和颜色。求：
① 若仅对颜色感兴趣，计算平均不确定度。
② 若对颜色和数字都感兴趣，计算平均不确定度。
③ 如果颜色已知时，计算条件熵。
2 3
2012-9-16
1/6 1/6
0 1/12
1/12 0
2 3
5/36 5/36
0 5/72
5/72 0
15
习题13
13. 一阶马尔可夫信源的状态图如图所示，信源 X的符号集为{0,1,2}。
① 求信源平稳后的概率分布p(0)， p(1)和p(2)。 ② 求此信源的熵。 ③ 近似认为此信源为无记忆时，符号的概率分布 等于平稳分布。求近似信源的熵H(X)并与H∞进 行比较。 ④ 对一阶马尔可夫信源，p取何值时H∞取最大值， 又当p=0或p=1时结果如何？
2012-9-16
14
习题12
j i 1 2 3 X1X2 1
p1=1/2, p2=p3=1/4
1 1/2 2/3 2/3 1 1/4 2 1/4 0 1/3 2 1/8 3 1/4 1/3 0 3 1/8 p(X21)=7/12 p(X22)=5/24 p(X23)= 5/24 X2X3 1 1 7/24 2 7/48 3 7/48
2012-9-16
7
习题7
7. 有两个二元随机变量X和Y，它们的联合概 率如右表所示，并定义另一随机变量Z＝XY （一般乘积）。试计算：
① H(X)，H(Y)，H(Z)，H(XZ)，H(YZ)和H(XYZ)
② H(X/Y)， H(Y/X)， H(X/Z)， H(Z/X)， H(Y/Z)， H(Z/Y)， H(X/YZ)， H(Y/XZ)和H(Z/XY)
③ I(X;Y)， I(X;Z)， I(Y;Z)， I(X;Y/Z)， I(Y;Z/X) 和I(X;Z/Y)
2012-9-16
8
习题7
Y X
0
1
Z p
0 7/8
1 1/8
0
1
Z X
1/8
3/8 0 1/2 0
3/8
1/8 1 3/8 1/8
Z Y
0 1/2 0
1 3/8 1/8
9
0 1
2012-9-16
5
习题5
5. 在一个袋中放有5个黑球，10个白球，以摸 一个球为一个实验，摸出的球不再放进去。 求：
① 一次实验包含的不确定度。
② 第一次实验X摸出的是黑球，第二次实验Y给出 的不确定度。
③ 第一次实验X找出的是白球，第二次实验Y给出 的不确定度。 ④ 第二次实验Y包含的不确定度。
2012-9-16 6
2012-9-16 10
习题10
10. 设有一信源，它在开始时以p(a)=0.6， p(b)=0.3， p(c)=0.1的概率发出X1。如果X1 为a时则X2为a、b、c的概率为1/3；如果X1 为b时则X2为a、b、c的概率为1/3；如果X1 为c时则X2为a、b的概率为1/2，而为c的概 率是0。而且后面发出Xi的概率只与Xi－1有 关。又p(Xi/ Xi-1)= p(X2/ X1),i≥3。试利用马尔 可夫信源的图示法画出状态转移图，并求出 转移概率矩阵和信源熵H∞。
2012-9-16 1
习题1
1 1 2 3 4 5 6
2
3
4
5
6
1,1 1,2 1,3 1,4 1,5 1,6 2 3 4 5 6 7
3 4 5 6 7 8 2,1 2,2 2,3 2,4 2,5 2,6
4 5 6 7 8 9 3,1 3,2 3,3 3,4 3,5 3,6 5 6 7 8 9 10 4,1 4,2 4,3 4,4 4,5 4,6 6 7 8 9 10 11 5,1 5,2 5,3 5,4 5,5 5,6
0 1
习题8、9
8. 某无记忆信源的符号集为{0,1}，已知p0=1/4， p1=3/4。 求： ① 求符号的平均熵。 ② 由100个符号构成的序列，求某特定序列（m个“0” 和100-m个“1”）的自信息量的表达式。 ③ 计算②中序列的熵。 9. 设有一个二进制一阶马尔可夫信源，其信源符号为 X∈(0,1)，条件概率为 p(0/0)=0.25 p(0/1)= p(1/1)=0.5 p(1/0)=0.75 画出状态图并求出各符号稳态概率。
2012-9-16 11
习题11
11. 一个马尔可夫过程的基本符号0,1,2，这三 个符号以等概率出现，具有相同的转移概 率，并且没有固定约束。
① 画出一阶马尔可夫过程的状态图，并求稳定状 态下的马尔可夫信源熵H1。 ② 画出二阶马尔可夫过程的状态图，并求稳定状 态下二阶马尔可夫信源熵H2。
2012-9-16
习题1
1. 同时掷两个正常的骰子，即各面呈现的概率都是 1/6。求：
① “3和5同时出现”这一事件的自信息量。 ② “两个1同时出现”这一事件的自信息量。 ③ 两个点数的各种组合（无序对）的熵。 ④ 两个点数之和（即2,3，…，12构成的子集）的熵。 ⑤ 两个点数中至少有一个是1的自信息。
⑥ 两个点数是3的信息量。
2012-9-16 3
习题3
3. 有6行、8列的棋型方格，若有两个质点A和 B分别以等概率落入任一方格内，但A、B 不能落入同一方格内。求：
① 若仅有质点A，求A落入任一个格的平均信息量 ② 若已知A已落入，求B落入的平均信息量 ③ 若A、B是可分辨的，求A、B都落入的平均信 息量
201Hale Waihona Puke Baidu-9-16
7 8 9 10 11 12 6,1 6,2 6,3 6,4 6,5 6,6
2012-9-16
2
习题2
2. 黑白传真机的消息元只有黑色和白色两种， 即X＝{黑，白}。一般气象图上，黑色出现 的概率为p(黑)＝0.3，白色出现的概率为 p(白)＝0.7。求：
① 假设黑白消息视为前后无关，求信源熵H(X)， 并画出该信源的香农线图。 ② 实际上各元素之间有关联，其转移概率为： p(白/白)＝0.9143 p(黑/黑)＝0.8 求：这个一阶马尔可夫信源的信源熵，并画出该信 源的香农线图。
2012-9-16
j i
1
2
3
1 2
3
1/2 2/3
2/3
1/4 0
1/3
1/4 1/3
0
13
12题的答案
1.H(X1X2X3)=H(x1)+H(x2/x1)+H(x3/x2) H(x1)=-0.5log0.5-2*0.25log0.25=1.5bit/符号 P(aiaj)=P(ai)*p(aj/ai)得到图二，同理得图三； H(X2/X1)= P(aiaj)*log(paj/ai)相加；同理，得H(X3/X2); 2.根据图一画香农线图，的平稳概率，求极限熵； 3.H0=1-H
4
习题4
4. 从大量统计资料知道，男性中红绿色盲的 发病率为7%，女性发病率为0.5%，如果你 问一位男士：“你是否色盲？”他的回答 可能是“是”，可能是“否”，问这两个 回答中各含有多少信息量，平均每个回答 中含有多少信息量？如果问一位女士，则 答案中含有的平均自信息量是多少？
2012-9-16
12
习题12有点难度，重点看看
12. 有一个一阶马尔可夫链X1, X2,…, Xr,…,各Xr取 值于集A={a1, a2, a3}。已知起始概率p(ai)为： p1=1/2, p2=p3=1/4，转移概率如下表所示。求： ① X1X2X3的联合熵和 平均符号熵。 ② 这个链的极限平均 符号熵。 ③ H0,H1,H2和它们所 对应的冗余度。
2012-9-16 16
13题的答案
2012-9-16
17
习题13
2012-9-16
18
习题14
14. 一阶马尔可夫信源 的状态图如图所示。 信源X的符号集为 {0,1,2}。
① 平稳后的信源的概 率分布。 ② 信源熵H∞ ③ 当p=0或p=1时信源 的熵，并说明其理 由。
2012-9-16 19
习题6
6. 有一个可旋转的圆盘，盘面上被均匀地分成 38份，用1,2，…，38数字标示，其中有2份 涂绿色，18份涂黑色，18份涂红色。圆盘停 转后，盘面上指针指向某一数字和颜色。求：
① 若仅对颜色感兴趣，计算平均不确定度。
② 若对颜色和数字都感兴趣，计算平均不确定度。
③ 如果颜色已知时，计算条件熵。
2 3
2012-9-16
1/6 1/6
0 1/12
1/12 0
2 3
5/36 5/36
0 5/72
5/72 0
15
习题13
13. 一阶马尔可夫信源的状态图如图所示，信源 X的符号集为{0,1,2}。
① 求信源平稳后的概率分布p(0)， p(1)和p(2)。 ② 求此信源的熵。 ③ 近似认为此信源为无记忆时，符号的概率分布 等于平稳分布。求近似信源的熵H(X)并与H∞进 行比较。 ④ 对一阶马尔可夫信源，p取何值时H∞取最大值， 又当p=0或p=1时结果如何？
2012-9-16
14
习题12
j i 1 2 3 X1X2 1
p1=1/2, p2=p3=1/4
1 1/2 2/3 2/3 1 1/4 2 1/4 0 1/3 2 1/8 3 1/4 1/3 0 3 1/8 p(X21)=7/12 p(X22)=5/24 p(X23)= 5/24 X2X3 1 1 7/24 2 7/48 3 7/48
2012-9-16
7
习题7
7. 有两个二元随机变量X和Y，它们的联合概 率如右表所示，并定义另一随机变量Z＝XY （一般乘积）。试计算：
① H(X)，H(Y)，H(Z)，H(XZ)，H(YZ)和H(XYZ)
② H(X/Y)， H(Y/X)， H(X/Z)， H(Z/X)， H(Y/Z)， H(Z/Y)， H(X/YZ)， H(Y/XZ)和H(Z/XY)
③ I(X;Y)， I(X;Z)， I(Y;Z)， I(X;Y/Z)， I(Y;Z/X) 和I(X;Z/Y)
2012-9-16
8
习题7
Y X
0
1
Z p
0 7/8
1 1/8
0
1
Z X
1/8
3/8 0 1/2 0
3/8
1/8 1 3/8 1/8
Z Y
0 1/2 0
1 3/8 1/8
9
0 1
2012-9-16
5
习题5
5. 在一个袋中放有5个黑球，10个白球，以摸 一个球为一个实验，摸出的球不再放进去。 求：
① 一次实验包含的不确定度。
② 第一次实验X摸出的是黑球，第二次实验Y给出 的不确定度。
③ 第一次实验X找出的是白球，第二次实验Y给出 的不确定度。 ④ 第二次实验Y包含的不确定度。
2012-9-16 6
2012-9-16 10
习题10
10. 设有一信源，它在开始时以p(a)=0.6， p(b)=0.3， p(c)=0.1的概率发出X1。如果X1 为a时则X2为a、b、c的概率为1/3；如果X1 为b时则X2为a、b、c的概率为1/3；如果X1 为c时则X2为a、b的概率为1/2，而为c的概 率是0。而且后面发出Xi的概率只与Xi－1有 关。又p(Xi/ Xi-1)= p(X2/ X1),i≥3。试利用马尔 可夫信源的图示法画出状态转移图，并求出 转移概率矩阵和信源熵H∞。