信息论复习资料
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
对应的剩余度为
1 1
H1 0.811 1 0.189 H0 1 1 1 1 log log 2 2 2 2 H2 0.681 1 0.319 H0 1 1 1 1 log log 2 2 2 2
8、 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。 最大似然译码准则下，将接收 序列译为信道传递概率最大时所对应的码字。 最小距离译码准则下，将接收序列译为与其距离最小的码字。 三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道 中，最小距离译码准则等效于最大似然译码准则。 9、 保真度准则为：平均失真度不大于允许的失真度。 10、限失真信源编码：有失真信源编码的中心任务，在允许的失真范围内把编码的信息率压缩到最小。
H (U1 ) H (
U2
); H (U 2 ) H (
U1
)
U H (U1U 2 ) H (U1 ) H ( 2
这两个不等式又称为 Shannon 不等式
U1
U ) H (U 2 ) H ( 1
U2
)
13、证明：若
p
i 1
L
i
Hale Waihona Puke Baidu
1, q j pL
j 1
m
则
求平均互信息和信道疑义度； 输入为等概率分布时，试写出一译码则，使平均译码错误率最小，并求此错误率。
1、概念、定义：失真函数、平均失真、允许失真度、试验信道 2、 信息率失真函数（注意与信道容量的比较 ) 3、 信息率失真函数的定义域(即 Dmin 和 Dmax） 、R(Dmin)、R(Dmax)及相应的信道转移概率的计算 4、 R(D)：在限定失真为 D 的条件下信源输出的最小信息速率。 R(D)的定义域 [Dmin Dmax]为 R(D)的定义域。 （确界）
i=1,2,3 条件转移概率为（右） ，
（1）画出状态转移图（2）计算稳态概率 （3）计算马尔可夫信源的极限熵 （4）计算稳态下 H 1, H2 及其对应的剩余度
1.一个一阶马尔可夫信源， 转移概率为 （1）画出状态转移图 （2）计算稳态概率 （3）计算马尔可夫信源的极限熵
2 1 P S1 | S1 , P S2 | S1 , P S1 | S2 1, P S2 | S2 0 3 3
(4)在稳态下：
2 3 1 1 3 P xi log P xi log log 0.811bit 符号 4 4 4 4 i 1
H 2 H 0.205 hart 符号 0.472 nat 符号 0.681bit 符号
7、设离散信源 X={X1,X2},P(X1)=1/3,P(X2)=2/3,编码后的输出为 Y={y1,y2}，失真矩阵为:
d(x 1,y 1) d(x 1,y 2) 0 1 H 1 . 求 Dmin，Dmax、R（Dmin）和 R（Dmax）及对应的转移概率矩阵。 d(x 2,y 1) d(x 2,y 2) 0
（4）计算稳态下 H 1, H2 及其对应的剩余度 解：(1)
S1
1 3
1
S2
2 2 P S 1 P S1 | Si P Si 3 P S1 P S 2 i 1 3 P S1 2 2 1 4 (2)由公式 P Si P Si | S j P S j 有 得 P S 2 P S 2 | Si P Si P S1 3 j 1 i 1 P S 1 2 4 P S1 P S 2 1
1 / 2 1 / 4 [P XY ] 1 / 12 1 / 6
； [ PY ] [7 / 12 5 / 12] ；
； H (Y ) 7 / 12 log 2 (12 / 7) 5 / 12 log 2 (12 / 5)
I ( X ; Y ) H (Y ) H (Y | X )
1、 说明信息、消息及信号三者之间的联系与区别？ 2、 信息论的研究目的和对象？ 3、 自信息的定义及物理含义？ 熵的定义及物理含义？ 4、 马尔可夫信源 5、 信道疑义度的概念和物理含义？ 6、 熵功率 7、 信源冗余度 8、 离散信源和连续信源的最大熵定理。 9、 一个随即变量 x 的概率密度函数 P(x)= x /2,0≤X≤2V，则信源的相对熵为 1bit 10、同时扔两个正常的骰子，即各面呈现的概率都是 1/6，若点数之和为 12，则得到的自信息是 log36bit 11、有一个无记忆信源发出符号 A 和 B，已知 P(A)=1/4,P(B)=3/4,发出二重符号序列消息的信源，无记忆信源熵 H(X2)为多少？0.81bit/二重信号 12、二进制通信系统使用符号 0 和 1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个 0 发 出，u1:一个 1 发出，v0 :一个 0 收到，v1:一个 1 收到，则已知收到的符号，被告知发出的符号能得到的信 息量如何表示？H（U/V） 13、证明：由两个消息（符号）组成的联合信源有如下结论： U1 U2
H ( p1 , p2 , , pL 1 , pL ) pL H (
并说明等式的物理意义
q q1 q2 , , , m ) pL p L pL
14、一阶齐次马尔可夫信源消息集
X∈｛ａ１,ａ２,ａ３｝ ，状态集Ｓ∈｛Ｓ１，Ｓ２，Ｓ３｝且令 Si=ai，
1 4 1 4 1 2 P(aj / S i ) 1 3 1 3 1 3 2 3 1 3 0
重点：无干扰离散信道、对称 DMC（离散无记忆）信道 、准对称信道 信道容量 C：最大的信息传输率 1、 写出香农公式，并说明其物理意义。当信道带宽为 5000Hz，信噪比为 30dB 时求信道容量。
2、信源冗余度；香农第一定理内容和含义 3、解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 4、香农第二定理的内容和含义？ 5、码距：两个等长码字之间对应码元不相同的数目，称为码距。 2 、设有一离散信道，其信道矩阵为 最佳概率分布？当 P(X1)=0.7， P(X2)=0.3 时，
(3)该马尔可夫信源的极限熵为：
H P Si P S j | Si log P S j | Si
i 1 j 1
2
2
3 2 2 3 1 1 log log 4 3 3 4 3 3 1 1 0.578 1.599 2 4 0.681bit 符号 0.472 nat 符号 0.205 hart 符号
率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度 D 的最小和最大取值问题。 由于平均失真度是非负实数 d(xi,yj)的数学期望,因此也是非负的实数,即¯D≥ 0，¯D 的下界是 0。 R(D)=0 意味着不需传输任何消息，D 越大，直至无穷大都能满足这种情况。 5、Dmin 和 R(Dmin)的计算 信源的最小平均失真度： • 只有当失真矩阵的每一行至少有一个 0 元素时,信源的平均失真度才能达到下限值 0。 • 只有当失真矩阵每一行至少有一个 0，每一列至多只有一个 0，才能保证 R(0) =H(X)。 5、 限失真信源编码；保真度准则；奇异码； 6、 即时码；Huffman 编码
4、线性分组码不具有的性质是（C）
H (Y | X ) 3 / 4H (1 / 2,1 / 4) 1 / 4H (1 / 12,1 / 6)
2）最佳输入分布为 [ PX ] [1 / 2 1 / 2] ，此时信道的容量为 C 1 H (2 / 3,1 / 3) (3)信道的剩余度： C I ( X ; Y )
2 1
1、设二元对称信道的输入概率分布分别为 [ PX ] [3 / 4 1 / 4] ，转移矩阵为 PY | X 求信道的输入熵，输出熵，平均互信息量； 求信道容量和最佳输入分布；求信道剩余度。
2 / 3 1 / 3 ， 1 / 3 2 / 3
解： （1）信道的输入熵 H ( X ) 3 / 4 log 2 (4 / 3) 1 / 4 log 2 4 ；
1 1
H1 0.811 1 0.189 H0 1 1 1 1 log log 2 2 2 2 H2 0.681 1 0.319 H0 1 1 1 1 log log 2 2 2 2
8、 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。 最大似然译码准则下，将接收 序列译为信道传递概率最大时所对应的码字。 最小距离译码准则下，将接收序列译为与其距离最小的码字。 三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道 中，最小距离译码准则等效于最大似然译码准则。 9、 保真度准则为：平均失真度不大于允许的失真度。 10、限失真信源编码：有失真信源编码的中心任务，在允许的失真范围内把编码的信息率压缩到最小。
H (U1 ) H (
U2
); H (U 2 ) H (
U1
)
U H (U1U 2 ) H (U1 ) H ( 2
这两个不等式又称为 Shannon 不等式
U1
U ) H (U 2 ) H ( 1
U2
)
13、证明：若
p
i 1
L
i
Hale Waihona Puke Baidu
1, q j pL
j 1
m
则
求平均互信息和信道疑义度； 输入为等概率分布时，试写出一译码则，使平均译码错误率最小，并求此错误率。
1、概念、定义：失真函数、平均失真、允许失真度、试验信道 2、 信息率失真函数（注意与信道容量的比较 ) 3、 信息率失真函数的定义域(即 Dmin 和 Dmax） 、R(Dmin)、R(Dmax)及相应的信道转移概率的计算 4、 R(D)：在限定失真为 D 的条件下信源输出的最小信息速率。 R(D)的定义域 [Dmin Dmax]为 R(D)的定义域。 （确界）
i=1,2,3 条件转移概率为（右） ，
（1）画出状态转移图（2）计算稳态概率 （3）计算马尔可夫信源的极限熵 （4）计算稳态下 H 1, H2 及其对应的剩余度
1.一个一阶马尔可夫信源， 转移概率为 （1）画出状态转移图 （2）计算稳态概率 （3）计算马尔可夫信源的极限熵
2 1 P S1 | S1 , P S2 | S1 , P S1 | S2 1, P S2 | S2 0 3 3
(4)在稳态下：
2 3 1 1 3 P xi log P xi log log 0.811bit 符号 4 4 4 4 i 1
H 2 H 0.205 hart 符号 0.472 nat 符号 0.681bit 符号
7、设离散信源 X={X1,X2},P(X1)=1/3,P(X2)=2/3,编码后的输出为 Y={y1,y2}，失真矩阵为:
d(x 1,y 1) d(x 1,y 2) 0 1 H 1 . 求 Dmin，Dmax、R（Dmin）和 R（Dmax）及对应的转移概率矩阵。 d(x 2,y 1) d(x 2,y 2) 0
（4）计算稳态下 H 1, H2 及其对应的剩余度 解：(1)
S1
1 3
1
S2
2 2 P S 1 P S1 | Si P Si 3 P S1 P S 2 i 1 3 P S1 2 2 1 4 (2)由公式 P Si P Si | S j P S j 有 得 P S 2 P S 2 | Si P Si P S1 3 j 1 i 1 P S 1 2 4 P S1 P S 2 1
1 / 2 1 / 4 [P XY ] 1 / 12 1 / 6
； [ PY ] [7 / 12 5 / 12] ；
； H (Y ) 7 / 12 log 2 (12 / 7) 5 / 12 log 2 (12 / 5)
I ( X ; Y ) H (Y ) H (Y | X )
1、 说明信息、消息及信号三者之间的联系与区别？ 2、 信息论的研究目的和对象？ 3、 自信息的定义及物理含义？ 熵的定义及物理含义？ 4、 马尔可夫信源 5、 信道疑义度的概念和物理含义？ 6、 熵功率 7、 信源冗余度 8、 离散信源和连续信源的最大熵定理。 9、 一个随即变量 x 的概率密度函数 P(x)= x /2,0≤X≤2V，则信源的相对熵为 1bit 10、同时扔两个正常的骰子，即各面呈现的概率都是 1/6，若点数之和为 12，则得到的自信息是 log36bit 11、有一个无记忆信源发出符号 A 和 B，已知 P(A)=1/4,P(B)=3/4,发出二重符号序列消息的信源，无记忆信源熵 H(X2)为多少？0.81bit/二重信号 12、二进制通信系统使用符号 0 和 1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个 0 发 出，u1:一个 1 发出，v0 :一个 0 收到，v1:一个 1 收到，则已知收到的符号，被告知发出的符号能得到的信 息量如何表示？H（U/V） 13、证明：由两个消息（符号）组成的联合信源有如下结论： U1 U2
H ( p1 , p2 , , pL 1 , pL ) pL H (
并说明等式的物理意义
q q1 q2 , , , m ) pL p L pL
14、一阶齐次马尔可夫信源消息集
X∈｛ａ１,ａ２,ａ３｝ ，状态集Ｓ∈｛Ｓ１，Ｓ２，Ｓ３｝且令 Si=ai，
1 4 1 4 1 2 P(aj / S i ) 1 3 1 3 1 3 2 3 1 3 0
重点：无干扰离散信道、对称 DMC（离散无记忆）信道 、准对称信道 信道容量 C：最大的信息传输率 1、 写出香农公式，并说明其物理意义。当信道带宽为 5000Hz，信噪比为 30dB 时求信道容量。
2、信源冗余度；香农第一定理内容和含义 3、解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 4、香农第二定理的内容和含义？ 5、码距：两个等长码字之间对应码元不相同的数目，称为码距。 2 、设有一离散信道，其信道矩阵为 最佳概率分布？当 P(X1)=0.7， P(X2)=0.3 时，
(3)该马尔可夫信源的极限熵为：
H P Si P S j | Si log P S j | Si
i 1 j 1
2
2
3 2 2 3 1 1 log log 4 3 3 4 3 3 1 1 0.578 1.599 2 4 0.681bit 符号 0.472 nat 符号 0.205 hart 符号
率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度 D 的最小和最大取值问题。 由于平均失真度是非负实数 d(xi,yj)的数学期望,因此也是非负的实数,即¯D≥ 0，¯D 的下界是 0。 R(D)=0 意味着不需传输任何消息，D 越大，直至无穷大都能满足这种情况。 5、Dmin 和 R(Dmin)的计算 信源的最小平均失真度： • 只有当失真矩阵的每一行至少有一个 0 元素时,信源的平均失真度才能达到下限值 0。 • 只有当失真矩阵每一行至少有一个 0，每一列至多只有一个 0，才能保证 R(0) =H(X)。 5、 限失真信源编码；保真度准则；奇异码； 6、 即时码；Huffman 编码
4、线性分组码不具有的性质是（C）
H (Y | X ) 3 / 4H (1 / 2,1 / 4) 1 / 4H (1 / 12,1 / 6)
2）最佳输入分布为 [ PX ] [1 / 2 1 / 2] ，此时信道的容量为 C 1 H (2 / 3,1 / 3) (3)信道的剩余度： C I ( X ; Y )
2 1
1、设二元对称信道的输入概率分布分别为 [ PX ] [3 / 4 1 / 4] ，转移矩阵为 PY | X 求信道的输入熵，输出熵，平均互信息量； 求信道容量和最佳输入分布；求信道剩余度。
2 / 3 1 / 3 ， 1 / 3 2 / 3
解： （1）信道的输入熵 H ( X ) 3 / 4 log 2 (4 / 3) 1 / 4 log 2 4 ；