信息论复习资料
信息论与编码总复习
“信息论与编码”总复习
1．消息、信号、信息的含义、定义及区别。
信息是指各个事物运动的状态及状态变化的方式。
消息是指包含信息的语言，文字和图像等。
信号是消息的物理体现。
消息是信息的数学载体、信号是信息的物理载体
信号：具体的、物理的
消息：具体的、非物理的
信息：非具体的、非物理的
同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息
2．信息的特征与分类。
1接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容；
2信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；
3信息可以产生，也可以消失，同时信息可以被携带，被存储及处理；
4信息是可以量度的，信息量有多少的差别。
3．狭义信息论、广义信息论、一般信息论研究的领域。
狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。
广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。
概率信息：信息表征信源的不定度，但它不等同于不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量
4．信息论的起源、历史与发展。
⏹1924年，Nyquist提出信息传输理论；
信息论复习资料
判断30
名词解释4*5
计算3道20分
第一章
1、自信息和互信息P6 公式
2、信道P9 概念
第二章
1、离散平稳信源P18概念
2、离散无记忆信源P19概念
3、时齐马尔可夫信源P20概念
4、自信息P22概念
5、信息熵P25概念
6、信息熵的基本性质P28
1)对称性
2)确定性
3)非负性
4)扩展性
5)可加性
6)强可加性
7)递增性
8)极值性
9)上凸性
7、联合熵条件熵P42公式P43例题
8、马尔克夫信源P54公式P55例题
9、信源剩余度P58
10、熵的相对率信源剩余度P58
11、课后作业：2、4、13、21、22
第三章
1、有记忆信道P73概念
2、二元对称信道BSC P74
3、前向概率、后向概率、先验概率、后验概率P76
4、条件熵信道疑义度、平均互信息P77
5、平均互信息、联合熵、信道疑义度、噪声熵计算公式P78
6、损失熵噪声熵 P79
7、平均互信息的特性P82
1)非负性
2)极值性
3)交互性
4)凸状性
8、信息传输率R P86
9、无噪无损信道P87概念
10、有噪无损信道P88概念
11、对称离散信道 P89概念
12、对称离散信道的信道容量P90公式
张亚威2012/06/20
张亚威
2012/06/21
16、 数据处理定理 P113定理 17、 信道剩余度 P118公式 18、 课后作业：1、 3、 9
第五章
1、 编码：实质上是对信源的原始符号按一定的数学规则进行的一种变换。
2、 等长码 P172概念
3、 等长信源编码定理 P178
4、 编码效率 P180
5、 克拉夫特不等式 P184
6、 香农第一定理 P191
《信息论与编码技术》复习提纲复习题
《信息论与编码技术》复习提纲
复习题纲
第0章绪论
题纲：
I.什么是信息？
II.什么是信息论？
III.什么是信息的通信模型？
IV.什么是信息的测度？
V.自信息量的定义、含义、性质
需掌握的问题：
1.信息的定义是什么？（广义信息、狭义信息——
Shannon信息、概率信息）
2.Shannon信息论中信息的三要素是什么？
3.通信系统模型图是什么？每一部分的作用的是什么？
4.什么是信息测度？
5.什么是样本空间、概率空间、先验概率、自信息、后验
概率、互信息？
6.自信息的大小如何计算？单位是什么？含义是什么（是
对什么量的度量）？
第1章信息论基础
㈠《离散信源》题纲：
I.信源的定义、分类
II.离散信源的数学模型
III.熵的定义、含义、性质，联合熵、条件熵
IV.离散无记忆信源的特性、熵
V.离散有记忆信源的熵、平均符号熵、极限熵
VI.马尔科夫信源的定义、状态转移图
VII.信源的相对信息率和冗余度
需掌握的问题：
1.信源的定义、分类是什么？
2.离散信源的数学模型是什么？
3.信息熵的表达式是什么？信息熵的单位是什么？信息熵
的含义是什么？信息熵的性质是什么？
4.单符号离散信源最大熵是多少？信源概率如何分布时能
达到？
5.信源的码率和信息率是什么，如何计算？
6.什么是离散无记忆信源？什么是离散有记忆信源？
7.离散无记忆信源的数学模型如何描述？信息熵、平均符
号熵如何计算？
8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、
条件熵（N阶熵）的计算、关系和性质是什么？
9.什么是马尔科夫信源？马尔科夫信源的数学模型是什
么？马尔科夫信源满足的2个条件是什么？
信息论复习
信息熵
定义自信息的数学期望为信源的平均互信息量，即：
∑=-==q i i i i a P a P a P E X H 1
)(log )(])(1[log )(，也称为信息的信息熵。 信息熵的单位由自信息的单位决定的，即取决于对数选取的底。一般选取以2为底，信息熵写成)(X H 形式，其中变量X 是指某随机变量的整体。
信源的信息熵H 是从整个信源的统计特性来考虑的。它是从平均意义上表征信源的总体信息测度。对于某个特定的信源（概论空间给定），其信息熵是个确定的数值，不同的信源由于统计特性不同，其熵也不同。
信息熵具有一下三种物理含义：
1．信息熵)(X H 表示信息输出后，每个消息（符号）所提供的平均信息量；
2．信息熵)(X H 表示信源输出前，信源的平均不确定性；
3．用信息熵)(X H 来表征变量X 的随机性。
信道容量
我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率R 。而平均互信息);(Y X I 是指接收到符号Y 后平均每个符号获得的关于X 的信息量。因此信道的信息传输率就是平均互信息，即：
)|()();(Y X H X H Y X I R -== （比特/符号） 而);(Y X I 是输入随机变量X 的概率分布)(x P 的∩型函数。因此对于一个固定的信道，总存在一种信源（某种概率分布的函数），使传输每个符号的获得的信息量最大。也就是每个固定信道都有一个最大的信息传输率，定义这个最大的信息传输率为信道容量C ，即
)};({max )
(Y X I C x P = 其单位是比特/符号或者纳特/符号。而相应的输入的概率分布)(x P 称为最佳输入分布。
信息论总结与复习
1.2 信道的信息理论
2、信道的分类：
（1）无噪无损信道：ai与bj是一一对应的， p (bj|ai ) =δ 传输矩阵为单位方阵。
ij
，
（2）有噪有损信道： ai与bj多-多对应的，传输矩阵中所有 的矩阵元都有可能不为零。特例是BSC信道。 （3）有噪无损信道分组一对多（弥散），传输矩阵应具有一 行多列的分块对角化形式。
（4）无噪有损信道：分组多对一（归并），其传输矩阵应具 有多行一列的分块对角化形式。
（5）对称信道：传输矩阵的各行都是一些相同元素的重排， 各列也是一些相同元素的重排。
第一部分、信息论基础
1.2 信道的信息理论
3、信道有关的信息熵：
（1）信源熵 (先验熵)：
（2）噪声熵 (散布度)：
（3）联合熵： （4）接收符号熵：
I(X;Y)=H(X)-H(X|Y)= 0.881 –0.8558=0.0252 bit/符号
第一部分、信息论基础
1.2 信道的信息理论
（2）信道容量的定义：
对于给定的信道，既然总存在一个信源能使互信 息取极大值，就可以把这个极大值定义为该信道 的信道容量：
信道容量反映了一个信道最大所能传输的平 均互信息，是给定信道的属性。
第三部分、信道编码
3.1 信道编码理论
2、译码规则与错误概率：
（1）最小错误准则：选联合概率矩阵每列最大元素
信息论与编码复习
1、通信系统模型的组成，及各部分的功能。
答：信源，产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。编码器，信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性。信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性。调制器：将信道编码输出变成适合信道传输的方式
信道，信号从发端传到收端的介质
干扰源，系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声
译码器，编码器的逆变换
信宿，信息的接收者
2、消息，信号，信息三者之间的关系
答：关系：信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。信号---则是抽象信息在物理层表达的外延；消息---则是抽象信息在数学层表达的外延。
3、信源的分类
答：分类：单消息（符号）信源：离散信源；连续变量信源。平稳信源。无/有记忆信源。马尔可夫信源。随机波形信源。
离散信源：信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息。可以用一维离散型随机变量X来描述这个信源输出的消息。这个随机变量X的样本空间就是符号集A；而X的概率分布就是各消息出现的先验概率，信源的概率空间必定是一个完备集。连续变量信源：数据取值是连续的，但又是随机的。可用一维的连续型随机变量X来描述这些消息。这种信源称为连续信源，其数学模型是连续型的概率空间：
4、自信息的含义：当事件ai发生以前，表示事件ai发生的不确定性，当事件ai发生以后表示事件ai所含有（所提供）的信息量。
信息论与编码复习期末考试要点
⑴信源全部状态及状态转移概率 ⑵画出完整的二阶马尔可夫信源状态转移图。 ⑶求平稳分布概率
29
• 符号条件概率矩阵
a1 (0) a2 (1)
s1(00) 1 / 2 1 / 2
p(a
j
|
si
)
s2 (01) s3 (10) s4 (11)
1 /
1 / 1 /
3 4 5
2 / 3
3 / 4 4 / 5
– 信源输出某一符号的概率仅与以前的m个符 号有关，而与更前面的符号无关。
• 条件概率 p ( x L |x L 1 ,x 1 ) p ( x L |x L 1 ,x L m )
25
马氏链的基本概念
• 令si = (xi1, xi2, …xim) xi1,,xi2, …xim ∈(a1, a2, …an) • 状态集S ={ s1,s2,…,sQ} Q = nm • 信源输出的随机符号序列为：x1, x2,…xi-1, xi … • 信源所处的随机状态序列为：s1, s2,…si-1 , si … • 例：二元序列为…01011100… • 考虑m = 2，Q = nm =22= 4
• s1 = 00 s2 = 01 s3 = 10 s4 = 11 • 变换成对应的状态序列为
…s2 s3 s2 s4 s4 s3 s1…
26
• 若处信 状源 态处 就于 变某 了一,任状何态时s候i ,当信它源发处出于一什个么符状号态后完,全所 由前一时刻的状态和发出符号决定。
信息论简答题总结
一：数据处理定理：
（1）：I(X;Z)<=I(X;Y)表明从Z所得到的关于X的信息量小于等于从Y得到的关于X的信息量。如果把Y-->Z看作数据处理系统，那么通过数据处理后，虽然可以满足我们的某种要求，但是从信息量来看，处理后会损失一部分信息，最多保持原有的信息，也就是说，对接收到的数据Y进行处理后，绝不会减少关于X的不确定性。这个定理称为数据处理定理。二：即时码，唯一可译码（充要条件）
（1）：一个唯一可译码成为即时码的充要条件是时钟任何一个码字都不是其他码字的前缀。这个很好理解，因为如果没有一个码字是其他码字的前缀，则在接受到一个相当于一个完整码字的符号序列后便可以立即译码，而无须考虑其后的码符号。反过来说，如果有一个码字是其他码字的前缀，假设Wj是Wj的前缀，则在接收到相当于Wj的码符号序列后还不能立即判使之定它是一个完整的码字，若想正确译码，还必须参考后续后续的码符号，这与即时码的定义相矛盾，所以即时码的必要条件是其中任何一个码字都不是其他的码字的前缀。三：香农定理：
（1）第一定理：要做到无失真信源编码，每个信源符号平均所需最少得的r元码符号数就是信源的熵值（以r进制单位为信息量单位）
（2）第二定理：设有一个离散无记忆平稳信道，其信道容量为C。当信息传输率R<C时，只要码长n足够长，则总存在一种编码，可以使译码错误概率PE任意小。否则，如果R>C，则无论取多大，也找不到一种编码，使译码错误概率PE任意小。
四：差错控制和译码规则
(1）选择译码函数F（yi）=x*，使之满足条件p（x*/yi）>=p（xi/yi）称为最大后验概率译码规则，又称为最小错误概率准则，最优译码，最佳译码。
信息论典型试题及答案
(2)若信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
(3)若信道通频带减小为0.5MHz时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大?
解：(1)根据香农公式得：
(2)根据香农公式：
例3：有两个二元随机变量X和Y，它们的联合概率为：
X
Y x1=0 x2=1
y1=0 1/8 3/8
y2=1 3/8 1/8
求H(Y)、H(XY)、H(X/Y)、I(Y;X)
第三章信道容量
题纲：
I.信道的数学模型及分类
1.信道的分类、数学模型
2.单符号离散信道
II.信道疑义度与平均互信息
1.信道疑义度定义
A
B
C
D
1/8
1/10
1/36
E
1/8
1/15
1/12
F
1/8
1/15
1/36
G
1/8
1/10
1/36
所以：
3.4有两个二元随机变量X和Y，它们的联合概率为
YX
x1=0
x2=1
y1=0
1/8
3/8
y2=1
3/8
1/8
并定义另一随机变量Z = XY（一般乘积），试计算：
信息论考试卷及答案
信息论考试卷及答案
考试科⽬名称：信息论
⼀. 单选（每空2分，共20分）
1.信道编码的⽬的是（C ），加密编码的⽬的是（D ）。A．保证⽆失真传输
B．压缩信源的冗余度，提⾼通信有效性
C．提⾼信息传输的可靠性
D．提⾼通信系统的安全性
2.下列各量不⼀定为正值的是（D ）
A．信源熵
B．⾃信息量
C．信宿熵
D．互信息量
3.下列各图所⽰信道是有噪⽆损信道的是（B ）
A．
B．
C．
D．
4.下表中符合等长编码的是（ A ）
5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确
的是（A ）
A．H（XY）＝H（X）＋H（Y／X）
B．H（XY）＝H（X）＋H（X／Y）
C．H（XY）＝H（Y）＋H（X）
D．若X和Y相互独⽴，H（Y）=H（YX）
6.⼀个n位的⼆进制数，该数的每⼀位可从等概率出现的⼆进制码元（0，1）中任取⼀个，这个n位的⼆进制数的⾃信息量为（C ）
A．n2
B．1 bit
C．n bit
n
D．2
7.已知发送26个英⽂字母和空格，其最⼤信源熵为H0 = log27 = 4.76⽐
特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03⽐特/符号；
考虑字母之间相关性时，其信源熵为H2 = 3.32⽐特/符号；以此类推，
极限熵H
=1.5⽐特/符号。问若⽤⼀般传送⽅式，冗余度为（ B ）∞
A．0.32
B．0.68
C ．0.63
D ．0.37
8. 某对称离散信道的信道矩阵为，信道容量为（ B ）
A ．
)6
1
,61,31,31(24log H C -= B ．
)61
,61,31,31(4log H C -= C ．
信息论典型试题及答案
(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；
(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2, 3,…, 12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。
(5)
2.3设离散无记忆信源 ，其发出的信息为(0223210)，求
(1)此消息的自信息量是多少？
(2)此消息中平均每符号携带的信息量是多少？
解：
(1)此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：
此消息的信息量是：
(2)此消息中平均每符号携带的信息量是：
2.5设信源 ，求这个信源的熵，并解释为什么H(X)> log6不满足信源熵的极值性。
解：
1)
2)
3)
2.7为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以“00”代表A，“01”代表B，“10”代表C，“11”代表D。每个二元码脉冲宽度为5ms。
(1)不同字母等概率出现时，计算传输的平均信息速率?
(2)若每个字母出现的概率分别为
{1/5，1/4，1/4，3/10}，试计算传输的平均信息速率?
(2)
(3)
3.6设二元对称信道的传递矩阵为
信息论总复习
第一章作业题
1. 设二元对称信道的传递矩阵为
⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132
(1) 若P(0) = 3/4, P(1) = 1/4，求H (X ), H(X /Y ), H(Y /X )和I(X ;Y )；
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解：(1)
symbol
bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol
bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol
bit x y p x y p x p X Y H symbol
bit x p X H j
j i
j
i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()
/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167
.03
2
413143)/()()/()()()()(5833
.031
413243)/()()/()()()()(/ 918.0 10
log )3
2
lg 324131lg 314131lg 314332lg 3243( )
/(log )/()()/(/ 811.0)41
log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑
信息论复习题
• 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？
• 答：平均自信息为
• 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
• 平均互信息
•
表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。对于一个有m 个符号的离散信源，其最大熵是多少？
答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
• 最大熵值为
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？
答：信息传输率R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
4.解释无失真变长信源编码定理。
答：只要 ，当N 足够长时，一定存在一种无失真编码。
5.解释有噪信道编码定理。
• 答：当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码
错误概率无穷小。
6.离散平稳信源
• 答：若信源输出的消息是取值离散的随机序列，随机序列的任意有限维的概率分布
不随时间平移而改变，则称为离散平稳信源。
7.即时码
答：如果在译码过程中只要接收到每个码字的最后一个符号就可立即将该码字译出，这种码称为即时码。
8.信道容量
答：信息能够可靠传输的最大信息传输速率。
9.信源信道编码定理
• 答：设有一离散无记忆平稳信道的每秒容量为C ，一个离散信源每秒的熵为H ，那
09级信息论与编码复习材料
09级信息论与编码复习材料
一、填空
1. 信息论基础主要研究信息的测度、信道容量、信源和信道编码理论等问题。
2. 必然事件的自信息量是0，不可能事件的自信息量是无穷大。
3. 若把掷骰子的结果作为一离散信源，则信源熵为
log26。
4. 当事件xi和yj彼此之间相互独立时，平均互信息量为 0 。
5. 若二维平稳信源的信源熵为3bit/sign，则其平均符号熵为1.5bit/sign 。
6. 信源熵H(X)表示信源输出后每个消息所提供的平均信息量。
7. 布袋中有红白球各50只，若从中随意取出一只球，则判断其颜色所需的信息量为
1bit 。 8. 单符号离散信源是用随机变量来描述的，则多符号离散信源用随机矢量来
描述。 9. 平均互信息量与信息熵、联合熵的关系是I(X;Y)=H(X)+H(Y)-H(XY) 。10. 条件熵H（x|y）和无条件熵H（X）的关系是小于等于。 11. 对于理想信道，H（x|y）等于0 ；I（x；y）= H（X）。
12. 若YZ统计独立，则H（YZ）和H（Y）、H（Z）之间的关系是H（YZ）=H（Y）+H （Z）。 13. 对某含有7个消息的信源，其熵的最大值为log27，对应为等概分布分布。14. 对某含有8个消息的信源，其熵的最大值为log28，对应为等概分布。 15. 对某含有
6个消息的信源，其熵的最大值为log26，对应为等概分布。 16. 对某含有9个消息的信源，其熵的最大值为log29，对应为等概分布。 17. 十六进制脉冲所含的信息量是四进制脉冲的2 倍。 18. 八进制脉冲所含的信息量是二进制脉冲的3倍。 19. 十六进制脉冲
信息论——精选推荐
信息论
信号论考试复习题
⼀、填空题。
1. ⾹农信息论中定义的信息是“事物运动状态和存在⽅式不确定性的描述”。
2. 消息是信息的载体。构成消息的两个条件是能被通信双⽅所理解和可以在通信中传递和
交换。 3. 信源编码的作⽤是根据失真度准则对信源的输出消息进⾏编码，⽤码字表⽰消息。 4. 信息论研究的主要问题是如何提⾼信息传输系统的有效性和可靠性。
5. 如果信源输出的消息的随机变量，可以在某⼀离散集合内取值，也可以在某⼀连续区间
内取值，相应的信源就分别称为和。——[答案：1.连续信源离
散信源]
6. 当条件概率分布p （y ∣x ）给定时，平均互信息量I （X;Y ）是输⼊概率分布p(x)的。 ——【上凸函数】
7. ⼋进制脉冲的平均信息量为，⼋进制脉冲所含信息量是⼆进制脉冲信息量的倍。 ——【3 3】
8. 熵函数的数学特性有、、、确定性、可加性、极值性、上凸性。——【对称性⾮负性扩展性】
9. 平均互信息量I （X;Y ）与信源熵和条件熵之间的关系是。【I （X;Y ）=H （X ）—H(X/Y)】 10. 设信源X 包含 4个不同的离散信息，当且仅当X 中各个信息出现的概率为时，
信源熵达到最⼤值为，此时各个信息的⾃信息量为。【1/4 2 2】 11. ⾃信息量表征信源中各个符号的不确定度，信源符号的概率越⼤，其⾃信息量越。【⼩】 12. 信源的冗余度来⾃两个⽅⾯，⼀是信源符号之间的，⼆是信源符号分布
的。【相关性不均匀性】 13. 离散信道是输⼊和输出的随机变量的取值都是离散的信道。 14. 信道可依据输⼊输出的随机变量类型分成离散信道、连续信道、半离散或半连续信道。 15. 单符号离散信道的输⼊符号是X ，取之于｛a1、a2…… an ｝;输出符号为Y ,取值为｛b1、
信息论与编码期末复习(基本上涵盖了所有考点,有了这份资料,期末绝不会挂科)
信息论与编码期末复习（基本上涵盖了所有考点，有了这份资料，期末绝不会挂科）
1填空题
1、信息论研究的主要问题是如何提高信息传输系的性和性，对应这两个性能数字通讯系
统量化指标分别为和。
2、若给定离散概率空间[X,p(x)]表示的信源，则该信源中的信源消息（事件）x的自信息量可表I(x)=
；该信源平均自信息量（即信源的熵）可表示为H(X)=E[I(x)]= 。
3、在离散联合概率空间[XY,P(xy)] 上随机变量I(xy) 的数学期望H（XY）= ，若集合X与
集合Y相互独立，则H（XY）= 。
4、若给定离散联合概率空间[XY,P(xy)]，则x与y之间的互信息量I(x;y)= ；平均互信息量可用熵和
条件熵表示即I(X;Y)= = ，其中条件熵H(X|Y)通常称为熵，条件熵
H(Y|X) 称为____________熵；若集合X与集合Y相互独立，则H(X|Y) = ，H(Y|X) = ，平均互信息量I(X;Y)= 。
5、离散信源的冗余度是R表示信源消息的可压缩____________，设信源符号集的最大熵为Ho，实际熵为
Ｈ∞，则冗余度Ｒ可表示为______________；信源编码目的就是通过减少或消除信源____________来提高信息
传输效率，因此信源编码亦称__________性编码，而信道编码则称__________性编码。
6、对于连续随机变量，在峰值功率受限于P m的条件下，取得最大相对熵的最佳概率密度函数是一个恒值即
W opt(x)=_________,称W(x)为__________分布，这时最大相对熵H cmax=__________。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 1
H1 0.811 1 0.189 H0 1 1 1 1 log log 2 2 2 2 H2 0.681 1 0.319 H0 1 1 1 1 log log 2 2 2 2
8、 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。 最大似然译码准则下，将接收 序列译为信道传递概率最大时所对应的码字。 最小距离译码准则下，将接收序列译为与其距离最小的码字。 三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道 中，最小距离译码准则等效于最大似然译码准则。 9、 保真度准则为：平均失真度不大于允许的失真度。 10、限失真信源编码：有失真信源编码的中心任务，在允许的失真范围内把编码的信息率压缩到最小。
H (U1 ) H (
U2
); H (U 2 ) H (
U1
)
U H (U1U 2 ) H (U1 ) H ( 2
这两个不等式又称为 Shannon 不等式
U1
U ) H (U 2 ) H ( 1
U2
)
13、证明：若
p
i 1
L
i
Hale Waihona Puke Baidu
1, q j pL
j 1
m
则
求平均互信息和信道疑义度； 输入为等概率分布时，试写出一译码则，使平均译码错误率最小，并求此错误率。
1、概念、定义：失真函数、平均失真、允许失真度、试验信道 2、 信息率失真函数（注意与信道容量的比较 ) 3、 信息率失真函数的定义域(即 Dmin 和 Dmax） 、R(Dmin)、R(Dmax)及相应的信道转移概率的计算 4、 R(D)：在限定失真为 D 的条件下信源输出的最小信息速率。 R(D)的定义域 [Dmin Dmax]为 R(D)的定义域。 （确界）
i=1,2,3 条件转移概率为（右） ，
（1）画出状态转移图（2）计算稳态概率 （3）计算马尔可夫信源的极限熵 （4）计算稳态下 H 1, H2 及其对应的剩余度
1.一个一阶马尔可夫信源， 转移概率为 （1）画出状态转移图 （2）计算稳态概率 （3）计算马尔可夫信源的极限熵
2 1 P S1 | S1 , P S2 | S1 , P S1 | S2 1, P S2 | S2 0 3 3
(4)在稳态下：
2 3 1 1 3 P xi log P xi log log 0.811bit 符号 4 4 4 4 i 1
H 2 H 0.205 hart 符号 0.472 nat 符号 0.681bit 符号
7、设离散信源 X={X1,X2},P(X1)=1/3,P(X2)=2/3,编码后的输出为 Y={y1,y2}，失真矩阵为:
d(x 1,y 1) d(x 1,y 2) 0 1 H 1 . 求 Dmin，Dmax、R（Dmin）和 R（Dmax）及对应的转移概率矩阵。 d(x 2,y 1) d(x 2,y 2) 0
（4）计算稳态下 H 1, H2 及其对应的剩余度 解：(1)
S1
1 3
1
S2
2 2 P S 1 P S1 | Si P Si 3 P S1 P S 2 i 1 3 P S1 2 2 1 4 (2)由公式 P Si P Si | S j P S j 有 得 P S 2 P S 2 | Si P Si P S1 3 j 1 i 1 P S 1 2 4 P S1 P S 2 1
1 / 2 1 / 4 [P XY ] 1 / 12 1 / 6
； [ PY ] [7 / 12 5 / 12] ；
； H (Y ) 7 / 12 log 2 (12 / 7) 5 / 12 log 2 (12 / 5)
I ( X ; Y ) H (Y ) H (Y | X )
1、 说明信息、消息及信号三者之间的联系与区别？ 2、 信息论的研究目的和对象？ 3、 自信息的定义及物理含义？ 熵的定义及物理含义？ 4、 马尔可夫信源 5、 信道疑义度的概念和物理含义？ 6、 熵功率 7、 信源冗余度 8、 离散信源和连续信源的最大熵定理。 9、 一个随即变量 x 的概率密度函数 P(x)= x /2,0≤X≤2V，则信源的相对熵为 1bit 10、同时扔两个正常的骰子，即各面呈现的概率都是 1/6，若点数之和为 12，则得到的自信息是 log36bit 11、有一个无记忆信源发出符号 A 和 B，已知 P(A)=1/4,P(B)=3/4,发出二重符号序列消息的信源，无记忆信源熵 H(X2)为多少？0.81bit/二重信号 12、二进制通信系统使用符号 0 和 1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个 0 发 出，u1:一个 1 发出，v0 :一个 0 收到，v1:一个 1 收到，则已知收到的符号，被告知发出的符号能得到的信 息量如何表示？H（U/V） 13、证明：由两个消息（符号）组成的联合信源有如下结论： U1 U2
H ( p1 , p2 , , pL 1 , pL ) pL H (
并说明等式的物理意义
q q1 q2 , , , m ) pL p L pL
14、一阶齐次马尔可夫信源消息集
X∈｛ａ１,ａ２,ａ３｝ ，状态集Ｓ∈｛Ｓ１，Ｓ２，Ｓ３｝且令 Si=ai，
1 4 1 4 1 2 P(aj / S i ) 1 3 1 3 1 3 2 3 1 3 0
重点：无干扰离散信道、对称 DMC（离散无记忆）信道 、准对称信道 信道容量 C：最大的信息传输率 1、 写出香农公式，并说明其物理意义。当信道带宽为 5000Hz，信噪比为 30dB 时求信道容量。
2、信源冗余度；香农第一定理内容和含义 3、解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 4、香农第二定理的内容和含义？ 5、码距：两个等长码字之间对应码元不相同的数目，称为码距。 2 、设有一离散信道，其信道矩阵为 最佳概率分布？当 P(X1)=0.7， P(X2)=0.3 时，
(3)该马尔可夫信源的极限熵为：
H P Si P S j | Si log P S j | Si
i 1 j 1
2
2
3 2 2 3 1 1 log log 4 3 3 4 3 3 1 1 0.578 1.599 2 4 0.681bit 符号 0.472 nat 符号 0.205 hart 符号
率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度 D 的最小和最大取值问题。 由于平均失真度是非负实数 d(xi,yj)的数学期望,因此也是非负的实数,即¯D≥ 0，¯D 的下界是 0。 R(D)=0 意味着不需传输任何消息，D 越大，直至无穷大都能满足这种情况。 5、Dmin 和 R(Dmin)的计算 信源的最小平均失真度： • 只有当失真矩阵的每一行至少有一个 0 元素时,信源的平均失真度才能达到下限值 0。 • 只有当失真矩阵每一行至少有一个 0，每一列至多只有一个 0，才能保证 R(0) =H(X)。 5、 限失真信源编码；保真度准则；奇异码； 6、 即时码；Huffman 编码
4、线性分组码不具有的性质是（C）
H (Y | X ) 3 / 4H (1 / 2,1 / 4) 1 / 4H (1 / 12,1 / 6)
2）最佳输入分布为 [ PX ] [1 / 2 1 / 2] ，此时信道的容量为 C 1 H (2 / 3,1 / 3) (3)信道的剩余度： C I ( X ; Y )
2 1
1、设二元对称信道的输入概率分布分别为 [ PX ] [3 / 4 1 / 4] ，转移矩阵为 PY | X 求信道的输入熵，输出熵，平均互信息量； 求信道容量和最佳输入分布；求信道剩余度。
2 / 3 1 / 3 ， 1 / 3 2 / 3
解： （1）信道的输入熵 H ( X ) 3 / 4 log 2 (4 / 3) 1 / 4 log 2 4 ；