信息论期末重点题
《信息论》期末考试试题(A卷)标准答案
（1） 每幅画面所含信息量： H log 2 10 信息传输速率：
9.97 105 bit
(2 分)
R 30 H 30 log 2 10300000 29.90 Mbps
（2） AWGN 信道容量：
(1 分)
C W log 2 (1 SNR) 6 106 log 2 (1 1000) 59.80 Mbps
(2+1 分) (3 分)
（3）求为实现电视信号可靠传输信道所需的最小带宽和对应的信号平均功率； (3+2 分) （4）求信息传输速率达到容量时的频谱利用率和对应的 Eb / N 0 (dB ) 。 解 信噪比换算： SNR 10
SNR[ dB ]/10
(3+2 分)
1030/10 1000
的符号熵为 (2/5)H(1/2,1/4,1/4)+ (3/5)H(1/3)=1.151 比特/符号。 4．设试验信道输入与输出符号集均为 {1, 2,3, 4} ，输入概率分别为 1/2，1/4，1/8，1/8，失 真测度为 d(i, j)= (i - j)2 ,1 i, j 4 ； 则 Dmin 0 ， Dmax 9/8=1.125 。
3 次扩展信源符号 000 001 010 100 011 101 110 111 平均码长 概 率 0.729 0.081 0.081 0.081 0.009 0.009 0.009 0.001 编 0 100 101 110 11100 11101 11110 11111 0.5327 码
(5 分)
个二元一一对应信道传输，且每秒只传送两个符号； (1) 若要求信息无失真传输，信源能否不进行编码而直接与信道相接？ (3 分) (2) 能否采用适当的编码方式然后通过信道进行无失真传输？为什么？ (2+3 分) (3) 确定一种编码方式并进行编码，使得传输满足不失真要求；同时请说明信源采用这 种编码后， 编码器输出与信道输入之间应设置何种装置？ (10+2 分) 解
信息论复习必考题
第一天：
1、请问什么是信息
答案：消除不确定因素
2、信息论的奠基人是谁，为什么？
答案：香农，香农三大定律
3、单个信源符号的自信息量的计算方法
答案：概率的倒数的对数
4、信源的离散熵怎么计算，熵的物理含义是什么
答案：熵代表离散程度，离散程度越大，熵值越大。
第二天：
1、请问一个随机变量在什么概率分布的时候，它的熵值最大？怎么和生活中进行对接
答案：概率分布均匀的时候熵值最大
2、请问互信息熵的计算和物理含义是什么？想想一条河流
3、数据处理定理是什么？在数据处理当中，丢失了什么？获得了什么？为什么要数据处理呢？（从通信系统的角度来考虑）沙里淘金
第三天：
1、离散的无记忆信源序列的熵值该怎么计算，它又有什么作用呢？
2、离散的有记忆序列的熵值该怎样计算？
3、极限熵的物理含义是什么？
4、编码的一些基本概念（等长和变长，奇异和非奇异，唯一可译码、平均编码长度、码树、前缀码和非前缀码等）
5、仔细体会从等长编码和变长编码，针对什么样的信源，有什么优缺点
第四天：
1、请问香农第一定理是什么？其含义是什么？如何理解？（信源符号的个数和码字个数之间的关系）
2、。
信息论与编码期末考试题
信息论与编码期末考试题（一）一、判断题.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(XH . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源的熵都具有非负性. （）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （）9. 率失真函数的最小值是0. （）10.必然事件和不可能事件的自信息量都是0. （）二、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、 .5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 ..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X =，其失真矩阵00a D a ??=，则该信源的max D = . 三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ??=. （1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布.（二）一、填空题1、信源编码的主要目的是，信道编码的主要目的是。
(完整word版)信息论期末复习资料
书中：1.信息科学，材料科学，能源科学仪器被称为当代的“三大支柱”。
2.带宽与数据传输速率信道带宽与数据传输速率的关系可以奈奎斯特(Nyquist)准则与香农(Shanon)定律描述。
奈奎斯特准则指出：如果间隔为π/ω(ω=2πf),通过理想通信信道传输窄脉冲信号，则前后码元之间不产生相互窜扰。
因此，对于二进制数据信号的最大数据传输速率Rmax 与通信信道带宽B （B=f,单位Hz)的关系可以写为：Rmax ＝2.f(bps)；对于二进制数据若信道带宽B=f=3000Hz ，则最大数据传输速率为6000bps 。
香农定理则描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信噪比之间的关系。
香农定理指出：在有随机热噪声的信道上传输数据信号时，数据传输速率Rmax 与信道带宽B 、信噪比S/N 的关系为： Rmax ＝B.log2(1+S/N)3.自信息量的性质：非负性、必然事件信息量为0、不可能事件信息量为无穷、信息量是概率的单调递减函数。
4.当X 和Y 相互独立时，互信息为0.5.信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。
6信源熵H(X)与信息率R 和信道容量C 的关系：不论何种信道，只要信息率R 小鱼信道容量C ，总能找到一种编码，能在信道上以任意小的错误概率和任意接近于C 的传输率来传送信息。
反之，若R>C,则传输总要产生失真。
又由无失真信源编码定理可知，要做到几乎无失真信源编码，信息率R 必须大于信源熵H （X ）。
故三者的关系为：H(x)<=R<=C7.保真度准则下的信源编码定理：即译码平均失真度大于允许失真度。
8.香农三个基本编码定理：无失真信源编码定理、信道编码定理和限失真信源编码定理。
三个基本概念：信源熵、信道容量和信息率失真函数。
9.信源编码、信道编码和安全编码信源编码是以提高通信有效性为目的的编码。
通常通过压缩信源的沉余度来实现。
《信息论》期末考试试题( 卷)标准答案
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是 面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进 行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
2 1 d = 1 0 7）若失真矩阵为 3 1 ，输入等概，则 Dmin = 2/3 ， Dmax = 2/3 。
三、简答题（6 分）
1．仙农第二定理指出了“高效率、高可靠性”的信道编码存在性，
1）“高效率”的含义是什么？
（1 分）
2）“高可靠性” 的含义是什么？
（1 分）
3）存在这种信道编码的必要条件是什么？
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y
−
(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)
信息论典型试题及答案
第五章
5.1将下表所列的信源进行六种不同的二进制编码。
（1）求这些码中哪些是惟一可译码。
（2）哪些码是非延长码
（3）对所有惟一可译码求出其平均码长 。
消息
C1
C2
C3
C4
C5
C6
1/2
000
0
0
0
0
0
1/4
001
01
10
10
10
100
1/16
010
011
110
110
1100
101
27.能够描述无失真信源编码定理
例1：.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H(X)；
2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)＝0.1，P(白/黑)＝0.2，P(黑/黑)＝0.8，求其熵H2(X)；
10.互信息的性质是什么？
11.熵的表达式、单位、含义是什么？
12.单符号离散信源最大熵是多少？信源概率如何分布时能达到？
13.熵的性质是什么？
14.联合熵、条件熵和熵的关系。
15.平均互信息的定义是什么？平均互信息的表达式怎么推导？
16.平均互信息的含义？
17.信道疑义度、损失熵和噪声熵的含义？
18.平均互信息的性质？（能够证明，并说明每个性质的含义）
解：
由题意可知该二元信道的转移概率矩阵为：
为一个BSC信道
所以由BSC信道的信道容量计算公式得到：
3.14电视图像编码中，若每帧为500行，每行划分为600个像素，每个像素采用8电平量化，且每秒传送30帧图像。试求所需的信息速率(bit/s)。
《信息论》期末考试B卷答案
第1 页 共5 页北方民族大学试卷课程代码: 01100622 课程： 信息理论及编码 B 卷答案说明：此卷为《信息理论及编码》B 卷答案一、概念简答题（每小题6分，共30分）1、比较平均自信息（信源熵）与平均互信息的异同.答：平均自信息为 ()()()1log qiii H X P a P a ==-∑,表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量.………………………………………(3分)平均互信息()()()(),;log X YyP x I X Y P xy P y =∑.表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量.………………………………………(3分)2、简述香农第一定理。
答：对于离散信源S 进行r 元编码,只要其满足()_log H s NNrL ≥，…………………（3分） 当N 足够长，总可以实现无失真编码。
………………………………………(3分）3、简述唯一可译变长码的判断方法？答：将码C 中所有可能的尾随后缀组成一个集合F ，当且仅当集合F 中没有包含任一码字时，码C 为唯一可译变长码。
构成集合F 的方法：…………………(2分)首先，观察码C 中最短的码字是否是其他码字的前缀.若是，将其所有可能的尾随后缀排列出.而这些尾随后缀又可能是某些码字的前缀,再将由这些尾随后缀产生的新的尾随后缀列出。
依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止.…………………(2分） 接着，按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出，得到尾随后缀集合F 。
…………………(2分)4、简述最大离散熵定理.第2 页 共5 页答：最大离散熵定理为：对于离散无记忆信源，当信源等概率分布时熵最大。
……（3分）对于有m 个符号的离散信源，其最大熵为log m 。
…………………………（3分)5、什么是汉明距离；两个二元序列1230210,0210210i j αβ==,求其汉明距离.答：长度相同的两个码字之间对应位置上不同的码元的个数,称为汉明距离。
信息论复习题期末答案
信息论复习题期末答案1. 信息论的创始人是谁？答案：信息论的创始人是克劳德·香农。
2. 信息熵的概念是什么？答案：信息熵是衡量信息量的一个指标，它描述了信息的不确定性或随机性。
在信息论中，熵越高，信息的不确定性越大。
3. 请简述信源编码定理。
答案：信源编码定理指出，对于一个具有确定概率分布的离散无记忆信源，存在一种编码方式，使得信源的平均编码长度接近信源熵的值，且当信源长度趋于无穷大时，编码长度与信源熵之间的差距趋于零。
4. 什么是信道容量？答案：信道容量是指在特定的通信信道中，能够以任意小的错误概率传输信息的最大速率。
它是信道的最大信息传输率，通常用比特每秒（bps）来表示。
5. 香农公式是如何定义信道容量的？答案：香农公式定义信道容量为信道输入和输出之间的互信息量的最大值，可以表示为C = B log2(1 + S/N)，其中C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。
6. 差错控制编码的目的是什么？答案：差错控制编码的目的是为了检测和纠正在数据传输过程中可能发生的错误，以提高数据传输的可靠性。
7. 什么是线性码？答案：线性码是一种特殊的编码方式，其中任意两个合法编码的线性组合仍然是一个合法编码。
线性码通常可以用生成矩阵和校验矩阵来表示。
8. 卷积码和块码有什么区别？答案：卷积码和块码都是差错控制编码的类型，但它们的主要区别在于编码的结构和处理方式。
卷积码是连续的，其编码过程是按时间序列进行的，而块码是离散的，其编码过程是针对数据块进行的。
9. 什么是信道编码定理？答案：信道编码定理指出，对于任何给定的信道和任何小于信道容量的错误概率，都存在一种编码方式，可以使得错误概率趋近于零。
10. 请解释什么是信道编码的译码算法。
答案：信道编码的译码算法是一种用于从接收到的编码信号中恢复原始信息的方法。
常见的译码算法包括维特比算法、最大似然译码和最小均方误差译码等。
这些算法旨在最小化译码错误的概率。
信息论与编码期末考试题(全套) (1)
|
S1
2 3
,
P
S2
|
S1
1 3
,
P
S1
|
S2
1,
P
S2
|
S2
0
。
(1) 画出状态转移图。(4 分)
(2) 计算稳态概率。(4 分)
(3) 计算马尔可夫信源的极限熵。(4 分)
(4) 计算稳态下 H1 , H2 及其对应的剩余度。(4 分)
解：(1)
1
3
S1
S2
1
2 (2)由公式 P Si P Si | S j P S j
值
。
9、在下面空格中选择填入数学符号“ , , , ”或“ ”
（1）当 X 和 Y 相互独立时，H（XY）
H(X)+H(X/Y)
H(Y)+H(X)。
（2）
H2
X
H
X1 X 2
2
H3
X
H
X1X2 X3
3
（3）假设信道输入用 X 表示，信道输出用 Y 表示。在无噪
有损信道中，H(X/Y) 0,
H(Y/X) 0,I(X;Y) H(X)。
符号
H2 H 0.205hart 符号符 0号.4符72号nat 0.681bit
对应的剩余度为
1
1
H1 H0
1
1 2
log
0.811
1 2
1 2
log
1 2
0.189
2
1
H2 H0
1
1 2
log
0.681
1 2
1 2
log
1 2
0.319
六、设有扰信道的传输情况分别如图所示。试求这种信道的 信道容量。
《信息论》期末考试试题(A 卷) 标准答案
a8 a16 中的任何一个；采用汉明失真测度；
(1) 求信源符号与恢复符号之间的转移概率矩阵；
(6 分)
(2) 求信源编码器的码率；
(5 分)
(3) 求信源编码的平均失真；
(2 分)
(4) 已知在汉明失真测度下，包含 n 个符号的离散无记忆等概率信源的
R(D) 函数表达式为：
(2 分)
R(
D)
=
log
L
0
1/ 3 1/ 3
9 1/ 3 1/ 3 0 0 10 1/ 3 1/ 3 1/ 3 0
0L0 0L 0
0 1/ 3 0 0
(2) 该信道是对称信道。
(3 分)
(3) C = log11− H (1/ 3,1/ 3,1/ 3) = log11− log 3 ≈ 1.8745 比特/符号，达到信道
pE3 = ω(1− p) / 2 + ω(1− p) / 2 + p / 2 = ω(1− p) + p / 2 。 pE3 = ω(1− p) + p / 2 = ω + (1/ 2 − ω) p ≥ ω = pE1 ， pE3 = ω(1− p) + p / 2 ≥ p / 2 = pE2 。 结论：信道串联使得平均译码错误率增加(不减)。
信源编码器码率： R = l = 1+ (7 + 4 + 3 + 2×3) /16 = 9 / 4 = 2.25 比特；
(3) 根据信源符号与恢复符号之间的转移概率矩阵，求得信源编码的平均失
真为： D = (1/ 16)[8× (1/ 9)]× 9 = 1/ 2 ；
(2 分)
(4) 求为达到与现有编码器相同失真每信源符号理论上所需最少比特数：
信息论复习题
信息论概念复习题一、填空1、 1948 年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
3、信息的可度量性是建立信息论的基础。
4、统计度量是信息度量最常用的方法。
5、熵是香农信息论最基本最重要的概念。
6、事物的不确定度是用时间统计发生概率的对数来描述的。
7、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
8、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
9、自信息量的单位一般有比特、奈特和哈特。
10、必然事件的自信息是 0 。
11、不可能事件的自信息量是∞ 。
12、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
13、当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
14、离散平稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N 倍。
15、离散平稳有记忆信源的极限熵，H = lim H(X N / X1 X2 …X N 1)N 。
16、对于 n 元 m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。
17、一维连续随即变量 X 在[a，b]区间内均匀分布时，其信源熵为 log2 (b-a ) 。
118、平均功率为 P 的高斯分布的连续信源，其信源熵， H c () = 2 log 2 2eP 。
19、对于限峰值功率的连续信源，当概率密度均匀分布时连续信源熵具有最大值。
20、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。
22、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续信道。
23、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。
24、具有一一对应关系的无噪信道的信道容量 C= log 2 n 。
25、对称信道的信道容量 C= log 2 m-H mi 。
信息论与编码期末考试题----学生复习用
《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()22212x f x eσπσ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X =（3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
三、已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
（2分）（1）010101111.00.20.20.20.20.10.11S 2S 3S 4S 5S 6S编码结果为：1234560001100101110111S S S S S S ====== （2）610.420.63 2.6i i i L P ρ===⨯+⨯=∑码元符号（3）bit log r=2.6R L '=符号（4）() 2.53bit0.9732.6H S R L ===码元其中，()()bit 0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号 （5）()()0.973log H S H S L rLη===四、某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。
《信息论》期末考试试题(A 卷)标准答案
北京邮电大学2006——2007学年第 一 学期《信息论》期末考试试题（A 卷）标准答案姓名 班级 学号 分数一、判断题（正确打√，错误打×）（共10分，每小题1分）1）异前置码是即时码； （√） 2）最大似然准则等价于最小汉明距离准则； （×） 3）离散信源记忆的长度越大，信源的符号熵越小； （√） 4）一维高斯信源的熵只与其均值和方差有关； （×） 5）为达到并联加性高斯噪声信道容量，在信道输入总功率给定条件下应给噪声方差大的子信道分配更多的功率； （×） 6）只要信息传输速率小于信道容量，总可以找到一种编码方式使得当编码序列足够长时传输差错率任意小； （√） 7）离散无记忆信源的N 次扩展源的熵是原信源熵的N 倍； （√） 8）仙农的AWGN 信道容量公式是在信道输入的平均功率和幅度受限条件下推导出来的； （×） 9)当马氏源的初始状态s 和输出nx x x ,,,10 给定后，那么状态1,21,,+n s s s 就能唯一确定； （√） 10)当平均失真大于其上限D max 时，率失真函数R （D ）= 0 。
（√）二、填空题（共20分，每空2分）1) 设信源的熵为0.8比特/符号，对信源序列进行单符号编码，码序列为0、1二元序列，如果编码效率为100%，那么每信源符号平均码长为 0.8 ，码序列中“0 ”符号出现的概率为 1/2 ，信息传输速率为 1 比特/码符号。
2) 一阶平稳马氏源的符号转移概率为2.0)0|0(12|=X X p ，6.0)1|1(12|=X X p ，那么符号的平稳分布为=)0(X p 1/3 ，=)1(X p 2/3 ；信源的符号熵为 0.8879 比特/符号。
3）一维连续随机变量X在[a，b]区间内均匀分布时，其信源熵为log2(b-a)。
4）在输入平均功率相同的情况下, 高斯分布使加性噪声信道容量最小。
5) 二元等概信源的熵为 1 比特/符号,当信源输出序列长度L足够长时，典型序列的个数约等于2L。
信息论复习题
1、求基本高斯信源的差熵。
（10分）2、一个随机变量x 的概率密度函数为kx x p =)(，V x 20≤≤。
试求该信源的相对熵。
3、黑白气象传真图的消息只有黑色和白色两种，即信源{}黑，白=X ，设黑色的出现概率为3.0(=黑）P ，白色的出现概率为7.0(=白）P 。
（1）假设图上黑白消息出现前后没有关联，求熵)(X H 。
（2）假设消息前后有关联，其依赖关系为9.0/(=白）白P ，1.0/(=白）黑P ，2.0/(=黑）白P ，8.0/(=黑）黑P ，求此平稳离散信源的熵)(2X H 。
（3）分别求上述两种信源的剩余度，比较)(X H 和)(2X H 的大小。
4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。
5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。
6、若信道的输入和输出分别是N 长序列X 和Y ，且信道是无记忆的，则 ∑=≤Nk k k Y X I Y X I 1),();(，这里k X 和k Y 分别是序列X 和Y 中第k 位随机变量；并且证明当且仅当信源也是无记忆信源时等号成立。
7、有一并联高斯加性信道，各子信道的噪声均值为0，方差为2i σ： 21σ=0.1，22σ=0.2，23σ=0.3，24σ=0.4，25σ=0.5，26σ=0.6，27σ=0.7，28σ=0.8，29σ=0.9，210σ=1.0（W ）。
输入信号X 是10个相互统计独立、均值为0、方差为i P 的高斯变量，且满足：)(1101W P i i=∑=。
求各子信道的信号功率分配方案。
8、给定语音信号样值x 的概率密度函数为x e x p λλ-=21)(，∞<<∞-x ，求)(X H c ，并比较)(X H c 与具有同样方差的正态变量的连续熵的大小。
9、某二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010)(x p X ，其失真矩阵定义为⎥⎦⎤⎢⎣⎡=00a a D ，求该信源的max D ，min D 和该信源的信息率失真函数)(D R 。
信息论试卷(期末)(B2卷)
一、填空题（共25分，每空1分）1、连续信源的绝对熵为 无穷大。
（或()()lg lim lg p x p x dx +∞-∞∆→∞--∆⎰）2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。
3、无记忆信源是指 信源先后发生的符号彼此统计独立 。
4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用 短码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。
5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。
6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。
7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1xN 或22x -)时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或1lg 22e π)。
8、即时码是指 任一码字都不是其它码字的前缀 。
9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r)，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。
10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。
11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。
12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m个不同的状态。
13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。
14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<”H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)二、(5分)已知信源的概率密度函数为()10a x b p x b a ⎧≤≤⎪=-⎨⎪⎩其他，计算信源的相对熵。
信息论与编码复习期末考试要点
H (Y | X ) p( xi , y j ) log p( y j | xi )
ij
当X，Y相互独立时，条件熵等于无条件熵
H(X |Y) H(X )
H (Y | X ) H (Y )
13
几个概念
• 联合熵
• 联合熵H(X,Y)表示X 和Y同时发生的不确定度。
H ( X , Y ) p( xi , y j ) log p ( xi , y j )
1 1 H ( X ) H , log 2 M M M
23
熵的性质
6.条件熵小于无条件熵
H (X |Y ) H (X ) H (Y | X ) H (Y ) H ( XY ) H ( X ) H (Y )
24
七、马尔可夫信源
• 马尔可夫信源
–一类相对简单的离散平稳有记忆信源 –该信源在某一时刻发出字母的概率除与该 字母有关外,只与此前发出的有限个字母有 关
6
（三）数字通信系统模型
信 源 信
u 信源编码 x 加密 y 信道编码 k 加密 密钥 z 信 道 解密 密钥 z'
宿 v 信源解码
x' 解密 y'
信道解码
干 扰 源
7
第二章
信源与信息熵
• • • • •
• • • •
1、掌握相关概念 信源分类（如离散与连续、有记忆和无记忆等） 自信息、信源熵、平均互信息等概念及性质 2、熟练熵、互信息的相关计算 3、掌握马尔科夫信源中状态转移概率、符号 转移概率的相关概念以及运算 4、了解数据处理定理 5、了解连续信源中，最大熵定理 1）限峰功率最大熵定理 2）限平均功率最大熵定理
无论随机点从哪一 个状态s i 出发，当 转移的步数k足够 大时，转移到状态 s j 的概率p i j ( k ) 都近 似于一个常数Wj
《信息论》试题（精华）及答案（精华版）
期终练习,10％就是胖子 ,80％不胖不瘦 ,10％就是瘦子；已知胖子得高血压的概率 一，某地区的人群中 就是 15％ ,不胖不瘦者得高血压的概率就是 10％,瘦子得高血压的概率就是 5％ ,就“该地区的 某一位高血压者就是胖子”这句话包含了多少信息量；解: 设大事 A: 某人就是胖子 ; B: 某人就是不胖不瘦 C:某人就是瘦子D: 某人就是高血压者依据题意 ,可知 :P(A)=0 ， 1 P(B)=0 ， 8 P(C)=0 ，1P(D|A)=0 ， 15 P(D|B)=0 ， 1 P(D|C)=0 ， 05而“该地区的某一位高血压者就是胖子” 这一消息说明在 D 大事发生的条件下 ,A 大事 的发生 ,故其概率为 依据贝叶斯定律 P(A|D),可得 :P(D) ＝ P(A)* P(D|A) ＋ P(B)* P(D|B) ＋P(C)* P(D|C) ＝ 0， 1P(A|D) ＝ P(AD)/P(D) ＝ P(D|A)*P(A)/ P(D) ＝ 0， 15*0 ， 1/0， 1＝ 0，15故得知“该地区的某一位高血压者就是胖子”这一消息获得的多少信息量为 I(A|D) = - logP(A|D)=log(0 ，15) ≈ 2， 73 (bit): 二，设有一个马尔可夫信源 ,它的状态集为 {S 1,S 2,S 3}, 符号集为 {a 1,a 2,a 3 }, 以及在某状态下发出 p (a k | s i ) (i,k=1,2,3), 如下列图符号集的概率就是 (1) 求图中马尔可夫信源的状态极限概率并找出符号的极限概率(2) 运算信源处在某一状态下输出符号的条件熵 H(X|S=j) (j=s 1,s 2,s 3)(3) 求出马尔可夫信源熵 H解 :(1) 该信源达到平稳后 , 有以下关系成立 :Q( E 1 ) Q(E 3 ) 273727Q(E 1 )3 4 1 4 1 2 1 2 Q( E 2 ) Q(E 1 ) Q( E 2 )Q(E )可得 2 Q( E 3 ) Q(E 1 ) Q( E 2 )Q(E ) 3Q( E 1 ) Q(E 2 ) Q(E 3 ) 133 72 73 7 p(a 1)Q(E i ) p( a 1 |E i ) i 13 p(a 2 )Q(E i ) p(a 2 |E i ) i 1 3p(a ) Q(E ) p(a |E ) 3 i 3 i i 13 p(a k |S 1 ) log p(a k | S 1) 1.（5 bit/ 符号）H ( X | S 1 ) k 13（1 bit/ 符号）(2) H ( X | S 2 ) p(a k |S 2 ) log p(a k | S 2 ) k 13p(a k |S 3 ) log p(a k | S 3 ) 0（bit/ 符号）H ( X | S 3 ) k 13(3) H Q(E i ) H (X | E i ) 2 / 7*3/ 2 3/ 7*1 2 / 7*0 6 / 7 (比特 /符号 )i 1三，二元对称信道的传递矩阵为 (1) 如 P(0)=3/4,P(1)=1/4, 求 H(X),H(X|Y) 与 I(X;Y)(2) 求该信道的信道容量及其最大信道容量对应的正确输入分布2解: ⑴ H ( X ) = p(x i )log p( x i ) 75 25 0， 811(比特 /符号 )= i 1p( y 1 ) p( x 1 ) p( y 1 | x 1 ) p( x 2 ) p( y 1 | x 2 ) =0，75*0 ，6+0 ， 25*0 ， 4=0 ， 55 p( y 2 ) p( x 1 ) p( y 2 | x 1 ) p( x 2 ) p( y 2 | x 2 ) 0， 75*0 ， 4+0 ， 25*0 ， 6=0， 45 H (Y) 0， 992(比特 /符号 )H (Y | X ) p( x)H (Y | x 1) p(x 2 ) H (Y | x 2 ) H (0.6,0.4) H (0.4,0.6) 0.4)7（1 比特 / 符号）H ( X | Y ) H ( XY ) H (Y) H ( X ) H (Y | X ) H (Y)0， 811+0， 971-0 ， 992=0， 79 (比特 /符号 )I(X;Y)=H(X)-H(X|Y) =0， 811-0， 79=0， 021(比特 /符号 )(2) 此信道为二元对称信道 ,所以信道容量为C=1-H(p)=1-H(0 ， 6)=1-0 ， 971=0， 029( 比特 /符号 )当输入等概分布时达到信道容量p p 22pp2244,其中p 1 p ；四，求信道的信道容量0 44 0p p 22pp22解: 这就是一个准对称信道,可把信道矩阵分为: ,N1 M 1 1 4 , N 2 4 , M 422C log r H ( p 2, p 2 ,0,4 ) Nk log Mkk 1log 2 H ( p 2 , p 2 ,0,4 )(1 4 )log(1 44)4log 4(比特/ 符号）故1H ( p 2 , p 2 ,4 ) (1 4 )log(1 4 ) log 4 当输入等概分布时达到信道容量；1XP( x) x1x2x3x4x5x6五，信源(1) 利用霍夫曼码编成二元变长的惟一可译码,并求其L,并求其L(2) 利用费诺码编成二元变长的惟一可译码(3) 利用香农码编成二元变长的惟一可译码(1) 香农编码:,并求其信源符号x 1x 2x 3x 4x 5x 6概率P(x i)0，40，20，20，10，050，05码长233455累积概率0，40，60，80，90，95码字0001110011001110011110l i PL =0 ，4×2＋0，2×3＋0，2×3＋0，1×4＋0，05×5＋0，05×5＝2，9(码元/信源符号)η＝H(X)/( L logr)=2 ，222/2，9=0 ，7662(2) 霍夫曼编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)=0 ，9964(3)费诺编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)= 0 ，99641 21312161613121613六，设有一离散信道,传递矩阵为设P(x1 )= P(x 2)=1/4,P(x 3)=1/2,试分别按最小错误概率准就与最大似然译码准就确定译码规章并相应的运算机平均错误概率的大小；解:(1) 按最大似然译码准就,F(y1)=x1 F(y2)=x2 F(y3)=x3P(E)=1/2(1/3+1/6)+1/4 ×2×(1/3+1/6)=1/2(2) 联合概率矩阵为,就按最小错误概率准1 8 1 24 1 61121811212411214F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/240,131,13213UP(u)八，一个三元对称信源0 1 1 1 0 1 11接收符号为 V ＝ {0,1,2}, 其失真矩阵为 (1)求 D max 与 D min 及信源的 R(D) 函数；(2)求出达到 R(D ) 的正向试验信道的传递概率1 r2 3解 :(1) D max ＝ min P （ u ) d(u ,v) 1 V U 3D min ＝ P （ u ) min d (u , v) 0 j i 1由于就是三元对称信源 ,又就是等概分布 ,所以依据 r 元离散对称信源可得 R(D) ＝log3 － Dlog2 －H(D) ＝ log3 － D － H(D) 0<=D<=2/3＝ 0 D>2/3(2)满意 R(D) 函数的信道其反向传递概率为1 D (i j )P(u i | v j ) D2 (i j )13以及有 P(v j )= 依据依据贝叶斯定律 ,可得该信道的正向传递概率为 :1 D2 D (i j )P( v j | u i ) (i j )九，设二元码为 C=[11100,01001,10010,00111](1) 求此码的最小距离 d min ;(2) 采纳最小距离译码准就 ,试问接收序列 10000,01100 与 00100 应译成什么码字？(3) 此码能订正几位码元的错误？解:(1) 码距如左图11100 01001 10010 001111110001001 10010 00111 33 4 43 3故 d min ＝ 3(2) 码距如右图故 10000 译为 译为 11100,00100 译为 11100 或 0011110010,01100 d min 2 e 1,知此码能订正一位码元的错误；(3) 依据。
信息论与编码期末复习(基本上涵盖了所有考点,有了这份资料,期末绝不会挂科)
信息论与编码期末复习（基本上涵盖了所有考点，有了这份资料，期末绝不会挂科）1填空题1、信息论研究的主要问题是如何提高信息传输系的性和性，对应这两个性能数字通讯系统量化指标分别为和。
2、若给定离散概率空间[X,p(x)]表示的信源，则该信源中的信源消息（事件）x的自信息量可表I(x)= ；该信源平均自信息量（即信源的熵）可表示为H(X)=E[I(x)]= 。
3、在离散联合概率空间[XY,P(xy)] 上随机变量I(xy) 的数学期望H（XY）= ，若集合X与集合Y相互独立，则H（XY）= 。
4、若给定离散联合概率空间[XY,P(xy)]，则x与y之间的互信息量I(x;y)= ；平均互信息量可用熵和条件熵表示即I(X;Y)= = ，其中条件熵H(X|Y)通常称为熵，条件熵H(Y|X) 称为____________熵；若集合X与集合Y相互独立，则H(X|Y) = ，H(Y|X) = ，平均互信息量I(X;Y)= 。
5、离散信源的冗余度是R表示信源消息的可压缩____________，设信源符号集的最大熵为Ho，实际熵为Ｈ∞，则冗余度Ｒ可表示为______________；信源编码目的就是通过减少或消除信源____________来提高信息传输效率，因此信源编码亦称__________性编码，而信道编码则称__________性编码。
6、对于连续随机变量，在峰值功率受限于P m的条件下，取得最大相对熵的最佳概率密度函数是一个恒值即W opt(x)=_________,称W(x)为__________分布，这时最大相对熵H cmax=__________。
7、对于平均功率受限，均值不为零的一维连续随机变量的方差为定值时，其取得最大相熵的最佳概率密度函数为正态分布，即Wopt(x)= _________ ，最大相对熵H cmax=__________。
8、假设任一随机变量X与一正态分布随机变量具有相同的相对熵Ｈｃ，则其等效正态分布的随机变量Ｘ的熵功率为Ｐ＝；可以用信号平均功率和熵功率的相对差值_________来表示连续信源的冗余度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。
最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。
最小距离译码准则下，将接收序列译为与其距离最小的码字。
三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。
在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。
1.设线性分组码的生成矩阵为，求：（1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。
（2）求其对应的一致校验矩阵H。
（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。
（4）若接收码字为000110，用伴随式法求译码结果。
1.答：1）n=6，k=3，由C=mG可得所有码字为：000000，001011，010110，011101，100101，101110，110011，1110002）此码是系统码，由G知，，则3）由H可知，其任意2列线性无关，而有3列线性相关，故有，能纠一位错。
错误图样E 伴随式100000 101010000 110001000 011000100 100000010 010000001 0014）由知E＝010000，则信息传输率为则6.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？（2）当，时，求平均互信息信道疑义度（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此答：1）是准对称信道，因此其最佳输入概率分布为。
2）当，时，有则3）此时可用最大似然译码准则，译码规则为且有四（15分）设离散无记忆信道输入集合为X={0，1}，输出集合为{0,E,1}，信道转移概率矩阵为0103/41/81/811/81/83/4E⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，输入先验分布为Q(0)= 1/4，Q(1) =3/4。
（1）求信道容量C及其最佳分布。
（2）求采用最佳译码准则下的译码规则，并计算平均错误概率。
（3）设发送的消息只有两种0000和1111，若接收的序列为0E10，请根据最大似然准则给出译码结果，并计算此时的错误概率。
五（15分）设二元(5,2)线性分组码的生成矩阵为1101001111G ⎡⎤=⎢⎥⎣⎦（1） 求最小汉明距离。
（2） 求一致校验矩阵H 。
（3） 写出标准阵列译码表中与伴随式(111)对应的陪集。
（4） 若接收矢量01101，试根据最小距离译码准则确定发送的信息序列。
若通过转移概率为p=1/4的BSC 传送，试求该码的不可检错误概率p ud 。
2.二元对称信道如图。
3. ；1）若，，求和；2）求该信道的信道容量和最佳输入分布。
3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
2.答：1）2），最佳输入概率分布为等概率分布。
3.答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。
平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。
平均码长，编码效率4.答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。
2）某系统（7，4）码)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为：231013210210c m m m c m m m c m m m=++⎧⎪=++⎨⎪=++⎩ （1）求对应的生成矩阵和校验矩阵；（2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式； （4）若接收码字R =1110011，求发码。
解：1. 1000110010001100101110001101G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦101110011100100111001H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2. d min =33.4. RH T =[001] 接收出错E =0000001 R+E=C = 1110010 (发码)6二元(7，4)汉明码校验矩阵H 为：（10分）（1）写出系统生成矩阵G ，列出错误形式和伴随矢量表，你能发现他们之间有什么联系，若没有这个表怎么译码，（2）若收到的矢量0000011，请列出编码后发送矢量、差错矢量、和编码前信息矢量。
011111110100100110111010(|)101011101001T P I ⎫⎛⎫⎪ ⎪⇒=⎪ ⎪⎪ ⎪⎭⎝⎭列置换１． 设随机变量}1,0{},{21==x x X 和}1,0{},{21==y y Y 的联合概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/38/38/1),(),(),(),(22122111y x y x y x y x P XY XY 定义一个新的随机变量Y X Z ⨯=(普通乘积)（1） 计算熵H （X ），H （Y ），H （Z ），H （XZ ），H （YZ ），以及H （XYZ ）； （2） 计算条件熵 H （X|Y ），H （Y|X ），H （X|Z ），H （Z|X ），H （Y|Z ），H （Z|Y ），H （X|YZ ），H （Y|XZ ）以及H （Z|XY ）；（3） 计算平均互信息量I （X ；Y ），I （X ：Z ），I （Y ：Z ），I （X ；Y|Z ），I （Y ；Z|X ）以及I （X ：，Z|Y ）。
解：（1）12log 2/12log 2/1)(12log 2/12log 2/1)(2222=+==+=Y H X H8/108/308/308/1111110101100011010001000XYZ8/18/710Z8log 8/1)7/8(log 8/7)(22+=Z H 8/18/302/111100100XZ8log 8/1)3/8(log 8/32log 2/1)(222++=XZ H 8/18/302/111100100YZ8log 8/1)3/8(log 8/32log 2/1)(222++=YZ H（2）))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=Y X H ))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=X Y H)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z X H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=X Z H)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z Y H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=Y Z H)0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=YZ X H)0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=XZ Y H 0)|(=XY Z H(3))|()();(Y X H X H Y X I -= )|()();(Z X H X H Z X I -= )|()();(Z Y H Y H Z Y I -=)|()|()|;(YZ X H Z X H Z Y X I -=)|()|()|;(ZY X H Y X H Y Z X I -=２． 设二元对称信道的输入概率分布分别为]4/14/3[][=X P ，转移矩阵为[]⎥⎦⎤⎢⎣⎡=3/23/13/13/2|XY P ， （１） 求信道的输入熵，输出熵，平均互信息量；（２） 求信道容量和最佳输入分布； （３） 求信道剩余度。
解：（1）信道的输入熵4log 4/1)3/4(log 4/3)(22+=X H ；⎥⎦⎤⎢⎣⎡=6/112/14/12/1][XY P ]12/512/7[][=Y P)5/12(log 12/5)7/12(log 12/7)(22+=Y H)6/1,12/1(4/1)4/1,2/1(4/3)|(H H X Y H += )|()();(X Y H Y H Y X I -=（2）最佳输入分布为]2/12/1[][=X P ，此时信道的容量为)3/1,3/2(1H C -=(3)信道的剩余度：);(Y X I C -。