离散信源题与答案
信息论习题——精选推荐
选择题1、离散有记忆信源],[21x x X =，12()()0.5P x P x ==，其极限熵H ∞ 。
A 、1bit >B 、1bit <C 、1bit =D 、不能确定2、任意离散随机变量X 、Y 、Z ， 必定成立A 、)|()|(XZ Y H YZ X H =B 、)()()()(Z H Y H X H XYZ H ++=C 、)|()|(Y X H YZ X H ≤D 、0)|;(=Z Y X I3、|Y X P 给定时，(;)I X Y 是X P 的 函数。
A 、上凸B 、下凸C 、上升D 、下降4、使(;)I X Y 达到最大的 称为最佳分布。
A 、联合分布B 、后验分布C 、输出分布D 、输入分布5、离散平稳无记忆信源],[21x x X =，且bit X H 1)(=，则=)(1x P 。
A 、41B 、2C 、1D 、216、=);(Y X I 。
A 、)|()(X Y H X H -B 、)|()(Y X H Y H +C 、)|()(X Y H Y H -D 、)()(X H XY H -7、通常所说的“连续信源”是指 信源。
A 、时间连续且取值连续的B 、取值连续C 、时间离散且取值连续的D 、时间连续8、已知信道，意味着已知 。
A 、 先验分布B 、转移概率分布C 、 输入输出联合概率分布D 、输出概率分布9、已知X Y P |，可求出A 、)(XY HB 、 )|(X Y HC 、);(Y X ID 、)|(i j x y I10、连续信源的输出可用 来描述A 、常量B 、变量C 、离散随机变量D 、连续随机变量11、101)(=i x P ，则=)(i x I 。
A 、bit 10lnB 、dit 10lnC 、dit 1D 、dit 10log12、信道容量表征信道的 。
A 、最大通过能力B 、最大尺寸C 、最小通过能力D 、最小尺寸13、DMS 的信息含量效率等于信源的实际熵 信源的最大熵。
2024年国家电网招聘之通信类真题精选附答案
2024年国家电网招聘之通信类真题精选附答案单选题（共45题）1、离散信源输出5个不同符号，若各符号概率分别为1/2，1/4，1/8，1/16，1/16，则该信源的熵为()。
A.1.5bit/signB.1.875bit/signC.2bit/signD.1bit/sign【答案】 B2、()是在接收端逐个统计不相关的分集支路，经过相位校正，并按适当的可变增益加权再相加后送入检测器进行相干检测。
此方法合并效果最好，但实现较复杂。
A.收发合并B.最大比合并C.等增益合并D.选择性合并【答案】 B3、IPPON的上层是()，这种方式可更加充分地利用网络资源，容易实现系统带宽的动态分配，简化中间层的复杂设备。
A.数据链路层B.物理层C.IP层D.网络层【答案】 C4、某省游泳队进行了为期一个月的高原集训，集训最后一日所有队员进行了一次队内测试，几位教练預测了一下队员的成绩:张教练说:这次集训时间短，没人会达标。
孙教练说:有队员会达标。
王教练说:省运会冠军或国家队队员可达标。
测试结束后，只有一位教练的预测是正确的。
由此可以推出( )A.没有人达标B.全队都达标了C.省运会冠军达标D.国家队队员未达标【答案】 D5、用于连接数字程控交换系统和数字用户终端设备之间的接口电路是()接口。
A.模拟用户B.数字用户C.模拟中继D.数字中继【答案】 B6、下列描述中，不属于 IP 层实现的功能是（）A.尽力而为的不可靠传输服务B.数据报的分段与重组C.确定主机进程间的接口D.报文交换、TAM 交换【答案】 D7、连续信道的信道容量将受到“三要素”的限制，其“三要素”是（）。
A.带宽、信号功率、信息量B.带宽、信号功率、噪声功率谱密度C.带宽、信号功率、噪声功率D.信息量、带宽、噪声功率谱密度【答案】 B8、当电磁波和障碍物符合()条件时，比较容易发生绕射现象。
A.障碍物为金属表面B.障碍物尺寸与波长相似或者更小C.障碍物尺寸远远大于波长D.障碍物表面粗糙【答案】 B9、根据《建设项目环境影响评价资质管理办法》，评价机构每年须填写“建设项目环境影响评价机构年度业绩报告表”，于（）前报国家环境保护总局。
2223离散平稳信源
3 极限熵
介绍平稳信源的平均符号熵、极限熵，极限熵的求解
1
HUST Furong WANG--- Information and Coding Theory
平稳信源
1、所有X i , i 1, 2,...都取值于有限的信源符号集A x1 , x2 ,..., xn 2、随机序列是平稳的，即对所有非负整数i1 , i2 ,..., iN , h 有 P X i1 , X i2 ,..., X iN P X i1 h , X i2 h ,..., X iN h 则称此信源为离散平稳信源。 定义：若信源产生的随机序列X i , i 1, 2,...满足
13
HUST Furong WANG--- Information and Coding Theory
二维平稳信源的熵-例题
例：设二维离散信源X X 1 X 2的原始信源X 的 x1 x2 x3 X 信源模型为 1 4 11 P( X ) 4 9 36 X X 1 X 2中前后两个符号的条件概率如下表。
由于条件熵小于无条件熵，所以 H(X1X2)= H(X1)+ H(X2/X1) H(X1X2)≤H(X1)+ H(X2)
说明二维离散平稳有记忆信源的熵小于等于 二维离散平稳无记忆信源的熵
对于二维离散平稳无记忆信源X2=X1X2来说， X1对X2不产生任何影响。 对于二维离散平稳有记忆信源，由于X1和X2有 统计依赖关系， X1的发生会提供X2的部分相关 信息。
一维平稳信源无论在什么时刻均以 p( x1 ), p( x2 ), ...,p( xn )分布发出符号。
3
HUST Furong WANG--- Information and Coding Theory
信息论试题8
《信息论基础》模拟试题一、填空题（本大题共10小空，每小空2分，共20分）1.按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为和。
2.一个八进制信源的最大熵为。
3.信源冗余度存在的原因是。
4．设有一连续随机变量X表示信号x(t)的幅度，其幅值在[-4V,4V]均匀分布，那么该信源的熵h(x)= ，则该信源的绝对熵是。
5.若某一连续信源X，其平均功率受限为8W，其概率密度函数是高斯分布时，差熵的最大值为，与其熵相等的非高斯分布信源的功率为。
6.对称离散信道的转移概率矩阵P的特点是二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：1.两骰子面朝上点数之和为2，该消息包含的信息量是多少？（3分）2.两骰子面朝上点数之和为8时，该消息包含的信息量是多少？（3分）3.两骰子面朝上点数是3和4，该消息包含的信息量是多少？（3分）三、设X,Y是二个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z，取Z=X+Y。
试计算：1．H(Y)、H(Z); (6分)2．H(XY); (3分)3．I(X;Y),I(Y;Z). (8分)四、一阶马尔可夫链信源有3个符号｛a,b,c｝,转移概率为：P（a/a）=1/2，p(b/a)=1/4，p(c/a)=1/4,p(a/b)=1/2,p(b/b)=0,p(c/b)=1/2,p(a/c)=1/2, p(b/c)=1/2,p(c/c)=0。
1.画出状态图；写出转移概率矩阵；（6分）2.求出各符号稳态概率；（6分）3.计算其极限滴；（4分）五、在干扰离散对称信道上传输符号1和0，已知p(0)=1/4,p(1)=3/4，试求：1 该信道的转移概率矩阵P（3分）2 该信道的信道容量及其输入概率分布（7分）六、某信道的转移矩阵0.50.30.200.30.500.2 p⎡⎤=⎢⎥⎣⎦试求：该信道的信道容量及最佳输入概率分布。
（6分）七、设在平均功率受限高斯可加波形信道中，信道宽带为5KHZ，又设信噪比为20db1 试计算该信道的信道容量；（3分）2 若功率信噪比降为10db,要达到相同的最大信息传输率，信道带宽应是多少？（3分）八、信源符号X有6种字母，概率为0.25，0.2，0.16，0.15，0.1，0.07，0.04，0.03. 用霍夫曼编码法编成二进制变长码，写出编程过程并计算：（共16分）1.编码前信源X的信源剩余度，2.平均码长3.编码效率。
信息论与编码实验一离散信源信息量的计算
信息论与编码实验一离散信源信息量的计算【实用版】目录一、信息论与编码实验一概述二、离散信源的定义与分类三、离散信源信息量的计算方法四、实验过程及结果分析五、总结正文一、信息论与编码实验一概述信息论与编码实验一是一门关于信息论的基本概念和方法的实验课程。
信息论是研究信息传输、存储、处理和控制的科学，其目的是为了提高通信系统的效率和可靠性。
实验一的主要目的是让学生了解离散信源的定义、性质和计算方法，并掌握如何使用 Matlab 软件进行离散信源信息量的计算。
二、离散信源的定义与分类离散信源是指其输出信号为离散信号的信源，常见的离散信源有伯努利信源、马尔可夫信源等。
根据信源的性质和特点，离散信源可以分为离散无记忆信源和离散有记忆信源。
离散无记忆信源是指信源的输出信号只与当前输入信号有关，而与过去的输入信号无关；离散有记忆信源是指信源的输出信号与过去的输入信号有关。
三、离散信源信息量的计算方法离散信源的信息量是指信源输出的符号所包含的信息量，通常用比特（bit）来表示。
离散信源的信息量的计算方法主要有两种：一种是基于概率的计算方法，另一种是基于熵的计算方法。
基于概率的计算方法是通过计算信源输出符号的概率来计算信息量；基于熵的计算方法是通过计算信源的熵来计算信息量。
熵是信息论中用于度量信息量的一个重要概念，它表示信息的不确定性。
四、实验过程及结果分析在实验过程中，学生需要首先了解离散信源的定义和性质，然后通过Matlab 软件计算离散信源的熵，并根据熵的计算结果分析信源的信息量。
在实验中，学生需要编写 Matlab 程序，计算离散信源的熵，并绘制熵的图像。
通过实验，学生可以加深对离散信源的理解和掌握离散信源信息量的计算方法。
五、总结信息论与编码实验一是一门关于信息论的基本概念和方法的实验课程。
通过实验，学生可以了解离散信源的定义和性质，掌握离散信源信息量的计算方法，并熟练使用 Matlab 软件进行离散信源信息量的计算。
第3章 离散信源
时间长度为bi，则该信源的时间熵定义为：Ht(X)=H(X)/b. 其中b为信源符号的
平均时间长度。
M
b p( xi ) bi
i 1
s / 符号
离散信源的时间熵（续）
K重符号序列离散无记忆信源的时间熵：
K K Ht (X ) H(X ) / B
bit / s 其中B Kb
为K重符号序列消息的平均时间长度。由于信源无记忆，上式也可以写成：
bit / s
由于信源有记忆，所以有：
K ( H t X ) KH ( X ) (Kb) KH ( X ) /(Kb) H ( X ) / b
bit / s
有记忆信源与无记忆信源相比，对外提供信息量的速度下降了。
离散信源的时间熵（续）
马尔可夫信源的时间熵： 若信源从状态Si转移到状态Sj，发出的符号是xij，它的时间长度设为bij，则 信源从状态Si发生转移并发出一个符号时，符号的平均长度为：
信源分类
若离散信源输出符号彼此间相互独立，而且所有符号服从同一种概率分布，则称之 为简单无记忆信源；
若输出符号间彼此相关，且每个符号只与它前面的一个符号相关，而这种相关性可 以用符号间的转移概率来描述，则称之为马尔可夫信源。
离散信源的熵
单符号离散无记忆信源熵： 若信源X含有M个符号，而且每个符号相互独立，则当信源每次发送一个 符号代表一条消息时，其信源熵可以表示为:
H(X ) 100% H ( X )max
信源符号的相关性越大，信源效率越低，要提高信源效率，要设法降 低符号之间的相关性。
信源的效率与冗余度（续）
（2）信源冗余度：
H ( X )max H ( X ) H(X ) R 1 1 100% H ( X )max H ( X )max
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率bitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
《信息论、编码与密码学》课后习题答案资料
《信息论、编码与密码学》课后习题答案第1章 信源编码1.1考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS 。
求信源熵H （X ）。
解： 信源熵 ∑=-=512)(log )(k k k p p X HH(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)故得其信源熵H(X)为2.228bit1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。
解： 若二元离散信源的统计特性为P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得211101log ==-=-p ppp p可知当概率P=Q=1/2时，有信源熵)(1)(max bit X H =对于三元离散信源，当概率3/1321===P P P 时，信源熵)(585.1)(m ax bit X H =，此结论可以推广到N 元的离散信源。
1.3 证明不等式ln 1x x ≤-。
画出曲线1ln y x =和21y x =-的平面图以表明上述不等式的正确性。
证明：max ()ln 1(0)1()()01001()0()0ln 11ln 1ln 1f x x x x f x xf x x x x f x f x f x x x x x x x =-+>'=''==>∴<≤>≤=≤-≥≤-≤-令，又有时此时也即当时同理可得此时综上可得证毕绘制图形说明如下 可以很明确说明上述 不等式的正确性。
1.4 证明(;)0I X Y ≥。
在什么条件下等号成立？1111(,)(,)(,)(,)log()()n mi j i j i j n mi j i j i j i j I P x y I x y P x y P x y P x P y =====∑∑∑∑（X ；Y ）=当和相互独立时等号成立。
第三章离散信源
p(xi )
? 熵函数的自变量是X,表示信源整体，实质上是无
记忆信源平均不确定度的度量。试验后平均信息
量为熵
不确定性＝携载的信息
? 单位：以2为底，比特/符号
? 为什么要用熵这个词与热熵的区别？
例3.2.1二元熵函数是对0－1分布的随机变量所求的熵：
X
0
1
＝
P（x）
p
1-p
则： H(X) = -plogp-(1-p)log(1-p)=H(p)
? ?X
??P( X
? )??
?
? x1,
? ?
p(
x1
),
x2,? , p(x2 ),?
xi ,? , , p(xi
),?
,
p(
xn ? xn )??
,
n i?1
p(xi )
?
1
则信源X的N次扩展信源用 X N来表示,该新信源有 nN个元素(消息序列)
取值于同一集合
，且分量之间
统计{ 独x1 ,立x 2，, ? 则, x由n }随机矢量 X 组成的新信源称为
离散无记忆信源 X的N次扩展信源。
离散无记忆信源 X的N次扩展信源 (或称序列信 源)的熵就是离散信源 X的熵的N倍。
H ( X N ) ? NH ( X )
理解
若单符号离散信源的数 学模型为 :
qN
qN q
? P(? i ) ? ?? P(aik ) ? 1
i?1
i? 1 ik ? 1
有记忆信源：输出的随机序列 X中各随机变量 之间有依赖关系，但记忆长度有限。 m阶马尔可夫信源：信源每次发出的符号只与 前m个符号有关，与更前面的符号无关。
P(xi |? xi?2xi?1xi?1xi?2xi?3 ? xi?m ? xi?1)
信息论与编码试卷及答案
一、（11'）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍.（4）对于离散无记忆信源,当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H(X）等于2.5,对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大,使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、(5'）居住在某地区的女孩中有25％是大学生，在女大学生中有75%是身高1。
6米以上的,而女孩中身高1。
6米以上的占总数的一半。
假如我们得知“身高1。
6米以上的某女孩是大学生”的消息，问获得多少信息量?解:设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件,则P(A)=0。
25 p（B)=0.5 p(B|A）=0。
75 （2分）故 p（A｜B)=p（AB)/p(B）=p(A）p（B｜A）/p(B）=0.75*0。
25/0。
5=0。
375 (2分）I（A|B）=—log0.375=1。
42bit （1分)四、(5'）证明：平均互信息量同信息熵之间满足I(X；Y)=H(X）+H(Y）—H（XY)证明：(2分)同理（1分）则因为（1分）故即（1分）五、（18')。
黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0。
通信原理练习题(含答案)
第一章绪论一、填空题1 、数字通信系统的主要性能指标是传输速率和差错率。
码元速率R B 定义是每秒传送码元的数目，单位B a u d 。
信息速率定义是每秒钟传送的信息量，单位b i t/s。
2 、数字通信系统的有效性用传输速率衡量，可靠性用差错率衡量。
3 、模拟通信系统的有效性用传输带宽衡量，可靠性用信噪比衡量。
4 、在等概条件下，八元离散信源能达到最大熵是3 b i t/符号，若该信源每秒钟发送2000个符号，则该系统的信息速率为6 k b i t/s。
5 、通信系统的有效性衡量指标对于模拟通信系统为传输带宽，对于数字通信系统为传输速率。
6 、通信系统的可靠性衡量指标对于模拟通信系统为信噪比对于数字通信系统为差错率。
7 、一个M 进制基带信号，码元周期为T S 秒，则传码率为 1 /T S 波特，若码元等概出现，一个码元所含信息量为log 2M ( b i t) 。
8 、通信系统模型中有两个变换，它们分别是非电量与电量之间的变换和基带信号与频带信号之间的变换。
9 、模拟信号是指信号的参量可连续取值的信号，数字信号是指信号的参量可离散取值的信号。
10 根据信道中所传输信号特征的不同，通信系统可分为模拟通信系统和数字通信系统。
二、画图1 、画出模拟通信系统的一般模型。
22 b2 、 画 出 通 信 系 统 的 简 化 模 型 。
三 、 计 算 题1 、 对 于 二 电 平 数 字 信 号 ， 每 秒 传 输 300 个 码 元 ， 问 此 传 码 率 R B 等 于 多 少 ？ 若 该 数 字 信 号 0 和 1 出 现 是 独 立 等 概 率 的 ， 那 么 传 信 率 R b 等 于 多 少 ？3 0 0 ba nd 300bit /s2 、、 现 有 一 个 由 8 个 等 概 符 号 组 成 的 信 源 消 息 符 号 集 ， 各 符 号 间 相 互 独 立 ， 每 个 符 号 的 宽 度 为 0 .1 ms 。
信息论与编码(第三版) 第4章 离散信源编码理论-0525
1
1
N log p(x1x2...xN ) N i log p(xi )
-E log p(x) 以概率
H(X)
定义4.1 关于p(x)的典型集合 A( N ) 是序列 (x1x2...xN ) X 的集合，具有下列性质 2N (H ( X ) ) p(x1x2...xN ) 2N (H ( X ) )
)
H(X
)
|
}
1
得到性质2
性质(3) 2 | A | 1 p(X)
p(X)
2N (H ( X ) )
XxN
XA ( N )
XA( N )
N (H ( X ) ) (N )
渐近等同 分割含义
典型序列 定义
相同数据 相加
性质(4) 对于充分大的N p{A (N)} 1
2 | A | 1 p{A(N)}
前
缀
典型序列数量不大于2N(H(X)+ε)
编码：0+序列编号
码
码长 N(H ) 2
非典型序列
编码：1+序列编号
码长： N log | X | 1
这是一种无失 真编码方法
❖ 上述的编码方案具有下列性质：
码与序列之间是一一对应的，第一位是前缀码，表示码的长 度或者类型。
非典型序列采用的是枚举法，尽管没有考虑非典型序列的长
X p(x)
0 p(0)
p
1 p(1) q
主要关心典型序 列，典型序列的 任何特性都是以 大概率成立的， 而且决定了样点
值的主要特性
如果随机变量 X1, X2,..., X N 都服从独立同一分布
那么序列 (x1x2...xN ) 的概率为
第3章离散信源习题与答案
3.1 设有一离散无记忆信源，其概率空间为⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。
求：(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解： (1)此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-=(2)此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4/34/110)(X P X(1) 求信息符号的平均熵；(2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。
解： (1)bit x p x p X H ii i 811.043log 4341log 41)(log )()(=⎪⎭⎫ ⎝⎛+-=-=∑(2)bit m x p x I x p mi i m mm i 585.15.4143log)(log )(434341)(100100100100100+=-=-==⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=---(3)bit X H X H 1.81811.0100)(100)(100=⨯==3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。
题表 3.2(1) (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。
进而用这一结果求码序列中的一个二进制码的熵；(3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率1/0p 、0/1p 、1/1p 、0/0p 。
信息论习题
信息论部分:1. 已经两个离散信源X 和Y ，其联合概率P(X,Y)为：P(0,0)=1/8，P(0,1)=3/8，P(1,0)=3/8，P(1,1)=1/8，现定义另一个随机变量：Z=XY(一般乘积)，试求H(X)，H(Y)，H(Z)及H(X,Y)。
2. 有一个一阶马尔柯夫信源X={A,B,C}，已知：p(A)=1/2，p(B)=p(C)=1/4，信源状态之间的转移概率p(j/i)分别为：p(A/A)=1/2, p(B/A)=1/4, p(C/A)=1/4, p(A/B)=2/3, p(B/B)=0, p(C/B)=1/3, p(A/C)=2/3, p(B/C)=1/3, p(C/C)=0。
求：信源的熵和剩余度？3. 设一个连续随机变量X 的概率密度函数为p x bx x ()=≤⎧⎨⎪⎩⎪202 π其它 求信源X 的熵H(X)。
4. 设一个连续随机变量X 的概率密度函数为 p x e ()=-12λλX －∞＜X ＜∞ 求信源X 的熵H(X)。
5.掷一枚均匀的硬币，直到出现“正面”为止。
令X 表示所需掷出的次数，求熵H(X)。
6.设有噪声二元对称信道(BSC)的信道误码率为p e =1/8，码速率为n=1000/s,（1）若p(0)=1/3, p(1)=2/3, 求信道熵速率， （2）求信道容量。
7.某无线电厂可生产A ，B ，C ，D 四种产品，其中，A 占10%，B 占20% ，C 占30% ，D 占40%。
有两种消息：“现完成一台B 种产品”，“现完成一台C 种产品”，试问哪一种消息提供的信息量大？ 8．设每帧电视图象是由3×105个象素组成，所有象素是相互独立的，且每个象素可取128个不同的亮度电平，并假设各种亮度电平是等概出现的。
问每帧电视图象含有多少信息量？9.设电话信号的信息速率为5.6×104bit/s ，在一个噪声功率谱密度为N 0=5×10-6mW/Hz ，频带为F ，限输入功率为P 的高斯信道中传送，若F=4KHz ，问无差错传输所需的最小功率是多少？若F 趋于无穷，则P 是多少瓦。
信息论编码模拟试题8及参考答案
模拟试题一一、概念简答题（共10题，每题5分）1.简述离散信源和连续信源的最大熵定理。
2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。
3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。
5.设某二元码字C={111000，001011，010110，101110}，①假设码字等概率分布，计算此码的编码效率？②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按发出符号，求和平均符号熵7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。
8.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？（2）求100个符号构成的信源序列的熵。
9.求以下三个信道的信道容量：，，10.已知一（3，1，3）卷积码编码器，输入输出关系为：试给出其编码原理框图。
二、综合题（共5题，每题10分）1.二元平稳马氏链，已知P（0/0）=，P（1/1）=，求：（1）求该马氏信源的符号熵。
（2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。
（3）求每符号对应的平均码长和编码效率。
2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？（2）当，时，求平均互信息信道疑义度（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此3.设线性分组码的生成矩阵为，求：（1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。
（2）求其对应的一致校验矩阵H。
（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。
3.3离散平稳信源
信息论与编码技术电子信息工程专业主讲：孙静机械电子工程系3.3 离散平稳信源3.3.1 离散有记忆信源1.实际情况中，离散信源输出的是在空间或时间的离散符号序列，而且在序列中符号之间有依赖关系。
让我们来看两个例子！中文自然语言：字符集A={所有汉字,标点符号}根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的其他自然语言都一样，如英文、德文等离散化平面灰度图像：从XY平面空间上看，每幅画面是一系列空间离散的灰度值符号(像素点)空间每一点的符号取值是随机的可以形成不同的图像信息【分析】这类信源具有如下特点：信源输出的消息是按一定概率选取的符号序列→可用随机矢量或随机变量序列来描述这类消息输出序列的符号之间存在或强或弱的相关性→有记忆信源→研究信源的多维联合概率分布和条件概率分布3.3.1 离散有记忆信源2.离散有记忆信源是指发出的各个符号之间具有统计关联关系的一类信源。
3.【研究对象】在一般情况下，信源的前后消息之间有前后依赖关系，可以用随机矢量描述：X=X1X2…X N其中，任一X都是离散随机变量，它表i示t=i 时刻所输出的符号。
3.3.1 离散有记忆信源4.信源在t =i 时刻将要输出的符号取决于两个方面：①与信源在t =i 时刻随机变量X i 取值的概率分布p (x i )有关➢一般t 不同，p (x i ) ≠p (x j ) ②与t =i 时刻以前信源输出的符号有关➢与条件概率p (x i |x i -1x i -2…)有关➢一般情况下，p (x i |x i -1x i -2…) ≠p (x j |x j -1x j -2…)一般来说，离散信源输出序列的统计特性可能会随时间而变化，在不同时刻，其输出序列的概率分布可能不同。
3.3.2 离散平稳信源1.【问题】有时离散信源其消息出现的概率，与消息出现的时间无关，即为平稳信源。
信息论与编码实验一离散信源信息量的计算
信息论与编码实验一离散信源信息量的计算摘要：I.引言- 信息论与编码实验一的主题- 离散信源信息量的计算的重要性II.离散信源的定义- 离散信源的定义- 离散信源的特点III.信息量的计算- 信息量的定义- 离散信源信息量的计算方法- 计算实例IV.信息熵的定义- 信息熵的定义- 信息熵的性质- 计算实例V.编码与解码- 编码的过程- 解码的过程- 编码与解码的实例VI.总结- 离散信源信息量的计算的重要性- 对信息论与编码实验一的回顾正文：I.引言信息论与编码是通信工程中的重要内容，它旨在研究如何在传输过程中有效地传输信息。
在信息论与编码实验一中，我们主要关注离散信源的信息量的计算。
离散信源是我们日常生活中最常见的信源类型，例如文字、声音、图像等。
因此，了解离散信源信息量的计算方法对于理解和应用信息论与编码理论具有重要意义。
II.离散信源的定义离散信源是指信息以离散的方式存在的信源。
离散信源的特点是信息符号是离散的、不连续的，且每个符号的出现是相互独立的。
离散信源可以分为无记忆离散信源和有记忆离散信源。
无记忆离散信源是指信源发出的每个符号的概率分布与过去符号无关，而有记忆离散信源则与过去符号有关。
III.信息量的计算信息量是衡量信息的一个重要指标，它表示了接收者在接收到符号后所获得的信息。
对于离散信源，信息量的计算公式为：I(X) = -∑P(x) * log2(P(x))，其中X 表示离散信源，P(x) 表示符号x 出现的概率。
通过计算信息量，我们可以了解信源的信息程度，从而为后续的编码和解码提供依据。
IV.信息熵的定义信息熵是信息论中的一个重要概念，它表示了信源的平均信息量。
信息熵的定义为：H(X) = -∑P(x) * log2(P(x))，其中X 表示离散信源，P(x) 表示符号x 出现的概率。
信息熵具有以下性质：1）信息熵是信息量的期望；2）信息熵的值是有限的，且在0 到比特数之间；3）当信源的每个符号出现的概率相同时，信息熵最大。
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
可得 ，3种状态等概率分布。
一阶马尔可夫信源熵为
信源剩余度为
（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为
二阶马尔可夫信源熵为
信源剩余度为
由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。
总的概率
所需要的信息量
2.6设 表示“大学生”这一事件， 表示“身高1.60m以上”这一事件，则
故
2.7四进制波形所含的信息量为 ，八进制波形所含信息量为 ，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8
故以3为底的信息单位是比特的1.585倍。
2.9（1）J、Z（2）E（3）X
(2)三元对称强噪声信道模型如图所示。
4.7由图可知信道1、2的信道矩阵分别为
它们串联后构成一个马尔科夫链，根据马氏链的性质，串联后总的信道矩阵为
4.8传递矩阵为
输入信源符号的概率分布可以写成行向量形式，即
由信道传递矩阵和输入信源符号概率向量，求得输出符号概率分布为
输入符号和输出符号的联合概率分布为
由冗余度计算公式得
3.18（1）由一步转移概率矩阵与二步转移概率矩阵的公式 得
（2）设平稳状态 ，马尔可夫信源性质知 ，即
求解得稳态后的概率分布
3.19设状态空间S= ，符号空间
且
一步转移概率矩阵
状态转移图
设平稳状态 ，由马尔可夫信源性质有
即
可得
马尔可夫链只与前一个符号有关，则有
3.20消息元的联合概率是
平均信息传输速率
第二章 信源习题
1、设英文字母E出现的概率为0.105，X出现的概率为0.002，试求E和X 的信息量。
2、某离散信源输出x1、x2、…、x8共8个不同的消息，符号速率为2400B，其中四个消息出现的概率为P(x1)=P(x2)=1/16，P(x3)=1/8，P(x4)=1/4，其他消息等概率出现。
①求该信源的平均信息速率；②求传送一小时的信息量。
3、设一离散信源分别以概率P A、P B、P C、P D发送四个消息A、B、C、D，每个消息的出现是相互独立的，试根据条件完成以下计算：①如果P A=1/4，P B =1/8，P C =1/8，P D=1/2，试计算该信源的熵；②对于传输的每一消息用二进制脉冲编码，00代表A，01代表B，11代表C，10代表D，每个脉冲宽度为5ms，如果不同的消息等可能出现，试计算传输的平均信息速率；③如果P A=1/5，P B =1/4，P C =1/4，P D=3/10，试用Huffman编码算法对该信源进行编码，并计算编码效率。
4、设A系统以2000bps的比特率传输2PSK调制信号的带宽为2000Hz，B 系统以2000bps的比特率传输4PSK调制信号的带宽为1000Hz。
试问：哪个系统更有效？5、设某四进制数字传输系统的每个码元的持续时间（宽度）为833×10-6s，连续工作1h后，接收端收到6个错码，且错误码元中仅发生1bit的错码。
①求该系统的码元速率和信息速率；②求该系统的误码率和误信率。
6、设某数字传输系统传送二进制码元的速率为1200B，试求该系统的信息速率；若该系统改为传送八进制信号码元，码元速率不变，则这时系统的信息速率为多少？7、设输入抽样器的信号为门函数G(t)，宽度为τ=20ms，若忽略其频谱第10个零点以外的频率分量，试求其最小抽样频率。
8、已知信号f(t)=6.4×sin(800πt)，按Nyquist速率进行抽样后，进行64个电平均匀量化编码，采用自然二进制码。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
离散信源题与答案 Last revision date: 13 December 2020.
3.1 设有一离散无记忆信源，其概率空间为 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。
求：
(1) 此消息的自信息量是多少？
(2) 此消息中平均每符号携带的信息量是多少？
解：
(1)
此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是：
此消息的信息量是：bit p I 811.87log =-=
(2)
此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==
3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为
(1) 求信息符号的平均熵；
(2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式；
(3) 计算(2)中序列的熵。
解：
(1)
(2)
(3)
3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。
(1) (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。
进而用这一结果求码序列中的一个二进制码的熵； (3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率1/0p 、0/1p 、1/1p 、0/0p 。
解： (1)
(2)
(3)
设消息序列长为N ，则0u 、1u 、2u 、3u 的个数分别为8/ ,8/ ,4/ ,2/N N N N 个。
则0的个数为
8
708181412N N N N N =⨯+⨯+⨯+⨯ 而1的个数为8738281402N N N N N =⨯+⨯+⨯+⨯
因而5.010==p p
3.7 设有一个信源，它产生0，1序列的信息。
该信源在任意时间而且不论以前发生过什么消息符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1) 试问这个信源是否是平稳的；
(2) 试计算H(X 2), H(X 3/X 1X 2)及H ∞；
(3) 试计算H(X 4)并写出X 4信源中可能有的所有符号。
解：
(1)
这个信源是平稳无记忆信源。
因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符．．．．．．．．．．号．
……” (2)
(3)
3.11 有一马尔可夫信源，已知转移概率为3/2)/(11=S S p ，3/1)/(12=S S p ，1)/(21=S S p ，0)/(22=S S p 。
试画出状态转移图，并求出信源熵。
解：
3.21黑白传真机的信息元只有黑色和白色两种X ={黑，白}，一般气象图上黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7，黑白消息前后没有关联，其转移概率为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8。
求该一阶马尔可夫信源的不确定性H(X/X)，并画出该信源的状态转移图。
解：
3.23 设信源产生A, B, C 三种符号2/1)/(=B B p ，4/1)/()/(==B C p B A p ，
8/5)/(=A A p ，4/1)/(=A B p ，8/1)/(=A C p ，8/5)/(=C C p ，4/1)/(=C B p ，8/1)/(=C A p 。
试计算冗余度。
解：
3.26 一阶马尔可夫信源的状态图如下图所示。
信源X 的符号集为{0, 1, 2}。
(1) 求平稳后信源的概率分布；
(2) 求信源的熵H ∞。
解：
(1)
(2)。