信息论-复习题
信息论考试题
一．填空１．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。
2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。
3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log22m m -+比特/符号。
4．离散对称信道输入等概率时，输出为 等概 分布。
5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。
6．设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
12设有ＤＭＣ，其转移矩阵为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1|XY P ，若信道输入概率为[][]25.025.05.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。
解：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8/124/112/112/18/124/112/16/14/1][XYP最佳译码规则：⎪⎩⎪⎨⎧===331211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；极大似然规则：⎪⎩⎪⎨⎧===332211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。
信息论复习必考题
第一天：
1、请问什么是信息
答案：消除不确定因素
2、信息论的奠基人是谁，为什么？
答案：香农，香农三大定律
3、单个信源符号的自信息量的计算方法
答案：概率的倒数的对数
4、信源的离散熵怎么计算，熵的物理含义是什么
答案：熵代表离散程度，离散程度越大，熵值越大。
第二天：
1、请问一个随机变量在什么概率分布的时候，它的熵值最大？怎么和生活中进行对接
答案：概率分布均匀的时候熵值最大
2、请问互信息熵的计算和物理含义是什么？想想一条河流
3、数据处理定理是什么？在数据处理当中，丢失了什么？获得了什么？为什么要数据处理呢？（从通信系统的角度来考虑）沙里淘金
第三天：
1、离散的无记忆信源序列的熵值该怎么计算，它又有什么作用呢？
2、离散的有记忆序列的熵值该怎样计算？
3、极限熵的物理含义是什么？
4、编码的一些基本概念（等长和变长，奇异和非奇异，唯一可译码、平均编码长度、码树、前缀码和非前缀码等）
5、仔细体会从等长编码和变长编码，针对什么样的信源，有什么优缺点
第四天：
1、请问香农第一定理是什么？其含义是什么？如何理解？（信源符号的个数和码字个数之间的关系）
2、。
(完整word版)信息论试卷
一、选择题1、下列那位创立了信息论.(C)A.牛顿B.高斯C.香农D.哈夫曼2、下列不属于消息的是。
(B)A.文字B.信号C.图像D.语言3、同时扔两个正常的骰子,即各面呈现的概率都是1/6，若点数之和为2，则得到的自信息量为(B）。
A.-log36 bitB.log36 bitC.-log18 bitD.log18 bit4、下列说法不正确的是(C)A.异字头码肯定是唯一可译的B.逗点码是唯一可译的C.唯一可译码不必满足Kraft 不等式D.无逗点码可以唯一可译5、下述编码中那个可能是任何概率分布对应的Huffman编码(A)A.｛0，10,11}B.{00，01,10，110}C.｛01，10｝D.{001，011，100，101｝6、下列物理量不满足非负性的是（D)A.H(X)B.I(X；Y）C.H(Y|X)D.I（x j;y j）7、信源的输出与信道的输入匹配的目的不包括（D)A.符号匹配B.信息匹配C.降低信道剩余度D.功率匹配8、在串联系统中,有效信息量的值（B)A.趋于变大B.趋于变小C.不变D.不确定二、判断题1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（T)2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。
（F）提示：对数函数3、两个事件之间的互信息量可正,可负，也可能为0。
(T）4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。
(T ）5、Huffman 编码是唯一的.（F)提示：不唯一6、概率大的事件自信息量大。
（F ）提示：小7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。
（T)8、平稳的离散无记忆信道不可用一维概率描述。
(F)提示：可以三、填空题1、必然事件的自信息是 0 .2、根据码字所含的码元的个数，编码可分为 等长 编码和 不等长 编码。
3、不等长D 元码，码字最长限定为N,则至多有 D(D N - 1）/(D — 1） 个码字。
信息论试题
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。
信息论典型试题及答案
第五章
5.1将下表所列的信源进行六种不同的二进制编码。
（1）求这些码中哪些是惟一可译码。
（2）哪些码是非延长码
（3）对所有惟一可译码求出其平均码长 。
消息
C1
C2
C3
C4
C5
C6
1/2
000
0
0
0
0
0
1/4
001
01
10
10
10
100
1/16
010
011
110
110
1100
101
27.能够描述无失真信源编码定理
例1：.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H(X)；
2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)＝0.1，P(白/黑)＝0.2，P(黑/黑)＝0.8，求其熵H2(X)；
10.互信息的性质是什么？
11.熵的表达式、单位、含义是什么？
12.单符号离散信源最大熵是多少？信源概率如何分布时能达到？
13.熵的性质是什么？
14.联合熵、条件熵和熵的关系。
15.平均互信息的定义是什么？平均互信息的表达式怎么推导？
16.平均互信息的含义？
17.信道疑义度、损失熵和噪声熵的含义？
18.平均互信息的性质？（能够证明，并说明每个性质的含义）
解：
由题意可知该二元信道的转移概率矩阵为：
为一个BSC信道
所以由BSC信道的信道容量计算公式得到：
3.14电视图像编码中，若每帧为500行，每行划分为600个像素，每个像素采用8电平量化，且每秒传送30帧图像。试求所需的信息速率(bit/s)。
信息论复习题
信息论复习题信息论复习题第一、二章一、填空1、 1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2、信息、与信号，是通信理论中常用的三个既有联系又有区别的概念。
信息是系统中的对象，它包含在中。
消息是比较具体的概念，但不是物理的。
信号是表示的物理量。
在通信系统中，传送的本质内容是信息，发送时需要将信息表示成具体的消息，再将消息载至上，才能在实际的通信系统中传输。
3、不考虑加密处理，常用通信系统的物理模型包括信源、信源编码器、信道编码器、信道、和、、信宿七部分。
其中，信源负责向通信系统提供消息；，是消息传递的对象，即接收消息的人或机器；信道是传递消息的，是负责传送物理信号的设施。
4、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为。
5、自信息量的单位一般有。
6、必然事件的自信息是。
7、不可能事件的自信息量是。
8、两个相互独立的随机变量的联合自信息量等于。
9、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量。
10、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的。
11、若信源当前时刻发出的符号只与前m 个符号有关联，而与更前面的符号无关，则称这种信源为信源；若该信源的条件转移概率与时间起点无关，则进一步可称其为信源。
经过足够长时间，该信源处于什么状态已与初始状态无关，此时每种状态出现的概率达到了一种。
12、一维连续随机变量X 在[a ，b]区间内均匀分布时，其信源熵为。
13、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是。
14、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为。
15、对于离散信源，当时其信源熵具有最大值。
16、对于限平均功率的一维连续信源，当概率密度时，信源熵有最大值。
二、判断1、必然事件和不可能事件的自信息量都是0 。
信息论考试卷及答案
信息论考试卷及答案考试科⽬名称：信息论⼀. 单选（每空2分，共20分）1.信道编码的⽬的是（C ），加密编码的⽬的是（D ）。
A．保证⽆失真传输B．压缩信源的冗余度，提⾼通信有效性C．提⾼信息传输的可靠性D．提⾼通信系统的安全性2.下列各量不⼀定为正值的是（D ）A．信源熵B．⾃信息量C．信宿熵D．互信息量3.下列各图所⽰信道是有噪⽆损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独⽴，H（Y）=H（YX）6.⼀个n位的⼆进制数，该数的每⼀位可从等概率出现的⼆进制码元（0，1）中任取⼀个，这个n位的⼆进制数的⾃信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英⽂字母和空格，其最⼤信源熵为H0 = log27 = 4.76⽐特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03⽐特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32⽐特/符号；以此类推，极限熵H=1.5⽐特/符号。
问若⽤⼀般传送⽅式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下⾯不属于最佳变长编码的是（ D ）A ．⾹农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和⾹农编码D ．算术编码和游程编码⼆. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。
信息论复习题期末答案
信息论复习题期末答案1. 信息论的创始人是谁？答案：信息论的创始人是克劳德·香农。
2. 信息熵的概念是什么？答案：信息熵是衡量信息量的一个指标，它描述了信息的不确定性或随机性。
在信息论中，熵越高，信息的不确定性越大。
3. 请简述信源编码定理。
答案：信源编码定理指出，对于一个具有确定概率分布的离散无记忆信源，存在一种编码方式，使得信源的平均编码长度接近信源熵的值，且当信源长度趋于无穷大时，编码长度与信源熵之间的差距趋于零。
4. 什么是信道容量？答案：信道容量是指在特定的通信信道中，能够以任意小的错误概率传输信息的最大速率。
它是信道的最大信息传输率，通常用比特每秒（bps）来表示。
5. 香农公式是如何定义信道容量的？答案：香农公式定义信道容量为信道输入和输出之间的互信息量的最大值，可以表示为C = B log2(1 + S/N)，其中C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。
6. 差错控制编码的目的是什么？答案：差错控制编码的目的是为了检测和纠正在数据传输过程中可能发生的错误，以提高数据传输的可靠性。
7. 什么是线性码？答案：线性码是一种特殊的编码方式，其中任意两个合法编码的线性组合仍然是一个合法编码。
线性码通常可以用生成矩阵和校验矩阵来表示。
8. 卷积码和块码有什么区别？答案：卷积码和块码都是差错控制编码的类型，但它们的主要区别在于编码的结构和处理方式。
卷积码是连续的，其编码过程是按时间序列进行的，而块码是离散的，其编码过程是针对数据块进行的。
9. 什么是信道编码定理？答案：信道编码定理指出，对于任何给定的信道和任何小于信道容量的错误概率，都存在一种编码方式，可以使得错误概率趋近于零。
10. 请解释什么是信道编码的译码算法。
答案：信道编码的译码算法是一种用于从接收到的编码信号中恢复原始信息的方法。
常见的译码算法包括维特比算法、最大似然译码和最小均方误差译码等。
这些算法旨在最小化译码错误的概率。
信息论 复习题
【3.2】设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息相应编成下述码字：M1=0000，M2=0101，M3=0110，M4=0011M5=1001，M6=1010，M7=1100，M8=1111试问：（1）接收到第一个数字0与M1之间的互信息；（2）接收到第二个数字也是0时，得到多少关于M1的附加互信息；（3）接收到第三个数字仍为0时，又增加了多少关于M1的互信息；（4）接收到第四个数字还是0时，再增加了多少关于M1的互信息。
解：各个符号的先验概率均为1/8(1)根据已知条件，有因此接收到第一个数字0与M1之间的互信息为：（2）根据已知条件，有因此接收到第二个数字也是0时，得到多少关于M1的互信息为：得到的附加信息为：（3）根据已知条件，有因此接收到第三个数字也是0时，得到多少关于M1的互信息为：此时得到的附加信息为：（4）根据已知条件，有因此接收到第四个符号为0时，得到的关于M1的互信息为此时得到的附加信息为【3.3】设二元对称信道的传递矩阵为（1）若P(0)=3/4，P(1)=1/4，求H(X )，H(X | Y )，H(Y | X )和I (X;Y)；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。
解：（1）根据已知条件，有【3.5】若X 、Y 和Z 是三个随机变量，试证明：（1）I (X;YZ) = I(X;Y) + I(X;Z | Y) = I (X;Z) + I (X;Y | Z) （2）I (X;Y | Z) = I (Y; X | Z) = H(X | Z) - H(X | YZ) （3）I (X;Y | Z) ³0当且仅当(X, Z,Y)是马氏链时等式成立。
(3)【3.10】求下列两个信道的信道容量，并加以比较因此有【4.17】在图片传输中，每帧约个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。
试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30dB）。
信息论总复习题目
二、(5分)已知信源的概率密度函数为()10a x b p x b a ⎧≤≤⎪=-⎨⎪⎩其他，计算信源的相对熵。
()()()1lgbc aH x p x dx p x =⎰------3分 ()lg b a =-bit/自由度-------2分三、(10分)一个平均功率受限的连续信道，信道带宽为1MHz ，信道噪声为高斯白噪声。
(1)已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。
(2)如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？(3)如果信道带宽降为0.5MHz ，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？1) ()10lg 1NR c S =+------3分64.3910=⨯b/s---1分2) ()610 1.2710lg 1NR cS ==⨯+Hz---3分3) 21c w NR S =-=440----3分四、(16分)已知信源共7个符号消息，其概率空间为()12345670.20.170.20.170.150.100.01S s s s s s s s P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 试用霍夫曼编码法编成二进制变长码。
并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。
要求写出详细的编码过程和计算过程。
2 01 S1 0.22 00 S3 0.23 111 S2 0.173 110 S4 0.173 101 S5 0.154 1001 S6 0.104 1000 S7 0.010.20.110.150.170.170.20.260.170.170.20.20.340.20.20.260.260.340.40.60.41.0------6分712.71i i i L P τ===∑位----2分()721log 2.61i i i H s P P ===∑bit/符号--------2分2log 2.71R r τ==’bit/码字--------2分()20.963log H s rητ==----------2分()0.963H s R τ==bit/码元--------2分五、(16分)设一个离散无记忆信源的概率空间为()120.50.5X a a P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 它们通过干扰信道，信道输出端的接收符号集为Y =[b 1,b 2]，已知信源传输概率如下图所示。
信息论复习题
• 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？• 答：平均自信息为• 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
• 平均互信息•表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m 个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
• 最大熵值为3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R 指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
4.解释无失真变长信源编码定理。
答：只要 ，当N 足够长时，一定存在一种无失真编码。
5.解释有噪信道编码定理。
• 答：当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
6.离散平稳信源• 答：若信源输出的消息是取值离散的随机序列，随机序列的任意有限维的概率分布不随时间平移而改变，则称为离散平稳信源。
7.即时码答：如果在译码过程中只要接收到每个码字的最后一个符号就可立即将该码字译出，这种码称为即时码。
8.信道容量答：信息能够可靠传输的最大信息传输速率。
9.信源信道编码定理• 答：设有一离散无记忆平稳信道的每秒容量为C ，一个离散信源每秒的熵为H ，那么，如果H < C ，总存在一种编码系统，使得信源的输出以任意小的错误概率通过信道传输；反之，如果H > C 时，对任何编码编码系统，译码差错率>010.信道疑义度• 答：设信道的输入与输出分别为X 、Y ，定义条件熵H(X/Y)为信道疑义度。
它有如下含义：• 信道疑义度表示接收到Y 条件下X 的平均不确定性；根据I(X;Y)=H(X)-H(X/Y)，信道疑义度又表示X 经信道传输后信息量的损失； 接收的不确定性由信道噪声引起，在无噪情况下，H(X/Y)=0。
信息论考题及答案
一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有1H(X,Y)()()logP()()11()()log()()log ()()11()log()log ()()()()xyxyxy xy P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑二、（50分）联合总体X ，Y 具有如下联合分布。
XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？ 解答：(1) H(X,Y)=3.375(2) H(X)=2, H(Y)=1.75(3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5(4)H(X|Y)=1.1264(5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？ 解：(1|1)P x y ===(1|1)(1)(1|)()xP y x P x P y x P x ===∑==9.015.01.085.01.085.0⨯+⨯⨯=22.0085.0=0.39一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+=二、（50分）联合总体X ，Y 具有如下联合分布。
XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
信息论复习题及答案
1.（15分） 彩色电视显象管的屏幕上有5×105 个象元，设每个象元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现并且各个组合之间相互独立。
① 计算每秒传送25帧图象所需要的信道容量；② 如果在加性高斯白噪声信道上信号与噪声平均功率的比值为63，为实时传送彩色电视的图象，信道的带宽应为多大？2．（15分）已知一个信源包含八个符号消息,它们的概率分布如下表,① 该信源每秒钟内发出一个符号,求该信源的熵及信息传输速率。
② 对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。
③ 对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。
3．（15分）一信源产生概率为995.0)0(,005.0)1(==P P 的统计独立二进制数符。
这些数符组成长度为100的数符组。
我们为每一个含有3个或少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。
① 求出为所规定的所有源符组都提供码字所需的最小码长。
② 求信源发出一数符组，而编码器无相应码字的概率。
4．（15分） 求下图中DMC 的信道容量。
如果输入分布为{p(x=0)=1/2，p(x=1)=1/4，p(x=2)=1/4），试求输入的信息熵和经过该信道的输入、输出间的平均互信息量。
5．（15分）设二元（7, 4）线性分组码的生成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G给出该码的一致校验矩阵并写出所有的伴随式和与之相对应的陪集首。
若接收矢量)0001011(=v ，试计算出其对应的伴随式S 并按照最小距离译码准则试着对其译码6．（15分）证明最小错误概率译码与最大似然译码在先验等概的条件下等价。
设M ＝2且两个消息等概，令)0000(1=x ，)1111(2=x 。
通过信道转移概率p<1/2的信道传输。
若将译码区间分为}1000,0100,0010,0001,0000{1=Y }0111,011,1101,110,1111{2=Y }0101,1010,1001,0110,1100,0011{3=Y 试给出译码错误概率和有错而不能判决的概率。
信息论概念复习题
信息论概念复习题一、填空1、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
3、信息的可度量性是建立信息论的基础。
4、统计度量是信息度量最常用的方法。
5、熵是香农信息论最基本最重要的概念。
6、事物的不确定度是用时间统计发生概率的对数来描述的。
7、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
8、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
9、自信息量的单位一般有比特、奈特和哈特。
10、必然事件的自信息是 0 。
11、不可能事件的自信息量是∞。
12、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
13、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
14、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N 倍。
15、离散平稳有记忆信源的极限熵，。
16、对于n元m阶马尔可夫信源，其状态空间共有 n m个不同的状态。
17、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为log2（b-a）。
18、平均功率为P的高斯分布的连续信源，其信源熵，H c（X）=。
19、当 R=C 时，信源与信道达到匹配。
20、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。
21、具有一一对应关系的无噪信道的信道容量C= log2n 。
22、对称信道的信道容量C= log2m-H mi 。
23、对于离散无记忆信道和信源的N次扩展，其信道容量C N= NC 。
24、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。
25、高斯加性信道的信道容量C=。
26、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息率小于信道容量。
信息论考试卷与答案..
考试科目名称：信息论一. 单选（每空2分，共20分）1.一个m位的二进制数的自信息量为（A ）A．m bitB．1 bitC．m2mD．22.信源编码的目的是（A ）A．提高通信有效性B．提高信息传输的可靠性C．提高通信系统的安全性D．压缩信源的冗余度3.下面属于最佳变长编码的是（C ）A．算术编码和游程编码B．香农编码和游程编码C．哈夫曼编码和费诺编码D．预测编码和香农编码4.表中符合即时码的是（A ）和（D ）5.下列各量可能为负值的是（B ）A．自信息量B．互信息量C．信息熵D．平均互信息量6.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系错误的是（D ）A．H（XY）＝H（X）＋H（Y／X）B．若X和Y相互独立，H（Y）=H（Y／X）C．H（XY）＝H（Y）＋H（X／Y）D．H（XY）＝H（X）＋H（X／Y）7.已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32=1.4比特/符号。
问若用一般传送比特/符号；以此类推，极限熵H∞方式，冗余度γ为（ B ）A．0.58B．0.71C．0.65D．0.298. 某信道传递矩阵为，其信道容量为（ D ）A ．)41log 4143log 43()81,81,41,21(4log ++-=H C B ．)41log 4343log 41()81,81,41,21(2log +--=H C C ．)41log 4143log 43()81,81,41,21(4log +--=H CD ．)41log 4143log 43()81,81,41,21(2log +--=H C9. 下列各图所示信道是对称信道的是（ C ）A ．B ．C ．⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8181214181814121PD．二. 综合（共80分）1.（10分）试画出通信系统的模型，并叙述各部分的定义和作用。
《信息论》试题（精华）及答案（精华版）
期终练习,10％就是胖子 ,80％不胖不瘦 ,10％就是瘦子；已知胖子得高血压的概率 一，某地区的人群中 就是 15％ ,不胖不瘦者得高血压的概率就是 10％,瘦子得高血压的概率就是 5％ ,就“该地区的 某一位高血压者就是胖子”这句话包含了多少信息量；解: 设大事 A: 某人就是胖子 ; B: 某人就是不胖不瘦 C:某人就是瘦子D: 某人就是高血压者依据题意 ,可知 :P(A)=0 ， 1 P(B)=0 ， 8 P(C)=0 ，1P(D|A)=0 ， 15 P(D|B)=0 ， 1 P(D|C)=0 ， 05而“该地区的某一位高血压者就是胖子” 这一消息说明在 D 大事发生的条件下 ,A 大事 的发生 ,故其概率为 依据贝叶斯定律 P(A|D),可得 :P(D) ＝ P(A)* P(D|A) ＋ P(B)* P(D|B) ＋P(C)* P(D|C) ＝ 0， 1P(A|D) ＝ P(AD)/P(D) ＝ P(D|A)*P(A)/ P(D) ＝ 0， 15*0 ， 1/0， 1＝ 0，15故得知“该地区的某一位高血压者就是胖子”这一消息获得的多少信息量为 I(A|D) = - logP(A|D)=log(0 ，15) ≈ 2， 73 (bit): 二，设有一个马尔可夫信源 ,它的状态集为 {S 1,S 2,S 3}, 符号集为 {a 1,a 2,a 3 }, 以及在某状态下发出 p (a k | s i ) (i,k=1,2,3), 如下列图符号集的概率就是 (1) 求图中马尔可夫信源的状态极限概率并找出符号的极限概率(2) 运算信源处在某一状态下输出符号的条件熵 H(X|S=j) (j=s 1,s 2,s 3)(3) 求出马尔可夫信源熵 H解 :(1) 该信源达到平稳后 , 有以下关系成立 :Q( E 1 ) Q(E 3 ) 273727Q(E 1 )3 4 1 4 1 2 1 2 Q( E 2 ) Q(E 1 ) Q( E 2 )Q(E )可得 2 Q( E 3 ) Q(E 1 ) Q( E 2 )Q(E ) 3Q( E 1 ) Q(E 2 ) Q(E 3 ) 133 72 73 7 p(a 1)Q(E i ) p( a 1 |E i ) i 13 p(a 2 )Q(E i ) p(a 2 |E i ) i 1 3p(a ) Q(E ) p(a |E ) 3 i 3 i i 13 p(a k |S 1 ) log p(a k | S 1) 1.（5 bit/ 符号）H ( X | S 1 ) k 13（1 bit/ 符号）(2) H ( X | S 2 ) p(a k |S 2 ) log p(a k | S 2 ) k 13p(a k |S 3 ) log p(a k | S 3 ) 0（bit/ 符号）H ( X | S 3 ) k 13(3) H Q(E i ) H (X | E i ) 2 / 7*3/ 2 3/ 7*1 2 / 7*0 6 / 7 (比特 /符号 )i 1三，二元对称信道的传递矩阵为 (1) 如 P(0)=3/4,P(1)=1/4, 求 H(X),H(X|Y) 与 I(X;Y)(2) 求该信道的信道容量及其最大信道容量对应的正确输入分布2解: ⑴ H ( X ) = p(x i )log p( x i ) 75 25 0， 811(比特 /符号 )= i 1p( y 1 ) p( x 1 ) p( y 1 | x 1 ) p( x 2 ) p( y 1 | x 2 ) =0，75*0 ，6+0 ， 25*0 ， 4=0 ， 55 p( y 2 ) p( x 1 ) p( y 2 | x 1 ) p( x 2 ) p( y 2 | x 2 ) 0， 75*0 ， 4+0 ， 25*0 ， 6=0， 45 H (Y) 0， 992(比特 /符号 )H (Y | X ) p( x)H (Y | x 1) p(x 2 ) H (Y | x 2 ) H (0.6,0.4) H (0.4,0.6) 0.4)7（1 比特 / 符号）H ( X | Y ) H ( XY ) H (Y) H ( X ) H (Y | X ) H (Y)0， 811+0， 971-0 ， 992=0， 79 (比特 /符号 )I(X;Y)=H(X)-H(X|Y) =0， 811-0， 79=0， 021(比特 /符号 )(2) 此信道为二元对称信道 ,所以信道容量为C=1-H(p)=1-H(0 ， 6)=1-0 ， 971=0， 029( 比特 /符号 )当输入等概分布时达到信道容量p p 22pp2244,其中p 1 p ；四，求信道的信道容量0 44 0p p 22pp22解: 这就是一个准对称信道,可把信道矩阵分为: ,N1 M 1 1 4 , N 2 4 , M 422C log r H ( p 2, p 2 ,0,4 ) Nk log Mkk 1log 2 H ( p 2 , p 2 ,0,4 )(1 4 )log(1 44)4log 4(比特/ 符号）故1H ( p 2 , p 2 ,4 ) (1 4 )log(1 4 ) log 4 当输入等概分布时达到信道容量；1XP( x) x1x2x3x4x5x6五，信源(1) 利用霍夫曼码编成二元变长的惟一可译码,并求其L,并求其L(2) 利用费诺码编成二元变长的惟一可译码(3) 利用香农码编成二元变长的惟一可译码(1) 香农编码:,并求其信源符号x 1x 2x 3x 4x 5x 6概率P(x i)0，40，20，20，10，050，05码长233455累积概率0，40，60，80，90，95码字0001110011001110011110l i PL =0 ，4×2＋0，2×3＋0，2×3＋0，1×4＋0，05×5＋0，05×5＝2，9(码元/信源符号)η＝H(X)/( L logr)=2 ，222/2，9=0 ，7662(2) 霍夫曼编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)=0 ，9964(3)费诺编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)= 0 ，99641 21312161613121613六，设有一离散信道,传递矩阵为设P(x1 )= P(x 2)=1/4,P(x 3)=1/2,试分别按最小错误概率准就与最大似然译码准就确定译码规章并相应的运算机平均错误概率的大小；解:(1) 按最大似然译码准就,F(y1)=x1 F(y2)=x2 F(y3)=x3P(E)=1/2(1/3+1/6)+1/4 ×2×(1/3+1/6)=1/2(2) 联合概率矩阵为,就按最小错误概率准1 8 1 24 1 61121811212411214F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/240,131,13213UP(u)八，一个三元对称信源0 1 1 1 0 1 11接收符号为 V ＝ {0,1,2}, 其失真矩阵为 (1)求 D max 与 D min 及信源的 R(D) 函数；(2)求出达到 R(D ) 的正向试验信道的传递概率1 r2 3解 :(1) D max ＝ min P （ u ) d(u ,v) 1 V U 3D min ＝ P （ u ) min d (u , v) 0 j i 1由于就是三元对称信源 ,又就是等概分布 ,所以依据 r 元离散对称信源可得 R(D) ＝log3 － Dlog2 －H(D) ＝ log3 － D － H(D) 0<=D<=2/3＝ 0 D>2/3(2)满意 R(D) 函数的信道其反向传递概率为1 D (i j )P(u i | v j ) D2 (i j )13以及有 P(v j )= 依据依据贝叶斯定律 ,可得该信道的正向传递概率为 :1 D2 D (i j )P( v j | u i ) (i j )九，设二元码为 C=[11100,01001,10010,00111](1) 求此码的最小距离 d min ;(2) 采纳最小距离译码准就 ,试问接收序列 10000,01100 与 00100 应译成什么码字？(3) 此码能订正几位码元的错误？解:(1) 码距如左图11100 01001 10010 001111110001001 10010 00111 33 4 43 3故 d min ＝ 3(2) 码距如右图故 10000 译为 译为 11100,00100 译为 11100 或 0011110010,01100 d min 2 e 1,知此码能订正一位码元的错误；(3) 依据。
信息论复习题1
第二章 信息的度量1、居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？2、设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？3、某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。
(1) 求符号的平均熵；(2) 有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。
4.已知随机变量X、Y的联合概率分布如表1所示，求联合熵H(XY)，自信息的熵H(X)、H(Y)，条件熵H(Y|X)、H(X|Y)，互信息I(X; Y)。
5、有两个二元随机变量X和Y，它们的联合概率为并定义另一随机变量Z = XY（一般乘积），试计算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
6、有两个随机变量X和Y，其和为Z = X + Y（一般加法），若X和Y相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)。
第三章信源及信源熵1、设有一个信源，它产生0，1序列的信息。
它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论-复习题【3.2】设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息相应编成下述码字：M1=0000，M2=0101，M3=0110，M4=0011M5=1001，M6=1010，M7=1100，M8=1111试问：（1）接收到第一个数字0与M1之间的互信息；（2）接收到第二个数字也是0时，得到多少关于M1的附加互信息；（3）接收到第三个数字仍为0时，又增加了多少关于M1的互信息；（4）接收到第四个数字还是0时，再增加了多少关于M1的互信息。
解：各个符号的先验概率均为1/8(1)根据已知条件，有2因此接收到第一个数字0与M1之间的互信息为：（2）根据已知条件，有因此接收到第二个数字也是0时，得到多少关于M1的互信息为：得到的附加信息为：（3）根据已知条件，有3因此接收到第三个数字也是0时，得到多少关于M1的互信息为：此时得到的附加信息为：（4）根据已知条件，有因此接收到第四个符号为0时，得到的关于M1的互信息为此时得到的附加信息为4【3.3】设二元对称信道的传递矩阵为（1）若P(0)=3/4，P(1)=1/4，求H(X )，H(X | Y )，H(Y | X )和I (X;Y)；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。
解：（1）根据已知条件，有567【3.5】若X 、Y 和Z 是三个随机变量，试证明：（1）I (X;YZ) = I(X;Y) + I(X;Z | Y) = I (X;Z) + I (X;Y | Z) （2）I (X;Y | Z) = I (Y; X | Z) = H(X | Z) - H(X | YZ) （3）I (X;Y | Z) ³0当且仅当(X, Z,Y)是马氏链时等式成立。
8910(3)【3.10】求下列两个信道的信道容量，并加以比较因此有【4.17】在图片传输中，每帧约个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。
试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30dB）。
解：每秒需要传输的信息量为：【4.18】设在平均功率受限高斯加性波形信道中，信道带宽为3kHz，又设（信号功率+噪声功率）/噪声功率=10dB。
（1）试计算该信道传送的最大信息率（单位时间）；（2）若功率信噪比降为5dB，要达到相同的最大信息传输率，信道带宽应为多少？解：（1）根据已知条件有，（2）如果功率信噪比降为5dB，即因此解：【5.2】有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E 和F。
（1）求这些码中哪些是惟一可译码；（2）求哪些码是非延长码（即时码）；（3）求对所有惟一可译码求出其平均码长L 。
解：（1）上述码字中，A 为等长码，且为非奇异码，因此码A 为惟一可译码；码B 中，根据惟一可译码的判断方法，可求得其尾随后缀集合为{1,11,111,1111,11111}，且其中任何后缀均不为码字，因此码B是惟一可译码。
码C 为逗点码，因此码C 为惟一可译码；码D 不是惟一可译码，因为其尾随后缀集合中包含0，而0又是码字；码E的尾随后缀集合为空集，因此码E是惟一可译码；码F不是惟一可译码，因为其尾随后缀集合中包含0，而0又是码字，因此F不是惟一可译码。
（2）码A、C、E是即时码（非延长码）（3）码A 的平均码长为3；码B 的平均码长为2.125；码C 的平均码长为2.125；码F的平均码长为2。
【5.3】证明定理5.6，若存在一个码长为l1,l2, ,lq的惟一可译码，则一定存在具有相同码长的即时码。
如果存在码长为的惟一可译码，则必定满足如下不等式而如果码长满足上述不等式，根据Kraft 不等式构造即时码的方法，可以构造出码长为的即时码，具体构造过程略，参照课本相关定理。
【5.5】若有一信源每秒钟发出2.66 个信源符号。
将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的），而信道每秒钟只传递两个二元符号。
试问信源不通过编码能否直接与信道连接？若通过适当编码能否中在信道中进行无失真传输？若能连接，试说明如何编码并说明原因。
解：如果不通过编码，即信道的两个码符号对应两个信源符号，而信道传输码符号的速度小于信源发出信源符号的速度，因此势必会造成信源符号的堆积，因此不通过编码是无法将信源与信道直接连接。
信源平均每秒发出的信息量为而该信道的信道容量为1比特/符号，平均每秒能够传输的最大信息量为2比特，因此通过编码可以实现二者的连接。
若要连接，需要对扩展信源的信源符号进行编码，目的是使送入信道的信息量小于信道每秒能接收的最大信息量（或使每秒钟编码后送入信道的码符号个数必须小于信道所能接受的最大码符号个数），具体编码方法将在第八章进行。
【5.6】设某无记忆二元信源，概率(1) 0.1 1 p = P = ，(0) 0.9 0 p = P = ，采用下述游程编码方案：第一步，根据0的游程长度编成8个码字，第二步，将8个码字变换成二元变长码，如下表所示。
（1）试问最后的二元变长码是否是否是惟一可译码；（2）试求中间码对应的信源序列的平均长度；（3）试求中间码对应的二元变长码码字的平均长度；（4）计算比值，解释它的意义，并计算这种游程编码的编码效率；解：（1）该码是非延长码，因此肯定是惟一可译码；（2）由于信源本身是无记忆的，因此各信源符号的概率如下表所示。
因此信源序列的平均长度为（3）中间码对应的二元变长码码长为（4），反应了每个信源符号需要的二元码符号数。
平均每个信源符号的信息量为编码效率为【8.2】设二元霍夫曼码为(00,01,10,11)和(0,10,110,111)，求出可以编得这样霍夫曼码的信源的所有概率分布。
解：二元霍夫曼编码的过程必定是信源缩减的过程，编码为(00,01,10,11)的信源，其码树如下图所示。
假设四个信源符号的概率分别是p1 , p2 , p3 , p4 ，假设，则必定有如下条件成立又，即，因此要构造上述编码，必定要满足而编码为(0,10,110,111)的码树如下图所示：如果按上述情况进行编码，必定要满足，根据可得，因此完成上述编码的概率分布为：【8.3】设信源符号集（1）求H(S)和信源冗余度；（2）设码符号为X ={0,1}，编出S 的紧致码，并求S 的紧致码的平均码长；（3）把信源的N 次无记忆扩展信源编成紧致码，试求出N = 2,3,4,∞时的平均码长；（4）计算上述N =1,2,3,4这四种码的编码效率和码冗余度。
解：（1）信源熵为H(S) = -∑P(x)log P(x) = 0.469比特/符号因此得信源冗余度为（2）对其进行紧致码编码，二个信源符号一个编码为0，一个编码为1，因此平均码长为1码符号/信源符号；（3）对原码字进行二次扩展，其信源空间为：进行Huffman编码，得码字如下：平均码长为：对原信源进行三次扩展，得扩展信源空间为进行Huffman编码，码字如下：扩展信源的平均码长为：当时，根据香农第一定理，平均码长为：（5）编码效率为：因此有不进行信源扩展时，编码效率为：进行一次扩展时，编码效率为：进行二次扩展时，编码效率为：当时，编码效率趋向于1。
可以达到高效的无失真编码，这一点与等长码有很大的不同。
【8.4】信源空间为码符号为X {0,1,2}，试构造一种三元的紧致码。
解：原信源有8 个信源符号，为了有效利用短码，需对原信源进行扩展，添加1 个概率为0的信源符号，使其满足9=2*3+3成立。
编码过程如下：【8.5】某气象员报告气象状态，有四种可能的消息：晴、去、雨和雾。
若每个消息是等概率的，那么发送每个消息最少所需的二元脉冲数是多少？又若四个消息出现的概率分别为1/4 1/8 1/8和1/2，问在此情况下消息所需的二元脉冲数是多少？如何编码？解：平均每个消息携带的信息量为2比特，因此发送每个消息最少需要的二元脉冲数为2。
如果四个消息非等概率分布，采用紧致码编码，可使得所需要的二元脉冲数最少，编码过程如下：平均码长为：二元码符号/信源符号即在此情况下消息所需的二元脉冲数为1.75个。
【8.9】现有一幅已离散量化后的图像，图像的灰度量化分成8 级，见下表。
表中数字为相应像素上的灰度级。
另有一无损无噪二元信道，单位时间（秒）内传输100个二元符号。
（1）现将图像通过给定的信道传输，不考虑图像的任何统计特性，并采用二元等长码，问需要多长时间才能传完这幅图像？（2）若考虑图像的统计特性（不考虑图像的像素之间的依赖性），求此图像的信源熵H(S)，并对灰度级进行霍夫曼最佳二元编码，问平均每个像素需用多少二元码符号来表示？这时需多少时间才能传送完这幅图像？（3）从理论上简要说明这幅图像还可以压缩，而且平均每个像素所需的二元码符号数可以小于H(S)比特。
解：（1）采用二元等长码，不考虑信源符号的统计特性，平均每个灰度需要3 位二进制表示，在10*10 的图像上，共需300 位二进制表示，以每秒传输100 位计算，共需3秒钟传输。
（2）统计图像中各灰度级的出现次数：如果考虑信源符号的统计特性，对上述灰度级进行编码，如下图所示。
得如下码字：。