信息论与编码(第2版)题库

H(X)≥0,X=1 时，H(X)=0 H(0,1)=H(1,0,0,…0)=0
H(Y/X)≤H(Y) 当 x，y 两个信源相互独立时，条件熵等于信源熵
1）将信源消息符号按其出现概率大小依次排列为 p1≥p2≥…≥pn 2）确定满足下列不等式的整数码长 Ki 为-lb(pi) ≤Ki<-lb(pi)+1 3）为了编成唯一可译码，计算第 i 个消息的累加概率 pi=
对 错 对 对 对 对 （P101）
百度文库
p(xi)， 即平均每个符号所能提供的信息量。
物理意义：信源的平均不确定度。 2.平均互信息量：I(xi, yj)=log
p(xi /yj ) p(xi )
物理意义：信源的平均不确定度的减少 3.最大熵定理： 离散无记忆信源输出 M 个不同的信息符号，当且仅当各个符号出现概率相 等时（即 pi=1/M） ，熵最大。H(X)≤log M （离散无记忆信源等概率分布时，熵最大） 4.熵的性质 1）非负性 2）确定性 3）对称性 4）香农辅助定理 5）最大熵定理 6）条件熵小于无条件熵 5.准对称 DMC 信道： 如果转移概率矩阵 P 是输入对称而输出不对称，即转移概率矩阵 P 的每一 行都包含同样的元素，而各列的元素可以不同，则该信道是准对称 DMC 信道。 6.香农编码方法步骤：
3. 香农编码有香农第一定理提出 4. 减少差错概率 pe 的方法：增大信道容量 C，减小码率 R，增大码长 N 5. 书 上 2-6 ， 解 ： p(1,2)+p(2,1)=1/18 ， 则 之 和 为 3 时 信 息 量 I=-lb1/18 ； p(1,6)+p(6,1)+p(5,2)+p(2,5)+p(3,4)+p(4,3)=1/6，则之和为 7 时信息量 I=-lb1/6 判断题： 1. 信息的基本概念在于它的不确定性 2. 消息就是信息 3. 自信息量即出现概率的对数的负值 4. 克莱夫特不等式时唯一可译码存在的充要条件 5. 信源编码就是压缩它的冗余度来实现的 6. 信道无失真传输的条件信息率小于信道容量 简答题： 1.平均自信息量： E(I(X))=i p(xi)log
填空题： 1. 简单的通信模型包括：信源、信道、信宿 2. 定义具有概率为 p(xi)的符号 xi 的自信息量为 I(xi)=-log p(xi) 自信息量的特性：p(xi)=1，则 I(xi)=0；p(xi)=0，则 I(xi)=∞。 单调递减性：若 p(x1)< p(x2) ，则 I(x1) >I(x2) 3. 信道分为有线信道和无线信道 4. 根据码长个数，分为定长编码和变长编码 5. 二元序列到游程序列，如二元序列为 001110011111，则游程序列为 2325 6. 运用纠/检错码进行差错控制的基本方式分为三类：前后纠错、反馈重发、混 合纠错 7. 根据加密时对明文数据的处理方式的不同，可以把密码分为换位密码和替代 密码 8. 线性分组码有循环码和汉明码，线性分组码是具有线行特性和分组特性的码 9. 信息论理论基础的建立， 一般来说开始于香农在研究通信系统时发表的论文， 即美国数学家香农发明了信息论 10. N 次扩展的熵是离散信源熵的 N 倍 11. 当消息通过多级处理器时，随着处理器数目的增多，输入消息与输出消息之 间的平均互信息量趋于变小 12. BSC 为无记忆二进制信道 13. 条件熵≤无条件熵 14. D≤D 保真度准则 15. 按树图法构成的码一定是即时码 16. 信源编码——信息的有效性； 信道编码——可靠性； 加密编码——安全性 17. 自信息量与熵都是非负的 选择题 1. 在 u0--一个 0 发出，u1--一个 1 发出，v0--一个 0 收到，v1--一个 1 收到。则 H(V/u0)为已知发出一个 0，求收到符号后得到的信息量； H(V/U)为已知发出的符号，求收到符号后得到的信息量 2. 本身的不确定度与提供的自信息量区别：单位一样，数量一样，含义不一样 （在文字、 图像、 条件、 信号中， 信号不属于消息）
i −1 k=1 p(ak)
4）将累加概率 pi 变换成二进制数 5）取 pi 二进制数的小数点后 ki 位即为该消息符号的二进制码字 7.限失真信源编码的中心任务： 有失真信源编码的失真范围受限，又称为限失真信源编码。有失真信源编码 的中心任务：在允许的失真范围内把编码后的信息率压缩到最小。