信息熵

化为典型监督矩阵形式，并
写出它所对应的生成矩阵，然后列出一个标准阵列，判断 码字1101101是否是正确码字，如果不是，应译为的正确码 字是多少？
9、平均互信息量与熵间的相互关系
10、信道容量的定义，掌握几种特殊信道的信道容量的 求解方法
11、信息处理定理 12、连续信源的各种相对熵表达式 13、几种特殊分布的连续信源的相对熵 14、香农信道容量公式
测验题
X x1 x2 1、设信源 = P(X) 0.6 0.4 为Y=[y1,y2]，信道矩阵为 5/6 1/4 通过一干扰信道，接收符号 1/6 3/4
第二章 信息论基础
百度文库1、信息的定义以及它与概率的关系
2、自信息量的定义及其表达式
3、熵即平均信息量的表达式 4、熵函数的几个重要性质 5、联合熵、边际熵、条件熵各自的表达式及其物理意义 6、各种熵间的相互关系 注意两个重要不等式的特点及运用 7、信道的分类以及信道矩阵的特点
8、互信息量和平均互信息量的表达式及其物理含义
，求
(1) 信源X中事件x1和x2分别含有的自信息量。 (2) 信源X和信源Y的信息熵 (3) 信道疑义度H(X/Y)、噪声熵H(Y/X)、平均互信息量I(X;Y)
2、设信源
x1 x2 x3 x4 x5 x6 x7 x8 X = 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128 P(X) (1) 计算信源熵 (2) 编三进制霍夫曼编码，并求平均码长和编码效率 (3) 编二进制仙农-范诺编码，并求平均码长和编码效率。 1111111 1011100 3、将监督矩阵H= 1110010 0111001