(完整版)老师整理的信息论知识点

Chp02知识点： 自信息量：1）)(log )(i i x p x I -=2）对数采用的底不同，自信息量的单位不同。

2----比特（bit ）、e----奈特（nat ）、10----哈特（Hart ） 3）物理意义：事件i x 发生以前，表示事件i x 发生的不确定性的大小；事件i x 发生以后，表示事件i x 所含有或所能提供的信息量。

平均自信息量（信息熵）：1）)(log )()]([)(1i qi i i x p x p x I E x H ∑=-==2）对数采用的底不同，平均自信息量的单位不同。

2----比特/符号、e----奈特/符号、10----哈特/符号。

3）物理意义：对信源的整体的不确定性的统计描述。

表示信源输出前，信源的平均不确定性；信源输出后每个消息或符号所提供的平均信息量。

4）信息熵的基本性质：对称性、确定性、非负性、扩展性、连续性、递推性、极值性、上凸性。

互信息：1）)()|(log)|()();(i j i j i i j i x p y x p y x I x I y x I =-=2）含义：已知事件j y 后所消除的关于事件i x 的不确定性，对信息的传递起到了定量表示。

平均互信息：1）定义：2）性质：联合熵和条件熵：各类熵之间的关系：数据处理定理：Chp03知识点：依据不同标准信源的分类： 离散单符号信源：1）概率空间表示：2）信息熵：)(log )()]([)(1i qi i i x p x p x I E x H ∑=-==，表示离散单符号信源的平均不确定性。

离散多符号信源：用平均符号熵和极限熵来描述离散多符号信源的平均不确定性。

平均符号熵：)...(1)(21N N X X X H NX H =极限熵（熵率）：)(lim )(X H X H N N ∞>-∞= （1）离散平稳信源（各维联合概率分布均与时间起点无关的信源。

）（2）离散无记忆信源：信源各消息符号彼此互不相关。

①最简单的二进制信源：01()X p x p q ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源输出符号只有两个：“0”和“1”。

②离散无记忆信源的N 次扩展：若信源符号有q 个，其N 次扩展后的信源符号共有q N 个。

离散无记忆信源X 的N 次扩展信源X N的熵：()()()()()1212101,(1,2,,);1r r ri i i a a a X p a p a p a P p a i r p a =⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦≤≤==∑LLL等于信源X 的熵的N 倍，表明离散无记忆信源X 的N 次扩展信源每输出1个消息符号（即符号序列）所提供的信息熵是信源X 每输出1个消息符号所提供信息熵的N 倍。

离散无记忆信源X 的N 次扩展信源X N极限熵（熵率）为：)()(1lim )(lim )(X H X NH NX H X H N N N =⨯==∞>-∞>-∞ （3）离散有记忆信源—》马尔可夫信源—》时间和状态都是离散的马尔可夫过程称为马尔可夫链1）用分布律描述： 2）转移概率：即条件概率。

3）转移概率矩阵：用)(n p ij 表示n 步转移概率矩阵。

且n ij ij p n p ))1(()(=，，会写出马氏链的一步转移概率矩阵，会画状态转移图，能够求出n 步转移概率矩阵。

4）遍历性的概念：求解马氏信源的遍历性，即找一正整数m ，使m 步转移概率矩阵)(m p ij 中无零元。

求解马氏遍历信源的信息熵步骤：（1） 根据题意画出状态转移图，判断出是平稳遍历的马尔可夫信源；（2） 根据状态转移图写出一步转移概率矩阵，计算信源的极限分布{}q W W W W ,......,,21=即是求解方程组：⎪⎩⎪⎨⎧==∑=qi i W WPW 11（3） 根据一步转移概率矩阵和极限概率W 计算信源的信息熵：极限熵H ∞ 等于条件熵H m+1。

（m 阶马尔可夫信源的熵率）信源的相关性和剩余度：，用来衡量信源输出的符号序列中各符号之间的依赖程度。

当剩余度＝0时，信源的熵＝极大熵H 0，表明信源符号之间： (1)统计独立无记忆;(2)各符号等概分布。

连续信源： （1） 微分熵：i. 定义： ii.物理意义：（2） 连续信源的联合熵和条件熵 （3） 几种特殊连续信源的熵：a) 均匀分布的连续信源的熵：)(log )(2a b X H c -=b) 高斯分布的连续信源的熵：222log 21)(σπe X H c =【概率密度函数：222)(221)(σπσm x ex p --=】c) 指数分布的连续信源的熵：me X H c 2log )(= 【概率密度函数：m xe mx p -=1)(】（4） 最大连续熵定理：11H H γη∞=-=-a)限峰值功率的最大熵定理（输出幅值受限）：均匀分布b)限平均功率的最大熵定理（输出平均功率受限）：高斯分布（5）熵功率及连续信源的剩余度\Chp04知识点：一、 一些基本概念：1． 什么是信道？信道的作用，研究信道的目的。

2． 一般信道的数学模型，信道的分类（根据输入输出随即信道的特点，输入输出随机变量个数的多少，输入输出个数，有无干扰，有无记忆，信道的统计特性进行不同的分类） 3． 前向概率p(yj /xi)、后向概率/后验概率p(xi /yj)、先验概率p(xi) 。

4． 几个熵的含义：✧ H(X) ---表示信源的不确定性；✧ H(X|Y)--- 信道疑义度，表示如果有干扰的存在，接收端收到Y 后对信源仍然存在的不确定性。

也称为损失熵，表示信源符号通过有噪信道传输后所引起的信息量的损失。

✧ H(Y|X)--- 噪声熵，它反映了信道中噪声源的不确定性。

二、 离散信道：1． 单符号离散信道：a)信道模型的表示：传递矩阵（有传递(条件、转移)概率p(yj|xi)组成）；b) 信道的信息传输率：R=I(X;Y)—表示接收到输出符号集Y 后所消除的对于信源X 的不确定性，也就是获得的关于信源的信息。

它是平均意义上每传送一个符号流经信道的信息量。

关于I （X;Y ）的性质：I(X;Y)是信源概率分布p(xi)和信道转移概率p(yj|xi)的二元函数：11(/)(/)22()()(/)1111()()(/)()()(/)(;)()log ()(/)log j i j i nj i j i i nj i j i i j i j i i n mn mp y x p y x i j i j i p y p x p y x i j i j p y p x p y x p x y p x p y x I X Y p x y p x p y x ========∑==∑∑∑∑∑那么，当信道特性p(yj /xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。

调整p(xi)，在接收端就能获得不同的信息量。

由平均互信息的性质已知，对于给定的信道转移概率p(yj /xi)，I(X;Y)是输入分布p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。

那么这个最大的信息传输率即为信道容量。

c) 信道容量概念：在信道中最大的信息传输速率()()max max (;)(/)i i p x p x C R I X Y ==比特信道符号对于给定的信道，总能找到一个最佳输入分布使得I(X;Y)得到极大值。

d) 信道容量的含义：信道容量是完全描述信道特性的参量，信道容量是信道传送信息的最大能力的度量，信道实际传送的信息量必然不大于信道容量。

2． 几种特殊离散信道的信道容量：a) 具有一一对应关系的无噪信道：n---输入符号数 ，m---输出符号数当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量C ：b) 具有扩展性能的无损信道：c) 具有归并性能的无噪信道：注意：在求信道容量时，调整的始终是输入端的概率分布p(xi) ，尽管信道容量式子中平均互信息I(X;Y)等于输出端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概率分布p(xi) ，而不能用输出端的概率分布p(yj)来代替。

也就是一定能找到一种输入分布使输出符号Y 达到等概率分布。

d) 行对称信道的信道容量：),...,,()}({max ''2'1)(s x p p p p H Y H C -=e) 离散对称信道的信道容量：若一个离散对称信道具有r 个输入符号，s 个输出符号，则当输入为等概分布时达到信道容量，且，其中为信道矩阵中的任一行。

f)均匀信道的信道容量为g) 准对称信道的信道容量：),...,,(log log ''2'1122s nk k kp p p H M Nr C --=∑=，其中Nk是n 个子矩阵中第k 个子矩阵中行元素之和，Mk 是第k 个子矩阵中列元素之和。

h) 二元对称信道的信道容量：C=1-H(p) p 为错误传递概率。

3． 一般离散信道的信道容量计算方法：已知信道的转移矩阵P ，求信道容量。

两种方法：方法一：依据：I(X;Y)是输入概率分布p(xi)的上凸函数，所以极大值一定存在。

步骤：①根据信道转移矩阵Ｐ的特点，用某一参数α设为输入分布p(xi)；②由)|()()(1i jni ij x yp x p y p ∑==得出输出分布p(yj)也是关于α的函数；③将用α表示的p(xi)和p(yj)带入I(X;Y)=H(Y)-H(Y|X)中，得到I(X;Y)是关于α的函数。

④求I(X;Y)对α的偏导数，并令其等于0，解得α即得到输入分布； ⑤将解得的α代入I(X;Y)式中得到信道容量C 。

例子：见教材P65， [例4.5] 方法二：公式法：注意：在第②步信道容量C 被求出后，计算并没有结束，必须解出相应的p(xi) ，并确认所有的p(xi)≥0时，所求的C 才存在。

在对I(X;Y)求偏导时，仅限制∑==ni ix p 11)( ，并没有限制p(xi)≥0 ，所以求出的p(xi)有可能为负值，此时C 就不存在，必须对p(xi)进行调整，再重新求解C 。

4． 平均互信息I(X;Y)达到信道容量的充要条件：见教材P65。

5． 多符号离散信道及信道容量：a) 含义，数学模型：✧ 多符号离散信源X =X 1X 2…X N 在N 个不同时刻分别通过单符号离散信道{X P (Y /X )Y }，则在输出端出现相应的随机序列Y =Y 1Y 2…Y N ，这样形成一个新的信道称为多符号离散信道。

✧ 由于新信道相当于单符号离散信道在N 个不同时刻连续运用了N 次，所以也称为单符号离散信道{X P (Y /X ) Y }的N 次扩展。