信息论重点 (新)

1．消息定义

信息的通俗概念：消息就是信息,用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成为消息，消息中包含信息，消息是信息的载体。

信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。

信息的狭义概念（香农信息）:信息是对事物运动状态或存在方式的不确定性的描述。 信息的广义概念 信息是认识主体(人、生物、机器)所感受的和表达的事物运动的状态和

运动状态变化的方式。

语法信息(语法信息是指信息存在和运动的状态与方式。) 语义信息(语义信息是指信宿接收和理解的信息的内容。) 语用信息(语用信息是指信息内容对信宿的有用性。)

2．狭义信息论、广义信息论。

狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。

广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。

3.自信息 互信息 定义 性质及物理意义 自信息量： ()log ()i x i I x P x =-

是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特；对数底为e 时，其单位为奈特；对数底为10时，其单位为哈特自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。

自信息物理意义: 1.事件发生前描述该事件发生的不确定性的大小 2.事件发生后表示该事件所含有（提供）的信息量 互信息量:

互信息量的性质：1) 互信息的对称性

2) 互信息可为零

3) 互信息可为正值或负值

4) 任何两个事件之间的互信息不可能大于其中任一事件的自信息

互信息物理意义: 1.表示事件 yj 出现前后关于事件xi 的不确定性减少的量 2.事件 yj 出现以后信宿获得的关于事件 xi 的信息量

4.平均自信息性质 平均互信息性质

平均自信息（信息熵/信源熵/香农熵/无条件熵/熵函数/熵）：

(;)()(|)i j i i j I x y I x I x y =-log ()log (|)(1,2,,;1,2,,)i i j

p x p x y i n j m =-+=?=?(|)log ()i j i p x y p x =1

()[()][log ()]()log ()n

i i i i i H X E I x E p x p x p x ===-=-∑

熵函数的数学特性包括:

(1)对称性 p =(p1p2…pn)各分量次序可调换 (2)确定性p 中只要有为1的分量，H(p )为0

(3)非负性离散信源的熵满足非负性，而连续信源的熵可能为负。H(p )大于等于0 (4)扩展性扩展性说明，增加一个概率接近于零的事件，信源熵保持不变。

虽然小概率事件出现后，给予收信者较多的信息，但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它对于离散集的熵的贡献可以忽略不计。这也是熵的总体平均性的一种体现。

(5)连续性 (6)递增性

(7)极值性（最大离散熵定理） (8)上凸性

H(p1,p2…，pn)是概率分布(p1,p2…，pn)的严格上凸函数，即 詹森不等式：如果f 为一个上凸函数，X 为一个随机变量，则:

平均互信息

I (X ;Y )=H (X )-H (X|Y ) =H (Y )-H (Y|X )=H (X )+H (Y )-H (XY )

性质

1.对称性：I (X ;Y )=I (Y ;X )

2.非负性I (X ;Y )>0

3.极值性I (X ;Y ) ≤ min{H (X ),H (Y )}

5.条件熵 联合熵

随机变量X 和Y 的条件熵定义为：

条件熵表示已知一个随机变量时，对另一个随机变量的平均不确定性。

条件熵： 疑义度：

噪声熵：

联合熵：联合熵表示对于二维随机变量的平均不确定性。

12111

(,,...,)(,,...,)log n H p p p H n

n n n

≤=[](1)'()(1)(')H H H αααα+->+-p p p p ∑∑-=i j i j j i y x p y x p Y X H )

|(log )()|(∑∑-=i i j j

j i x y p y x p X Y H )|(log )()|([](|)i E H Y x =

各种熵之间的关系

? H (XY )=H (X )+H (Y|X )=H (Y )+H (X|Y ) ? H (X|Y )≤H (X )，H (Y|X )≤H (Y ) ? H (XY )≤H (X )+H (Y )

若X 与Y 统计独立，则H (XY )=H (X )+H (Y )

6.信源概率空间

通常把一个随机变量的样本空间和样本空间中的元素对应的概率称为概率空间。 离散单符号信源X 的概率空间：

离散多符号信源可以用随机矢量/随机变量序列来描述，即 X=X1X2LXnL

其中每个符号取值于同一个单符号信源空间：

7.信源熵 信源熵：

信息熵表示离散单符号信源的平均不确定性 信源熵具有以下三种物理含意：

– 信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。

– 信息熵H(X)表示信源输出前,信源的平均不确定性。 – 信息熵H(X)反映了变量X 的随机性

8.多符号与条件熵的关系

1.条件熵随着N 的增加是递减的

2.N 给定时 平均符号熵>=条件熵)...|()(11-→

≥N N N X X X H X H 3.平均符号熵随N 的增加而减小

4.若H （X1）<∞ 则)...|(lim )(lim 11-∞→∞

→∞==N N N N N X X X H H H

N 次扩展信源的熵：

离散平稳无记忆信源的N 次扩展信源的熵等于离散单符号信源熵的N 倍：

离散平稳无记忆信源的熵率：

9.连续信源熵

1()[()][log ()]()log ()

n

i i i i i H X E I x E p x p x p x ===-=-∑

1212...()()()...()q q x x x X P X p x p x p x ??

??=??????????

()0i p x ≥1()1n

i i p x ==∑

12:{,,,}q X x x x L 1

()()()log ()

N

q

N

i i i H H X p p ===-αα∑X ()()()N

H H X NH X ==X 1

lim ()lim ()()N N N H H NH X H X N

∞→∞→∞==?=X

单变量连续信源的数学模型a x b ()()X P X p x ≤≤????

=???

?

????

定义连续信源的相对熵：()()()b

c a

H X p x lbp x dx =-

?

。相对熵不能反映连续信源的平均不

确定度。定义相对熵的目的在于在形式上与离散信源熵统一并使熵差具有信息测度的意义。 两个连续随机变量的联合熵：2

()()()c R H XY p xy lbp xy dxdy =-

??

两个连续随机变量的条件熵：2

(/)()(/)c R H X Y p xy lbp x y dxdy =-

??

均匀分布连续信源的相对熵：

1

(),p x a x b b a

=

≤≤-，()()c H X lb b a =- Ps ：（lb 是log ） 高斯分布连续信源的相对熵：

2()2(),x m p x x σ--

=

-∞<<∞

，211

()(2)22

c H X lbe lb e πσ=+=

Ps ：（lb 是log ）当均值为0时，微分熵只与平均功率有关

指数分布连续信源的相对熵：

1() ,0x

m

p x e x m

-=≤<∞，()()c H X lbe lbm lb em =+=m 为均值 Ps （lb 是ln ）

微分熵

10.马尔科夫信源

如果离散平稳信源发出的符号只与前面已经发出的m(

1112

11212112/()

()()(/)m m m m n m m n a a a X X X X p a p a p a P X X X X ++++??

??=????????

112112/()(/)m m m m i i i i i i i i i i a x x x x p a p x x x x ++== 其中，，

为强调m 阶马尔科夫信源的长度特征，一般将其极限熵H ∞记为H m+1，即：

111

()(/)(/)m m

n n m i j i j i i j H H p e p e e lbp e e ∞+====-∑∑

马尔科夫链的各态历经定理：

1

1

()()(/)1,2,,()0,()1m m

n n m j i j i j j i j p e p e p e e j n p e p e ====>=∑∑ ，，其中

11. 信道分类及转移概率矩阵 信道分类

信道特性可以用转移概率矩阵来表示：

12.信道容量的计算 信道容量：

与信源的概率分布无关；

是完全描述信道特性的参量； 是信道能够传输的最大信息量。

信道单位时间内平均传输的最大信息量： 一．按损耗分

1. 无损信道：有噪无损信道，一个输入对应多个输出。信道矩阵每一列只有一个非0元素

（输入等概）

2. 无噪信道：无噪有损信道，一个输出对应多个输入。信道矩阵每一行只有一个非0元素

（输出等概）

11121212221

2.....................J J J J JJ p p p p p p p p p ??????=??????P {}

()

1

max (;)/t P X C I X Y t =比特秒(;)()(|)()I X Y H X H X Y H X =-=()()

max (;)max ()log p x p x C I X

Y H X r ===()()H X H Y

?

??????????=1010100101P (|)0H Y X =(;)()(|)()I X Y H Y H Y X H Y =-=()()max (;)max ()log p x p x C I X Y H Y s ===()()H Y H X <(|)0H X Y =

3. 无噪无损信道：输入、输出之间有确定的一一对应关系。

Ps ：r(输入) s （输出）

二．按信道矩阵分

1.对称信道 ：对称若信道矩阵中每行都是第一行的排列，并且每列都是第一列的排列， 则称之为对称信道。

对称信道，当信道输出概率分布为等概的情况下达到信道容量

其中p1p2Lps 是信道矩阵中的任意一行中的元素。

2.行对称信道： 若信道矩阵P 中每行都是第一行的排列，则称此信道是行对称信道。

)...()(max ''1)

(s x p p p H Y H C -=

3.强对称信道

若r =s ，且对于每一个输入符号，正确传输概率都相等，且错误传输概率 p 均匀地分配到 r -1 个符号，则称此信道为强对称信道或均匀信道。 1. 矩阵中的每一行都是第一行的排列；(行对称) 矩阵中的每一列都是第一列的排列。(列对称) 2. 信道输入与输出消息（符号）数相等，即 r=s 。

3. 错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到r -1个符号上。

4. 不仅每一行元素之和为1，每一列元素之和也为1。显然，对称性的基本条件是1，而2、3、4是加强条件

对于强对称信道有：C =log r-p log(r-1)-H (p )

4.准对称信道。

是行对称，信道矩阵可以按列分为一些对称的子阵，则称之为准对称信道。

??

??

?

?????=010100001P (|)0,(|)0,H Y X H X Y r s ===(;)()()

I X Y H X H Y ==()()

max (;)max ()log p x p x C I X Y H X r

===????

????????=3131616161613131P ??????

?

?????????=216131312161613121P ????????????=3161316161613131P ,,,12log (,,,)s C s H p p p =- ?????

???????=31613161616131

31P 1111336611116363??

??=?

???????

P

对于离散准对称信道，当信道输入概率分布为等概的情况下达到信道容量：

三．一般的离散信道

1

1

(1)(/)(/)(/)1,2,,1,2,,m m

j k j k j k j j j j p y x lbp y x p y x k n j m

ββ=====∑∑ 由，，求出，1

(2)(2)j m

j C lb β

==∑求出

(3)()2

1,2,,j C

j p y j m

β-== 求出

1

(4)()()(/)

1,2,,()

1,2,,n

j i j i k i p y p x p y x j m p x k n ====∑ 由，求出

13.连续信源与波形信源的信道容量 （1）连续信源信道容量

)()(max )]()([max )]|()([max );(max )

()

()

()

(N h Y h N h Y h X Y h Y h Y X I C x p x p x p x p -=-=-==

（2）波形信源信道容量

当噪声是双边功率谱密度为N0/2的高斯白噪声时)1log(22N

X

t B C σσ+=

14.香农公式 香农公式

（1）带宽一定时，信道的最大传输率是信噪比的函数。

（2）信噪比确定时，信道容量与带宽成正比。此时提高最大信息传输率的方法是提高带宽

15.信源编码

熵率

16.定长信源编码

设离散平稳无记忆信源的熵为H (S ), 码符号集X 中有r 个码符号，码长为l ，若对N 次扩展信源 进行定长编码，则对于任意 >0，只要满足

17.变长信源编码 Kraft 定理：即时码存在的充要条件是:

lim ()

N N H H ∞→∞=X 121

()()N N H H X X X N

=X L 1

1

i q

l i r

-=≤∑))(log (log )(S NH r l r S H N l >+≥也可改写为εεN s 香农公式]1log[N

S

W C +=

r 是进制数，q 是信源符号数 l 是码长。

该不等式是惟一可译码存在的充要条件，而不是惟一可译码的充要条件

当满足Kraft （或McMillan ）不等式时，必然可以构造出即时码（或唯一可译码），否则不

能构造出即时码（或唯一可译码）。

McMillan 定理：唯一可译码存在的充要条件是: 18.香农第一编码定理

19.冗余度

以提高通信有效性为目的。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数。

冗余度，表示给定信源在实际发出消息时所包含的多余信息。

它来自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀

20.编码的步骤 最佳码

– 对于某一信源和某一码符号集来说,若有一唯一可译码,其平均码长小于所有其他唯一可译码的平均长度。 紧致码

香农（Shannon ） 费诺（Fano ） 哈夫曼（Huffma ）

二进制香农码的编码步骤如下： 1) 将符号元x i 按概率进行降序排列

2) 令p(x 0)=0，计算第j-1个码字的累加概率：1

()()1,2,,j a j i

i p x p x j n -==

=∑ ，

11i q l i r -=≤∑

3) 确定第i 个码字的码长k i ，满足下列不等式：()()1i i i lbp x k lbp x -≤<-+ 4) 将p a (x j )用二进制表示，取小数点后k i 位作为符号元x i 的码字。

费诺编码

费诺编码属于概率匹配编码

编码步骤如下：

（1）将概率按从大到小的顺序排列,令p (x 1)≥ p (x 2)≥…≥ p (xn )

（2）按编码进制数将概率分组,使每组概率尽可能接近或相等。如编二进制码就分成两组,编m 进制码就分成m 组。

（3）给每一组分配一位码元

（4）将每一分组再按同样原则划分,重复步骤2和3,直至概率不再可分为止。 ?哈夫曼(Huffman)编码

1) 将符号元按概率进行降序排列

2) 为概率最小的符号元分配一个码元1，概率次小的符号元分配一个码元0 3) 将概率最小的两个符号元合并成一个新的符号元，用两者概率之和作为该新符号元

的概率；

4) 重复以上三个步骤，直到最后合并出一个以1为概率的符号元

哈弗曼码有两种排列方式，分前置和后置。采用不同排列方法编出的哈夫曼码，其码字和码长可能完全不相同，但平均码长一定是相等的，因此编码效率不会因排列方法而改变。但放在前面可以使短码得到充分利用

21.信道编码 信道编码概述

信道编码的目标：提高通信的可靠性。 信道编码，就是按照一定的规则给信源编码后的码符号序列增加一些冗余信息，使其变成具有一定数学规律的码符号序列。

22.译码准则

（1）最大后验概率译码规则

（2）极大似然译码规

23.汉明距离 汉明距离

设 和 表示两个长度为n 的码符号序列，

定义 称 D(xi,yi) 为码字 xi 和 yi 之间的汉明距离。

码的最小距离

在二元码C 中，任意两个码字之间的汉明距离的最小值，被称为码C 的最小距离：

12n i i i i x x x =x 12n j j j j y y y

=y 1

(,)k k n i j i j k D x y ==⊕∑

x y min min (,)i j D D w w ??=??(,,)i j i j w w w w C ≠∈