信息论基础复习提纲

第一章 绪论

1、什么是信息？香农对于信息是如何定义的。

答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message )。

2、简述通信系统模型的组成及各部分的含义。

答：（1）、信源：信源是产生消息的源。信源产生信息的速率---熵率。

（2）、编码器：编码器是将消息变成适合于信道传送的信号的设备。包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。

（3）、信道：信道是信息传输和存储的媒介。

（4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。 （5）、信宿：信宿是消息的接收者（人或机器）。

3、简述香农信息论的核心及其特点。

答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。

（2）、特点：①、以概率论、随机过程为基本研究工具。

②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。 ③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。 ④、要求信源为随机过程，不研究信宿。

第二章 信息的度量

2.1 自信息和互信息

1、自信息（量）：

（1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。某个消息i x 出现的不确定性的大小定义为自信息，用这个消息出现的概率的对数的负值来表示： （2）、性质：①、()i x I

是()i x p 的严格递减函数。当()()21x p x p <时

()()21x I x I >概率越小，事件发生的不确定性越大，事件发生以后所包

含的自信息量越大。

()()()

i i i x p x p x I 1

log

log =-=

②、极限情况下，当

()0=i x p 时()∞→i x I ；当()1=i x p 时，()0→i x I 。

③、两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和，即自信息论满足可加性。()()()()()()21212121;x I x I x x I x p x p x x p +==。

（3）、例2.1：

①、英文字母中“a ”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。 ②、假定前后字母出现是互相独立的，计算“ac ”的自信息。

③、假定前后字母出现不是互相独立的，当“a”出现以后， “c ”出现的概率为0.04，计算“a ”出现以后， “c ”出现的自信息量。

2、互信息：一个事件j y 所给出关于另一个事件i x 的信息定义为互信息，用()j i y x I ;表示：

()()()()()()()()()()()()

j i j i j i j i j j i j i j i i j i y p x p y x p y p x y p x y I y I x p y x p y x I x I y x I ⋅⋅==-==-=log

|log ||log

|; 2.2 平均自信息

1、定义：随机变量X 的每一个可能取值的自信息()i x I 的统计平均值定义为随机变量X 的平均自信息量。

2、熵函数的性质：

（1）、对称性： （2）、确定性： （3）、非负性： （4）、扩展性： （5）、连续性： （6）、递推性： （7）、极值性： （8）、上凸性： 3、联合熵：联合自信息的 数学期望。它是二维随机 变量XY 的不确定性的度量。 4、条件熵：

5、各类熵之间的关系：

（1）、联合熵与信息熵、条件熵之间的关系：)/()()(X Y H X H XY H +=。

推广：()()()()12112121//-⋅⋅⋅⋅⋅⋅⋅⋅⋅+++=N N N X X X X H X X H X H X X X H

;

当二维随机变量X,Y 相互独立时，联合熵等于X,Y 各自熵之和。)()()(Y H X H XY H +=。

（2）、条件熵与信息熵的关系：)()/(X H Y X

H ≤;)()/(Y H X Y H = 。

2

1

()[()]()log

()

q

i i

i i H X E I x p x p x ===-

∑211

11

()()()()log ()

n m n m

i j i j i j i j i j i j H XY p x y I x y p x y p x y ======-∑∑∑∑22(/)(/)X Y (/X)()log (/) (X /)()log (/)

i i i i j j i i j i j i

j

i

j

x H Y x H Y x H Y p x y p y x H Y p x y p x y =-=-∑∑∑∑由于不同的，是变化的，对的所有可能值进行统计平均，就得出给定时，的条件熵

122111(,

,)(,,)(,,)q q q q H p p p H p p p H p p p -⋅⋅⋅=⋅⋅⋅=⋅⋅⋅=⋅⋅⋅(1,0)(1,00)(1,0,0)=0H H H ==⋅⋅⋅=⋅⋅⋅，

12()(,,)0q H p H p p p =⋅⋅⋅≥112120

lim (,,,)(,,)

q q q q H p p p H p p p εεε+→⋅⋅⋅-=⋅⋅⋅121120lim (,,,)(,,)

q q q H p p p p H p p p εεε-→⋅⋅⋅-+=⋅⋅⋅121211212(,,,,)(,,)(,,)

m n m n n n n n

q q q H p p p q q q H p p p p H p p p -⋅⋅⋅⋅⋅⋅=⋅⋅⋅+⋅⋅⋅122

111(,,)(,,)log n H p p p pH n

n n n

⋅⋅⋅≤⋅⋅⋅=1212[(1)]()(1)()

f x x f x f x λλλλ+-≥+-