信息论

第一章概论

1.信息、消息、信号的定义及关系。

定义

信息：事物运动状态或存在方式的不确定性的描述。

消息：指包含有信息的语言、文字和图像等。

信号：表示消息的物理量，一般指随时间而变化的电压或电流称为电信号。

关系

信息和消息

信息不等于消息。消息中包含信息，是信息的载体。

同一信息可以用不同形式的消息来载荷。

同一个消息可以含有不同的信息量。

信息和信号

信号是消息的载体，消息则是信号的具体内容。

信号携带信息，但不是信息本身。

同一信息可用不同的信号来表示，同一信号也可表示不同的信息。

2. 通信系统模型，箭头上是什么？通信的目的及方法。

通信的目的：是为了提高通信的可靠性和有效性。

信源编码：提高信息传输的有效性。（减小冗余度）

信道编码：提高信息传输的可靠性。（增大冗余度）

第二章 信源及其信息量

★信源发出的是消息。

信源分类

1、信源按照发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源。

2、根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源。

单符号离散信源

离散无记忆信源 无记忆扩展信源 离散平稳信源

离散有记忆信源 记忆长度无限

记忆长度有限（马尔可夫信源）

一、单符号离散信源

单符号离散信源的数学模型为

定义：一个随机事件发生某一结果后所带来的信息量为自信息量。定义为其发生

概率对数的负值。 以 奇才 单位：

•对数以2为底，单位为比特 (bit ) （binary unit ） •对数以e 为底，单位为奈特 (nat ) (nature unit)

•对数以10为底，单位为笛特(det) (decimal unit) 或哈特 (hart) 物理含义：

在事件xi 发生以前，等于事件xi 发生的不确定性的大小；

在事件xi 发生以后，表示事件xi 所含有或所能提供的信息量。 性质:

①I(x i )是非负值.

②当p(x i )=1时，I(x i )=0. ③当p(x i )=0时，I(x i )=∞.

④I(x i ) 是p(x i )的单调递减函数.

联合自信息量

条件自信息量

自信息量、条件自信息量和联合自信息量之间有如下关系式：

I(x i y j )= I(x i )+ I(y j / x i ) = I(y j )+ I(x i / y j )

⎭⎬

⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)(,),(,),(),( ,, ,

, , )( 2121n i n i x p x p x p x p x x x x X P X )(log )( i i x p x I -=

)(log )( j i j i y x p y x I -=

1)(,1)(01

=≤≤∑=n

i i i x p x p

定义：各离散消息自信息量的数学期望，即信源的平均信息量.

单位：比特/符号 物理含义：

① 信源熵H(X)表示信源输出后，离散消息所提供的平均信息量. ② 信源熵H(X)表示信源输出前，信源的平均不确定度. ③ 信源熵H(X)反映了变量X 的随机性.

信源符号的概率分布越均匀，则平均信息量越大; 确定事件，不含有信息量。 性质:

① 非负性 H (X ) ≥ 0

② 对称性 当变量 p (x 1),p (x 2),…,p (xn ) 的顺序任意互换时，熵函数的值不变.

③ 最大离散熵定理:信源中包含n 个不同离散消息时，信源熵H(X)有 ④ 确定性

⑤ 可加性 (会证明)

证明：

⑥ 香农辅助定理和极值性(

会证明)

对于任意两个消息数相同的信源X 和Y ，i =1,2,…,n ,有

含义：任一概率分布对其他概率分布的自信息量取数学期望，必大于等

于本身的熵。

由上式可证明条件熵小于等于无条件熵，即H(X/Y)≤H(X)

log )(n X H ≤∑∑∑∑∑∑∑∑∑∑∑==+=+⎥⎦

⎤⎢⎣⎡=+===j i j i j i j i j i j i i i i

j i j j i i i j i j i i j

i j i j i i j j i j i x y p x y p x p y x p X Y H X H X Y H x y p x p x p x y p y x p x p x y p x p x y p x p y x p y x p y x p XY H 1)/()/()()()

/()()/()/()(1log )()/(1

log )()(1log )/()()/()(1log )()(1log )()(2222

2其中1)()( )

(log )()(log )(1

11

212==-≤-∑∑∑∑====n

i i n i i i n

i i n i i i y p x p y p x p x p x p 其中

证明：

互信息为一个事件y j 所给出关于另一个事件x i 的信息，用I(x i ; y j )表示，定义为

x i 的后验概率与先验概率比值的对数，即

同理，可以定义x i 对y j 的互信息量为

定义: Y 对X 的平均互信息量

I(X;Y)

单位: bit/符号 物理意义:

① I(X;Y)=H(X)-H(X/Y)

平均互信息量是收到Y 前后关于X 的不确定度减少的量，即由Y 获得的关于X 的平均信息量。 ② I(Y;X)=H(Y)-H(Y/X)

平均互信息量是发送X 前后，关于Y 的平均不确定度减少的量。 ③

平均互信息量等于通信前后，整个系统不确定度减少的量。

)

()(1

log )()(1

log )/()()(1log )/()()/(1log )/()()/(1

log )/()()/(2

2

222

X H x p x p x p y x p y p x p y x p y p y x p y x p y p y x p y x p y p Y X H i i i i i j j i j j i i j i j j i j i j i j i j

j i j i j ==⎥⎦

⎤⎢⎣⎡=⎥

⎦⎤

⎢⎣⎡≤⎥⎥

⎦⎤⎢⎢⎣⎡==∑∑∑∑∑∑∑∑∑)

()()/()(i j

j i j

j i i x p y x

p y x p y p ∑∑==其中：

)()(log )(11∑∑===n i m j i j i j i x p y x p y x p );(X Y I )()()(XY H Y H X H -+=)()(Y H X H XY H +=）（通信前：)

()(X Y H X H XY H +=）（通信后：