2015秋.信息论.第2章离散信源与信息熵

第2章离散信源与信息熵

信号 信号+干扰 消息

干扰

消息 信源 编码器 信道 译码器 信宿 噪声源

通信系统模型

信息

2.1 信源的分类和描述

信源是信息的发源地，可以是人、生物、机器或其他事物。信源的输出是包含信息的消息。消息的形式可以是离散的或连续的。

信源输出为连续信号形式（如语音），可用连续随机变量描述。

连续信源←→模拟通信系统

信源输出是离散的消息符号（如书信），可用离散随机变量描述。

离散信源←→数字通信系统

离散信源…X i…X j…

离散无记忆信源：输出符号X

i X

j

之间相互无影响；

离散有记忆信源：输出符号X

i X

j

之间彼此依存。

3

离散信源

无记忆

有记忆发出单个符号发出符号序列马尔可夫信源

非马尔可夫信源

y j

将一粒棋子随意地放

在棋盘中的某列；

棋子放置的位置是一

个随机事件；

可看做一个发出单个

符号的离散信源。

x i

1212,,...,(),(),...,()m m x x x X P p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦

就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。由离散随机变量X 表示棋子位置：

10()1,()1m i i

i p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。

2.2离散信源的信息熵信息的可度量性是信息论建立的基础；

香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。

2.2.1自信息量

–定义2.1 任意随机事件x i 的自信息量定义为：

i i i 1(x )log log (x )(x )

I P P ==-

小概率事件所包含的不确定性大，自信息量大。大概率事件所包含的不确定性小，自信息量小。概率为1的确定性事件，自信息量为零。i i i 1(x )log log (x )(x )

I P P ==-信息量的单位与公式中的对数取底有关。以2为底，单位比特（bit ）；

以e 为底，单位奈特（nat ）；

()22log log ,log log ln log c a c b b x e x a

==⋅

–例：棋盘共8列，甲随手一放，将一枚棋子放在了第3列。

3321()log log 1/83()

I x bit P x ==-=

–例：袋内红、白球各50个,随意从袋中摸出一球。

21()log log 1/21()

I bit P ==-=红红21()log log 1/21()

I bit P ==-=白白

–例：袋内红球1个、白球7个,随意从袋中摸出一球。

21()log log 1/83()

I bit P ==-=红红21()log log 7/8019()

I bit P ==-≈白.白

定义2. 2 X 中出现事件x i 与Y 中出现事件y j 的联合自信息量定义为

(,)log (,)

i j i j I x y p x y =-log(()(/))

log ()log (/)

j i j j i j p y p x y p y p x y =-=--log ()log (/)

i j i p x p y x =--

定义2.3 X 中事件x i 在Y 中事件y j 已出现的情况下再出现时所能提供的信息量定义为条件自信息量

(/)log (/)

i j i j I x y p x y =-(,)()(/)i j j i j I x y I y I x y =+()(/)i j i I x I y x =+(/)(),(/)()

j i j i j i p y x p y p x y p x ==(,)()()

i j i j I x y I x I y =+当互相独立时

,i j x y

x i y j

x i

y j

将一粒棋子随意地放在8*8

的正方形棋盘的某方格内；涉及两个随机事件。

{}1112881/64,1/64,...,1/64

,,...,x y x y x y XY P ⎡⎤=⎢⎥⎣⎦联合自信息量为2(,)

log (,)

1log 664i j i j I x y p x y bit =-=-=

x i 相对y j 的条件自信息量为

2(|)log (|)

(,)

1/64log log 3()1/8

i j i j i j j I x y p x y p x y bit p y =-=-=-=已知棋子所在方格的行，棋子所在列的位置？

11110(),(),()1()1,()1,()1i j i j m n n m

i

j i j i j j i p x p y p x y p x p y p x y ====≤≤===∑∑∑∑其中，

1111,...,,...,(),...,(),...,()i j m n i j m n x y x y x y XY P p x y p x y p x y ⎧⎫⎡⎤=⎨⎬⎢⎥⎣⎦⎩⎭1212,,...,(),(),...,()m m x x x X P p x p x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦

1212,,...,(),(),...,()n n y y y Y P p y p y p y ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦

一般地11(/)1,(/)1

m n i j

j i i j p x y p y x ====∑∑0(/),(/)1,j i i j p y x p x y ≤≤