第二章信源信息熵

第二章信源与信息熵

主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。

重点：离散/连续信源熵和互信息。

难点：离散序列有记忆信源熵。

说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。

作业：

2．1—2．7，2．10，2．12。

课时分配：10课时。

板书及讲解要点：

在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。如果符号是确定的而且预先是知道的，那么该消息就无信息而言。只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。

2．1 信源的描述与分类

在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。

信源：产生随机变量、随机序列和随机过程的源。

信源的基本特性：具有随机不确定性。

信源的分类

离散信源：文字、数据、电报——随机序列

连续信源：话音、图像——随机过程

离散信源：输出在时间和幅度上都是离散分布的消息。

消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。

发出单个符号的无记忆信源

离散无记忆信源： 发出符号序列的无记忆信源

离散信源

离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源

概率论基础：

无条件概率，条件概率和联合概率的性质和关系： （1） 非负性

0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性

111

1

11

()1,()1,(/)1,

(/)1,()1

n m n

i

j

i

j

i j i m

m n

j

i i j j j i p x p y p x y p y

x p x y ===========∑∑∑∑∑∑

1

1

()(),()()n m

i

j

j

i

j

i

i j p x y p y p x y p x ====∑∑

（3） 联合概率

()()(/)()(/)()()()(/)()(/)()

i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，，

（4） 贝叶斯公式

1

1

()

()

(/)(/)()

()

i j i j i j j i n

m

i

j

i

j

i j p x y p x y p x y p y x p x y p x y ===

=

∑∑，

2.1.1 无记忆信源：

例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。可以用一个离散型随机变量X 来描述这个信源输出的消息。

⎥⎦⎤⎢⎣

⎡=⎥⎦⎤⎢⎣⎡6/1,6/1,6/1,6/1,6/1,6/1,,,,,)(654321x x x x x x x p X 并满足

1)(6

1

=∑=i i

x P

在实际情况中，存在着很多这样的信源、例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。这些信源输出的都是单个符号（或代码）的消息，它们符号集的取值是有限的或可数的。

我们可用一维离散型随机变量X 来描述这些信息的输出。这样的信息称为离散信源。

其数学模型就是离散型的概率空间：

⎥⎦

⎤⎢

⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(11n i n i x p x p x p x x x x p X ΛΛΛΛ

， 0≤p (x i )≤1 1)(1

=∑=n

i i

x p

p(x i )：信源输出符号x i （i =1，2，…，n ）的先验概率。

当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。所以概率空间能表征这离散信源的统计特性。

上式表示信源可能的消息（符号）数是有限的，只有n 个：x 1 ,x 2 ,… ，x n ，而且每次必定选取其中一个消息输出，满足完备集条件。这是最基本的离散信源。

有的信源输出的消息也是单个符号，但消息的数量是无限的，如符号集A 的取值是介于a 和b 之间的连续值，或者取值为实数集R 等。

连续信源：输出在时间和幅度上都是连续分布的消息。

消息数是无限的或不可数的，且每次只输出其中一个消息。

我们可用一维的连续型随机变量X 来描述这些消息。其数学模型是连续型的概率空间

()

⎥⎦⎤⎢⎣

⎡

=⎥⎦⎤⎢⎣⎡)(,x p b a P X X 或⎥⎦

⎤⎢⎣⎡)(x p R X ， 并满足 ⎰

=b

a

dx x p 1)(。

p(x)是随机变量X 的概率密度函数。

例如：随机取一干电池，测电压值作为输出符号,该信源每次输出一个符号,但符号的取值是在[0，1.5]之间的所有实数,每次测量值是随机的,可用连续型随机变最X 来描述。

在有些情况下，可将符号的连续幅度进行量化使其取值转换成有限的或可数