高等教育《信息论》第3章离散信源

9
自信息量 I xi 是指某一信源发出某一消息符号 xi 所含
有的信息量，所发出的信息符号不同，它们含有的信息量
也就各不相同，故自信息量 I xi 是一个随机变量，不能用
它来作为整个信源输出信息的信息测度。为此，需要引入 平均自信息量，即信息熵来作为信源输出信息的信息测度。
定义 3.2.3 信源输出的各消息的自信息量的数学期望为 信源的平均自信息量，或称为信源的信息熵。
X X k , k 1, 2, , N
X k A a1, a2 , , aq
k 1, 2, , N
aj AN
j 1, 2, q N
AN aik , i 1, 2, , q; k 1, 2, , N
可见，随机序列 X X1, X 2, , X N 的取值 X a j , j 1, 2, , qN
该函数 I xi 是先验概率 pxi 的单调减函数。即
② 随着某一符号发生的概率的增加，它们所包含的不 确定性应减少。
③ 当先验概率 pxi 1 时，Ixi 0; pxi 0 时，Ixi 。
④ 信息量的定义应满足可加性，即满足泛函方程。
f 1 f 1 f 1
n m mn
第 3 章 离散信源
3.1 信源的数学模型及其分类
3.1.1 信源的数学模型
信源的具体输出称作消息，它是随机的，可以用随机 变量或随机过程来描述信源发出的消息，也就是可以用概 率空间来描述信源。信源的数学模型可用如下概率场来描 述
其中
X
P
x1
px1
x2
px2Hale Waihona Puke Baidu
xq
p
xq
pxi 0
k 1, 2, , N
② 连续无记忆信源
若在 N 维随机矢量 X 中，每个随机变量 X k 是连续随 机变量，且相互独立，则 N 维随机矢量 X 的联合概率密 度函数为
N
pX pk
6
k 1
有记忆信源
无限记忆信源
有限记忆信源
有限记忆信源可用有限状态马尔可夫链来描述。当信 源记忆长度为 m+1 时，也就是信源每次发出的符号仅与前 m 个符号有关，与更前面的符号无关。这样的信源称为 m 阶马尔可夫信源。此时可用条件概率分布描述信源的统计 特性。
X
P
x1
px1
x2
px2
xq
p
xq
(3.5)8
信源输出信息量的度量
定义 3.2.2 设信源 X 中，事件 xi 发生的概率为 pxi ，
则所含有的自信息量定义为
de f
I xi log pxi
(3.6)
定义 3.2.2 给出的自信息量的函数形式有如下性质：
① 信源中信息的量度与输出符号发生的概率有关。
000, 001, 011, 111,100,110, 010,101
5
3.1.2 信源的分类 无记忆信源
① 离散无记忆信源 信源发出的消息符号彼此是统计独立的，并且具有
相同的概率分布，其 N 维随机矢量的联合概率分布为
N
N
p X p X k aik pik
k 1
k 1
i 1, 2, , q
的个数 qN ，取决于序列长度N和符号集 A ai ,i 1,2, ,q
的符号个数 q 。
4
例：
A 0,1, q 2, N 3
X X k , k 1, 2, 3
X k A 0,1
k 1, 2, 3
a j A3
j 1, 2, 23
A3 aik ,i 1, 2; k 1, 2, 3
其中 N 可为有限正整数或可数无穷值。通常，总限定 N 是有限的，故只限于讨论“有限离散信源”。若在这随机
矢量中的每个随机变量Xk , k 1, 2, , N 都是离散的，则可 用N重离散概率空间的数学模型来描述这类信源。
X
P
a1
pa1
a2
pa2
aqN p aqN
(3.4)
其中
定义 3.2.1 设信源X输出符号集 x x1, x2 , , xq , q
为信源发出的消息符号个数，每个符号发出的概率为
pxi ,i 1,2, , q 。这些消息符号彼此互不相关，且有
q
pxi 1
i 1
pxi 0
i 1,2, , q
则称 X 为离散无记忆信源。
由定义3.2.1可知，一个离散无记忆信源可用下面概 率场来描述：
q
pxi 1
i 1
i 1,2, , q
即信源的概率空间是完备。
(3.1)
1
① 离散信源的数学模型
其数学模型为离散型的概率空间：
X
P
a1
pa1
a2
pa2
aq
p
aq
其中 且
pai PX ai pai 0
q
pai 1
i 1
i 1,2, , q i 1,2, , q
H
X
1 2
log 2
2
1 4
log 2
4
1 8
log 2
8
1 8
log 2
8
7 4
比特 / 符号
11
3.3 离散无记忆信源的扩展信源
3.3.1 最简单的离散信源
最简单的离散信源的输出可用一维离散随机变量描述。 设一个离散无记忆信源 X 的概率空间为
X
P
a1
pa1
a2
pa2
通常 q 为有限正数，也可为可数无穷大。
(3.2)
2
② 连续信源的数学模型
其数学模型为连续型的概率空间：
X a,b
P
px
(3.3)
其中 px为连续随机变量 X 的概率密度函数，a,b 为 X
的存在域，且
px 0
b
a
px dx
1
3
信源输出可用 N 维随机矢量 Xk , k 1, 2, N 来描述，
q
H X EI xi pxi log pxi
(3.7)
i 1
信源熵 是从平均意义上表征信源总体统计特征的一个 量，是信源的统计平均不确定性的描述。
10
例：设信源符号集 X x1, x2, x3, x4 每个符号发生的概
率分别为
px1
1 2
,
px2
1 4
,
px3
1 8
,
px4
1 8
，
则信源熵为
p xi | xi1, xi2, , xim, p xi | xi1, xi2, , xim
其中 m 为阶数，称作记忆阶数。当 m=1 时，可用简单 马尔可夫链描述。此时的条件概率转化为状态转移概率
p ji p xi ai | xi1 a j
7
3.2 离散无记忆信源
离散无记忆信源是最简单，也是最基本的一类信源， 它可用完备的离散型概率空间来描述。