信源及信源熵.ppt

则概率空间可表示为
X P
1, p(1),
2, , p(2 ), ,
n
p(
L
n
L
)
对于L＝2的情况，此时信源 X ( X1, X 2 )
则概率空间可表示为
X P
(a1, a1 ) p(a1, a1)
(a1, a2 ) p(a1, a2 )
(an , an ) p(an , an )
p(x1, x2 , x3 ,xL ) p(xL x1, x2 , x3 ,xL1) p(x1, x2 , x3 ,xL1) p(xL xLm , xL1) p(x1, x2 , x3 ,xL1) p(xL xLm , xL1 ) p(xL1 xLm1, xL2 ) p(x1, x2 , xL2 )
• ai代表随机事件的某一结果或信源的某个元素 • p(ai)=P(X=ai)，表示随机事件X发生某一结果ai的概率。 • n是有限正整数或可数无限大
多符号（符号序列)离散信源的数学模型
1.上述布袋摸球的实验，若每次取三个球，由三个球的颜色组成的 消息就是符号序列。
用随机矢量 X ( X1, X 2 , X 3 ) 来描述信源输出的信息，其中
出现哪个符号都是随机的，而且一般前后符号之间是有依赖关 系的。可用随机矢量描述。
② 连续信源：输出连续消息。可用随机过程描述。
『举例』
单符号离散信源
1. 扔一颗质地均匀的骰子．研究其下落后，朝上一面的点数。每次 试验结果必然是1点、2点、3点、4点、5点、6点中的某一个面朝上。 这种信源输出消息是“朝上的面是l点”、“朝上的面是2 点”、……、“朝上的面是6点”等六个不同的消息。
这种有记忆信源叫做m阶马尔可夫信源
m＝1时，
p(x1, x2 , x3,xL ) p(xL xL1) p(xL1 xL2 ) p(x2 x1) p(x1)
连续信源
有的信源虽输出是单个符号(代码)的消息．但其可能出现的消息数 是不可数的无限值，即输出消息的符号集A的取值是连续的，或取
而且
p(ai , a j ) 0
n
p(ai , a j ) 1
i, j1
2. 仍是上述的摸球实验，如果先取一个球，记下颜色后放回布袋， 再取另一个球。由于三次取球时布袋中红球、白球个数没有变化， 后一次取球与前一次无关，是独立的，因而该信源是无记忆的，称
为多符号的无记忆离散信息源。
各符号之间没有统计关联性，各符号出现的概率是自身的先验概率， 即
X i a1 “红色”， a2 “白色”
用联合概率分布 p( X1, X 2 , X 3 )
其信源的概率空间为：
来表示信源特性
X P
(a1 , p(a1
a1 , , a1
a1 ) , a1 )
(a1, a1, a2 ) p(a1, a1, a2 )
(a2 , a2 , a2 ) p(a2 , a2 , a2 )
L
p( X1, X 2 ,, X l ,, X L ) p( X l ) p( X )L l 1
3. 上述布袋实验中，先取一个球，记下颜色后不放回布袋，接着 取另一个。而在取第二个球时，布袋中的红球、白球概率已与取 第一个球时不同，此时的概率分布与第一个球的颜色有关，而取 第三个球时，袋中红、白球的概率分布与第一个、第二个球的颜 色均有关。
并且：
p(ai , a j , ak ) 0
2
p(ai , a j , ak ) 1
i, j ,k 1
一般地，对发出L个符号序列的离散信源，其随机矢量：
X (X1, X 2 ,, X l ,, X L )
X l a1, a2 ,, an
用 i 表示L维随机变量的一个取值，即 i (ai1, ai2 ,aiL )
p(X1, X 2 ,, X l ,, X L ) p(X1) p(X 2 ) p(X l ) p(X L )
若信源随机矢量的各维概率分布都与时间起点无关，也就是任意
两个不同时刻随机矢量X的各维概率分布都相同。称离散平稳 信息源。即
p(X1) p(X 2 ) p(X l ) p(X L )
得到这个信源的数学模型为：
X P( x)
a1 , 1 6 ,
a2 , 1, 6
a3 , 1, 6
a4 , 1, 6
a5 , 1, 6
a6 1 6
并满足
6
P(ai ) 1
i 1
2. 在一个布袋中放入100个球，其中80个球是红色的，20个球是白 色的。若随机摸取一个球，看它的颜色。则摸到的球要么是红色， 要么是白色，每次只出现一种消息。
它的数学模型为：
X P(x)
a1 , 0.8
a2 0.2
并满足
2
P(ai ) 1
i 1
单符号离散信源的数学模型就是离散型的概率空间：
X P( X
)
a1 ,
p(a1 ),
a2 , p(a2
，an ),, p(an )
0 p(ai ) 1，
n
P(ai ) 1
i 1
• X代表随机变wk.baidu.com，指的是信源整体
一般情况下，信源在不同时刻发出的符号之间是相互依赖的，称
为多符号的有记忆离散信息源。需要引入条件概率来反映符号
序列内各符号的记忆特征
p(x1, x2 , x3 , xL ) p(xL x1, x2 , x3 , xL1) p(x1, x2 , x3 , xL1) p(xL x1, x2 , x3 , xL1) p(xL1 x1, x2 , x3 , xL2 ) p(x1, x2 , x3 , xL2 )
2 信源及信源熵
2.1 信源的描述方法及分类
在通信系统中收信者在未收到消息以前，对信源 发出什么消息是不确定的。
① 离散信源：输出的消息常常是以一个个符号形式出
现，这些符号的取值是有限的或可数的。 • 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 • 多符号离散信源：每次输出是一个符号序列，序列中每一位
表达的复杂度将随序列长度的增加而增加。然而实际上信源发出的 符号往往只与前若干个有较强的依赖关系，随长度的增加依赖关系 越来越弱，因此可以根据信源的特性和处理时的需要限制记忆的长 度。
马尔可夫信源
当信源的记忆长度为m＋1时，该时刻发出的符号与前m个符号有关 联性，而与更前面的符号无关。则联合概率可表述为