信息论与编码第2章1信源及信源熵PPT课件

P Xpaa1,1a,a11
a1,a2 pa1,a2
paann,a,ann
当信源无记忆时，
p a i,a j p a ip a j/a i p a ip a j
即序列长为L
扔骰子：以三位二进制符号表示结果
P X01601
010 1 6
011 1 6
100 1 6
101 1 6
110 16
X X1, X2, X3 L 3, Xl 0,1
29.09.2020
13
符号序列的离散无记忆信源
最简单的符号序列信源是L＝2的情况，即
信源：
XX1,X2
信源空间：
有记忆信源 发出符号序列的有记忆信源
发出符号序列的马尔可夫信源
马尔可夫信源：某一个符号出现的概率只与前面一 个或有限个符号有关，而不依赖更前面的那些符号
29.09.2020
4
概率空间
概率
随机现象中事件发生的可能性大小是客观存在的，因此 可以对它进行量度。量度的数量指标就是概率。
样本空间
某事物各种可能出现的不同状态，即所有可能选择的消 息集合。
符号序列信源：指信源每次发出一组含二个以上符号的符
号序列代表一个消息 信源所发出的各个符号是相互独
按符号间的关系
立的，发出的符号序列中的各个
无记忆信源
符号之间没有统计关联性
有记忆信源
信源所发出的各个符号 的概率是有关联的
29.09.2020
3
信源分类
{ {{ 信源
发出单个符号的无记忆信源 无记忆信源 发出符号序列的无记忆信源
因此，应该用随机变量或随机矢量来表示信源， 运用概率论和随机过程的理论来研究信息，这 就是香农信息论的基本点。
29.09.2020
2
2.1 信源的描述和分类
按来自百度文库源在时间和幅度上的分布情况
离散信源：文字、数据、电报
连续信源：语音、图像
按发出符号的数量
单个符号信源：指信源每次只发出一个符号代表一个消息
扔一颗质地均匀的骰子，每次扔掷的结果必然是 1点～6点中的某一面朝上，哪一面朝上是随机的。
PXa161
a2 1 6
a3 1 6
a4 1 6
a5 1 6
a6 16
29.09.2020
6
pai 0,pai 1 i1
10
单个符号的离散无记忆信源
用一维离散型随机变量X来描述这些信息的输出。 数学模型
第2章 信源及信源熵
2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源熵 2.4 连续信源熵和互信息 2.5 冗余度
29.09.2020
1
复习信息的概念
在信息论中，信源是发出消息的源，信源输出 以符号形式出现的具体消息。
如果符号是确定的而且预先是知道的，那么该 消息就无信息而言。只有当符号的出现是随机 的，预先无法确定，那么一旦出现某个符号就 给观察者提供了信息。
该信源的概率空间为
信源空间
P Xpaa 11
a2
pa2
n
an
pan
先验概率
显然有 pai0,pai1
i1
29.09.2020
6
概率论复习
无条件概率P(xi)
又称先验概率，指基于以往数据记录统计得 到的概率
条件概率P(B/A)
在已知事件A发生条件下，事件B发生的概率
又称后验概率
联合概率P(AB)
贝叶斯公式
p(xi/yj)np(xiyj) ， p(yj/xi)mp(xiyj)
p(xiyj)
p(xiyj)
i1
j1
29.09.2020
9
单个符号的离散无记忆信源
有些信源可能输出的消息数是有限的或可数的，而且 每次只输出其中一个消息。
如书信文字、计算机的代码、电报符号、阿拉伯数字 码等。
例如：掷骰子
单符号连续无记忆信源
消息数无限或不可数，且每次只输出其中一个消息。 可用一维的连续型随机变量X来描述这些消息。
数学描述
X (a,b)
P
pX
( x)
pX (x) 0
b
a pX (x)dx 1
pX(x)是随 机变量X的 概率密度
函数
例：随机取一节干电池测其电压值作为输出符号， 符号取值为[0，1.5]之间的所有实数。
29.09.2020
12
符号序列的离散无记忆信源
很多实际信源输出的消息往往是由一系列符号组成， 这种用每次发出1组含2个以上符号的符号序列来代 表一个消息的信源叫做发出符号序列的信源。
设信源输出的随机序列为X，X X 1 ,X 2 , ,X l, ,X L
序列中的变量 X l a 1 ,a 2 , ,a n ,l 1 ,2 , ,L
事件A和事件B同时发生的概率
29.09.2020
7
概率论复习
非负性
0 p ( x i ) ， p ( y j ) ， p ( y j/ x i ) ， p ( x i/ y j ) ， p ( x i y j ) 1
完备性
n
m
n
p(xi ) 1, p( y j ) 1, p(xi / y j ) 1,
每个可能选择的消息是这个样本空间的一个元素。 概率空间
对于离散消息的集合，概率测度就是对每一个可能选择 的消息指定一个概率。
一个样本空间和它的概率测度一起构成一个概率空间。
29.09.2020
5
概率空间
数学定义 一个离散信源发出的各个符号消息的集合为
Xa1,a2, ,an 它们的概率分别为 P p a 1 ,p a 2 , ,p a n
i 1
j 1
i 1
m
mn
p( y j / xi ) 1,
p(xi y j ) 1,
j 1
j 1 i 1
n
m
p(xi y j ) p( y j ), p(xi y j ) p(xi )
i 1
j 1
29.09.2020
8
概率论复习
联合概率
p ( x iy j) p ( x i) p ( y j/x i) p ( y j) p ( x i/y j) 当 X与 Y相 互 独 立 时 ， p(xiyj)p(xi)p(yj) p(yj/xi)p(yj)， p(xi/yj)p(xi)，
P Xpaa 11
a2
pa2
an
pan
pai
0,
n i1
pai
1
当信源给定，其相应的概率空间就已给定；反之， 如果概率空间给定，这就表示相应的信源已给定。
信源可能的消息（符号）数是有限的，而且每次 必定选取其中一个消息输出，满足完备集条件。
29.09.2020
11
单符号连续无记忆信源
连续信源：输出在时间和幅度上都是连续分布的连 续消息的信源。