信源与信息熵.ppt

• 连续信源是指发出在时间或幅度上是连续分布的连 续/模拟消息的信源，如语音、图像、图形等都是连 续消息。
信源的分类2
• 根据信源发出的符号数目可以分为发出单个符号和发出多个 符号的信源。
• 发出单个符号的信源是指信源每次只发出一个符号代表一个 消息。(例如：一次红绿灯的消息、一次投掷硬币的结果。) 信源用随机变量的概率分布空间(离散)或者概率分布密度空 间(连续)来表示。
离散随机变量的分布列/二元有序对。
X P( x)

a1, P(a1 ) ,
a2 ,, P(a2 ),,
aq
P(aq )
且满足 : 0 P(ai ) 1
q
P(ai ) 1
i 1
• 例如：对二进制数字与数据信源、投掷硬币等：
单符号、无记忆、连续信源
• X=(X1,X2,…,Xl,…,XN) • 来描述，其中N可为有限正整数或可数的无限值。 • 最简单的多符号信源是二阶信源。
概率论的常用公式
随机变量X , Y分别取值于集合{x1, x2 , xi ,, xn} 和{ y1, y2 , yi ,, ym} :
(1)
0 p( xi ) , p( y j ), p( xi / y j ), p( y j / xi ), p( xi y j ) 1
(2)
n
m
n
• 无记忆信源是指所发出的各个符号之间是相互独立 的，发出的符号序列中的各个符号之间没有统计关 联性，各个符号的出现概率是它自身的先验概率。 (例如，有放回、两次摸球。)
• 有记忆信源是指发出的各个符号之间不是相互独立 的，各个符号出现的概率是有关联的。(例如，无放 回、两次摸球。)
2.1.1 无记忆信源
• 贝叶斯公式：P(Xi|Y)=P(Xi)*P(Y|Xi)/
•
∑ P(Xi)*P(Y|Xi)
信源的分类
wk.baidu.com离散
1. 连续
单符号
2. 多符号
无记忆
3. 有记忆
信源的分类1
• 按照信源发出的消息在时间上和幅度上的分布情况 可将信源分成离散信源和连续信源两大类。
• 离散信源是指发出时间和幅度上都是离散分布的离 散消息的信源，如文字、数字、数据等符号都是离 散消息。
p( xi ) 1, p( y j ) 1, p( xi / y j ) 1,
i 1
j 1
i 1
m
mn
p( y j / xi ) 1,
p( xi y j ) 1
j 1
j 1 i 1
n
m
(3)
p( xi y j ) p( y j ), p( xi y j ) p( xi )
• 同时，符号的出现具有一定的规律性，所以可以使用随机变 量或者随机向量/矢量等数学理论来研究信息，这就是香农信 息论的基本点。
• 在经典的香农信息论中，讨论信源的概率统计特性和基于此 的客观概率信息。
2.1 信源的描述与分类
• 实际应用中分析信源所采用的方法往往要由信源的 特性而定。
• 不同类型的信源采用不同的数学模型进行表示。
第2章 信源与信息熵
• 信源是信息的来源。例如声音、文字、图像和数据 等。
• 在信息论中，信源是产生消息(符号)、消息(符号)序 列和连续消息的来源；信源输出是以符号形式出现 的具体消息。
• 客观信源的基本特性是具有随机、不确定性。当出现的符号 是随机的，才能载荷信息。如果符号是确定的且已知，那么 该消息就没有包含信息。从数学上看，由于信息的不确定性， 信源可以认为是产生随机变量、随机向量/矢量、随机序列和 随机过程的源。
• 发出符号序列的信源是指信源每次发出一组含二个以上的符 号序列代表一个消息。 (例如：两次红绿灯的消息、两次投掷 硬币的结果、 一次红绿灯消息加上一次投掷硬币的结果。)信 源用随机向量/矢量、随机序列或者随机过程来表示。
信源的分类3
• 对于发出多个符号的信源(多符号、符号序列信源) ： 按照信源发出的多个符号彼此之间是否存在关联， 还可分为无记忆信源和有记忆信源。
• 发出单个符号的、无记忆、连续信源：有些输出的 消息也是单个符号，但是符号取值或者消息的数量
是无限的。(例如，测量一节电池的电压。)
• 数学模型：连续随机变量的取值范围和概率分布密 度函数。
X

p(
x)

(a, b)

p( x)

或
并满足
R

p(
x)
b p( x)dx 1或 p( x)dx 1
a
R
• 在有些情况下，可以将符号的连续取值进行量化或 离散化，将符号取值转换成有限的或可数的离散值， 从而就可以把连续信源转换成离散信源来处理。
多符号的序列信源
• 实际上，很多离散信源每次发出的消息总是由2个以 上的符号序列构成。
• 描述一个符号需要一个离散型或连续型随机变量， 所以描述此类多符号信源发出的符号序列构成的消 息应该使用时间或空间上离散的一系列随机变量， 即随机向量/矢量。这样，信源的输出可用N维随机 向量/矢量
i 1
j 1
(4)
p( xi y j ) p( xi ) p( y j / xi ) p( y j ) p( xi / y j )
(5) 当X与Y相互独立时, p( y j / xi ) p( y j ),
p( xi / y j ) p( xi ), p( xi y j ) p( xi ) p( y j )
(6)
p( xi / y j )
p( xi y j )
n
, p( y j / xi )
p( xi y j )
m
p( xi y j )
p( xi y j )
i 1
j 1
• 随机变量的数学期望E:
• 离散型随机变量E(X)=∑Xi*P(Xi)
• 连续型随机变量
• 全概率公式：P(Y)=∑P(XiY)=∑ P(Xi)*P(Y|Xi)
• 单符号、无记忆、离散信源 • 发出单个符号的、无记忆、离散信源：输出的都是单个符号
的消息，出现的消息数是有限的且只可能是符号集中的一种， 即符合完备性。若各符号出现的概率已知，则该信源就确定 了；反之，信源已知，则各符号出现的概率就确定了。
• 所以信源出现的符号及其概率分布就决定了信源。数学模型：