信源熵率及冗余度

分布满足 P(X)=P （Ｘ１）P（Ｘ２）…P（ＸＮ）
? 我们称由信源空间［ X，P(x)］描述的信源 X为离散无记 忆信源 。这信源在不同时刻发出的符号之间是无依赖的， 彼此统计独立的。
离散信源－离散无记忆信源的N次扩展信源
? 离散无记忆信源X={ x1,x2,…,xn}，对它的输出消息序列，可以 用一组组长度为N的序列来表示它。这时它就等效成了一个新 信源；
? 每组中的后一个符号和前一个符号有统计关联，这种概率 性的关系与时间起点无关；
? 假定符号序列的组与组之间是统计独立的。
?设X1,X2 ∈{x1,x2,…,xn},矢量 X∈{x1x1, …x1xn,x2x1, …,x2xn, …xnx1, …,xnxn} 令
ai ? (xi1 xi2 )
i1,i2 ? 1,2,? ，n
– 在实际情况中，存在着很多这样的信源。例如投硬 币、书信文字、计算机的代码、电报符号、阿拉伯 数字码等等。这些信源输出的都是单个符号 (或代码) 的消息，它们符号集的取值是有限的或可数的。我 们可用一维 离散型随机变量 X来描述这些信源的输出。 它的数学模型就是离散型的概率空间：
离散信源－单符号离散信源的数学描述
– 信源的统计特性如何？ – 如何对信源分类？ – 各类信源如何建模？
信源特性
? 信源的统计特性
– 1）什么是信源？
? 信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据 …。在信息论中，信源是产生 消息 （符号）、 消息（符号） 序列以及连续消息 的来源，数
学上，信源是产生 随机变量X，随机序列 X 和随机过程
? 新信源输出的符号是N长的消息序列，用N维离散随机矢量来 描述。ai=(xi1xi2…xiN) i=1,2, …,n 每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源X， 并且分量之间统计独立。
? 一般来说，信源输出的随机序列的统计特性比较复杂，分 析起来也比较困难。为了便于分析，我们假设信源输出的 是平稳的随机序列，也就是序列的统计性质与时间的推移 无关。很多实际信源也满足这个假设。
离散信源－平稳信源的数学模型（二维）
? 最简单的离散平稳信源：二维平稳信源 X=X1X2 ? 每两个符号看做一组，每组代表信源X=X1X2的一个消息；
? 对单符号离散信源U
有：
????UP
????
?
????U
? u1 p1
? ?
U ? ui ? pi ?
U
? un pn
????
例3－1：对于二进制数字信源：U={0,1}，则有
?U
? ?
P
? ? ?
?
?u1 ?
? ?
p0
0
u2 ? p1
1?当p0 ? ?
? p1
?
?
1 2
? ? ? ?
0 1 2
1?
X(t,ω) 的源。
– 2）信源的主要特性
? 信源的最基本的特性是具有 统计不确定性 ，它可用概率 统计特性来描述。
信源的分类
? 离散信源与连续信源 ? 离散信源
– 单符号信源 – 序列信源
? 平稳&非平稳 ? 有记忆&无记忆
? 连续信源
– 连续信源 – 波形信源
离散信源－单符号离散信源（1）
– 它是最简单也是最基本的信源，是组成实际信源 的基本单元。
离散信源－多符号离散信源的数学描述
? 多符号离散信源可用随机矢量/随机变量序列描述， 即
X =X1X2X3…
? 信源在不同时刻的随机变量Xi和Xi+r的概率分布 P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量的 统计特性随着时间的推移而有所变化。
离散信源－离散平稳信源
? 若每变而信 个 量且，源 随 随即输 机 机每出 变 矢个的量量随随XX的机机i (各变序i=1维量列,2概,XX…率=i的，分可N(Ｘ布)能都都１取是，与值取Ｘ时是值２间， 有离起限…散点的，的无或Ｘ离关可散Ｎ，数型也)的随中就机，。 是在任意两个不同时刻随机矢量 X的各维概率分布都相同。 这样的信源称为 离散平稳信源 。如中文自然语言文字，离 散化平面灰度图像都是这种离散型平稳信源。
– 这类信源可能输出的消息数是有限的或可数的， 而且每次只输出其中一个消息。因此，可以用一 个离散型随机变量 X来描述这个信源输出的消息。 这个随机变量 X的样本空间就是符号集 A；而 X的 概率分布就是各消息出现的先验概率，信源的概 率空间必定是一个完备集。
离散信源－单符号离散信源（2）
– 当信源给定，其相应的概率空间就已给定；反之， 如果概率空间给定，这就表示相应的信源已给定。 所以，概率空间能表征离散信源的统计特性，因此 有时也把这个概率空间称为 信源空间。
第三章：信源、熵率及冗余度
问题一
? 信息论对信源的研究内容包括哪几个方面？
信息论对信源研究的内容
– 信源的建模：用恰当的随机过程来描述信号
? 关心角度：信号中携带的信息
– 信源输出信号中携带信息的效率的计算
? 熵率、冗余度
– 信源输出信息的有效表示
? 信源编码
问题二
? 从信息论的角度如何为信源建模？
i ? 1,2,? , n2
p(ai ) ? p(xi1 xi2 ) ? p(xi1 ) p(xi2 / xi1 )
? X的数学模型
?X ??P ( X
? )??
?
? ? ?
a1, p(a1 ),
a2,? p(a2 ),?
，a n2 , p(an2
? )??
并且
n2
nn
n
n
? ?? ? ? p(ai ) ?
p(xi1 )p(xi2 / xi1 ) ? p(xi1 ) p( xi2 / xi1 ) ? 1
i?1
i1 ?1 i2 ?1
i1 ?1
Biblioteka Baidu
i2 ?1
离散信源－离散平稳无记忆信源
? 在某些简单的离散平稳信源情况下，信源先后发出的一 个个符号彼此是统计独立的。也就是说信源输出的随机 矢量X=(X１X２…XＮ）中，各随机变量 Xi (i=1,2,…N)之间 是无依赖的、统计独立的，则 N维随机矢量的联合概率
1
? ?
2?
离散信源－离散多符号信源
? 实际的信源输出的消息是时间或空间上离散的一系列随机 变量。这类信源每次输出的不是一个单个的符号，而是一 个符号序列。在信源输出的序列中，每一位出现哪个符号 都是随机的，而且一般前后符号的出现是有统计依赖关系 的。这种信源称为多符号离散信源。
? 例3－2： THEY ARE MY FRIENDS.