第三章：信源、熵率及冗余度

离散信源－单符号离散信源的数学描述
• 对单符号离散信源U 有： U U u1 U ui U un
P p1 pi pn
例3－1：对于二进制数字信源：U={0,1}，则有
U u1 0 u2 1 p p1 P 0
– 信源的统计特性如何？ – 如何对信源分类？ – 各类信源如何建模？
信源特性
• 信源的统计特性
– 1）什么是信源？
• 信源是信息的来源，实际通信中常见的信源有：语音、 文字、图像、数据 … 。在信息论中，信源是产生消息 （符号）、消息（符号）序列以及连续消息的来源，数 学上，信源是产生 随机变量 X，随机序列 X 和随机过程 X(t,ω)的源。
离散信源－离散平稳有记忆信源
• 一般情况下，信源在不同时刻发出的符号之间是相互依赖 的。也就是信源输出的平稳随机序列X中，各随机变量Xi之 间是有依赖的。
– 例如，在汉字组成的中文序列中，只有根据中文的语法、习惯用 语、修辞制约和表达实际意义的制约所构成的中文序列才是有意 义的中文句子或文章。所以，在汉字序列中前后文字的出现是有 依赖的，不能认为是彼此不相关的。其他如英文，德文等自然语 言都是如此。这种信源称为有记忆信源。
离散信源－单符号离散信源（2）
– 当信源给定，其相应的概率空间就已给定；反之， 如果概率空间给定，这就表示相应的信源已给定。 所以，概率空间能表征离散信源的统计特性，因此 有时也把这个概率空间称为信源空间。
– 在实际情况中，存在着很多这样的信源。例如投硬 币、书信文字、计算机的代码、电报符号、阿拉伯 数字码等等。这些信源输出的都是单个符号(或代码) 的消息，它们符号集的取值是有限的或可数的。我 们可用一维离散型随机变量X来描述这些信源的输出。 它的数学模型就是离散型的概率空间：
离散信源－多符号离散信源的数学描述
• 多符号离散信源可用随机矢量/随机变量序列描述， 即 X=X1X2X3…
• 信源在不同时刻的随机变量Xi和Xi+r的概率分布 P(Xi)和P(Xi+r)一般来说是不相同的，即随机变量的 统计特性随着时间的推移而有所变化。
离散信源－离散平稳信源
• 若信源输出的随机序列X= (Ｘ１，Ｘ２，…，ＸＮ )中， 每个随机变量 Xi (i=1,2,…，N)都是取值离散的离散型随机 变量，即每个随机变量Xi的可能取值是有限的或可数的。 而且随机矢量 X的各维概率分布都与时间起点无关，也就 是在任意两个不同时刻随机矢量X的各维概率分布都相同。 这样的信源称为离散平稳信源。如中文自然语言文字，离 散化平面灰度图像都是这种离散型平稳信源。 • 一般来说，信源输出的随机序列的统计特性比较复杂，分 析起来也比较困难。为了便于分析，我们假设信源输出的 是平稳的随机序列，也就是序列的统计性质与时间的推移 无关。很多实际信源也满足这个假设。
离散信源－马尔可夫信源
• 表述有记忆信源要比表述无记忆信源困难得多。实际 上信源发出的符号往往只与前若干个符号的依赖关系 强，而与更前面的符号依赖关系弱。为此，可以限制 随机序列的记忆长度。
• 当记忆长度为 m+1 时，称这种有记忆信源为 m 阶马尔 可夫信源。也就是信源每次发出的符号只与前 m个符 号有关，与更前面的符号无关。
哭 SGTRW
S G T R W
离散信源－ 二进制无记忆信源的N次扩展信源
• 把信源输出的序列看成是一组一组发出的。
电报系统中，可以认为每二个二进制数字组成一组。这样信源输出的是由二个 二进制数字组成的一组组符号。这时可以将它们等效看成一个新的信源，它由 四个符号00，01，10，11组成，把该信源称为二进制无记忆信源的二次扩展。
信源建模
• 4.字母出现概率按照英文文本统计，字母间存在三维相关性
IN NO IST LAT WHEY CRATICT FROUREBIRSGROCIDPONDENOME OF DEMONSTURESOF THE REPTAGIN IS REGOACTIONA OF CRE.
• 5.字母出现概率按照英文文本统计，字母间存在N维相关性
如果把每三个二进制数字组成一组，这样长度为3的二进制序列就有8种不同的 序列，可等效成一个具有8个符号的信源，把它称为二进制无记忆信源的三次扩 展信源。
• 二进制无记忆信源的N次扩展：把每N个二进制数字组成一 组，则信源等效成一个具有2N个符号的新信源，把它称为 二进制无记忆信源的N次扩展信源。
例 3－ 3： A
X1 X2 X3 X4 X5 X6 X7 X8 0 1 0 0 0 0 0 1
B
0 1 0 0 0 0 1 0
D
0 1 0 0 0 1 0 0
A
0 1 0 0 0 0 0 1
C
0 1 0 0 0 0 1 1
B
0 1 0 0 0 0 1 0
B
0 1 0 0 0 0 1 0
ALeabharlann Baidu
0 1 0 0 0 0 0 1
REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CAN DIFFERENT NATURALHERE HE THE A IN CAME THE TOOF TO EXPERT GRAY COME TO FURNISHESTHE LINE MESSAGE HAD BE THESE.
第三章：信源、熵率及冗余度
问题一
• 信息论对信源的研究内容包括哪几个方面？
信息论对信源研究的内容
– 信源的建模：用恰当的随机过程来描述信号
• 关心角度：信号中携带的信息
– 信源输出信号中携带信息的效率的计算
• 熵率、冗余度
– 信源输出信息的有效表示
• 信源编码
问题二
• 从信息论的角度如何为信源建模？
• 我们称由信源空间［X，P(x)］描述的信源X为离散无记 忆信源。这信源在不同时刻发出的符号之间是无依赖的， 彼此统计独立的。
离散信源－离散无记忆信源的N次扩展信源
• 离散无记忆信源X={ x1,x2,…,xn}，对它的输出消息序列，可以 用一组组长度为N的序列来表示它。这时它就等效成了一个新 信源； • 新信源输出的符号是N长的消息序列，用N维离散随机矢量来 描述。ai=(xi1xi2…xiN) i=1,2, …,n 每个分量xik (k=1,2,…,N)都是随机变量，都取值于同一信源X， 并且分量之间统计独立。 • 由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信 源。 • 离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重 空间。
例 3－ 4：
电文： 女 孩 儿 在 X CHUYJ KOIUY HSFRT NHYTF
X1 C K H N X2 H 0 S H X3 U I F Y X4 Y U R T X5 J Y T F X1,X2,X3,X4,X5均为单符号随机变量X＝{A、B、C…Z} P(X1X2X3X4X5)=P (X1)P(X2)P(X3)P(X4)P(X5) 且与时间起点无关， X为一无记忆平稳信源
离散信源－平稳信源的数学模型（二维）
最简单的离散平稳信源：二维平稳信源 X=X1X2 每两个符号看做一组，每组代表信源X=X1X2的一个消息； 每组中的后一个符号和前一个符号有统计关联，这种概率 性的关系与时间起点无关； 假定符号序列的组与组之间是统计独立的。
设X1,X2 ∈{x1,x2,…,xn},矢量 X∈{x1x1, …x1xn,x2x1, …,x2xn, …xnx1, …,xnxn} 令
• 我们需在N维随机矢量的联合概率分布中，引入条件概率分 布来说明它们之间的关联。
例 3－ 5：
女孩儿在哭 X THIS GIRL IS
X1 T G I
CRYING
C
X2 H I S R X3 I R Y X4 S L I X5 N X6 G X1,X2,X3,X4,X5均为单符号随机变量X＝{A、B、C…Z} P(X1X2X3X4X5)≠P (X1)P(X2)P(X3)P(X4)P(X5) 与时间起点无关， X是一有记忆平稳信源
– 2）信源的主要特性
• 信源的最基本的特性是具有统计不确定性，它可用概率 统计特性来描述。
信源的分类
• 离散信源与连续信源 • 离散信源
– 单符号信源 – 序列信源
• 平稳&非平稳 • 有记忆&无记忆
• 连续信源
– 连续信源 – 波形信源
离散信源－单符号离散信源（1）
– 它是最简单也是最基本的信源，是组成实际信源 的基本单元。 – 这类信源可能输出的消息数是有限的或可数的， 而且每次只输出其中一个消息。因此，可以用一 个离散型随机变量 X 来描述这个信源输出的消息。 这个随机变量 X的样本空间就是符号集 A；而 X的 概率分布就是各消息出现的先验概率，信源的概 率空间必定是一个完备集。
i1,i2 1, 2,，n
ai ( xi1 xi2 )
i 1, 2,, n
2
p(ai ) p( xi1 xi2 ) p( xi1 ) p( xi2 / xi1 )
X的数学模型
X a1 , a2 ,，an2 P( X ) p(a ), p(a ), , p(a ) 2 1 n2 并且
当p0 p1

1 2
0 1 2
1 1 2
离散信源－离散多符号信源
• 实际的信源输出的消息是时间或空间上离散的一系列随机 变量。这类信源每次输出的不是一个单个的符号，而是一 个符号序列。在信源输出的序列中，每一位出现哪个符号 都是随机的，而且一般前后符号的出现是有统计依赖关系 的。这种信源称为多符号离散信源。 • 例 3－ 2： THEY ARE MY FRIENDS.
信源建模
• 1. 各字母等概、字母间不相关（字符独立）
XFOML RXKHRJFFJUJ LPWCFWKCYFFJEYVKC QSGHYDQPAAMKBZAACIBZLHJQD.
•
2. 字母出现概率按照英文文本统计，字母间不相关（字符独立）
OCRO HLI RGWR NMIELWIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVANAH
C
0 1 0 0 0 0 1 1
C
0 1 0 0 0 0 1 1
D
0 1 0 0 0 1 0 0
X 1 、X 2、…X8 ,均为单符号随机变量信源X={0,1}， P( X 1 X 2…X8 ) 与时间起点无关平稳 P( X 1 X 2…X8 ) ＝P(X 1)P(X 2)…P(X8 )无记忆信源
p(a ) p( x ) p( x
i 1 i i1 1 i2 1 i1
n2
n
n
i2
/ xi1 ) p( xi1 ) p( xi2 / xi1 ) 1
i1 1 i2 1
n
n
离散信源－离散平稳无记忆信源
• 在某些简单的离散平稳信源情况下，信源先后发出的一 个个符号彼此是统计独立的。也就是说信源输出的随机 矢量X=(X１X２…XＮ）中，各随机变量Xi (i=1,2,…N)之间 是无依赖的、统计独立的，则 N 维随机矢量的联合概率 分布满足P(X)=P（Ｘ１）P（Ｘ２）…P（ＸＮ）
•
3. 字母出现概率按照英文文本统计，字母间存在二维相关性（两两 相邻字母相关 ）
ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY ACHIN D ILONASIVETUCOOWEAT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTISBE.
离散信源－时齐马尔可夫信源
• 设马 尔可夫 信源各 时刻随 机变量 Ｘ ｋ 的取 值为 xk ， xk∈Xk ， k=1,2,… ， i-1,i,i+1,…N ，则描述随机序列中 各随机变量之间依赖关系的条件概率为 P(xi|…xi+2 xi+1 xi-1 xi-2 xi-3 …xi-m …x1） =Ｐ（xi|…xi-1 xi-2 x-3 …xi-m） （i=1,2,…N） • 如果上述条件概率与时间起点i无关，即信源输出的符 号序列可看成为时齐马尔可夫链，则此信源称为时齐 马尔可信源。