信息论-第3章多符号离散信源与信道

p ( X Q X Q 1 X Q N ) P ( X T X T 1 X T N )
则把信源X称为N+1维离散平稳信源。
4
3.1 离散平稳信源的数学模型
说明（符号集 X:{a1,a2, ,ar}）
1 .P (X Q a i)P (X Ta i)p (a i) i(1 ,2 , ,r)
r
0p (a i)1(i1 ,2 , ,r) p (a i)1 i 1
则 X 称为离散无记忆信源。
9
3.2 离散平稳无记忆信源的信息熵
若N维离散平稳信源 XX1X2 XN 中，各时刻 随机变量 Xk(k1,2, ,N)之间相互统计独立，则 我们将 XX1X2 XN称为N维离散平稳无记忆信源。 对N维离散平稳无记忆信源 XX1X2 XN，有
3
3.1 离散平稳信源的数学模型
离散平稳信源
一般情况下，信源X的概率分布与时间k(k=1,2, …)有关
P (X k) {p k(a 1)p ,k(a 2) ,,p k(a r)} (k 1 ,2 , )
设Q,T为两个任意时刻，若信源X的分布与时间无关，即有
P(XQ)P(XT)
p(X Q X Q 1)P (X TX T 1)
11
3.2 离散平稳无记忆信源的信息熵
二 离散无记忆信源的信息熵
1. 最简单离散信源 用一维随机变量X描述，其数学模型为
pX (x)p(aa 11)
a2 p(a2)
aq p(aq)
q
且
p(ai)1, p(ai)0,i1,2, ,q
i1
特点:
消 息 符 号 彼 此 统 计 独 立 消 息 符 号 具 有 相 同 概 率 分 布
表明N+1维离散平稳信源的1至N+1维联合概率分布不随时间的
推移而变化，对时间的起点来说是平稳的。
5
3.1 离散平稳信源的数学模型
2. 数学模型
信源符号集 X:{a1,a2, ,ar}，N维离散平稳信源，
XX1X2 XN X{a1,a2, ,ar}
令 i (ai1,ai2, ,aiN)表N 示 维平稳信源消 发息 出
i1 ,i2 , ,iN 1 ,2 , ,r i1,2,,rN
0 p ( i ) p ( a i 1 a i 2 a i) N p ( a i 1 ) p ( a i 2 ) p ( a i) N 1
rN
rr
r
p(i) p(ai1ai2 aiN )1
i1
i11i21 iN 1
P (X ) P (X 1 )P (X 2 ) P (X N )
10
3.2 离散平稳无记忆信源的信息熵
N维离散平稳无记忆信源 XX1X2 XN
信源空间
X Pp (11)
2 p(2)
p (rN rN)来自百度文库
其中
i (ai1ai2 aiN )
a i1 ,a i2 , ,a iN { a 1 ,a 2 , ,a r}
中，每N个随机变量看作一组，每组代表一个完整的消息。
N维离散平稳信源 XX1X2 XN称为信源 X:{a1,a2, ,ar} 的N次扩展。
8
3.2 离散平稳无记忆信源的信息熵
一. 离散平稳无记忆信源概念
定义 3.2.1 设信源 X 输出符号集{a1,a2,,ar}，r为信
源发出的消息符号个数，每个符号发生的概率为p(ai )。这 些消息符号彼此互不相关，且
其中
i (ai1ai2 aiN )
a i1 ,a i2 , ,a iN { a 1 ,a 2 , ,a r}
i1 ,i2 , ,iN 1 ,2 , ,r
i1,2,,rN
0 p (i) p (a i1 a i2 a iN ) 1(i1,2,,rN)
rN
rr
r
p(i) p(ai1ai2 aiN )1
i1
i11i21 iN 1
7
3.1 离散平稳信源的数学模型
推广
不妨假定：多符号离散平稳信源发出的所有信息都由N 个符号组成；多符号离散平稳信源发出的长度为N的不同 消息间相互统计独立、互不相关，因此可将N维离散稳定 信源在时间上延长到无穷序列
X X 1 X 2 X N X N 1 X N 2 X N N X 2 N 1 X 2 N 2 X 2 N N
3. 才能代表一个完整的消息的信源，称为多符号离散信 源。
4. 多符号离散信道：相对于多符号离散信源来说，若信 道的
5. 输入端输入一个由多个信源符号组成的时间序列所代 表的
6. 消息，在信道的输出端相应以一定概率输出一个由同 样个
7. 数的符号组成的时间序列所代表的消息，这种信道称 2
3.1 离散平稳信源的数学模型
多符号离散信源的表示：
XX1X2X3 X k X :{ a 1 ,a 2 , ,a r } k ( 1 ,2 , )
多符号离散信源可用随机变量序列Xk(k=1,2, …)组成的时 间序列来表示，其中Xk表示某一单位时间k信源发出的符 号。
注：多符号离散信源 XX1X2X3可看成时刻k(k=1,2, …) 的单符号离散信源Xk(k=1,2, …)的时间序列。
2 .P (X Q a i,X Q 1 a j) P (X T a i,X T 1 a j) p (a ia j) 其 (i,j 中 1 ,2 , ,r )
3.P{XQ1ai1,XQ2ai2, ,XQNaiN } P{XT1ai1,XT2ai2, ,XTNaiN }p(ai1ai2 aiN) 其(a 中 i1,ai2, ,aiN){a1,a2, ,ar} i1,i2, ,iN 1,2, ,r
ai1,ai2, ,aiN 分别 i在 表时 1 ,示 2, ,刻 N 时刻的
N维平稳 XX 信 1X2 源 XN共可以 rN种 发 不 出 同的
rN
0p(i)p(ai1ai2 aiN )1 p(i)1 i 1 6
3.1 离散平稳信源的数学模型
数学模型
信源空间
X Pp (11)
2 p(2)
p (rN rN)
第3章 多符号离散信源与信道
• 内容提要 3.1 离散平稳信源的数学模型 3.2 离散平稳无记忆信源的信息熵 3.3 离散平稳有记忆信源的信息熵 3.4 离散平稳有记忆信源的极限熵 3.5 马尔可夫信源的极限熵 3.6 信源的剩余度和结构信息
1
3.1 离散平稳信源的数学模型
1. 基本概念
2. 多符号离散信源：由多个符号组成的时间（或空间） 序列