2-1 第2章 信源的数学模型和分类

11
HUST FurongWang --- Information and Coding Theory
信源的分类—无记忆信源 信源的分类
如果信源发出的消息符号间彼此是统计独立的，并且它们具有 相同的概率分布，且N维随机矢量的联合概率分布为：
p ( X ) = ∏ p ( X k = a ik ) = ∏ p ik
实际中经常是它们的组合
如离散无记忆信源等。
10
HUST FurongWang --- Information and Coding Theory
信源的分类—离散平稳信源 信源的分类
信源
X1, X2, X3, ……
A为 {a1, a2, a3, …am}或(a,b) 为 或
如果随机序列中各个变量具有相同的概率分布，则称为离散 离散 平稳信源。 平稳信源 如果离散平稳信源的输出序列中各个变量是相互独立的，即 前一个符号的出现不影响以后任何一个符号出现的概率，则 称为离散无记忆平稳信源 离散无记忆平稳信源，否则称为离散有记忆平稳信源 离散无记忆平稳信源 离散有记忆平稳信源
信源的数学模型及其分类
通信的根本问题是将信源的输出在接收端尽可能精 确地复现出来，所以需要讨论如何描述信源的输出 如何描述信源的输出， 如何描述信源的输出 即如何计算信源产生的信息量 如何计算信源产生的信息量。 如何计算信源产生的信息量 信源的数学模型
信源概念、数学模型 离散信源ang --- Information and Coding Theory
2.1.1 单符号离散信源的数学模型
定义：单符号离散信源的数学模型
设信源X 输出符号集 x = ( x1 , x2 ,...xn )，n为消息符号个数， 每个符号发生的概率为p( xi ) ≥ 0 i = 1, 2,..., n， 消息符号彼此互不相关，且有
14
HUST FurongWang --- Information and Coding Theory
信源的分类
随机 变量 连续信源：可能输出的消息数是无限的或不可数的 X = (a, b) P p( x)

X x1 离散信源：可能输出的消息数有限 P = p( x1 )
有限状态马尔可夫链
无限记忆信源
13
HUST FurongWang --- Information and Coding Theory
混合信源
按信源输出时间和取值划分： 时间连续，取值连续或随机的，称之为随机 波形信源，表示为X(t)。 输出既有连续分量又有离散分量，称之为混 合信源。 重点研究离散信源产生消息的不确定性， 不研究信源的内部结构和消息的如何产生
记忆性：有记忆和无记忆信源 有记忆信源：马尔可夫信源
2
HUST FurongWang --- Information and Coding Theory
信源的概念
信源－信息的发源地，如人、生物、机器等等。 由于信息是十分抽象的东西，所以要通过信息载荷 者，即消息来研究信源，这样信源的具体输出称作 消息。 消息的形式可以是离散消息（如汉字、符号、字母） 或连续消息（如图像、语音） 信源消息中的信息是一个时变的不可预知的函数， 因此，描述信源消息或对信源建模，随机过程是一 个有效的工具，随机过程的特性依赖于信源的特性。
有限记忆信源：输出的平稳随机序列
X中各随机变量之间有 依赖关系，但记忆长度有限
15
HUST FurongWang --- Information and Coding Theory
第2章 信源熵
2.0 2.1 2.2 2.3 2.4 信源的数学模型及其分类 单符号离散信源 多符号离散平稳信源 连续信源 离散无失真信源编码定理
12
HUST FurongWang --- Information and Coding Theory
信源的分类—有记忆信源
通常情况下，信源发出的符号间是彼此相互 依存和关联的（如小说文字），是有记忆信 源。通常用联合概率或条件概率来描述这种 关联性。 按记忆长度划分有：
有限记忆信源（马尔可夫信源）
连续平稳信源 连续平稳信源
离散无记忆信源的N次扩展信源 离散无记忆信源的 次扩展信源：输出的
平稳随机序列X中各随机变量统计独立。 每个随机变量xi取值于同一概率空间。 每N个符号构成一组，等效为一个新的信源
随机过程{x(t)}：随机波形信源 随机过程
信源输出的消息是时间（或空间）上 和取值上都是连续的函数
9
HUST FurongWang --- Information and Coding Theory
信源的分类
对信源的分类主要基于两方面的考虑： 一是信源消息取值的集合以及消息取值时刻的集合
由此可分为离散信源、连续信源 或 数字信源、模拟信源（波形信源）
二是信源消息的统计特性
由此可分为无记忆信源、有记忆信源、 平稳信源、非平稳信源、 高斯信源、马尔可夫信源等。
k =1 k =1
N
N
i = 1, 2, ..., n
k = 1, 2, ..., N
我们称之为离散无记忆信源 离散无记忆信源。 离散无记忆信源 同样，若N维随机矢量中X每个变量Xk是连续随机变量，且相互 独立，则X的联合概率密度函数 为
p( X ) =
∏p
k =1
N
k
，这种信源叫连续型无记忆信源 连续型无记忆信源
第2章 信源熵 章
2.1 单符号离散信源
2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 一、信息量
1、自信息量；2、联合自信息量；3、条件自信息量 自信息量； 联合自信息量；
二、互信息量和条件互信息量
1、互信息量；2、互信息的性质；3、条件互信息量 、互信息量； 、互信息的性质； 、
如自然语言信源就是把人类的语言作为信源，以汉字为 例，就是随机地发出一串汉字序列。 我们可以把这样信源输出的消息视为时间上或空间上离 散的随机变量序列，即随机矢量。 于是，信源的输出可用N维随机矢量(Xk,k=1,2,...,N)来 描述，N一般为有限正整数。
8
HUST FurongWang --- Information and Coding Theory
∑ p( x ) = 1
i =1 i
n
即信源的概率空间是完备的。
6
HUST FurongWang --- Information and Coding Theory
信源的数学模型
离散信源的数学模型： x2 ... X x1 P = p ( x ) p ( x ) ... 1 2 其中 p ( xi ) = P ( X = xi ) 且 p ( xi ) ≥ 0,
a b
7
HUST FurongWang --- Information and Coding Theory
单/多符号信源 多符号信源
单符号信源：信源输出的是单个消息符号，用一维 离散或连续随机变量X及其概率分布P来描述。 多符号信源：信源输出的是多个消息符号，用N维 随机矢量，N重离散概率空间的数学模型来描述。
16
HUST FurongWang --- Information and Coding Theory
第2章 信源熵 章
2.1 单符号离散信源
2.1.1 2.1.2 2.1.3 2.1.4 2.1.5 2.1.6 单符号离散信源的数学模型 自信息和信源熵 信源熵的基本性质和定理 加权熵的概念及基本性质 平均互信息量 各种熵之间的关系
HUST FurongWang --- Information and Coding Theory
第2章 信源熵
2.0 2.1 2.2 2.3 2.4 信源的数学模型及其分类 单符号离散信源 多符号离散平稳信源 连续信源 离散无失真信源编码定理
1
HUST FurongWang --- Information and Coding Theory
多符号信源的数学模型—N重离散概率空间 重离散概率空间 多符号信源的数学模型
a2 ... an N X a1 P = p ( a ) p ( a ) ... p ( a ) 1 2 nN 其中 X = { X k , k = 1, 2, 3,..., N }为随机序列 X k ∈ A = [ x1 , x2 ,..., xn ] k = 1, 2,..., N ai = ( xi1 , xi 2 ,..., xiN ) ∈ A N i = 1, 2,..., n N A N＝ xik , i = 1, 2,..., n; k = 1, 2,..., N 可见，随机序列 X = ( X 1 , X 2 ,..., X N )的取值 x = a j , j = 1, 2,..., n N 的个数n N，取决于序列长度 N 和 符号集 A = ( xi , i = 1, 2,..., n )的符号个数n。
∑ p( x ) = 1,
i =1 i
n
p( xi ) ≥ 0 i = 1, 2,..., n
则称X 为离散无记忆信源，可用下面的概率场来描述 X x1 P = p( x ) 1 x2 ... xn p( x2 ) ... p( xn )
18
HUST FurongWang --- Information and Coding Theory
n i =1 i
xn p ( xn ) i = 1, 2,..., n
∑ p( x ) = 1
连续信源的数学模型： X ( a, b) P = p ( x) 其中 p ( x)为连续随机变量X的概率密度函数， (a, b)为X的存在域,且 p ( x) ≥ 0， p ( x)dx = 1 ∫