3离散信源及其数学模型
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2
1.1 信息的概念
• 信号 • 消息 • 信息 • 三者之间的关系:
2019/5/10
3
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。信息是物质和能量在空间 和时间上分布的不均匀程度，或者说 信息是关于事物运动的状态和规律。
通信系统中形式上传输的是消
息，实质上传输的是信息，消息 中包含信息，消息是信息的载体。
离散信源 消息集X 为离散集
合。
源 时间 离散而 空间连 续的信
波形信源
时间连续 的信源。
源。
根据信源的统计特性，离散信源又分为两种：
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
2019/5/10
8
三个基本概念
• 样本空间: • 概率测度: • 概率空间:
2019/5/10
表1-1 p (xi xj )
xj
0
1
2
xi
0
1/3
1/9
0
1
1/9
1/18
1/6
2
0
1/6
1/18
2019/5/10
13
满足
p(xi x j ) q(x，i ) 由
j
p(x j
xi )
p(xi x j ) q(xi ) 可计算出当
已知前一个符号xi时，后一个符号xj为0、1、2时的概率各为多少：
信息论是研究信息的基本性质及度量方法，研究信息的
获取、传输、存储和处理的一般规律的科学。
20源自文库9/5/10
4
对于信息论的研究，一般划分为三个不同的范畴：
狭义信息论，即通信的数学理论，主要研究狭义 信息的度量方法，研究各种信源、信道的描述和信 源、信道的编码定理。
实用信息论，研究信息传输和处理问题，也就是
表1-2 p (xjxi)
xj
0
1
2
xi
0
3/4
1/4
0
1
1/3
1/6
1/2
2
2019/5/10
0
3/4
1/4
14
1.3.4 马尔可夫信源
狭义信息论方法在调制解调、编码译码以及检测理论 等领域的应用。
广义信息论，包括信息论在自然和社会中的新的 应用，如模式识别、机器翻译、自学习自组织系统、 心理学、生物学、经济学、社会学等一切与信息问题 有关的领域。
2019/5/10
5
1.2 信息传输系统
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。
第1章 信息论基础
2019/5/10
1
第1章 信息论基础
2019/5/10
内容提要 信息论是应用近代概率统计方法研究信息 传输、交换、存储和处理的一门学科，也 是源于通信实践发展起来的一门新兴应用 科学。本章首先引出信息的概念，简述信 息传输系统模型的各个组成部分，进而讨 论离散信源和离散信道的数学模型，简单 介绍几种常见的离散信源和离散信道。
2019/5/10
i 1
11
1.3.3 离散平稳有记忆信源
中、英文句子中前后出现的汉字、字母往往是有依赖的。这种依 赖性我们称作有记忆。
用联合概率空间{X , q (X )}来描述离散有记忆信源的输出。信源 在i时刻发出什么符号与i时刻以前信源所发出的符号有关，即由条 件概率p (xixi-1 xi-2… )确定。
如果该条件概率分布与时间起点无关，只与关联长度有关，则该 信源为平稳信源。
对于离散平稳有记忆信源，有：
p (x1 = a1) = p (x2 = a1) = … p (x2 = a2x1 = a1) = p (x3 = a2x2 = a1) = … p (x3x2 x1) = p (x4x3 x2) = … ┇
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
2019/5/10
7
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
类型：
连续信
各种通信系统，一般可概括为图1.1所示的统计模型：
信源
图1-1 信息传输系统模型 信源编码器 信道编码器
等效干扰 信道
等效信源
信
等效信宿
道
信宿 2019/5/10
信源译码器 信道译码器
干 扰 源
6
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
xm q(x m )
x为各种长为N的符号序列，x = x1 x2 … xN ，xi { a1 , a2 , … , ak }，1 i N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种序列，x X。
N
序列的概率q (x) = q (x1x2 … xN) = q(xi )
许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称 作离散无记忆的N维扩展信源。其数学模型为N维概率空间：
X q(X
)
x 1 q(x
1
)
x2 q(x 2 )
x1
)
x2 q(x2 )
xI q(xI )
q(xi )：信源输出符号消息xi的先验概率; I 满足：0 q(xi) 1，1 i I q(xi ) 1 i 1
2019/5/10
10
1.3.2 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由
9
1.3.1 离散无记忆信源
离散无记忆信源(Discrete Memoryless Source，简记为 DMS)输出的是单个符号的消息，不同时刻发出的符号之间 彼此统计独立，而且符号集中的符号数目是有限的或可数 的。离散无记忆信源的数学模型为离散型的概率空间，即：
X q(
X
)
x1 q(
p (xi+Lxi+L-1 xi+L-2 … xi) = p (xj+Lxj+L-1 xj+L-2 … xj) = …
┇ 2019/5/10
12
【例1.4】
某离散平稳信源
X q(X )
0
4
9
1 3 9
2
2 9
，设信源发出的符号
只与前一个符号有关，其关联程度用表1-1所示联合概率p (xi xj ) 表示（xi为前一个符号，xj为后一个符号）：
1.1 信息的概念
• 信号 • 消息 • 信息 • 三者之间的关系:
2019/5/10
3
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。信息是物质和能量在空间 和时间上分布的不均匀程度，或者说 信息是关于事物运动的状态和规律。
通信系统中形式上传输的是消
息，实质上传输的是信息，消息 中包含信息，消息是信息的载体。
离散信源 消息集X 为离散集
合。
源 时间 离散而 空间连 续的信
波形信源
时间连续 的信源。
源。
根据信源的统计特性，离散信源又分为两种：
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
2019/5/10
8
三个基本概念
• 样本空间: • 概率测度: • 概率空间:
2019/5/10
表1-1 p (xi xj )
xj
0
1
2
xi
0
1/3
1/9
0
1
1/9
1/18
1/6
2
0
1/6
1/18
2019/5/10
13
满足
p(xi x j ) q(x，i ) 由
j
p(x j
xi )
p(xi x j ) q(xi ) 可计算出当
已知前一个符号xi时，后一个符号xj为0、1、2时的概率各为多少：
信息论是研究信息的基本性质及度量方法，研究信息的
获取、传输、存储和处理的一般规律的科学。
20源自文库9/5/10
4
对于信息论的研究，一般划分为三个不同的范畴：
狭义信息论，即通信的数学理论，主要研究狭义 信息的度量方法，研究各种信源、信道的描述和信 源、信道的编码定理。
实用信息论，研究信息传输和处理问题，也就是
表1-2 p (xjxi)
xj
0
1
2
xi
0
3/4
1/4
0
1
1/3
1/6
1/2
2
2019/5/10
0
3/4
1/4
14
1.3.4 马尔可夫信源
狭义信息论方法在调制解调、编码译码以及检测理论 等领域的应用。
广义信息论，包括信息论在自然和社会中的新的 应用，如模式识别、机器翻译、自学习自组织系统、 心理学、生物学、经济学、社会学等一切与信息问题 有关的领域。
2019/5/10
5
1.2 信息传输系统
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。
第1章 信息论基础
2019/5/10
1
第1章 信息论基础
2019/5/10
内容提要 信息论是应用近代概率统计方法研究信息 传输、交换、存储和处理的一门学科，也 是源于通信实践发展起来的一门新兴应用 科学。本章首先引出信息的概念，简述信 息传输系统模型的各个组成部分，进而讨 论离散信源和离散信道的数学模型，简单 介绍几种常见的离散信源和离散信道。
2019/5/10
i 1
11
1.3.3 离散平稳有记忆信源
中、英文句子中前后出现的汉字、字母往往是有依赖的。这种依 赖性我们称作有记忆。
用联合概率空间{X , q (X )}来描述离散有记忆信源的输出。信源 在i时刻发出什么符号与i时刻以前信源所发出的符号有关，即由条 件概率p (xixi-1 xi-2… )确定。
如果该条件概率分布与时间起点无关，只与关联长度有关，则该 信源为平稳信源。
对于离散平稳有记忆信源，有：
p (x1 = a1) = p (x2 = a1) = … p (x2 = a2x1 = a1) = p (x3 = a2x2 = a1) = … p (x3x2 x1) = p (x4x3 x2) = … ┇
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
2019/5/10
7
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
类型：
连续信
各种通信系统，一般可概括为图1.1所示的统计模型：
信源
图1-1 信息传输系统模型 信源编码器 信道编码器
等效干扰 信道
等效信源
信
等效信宿
道
信宿 2019/5/10
信源译码器 信道译码器
干 扰 源
6
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
xm q(x m )
x为各种长为N的符号序列，x = x1 x2 … xN ，xi { a1 , a2 , … , ak }，1 i N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种序列，x X。
N
序列的概率q (x) = q (x1x2 … xN) = q(xi )
许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称 作离散无记忆的N维扩展信源。其数学模型为N维概率空间：
X q(X
)
x 1 q(x
1
)
x2 q(x 2 )
x1
)
x2 q(x2 )
xI q(xI )
q(xi )：信源输出符号消息xi的先验概率; I 满足：0 q(xi) 1，1 i I q(xi ) 1 i 1
2019/5/10
10
1.3.2 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由
9
1.3.1 离散无记忆信源
离散无记忆信源(Discrete Memoryless Source，简记为 DMS)输出的是单个符号的消息，不同时刻发出的符号之间 彼此统计独立，而且符号集中的符号数目是有限的或可数 的。离散无记忆信源的数学模型为离散型的概率空间，即：
X q(
X
)
x1 q(
p (xi+Lxi+L-1 xi+L-2 … xi) = p (xj+Lxj+L-1 xj+L-2 … xj) = …
┇ 2019/5/10
12
【例1.4】
某离散平稳信源
X q(X )
0
4
9
1 3 9
2
2 9
，设信源发出的符号
只与前一个符号有关，其关联程度用表1-1所示联合概率p (xi xj ) 表示（xi为前一个符号，xj为后一个符号）：