第1章信息论基础电子教案
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2020/4/28
1.3.1 离散无记忆信源
离散无记忆信源(Discrete Memoryless Source，简记为 DMS)输出的是单个符号的消息，不同时刻发出的符号之间 彼此统计独立，而且符号集中的符号数目是有限的或可数 的。离散无记忆信源的数学模型为离散型的概率空间，即：
q X (X) q x1 (x1)
表1-1 p (xi xj )
xj
0
1
2
xi
0
1/3
1/9
0
1
1/9
1/18
1/6
2wenku.baidu.com
0
1/6
1/18
2020/4/28
满足
p(xixj)q(x，i)由
j
p(xj
xi )
p(xixj ) q(xi ) 可计算出当
已知前一个符号xi时，后一个符号xj为0、1、2时的概率各为多少：
表1-2 p (xjxi)
2020/4/28
对于信息论的研究，一般划分为三个不同的范畴：
狭义信息论，即通信的数学理论，主要研究狭义 信息的度量方法，研究各种信源、信道的描述和信 源、信道的编码定理。
实用信息论，研究信息传输和处理问题，也就是 狭义信息论方法在调制解调、编码译码以及检测理论 等领域的应用。
广义信息论，包括信息论在自然和社会中的新的 应用，如模式识别、机器翻译、自学习自组织系统、 心理学、生物学、经济学、社会学等一切与信息问题 有关的领域。
X q(X) xq(1x1)
x 2
q(x2)
xm q(xm )
x为各种长为N的符号序列，x = x1 x2 … xN ，xi { a1 , a2 , … , ak }，1 i N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种序列，x X。
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。信息是物质和能量在空间 和时间上分布的不均匀程度，或者说 信息是关于事物运动的状态和规律。
通信系统中形式上传输的是消 息，实质上传输的是信息，消息 中包含信息，消息是信息的载体。
信息论是研究信息的基本性质及度量方法，研究信息的
获取、传输、存储和处理的一般规律的科学。
2020/4/28
p (xi+Lxi+L-1 xi+L-2 … xi) = p (xj+Lxj+L-1 xj+L-2 … xj) = … ┇
【例1.4】
某离散平稳信源
X q(X )
0 4
9
1 3 9
2
2 9
，设信源发出的符号
只与前一个符号有关，其关联程度用表1-1所示联合概率p (xi xj ) 表示（xi为前一个符号，xj为后一个符号）：
p(xr
er-1 = st
al er
, er-2 = sn ,
si)1
…) 。
=
l1
(2)某一时刻信源所处的状态只由当前的输出符号和前
一时刻的状态唯一决定。 0
p (er+1 = sj xr = al , er = si) =
1
当时齐马尔可夫信源达到平稳分布时，满足
2020/4/28
p(si ) t
x2 q(x2)
xI q(xI)
q(xi )：信源输出符号消息xi的先验概率; I 满足：0 q(xi) 1，1 i I q( xi ) 1 i 1
2020/4/28
1.3.2 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由
许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称 作离散无记忆的N维扩展信源。其数学模型为N维概率空间：
xj
0
1
2
xi
0
3/4
1/4
0
1
1/3
1/6
1/2
2
0
3/4
1/4
2020/4/28
1.3.4 马尔可夫信源
马尔可夫信源输出的消息序列与信源的状态满足下列条件：
(1)某一时刻信源的输出只与当时的信源状态有关，而与以
前p (的xr 状= a态l无er关=。si)p，(满xr =足alker
= si ,
如果该条件概率分布与时间起点无关，只与关联长度有关，则该 信源为平稳信源。
对于离散平稳有记忆信源，有：
p (x1 = a1) = p (x2 = a1) = … p (x2 = a2x1 = a1) = p (x3 = a2x2 = a1) = … p (x3x2 x1) = p (x4x3 x2) = … ┇
第1章 信息论基础
第1章 信息论基础
内容提要 信息论是应用近代概率统计方法研究信息传输、 交换、存储和处理的一门学科，也是源于通信 实践发展起来的一门新兴应用科学。本章首先 引出信息的概念，简述信息传输系统模型的各 个组成部分，进而讨论离散信源和离散信道的 数学模型，简单介绍几种常见的离散信源和离 散信道。
p(st )p(si
s )0 t
p(si ) 1
i
1.4 离散信道及其数学模型
信道是信息传输的通道，如图1-3，信道可看作一个变换器， 它将输入消息x变换成输出消息y，以信道转移概率p (yx ) 来描述信道的统计特性。
N
序列的概率q (x) = q (x1x2 … xN) = q ( x i )
2020/4/28
i1
1.3.3 离散平稳有记忆信源
中、英文句子中前后出现的汉字、字母往往是有依赖的。这种依 赖性我们称作有记忆。
用联合概率空间{X , q (X )}来描述离散有记忆信源的输出。信源 在i时刻发出什么符号与i时刻以前信源所发出的符号有关，即由条 件概率p (xixi-1 xi-2… )确定。
2020/4/28
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
类型：
连续信
离散信源 消息集X 为离散集
合。
源 时间 离散而 空间连 续的信
波形信源 时间连续 的信源。
源。
根据信源的统计特性，离散信源又分为两种：
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
2020/4/28
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
1.3.1 离散无记忆信源
离散无记忆信源(Discrete Memoryless Source，简记为 DMS)输出的是单个符号的消息，不同时刻发出的符号之间 彼此统计独立，而且符号集中的符号数目是有限的或可数 的。离散无记忆信源的数学模型为离散型的概率空间，即：
q X (X) q x1 (x1)
表1-1 p (xi xj )
xj
0
1
2
xi
0
1/3
1/9
0
1
1/9
1/18
1/6
2wenku.baidu.com
0
1/6
1/18
2020/4/28
满足
p(xixj)q(x，i)由
j
p(xj
xi )
p(xixj ) q(xi ) 可计算出当
已知前一个符号xi时，后一个符号xj为0、1、2时的概率各为多少：
表1-2 p (xjxi)
2020/4/28
对于信息论的研究，一般划分为三个不同的范畴：
狭义信息论，即通信的数学理论，主要研究狭义 信息的度量方法，研究各种信源、信道的描述和信 源、信道的编码定理。
实用信息论，研究信息传输和处理问题，也就是 狭义信息论方法在调制解调、编码译码以及检测理论 等领域的应用。
广义信息论，包括信息论在自然和社会中的新的 应用，如模式识别、机器翻译、自学习自组织系统、 心理学、生物学、经济学、社会学等一切与信息问题 有关的领域。
X q(X) xq(1x1)
x 2
q(x2)
xm q(xm )
x为各种长为N的符号序列，x = x1 x2 … xN ，xi { a1 , a2 , … , ak }，1 i N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种序列，x X。
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。信息是物质和能量在空间 和时间上分布的不均匀程度，或者说 信息是关于事物运动的状态和规律。
通信系统中形式上传输的是消 息，实质上传输的是信息，消息 中包含信息，消息是信息的载体。
信息论是研究信息的基本性质及度量方法，研究信息的
获取、传输、存储和处理的一般规律的科学。
2020/4/28
p (xi+Lxi+L-1 xi+L-2 … xi) = p (xj+Lxj+L-1 xj+L-2 … xj) = … ┇
【例1.4】
某离散平稳信源
X q(X )
0 4
9
1 3 9
2
2 9
，设信源发出的符号
只与前一个符号有关，其关联程度用表1-1所示联合概率p (xi xj ) 表示（xi为前一个符号，xj为后一个符号）：
p(xr
er-1 = st
al er
, er-2 = sn ,
si)1
…) 。
=
l1
(2)某一时刻信源所处的状态只由当前的输出符号和前
一时刻的状态唯一决定。 0
p (er+1 = sj xr = al , er = si) =
1
当时齐马尔可夫信源达到平稳分布时，满足
2020/4/28
p(si ) t
x2 q(x2)
xI q(xI)
q(xi )：信源输出符号消息xi的先验概率; I 满足：0 q(xi) 1，1 i I q( xi ) 1 i 1
2020/4/28
1.3.2 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由
许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称 作离散无记忆的N维扩展信源。其数学模型为N维概率空间：
xj
0
1
2
xi
0
3/4
1/4
0
1
1/3
1/6
1/2
2
0
3/4
1/4
2020/4/28
1.3.4 马尔可夫信源
马尔可夫信源输出的消息序列与信源的状态满足下列条件：
(1)某一时刻信源的输出只与当时的信源状态有关，而与以
前p (的xr 状= a态l无er关=。si)p，(满xr =足alker
= si ,
如果该条件概率分布与时间起点无关，只与关联长度有关，则该 信源为平稳信源。
对于离散平稳有记忆信源，有：
p (x1 = a1) = p (x2 = a1) = … p (x2 = a2x1 = a1) = p (x3 = a2x2 = a1) = … p (x3x2 x1) = p (x4x3 x2) = … ┇
第1章 信息论基础
第1章 信息论基础
内容提要 信息论是应用近代概率统计方法研究信息传输、 交换、存储和处理的一门学科，也是源于通信 实践发展起来的一门新兴应用科学。本章首先 引出信息的概念，简述信息传输系统模型的各 个组成部分，进而讨论离散信源和离散信道的 数学模型，简单介绍几种常见的离散信源和离 散信道。
p(st )p(si
s )0 t
p(si ) 1
i
1.4 离散信道及其数学模型
信道是信息传输的通道，如图1-3，信道可看作一个变换器， 它将输入消息x变换成输出消息y，以信道转移概率p (yx ) 来描述信道的统计特性。
N
序列的概率q (x) = q (x1x2 … xN) = q ( x i )
2020/4/28
i1
1.3.3 离散平稳有记忆信源
中、英文句子中前后出现的汉字、字母往往是有依赖的。这种依 赖性我们称作有记忆。
用联合概率空间{X , q (X )}来描述离散有记忆信源的输出。信源 在i时刻发出什么符号与i时刻以前信源所发出的符号有关，即由条 件概率p (xixi-1 xi-2… )确定。
2020/4/28
1.3 离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下
类型：
连续信
离散信源 消息集X 为离散集
合。
源 时间 离散而 空间连 续的信
波形信源 时间连续 的信源。
源。
根据信源的统计特性，离散信源又分为两种：
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
2020/4/28
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器，提高传输效率
编码器
信道编码器，提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。