第1章信息论基础-资料
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
类型:
连续信
离散信源 消息集X 为离散集
合。
源 时间 离散而 空间连 续的信
波形信源 时间连续 的信源。
源。
根据信源的统计特性,离散信源又分为两种:
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
2020/2/4
1.3.1 离散无记忆信源
离散无记忆信源(Discrete Memoryless Source,简记为 DMS)输出的是单个符号的消息,不同时刻发出的符号之间 彼此统计独立,而且符号集中的符号数目是有限的或可数 的。离散无记忆信源的数学模型为离散型的概率空间,即:
号x {0 , 1},输出符号y {0 , 1}转
移概率矩阵为
P
1 p
0 1 p
2020/2/4
p
0
0
1-p
1-p
e
1
p
1
图1-7 二元删除信道
1
0
0
p
1
1-p
1
图1-8 二元Z信道
1.4.2 离散无记忆的扩展信道
N维离散扩展信道的输入和输出都是长为N的消息序列,如图
1-9 所示:
p ( y x)
x = x1 x2 … xN
信
y = y1y2 … yN
道
图1-9 N维扩展信道
若xi { a1 , a2 , … , ak },yj { b1 , b2 , … , b D },1 i , j
N,则长为N的输入消息序列集为X = {a1a1… a1 , a1a1…
x m
q(xm)
x为各种长为N的符号序列,x = x1 x2 … xN ,xi { a1 , a2 , … , ak },1 i N,序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak },共有kN种序列,x X。
N
序列的概率q (x) = q (x1x2 … xN) = q ( x i )
如果该条件概率分布与时间起点无关,只与关联长度有关,则该 信源为平稳信源。
对于离散平稳有记忆信源,有:
p (x1 = a1) = p (x2 = a1) = … p (x2 = a2x1 = a1) = p (x3 = a2x2 = a1) = … p (x3x2 x1) = p (x4x3 x2) = … ┇
表1-1 p (xi xj )
xj
0
1
2
xi
0
1/3
1/9
0
1百度文库
1/9
1/18
1/6
2
0
1/6
1/18
2020/2/4
满足
p(xixj)q(x,i)由
j
p(xj
xi )
p(xi xj ) q(xi ) 可计算出当
已知前一个符号xi时,后一个符号xj为0、1、2时的概率各为多少:
表1-2 p (xjxi)
符号间有确定的一一对应关系, p (yx ) = 元无干扰信道中,x , y {0 , 1 , 2 },
1
0
x y x y
如图1-6三
对应信道矩阵是单位矩阵 1 0 0
P
0
1
0
0 0 1
1
0
0
1
1
1
2020/2/4
1
2
2
图1-6 无干扰信道
3. 二元删除信道
p(st
)p(si
s t
)0
p(si ) 1
2020/2/4
i
1.4 离散信道及其数学模型
信道是信息传输的通道,如图1-3,信道可看作一个变换器, 它将输入消息x变换成输出消息y,以信道转移概率p (yx ) 来描述信道的统计特性。
p ( y x)
x
y
信
道
图1-3 信道模型
2020/2/4
p(xr
er-1 = st
al er
, er-2 = sn ,
si)1
…) 。
=
l1
(2)某一时刻信源所处的状态只由当前的输出符号和前
一时刻的状态唯一决定。 0
p (er+1 = sj xr = al , er = si) =
1
当时齐马尔可夫信源达到平稳分布时,满足
p(si ) t
xj
0
1
2
xi
0
3/4
1/4
0
1
1/3
1/6
1/2
2
0
3/4
1/4
2020/2/4
1.3.4 马尔可夫信源
马尔可夫信源输出的消息序列与信源的状态满足下列条件:
(1)某一时刻信源的输出只与当时的信源状态有关,而与以
前p (的xr 状= a态l无er关=。si)p,(满xr =足alker
= si ,
许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成,若这N个符号取自同一符号集{ a1 , a2 , … , ak}, 并且先后发出的符号彼此间统计独立,我们将这样的信源称 作离散无记忆的N维扩展信源。其数学模型为N维概率空间:
Xq(X)xq(1x1)
x 2
q(x2)
2020/2/4
1.2 信息传输系统
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。
各种通信系统,一般可概括为图1.1所示的统计模型:
信源
图1-1 信息传输系统模型 信源译码器 信道编码器
等效干扰 信道
等效信源 等效信宿
信
干
道
扰
源
信宿 2020/2/4
信源译码器 信道译码器
这个模型包括以下五个部分: 1.信源 信源是产生消息的源。
2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。
信源编码器,提高传输效率
编码器
信道编码器,提高传输可靠性
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换,分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
2020/2/4
1.3 离散信源及其数学模型
信源是产生消息的源,根据X的不同情况,信源可分为以下
(1p)2 (1p)p p(1p) p2
表示成矩阵为
P (p1(1p)pp)
(1p)2 p2
p2 (1p)2
p(1p) (1p)p
p2 p(1p) (1p)p (1p)2
2020/2/4
本章小结
本章是信息论的基本概念,介绍的主要内容有:
a2 , … , akak… ak }, x X,输出消息序列集为Y = {b1b1…
b1 , b1b1… b2 , … , bDbD… bD }, y Y。信道的特性用序列
的转移概率p (yx) = p ( y1 y2…yN x1 x2…xN ) 描述。
N
当信道无记忆时,p(yx) p(yi xi),满足 p(y x)1
波形信道 信道的输入和输出都是时间上连续, 并且取值也连续的随机信号。 根据统计特性,即转移概率p (yx )的不同,信道又可分类为:
无记忆信源 X的各时刻取值相互独立。
有记忆信源 X的各时刻取值互相有关联。
2020/2/4
1.4.1 离散无记忆信道
离散无记忆信道的输入和输出消息都是离散无记忆的单个符号, 输入符号xi { a1 , a2 , … , ak},1 i I,输出符号yj { b1 , b2 , … , bD },1 j J,信道的特性可表示为转移概率矩阵:
。
J
p(y j xi ) 1
j 1
2020/2/4
将信道特性表示成图1-4的形式:
p (y1 x1 )
x1
y1
x2
y2
2020/2/4
xI
yJ
p (yJ xI )
图1-4 单符号离散无记忆信道
下面列举几种常见的离散无记忆信道:
1.二元对称信道(Binary Symmetric Channel,简记为BSC)
2020/2/4
p (xi+Lxi+L-1 xi+L-2 … xi) = p (xj+Lxj+L-1 xj+L-2 … xj) = … ┇
【例1.4】
某离散平稳信源
X q( X )
0 4 9
1 3 9
2
2 9
,设信源发出的符号
只与前一个符号有关,其关联程度用表1-1所示联合概率p (xi xj ) 表示(xi为前一个符号,xj为后一个符号):
p (0000) = p (00) p (00) = (1 - p)2
p (0100) = p (00) p (10) = (1 - p)p ┇
p (1001) = p (10) p (01) = p2 ┇
p (1111) = p (11) p (11) = (1 - p)2
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。信息是物质和能量在空间 和时间上分布的不均匀程度,或者说 信息是关于事物运动的状态和规律。
通信系统中形式上传输的是消 息,实质上传输的是信息,消息 中包含信息,消息是信息的载体。
信息论是研究信息的基本性质及度量方法,研究信息的
获取、传输、存储和处理的一般规律的科学。
2020/2/4
对于信息论的研究,一般划分为三个不同的范畴:
狭义信息论,即通信的数学理论,主要研究狭义 信息的度量方法,研究各种信源、信道的描述和信 源、信道的编码定理。
实用信息论,研究信息传输和处理问题,也就是 狭义信息论方法在调制解调、编码译码以及检测理论 等领域的应用。
广义信息论,包括信息论在自然和社会中的新的 应用,如模式识别、机器翻译、自学习自组织系统、 心理学、生物学、经济学、社会学等一切与信息问题 有关的领域。
p(y1 x1)
P p(y1 x2)
p(y1 xI )
p(y2 x1) p(y2 x2)
p(y2 xI )
p(yJ x1) p(yJ x2)
p(yJ xI )
p (yjxi )对应为已知输入符号为xi,当输出符号为yj时的信道
转移概率,满足0 p (yjxi ) 1,且
2020/2/4
i1
1.3.3 离散平稳有记忆信源
中、英文句子中前后出现的汉字、字母往往是有依赖的。这种依 赖性我们称作有记忆。
用联合概率空间{X , q (X )}来描述离散有记忆信源的输出。信源 在i时刻发出什么符号与i时刻以前信源所发出的符号有关,即由条 件概率p (xixi-1 xi-2… )确定。
i1
Y
【例1.6】 求二元对称信道的二维扩展信道。
解: 二元对称信道的输入符号x {0 , 1},输出符号y {0 , 1},转移概率p (00) = p (11) = 1- p , p (10) = p (01) = p,二维扩展后输入和输出都是长为2的符号序列,x {00 , 01 , 10 , 11}, y {00 , 01 , 10 , 11}。 可以计算出序列的转移概率p (yx)分别为:
这是一种很重要的信道,它的输入符号x {0 , 1},输出符
号y {0 , 1},转移概率p (yx )如图1-5所示信道特性可表示为
信其道中矩p阵称作信道错误概P率。1,pp
p 1 p
1-p
0
0
p
p
1
1-p
1
2020/2/4
图2-10 二进制对称信道
2. 无干扰信道
这是一种最理想的信道,也称作无噪信道,信道的输入和输出
第1章 信息论基础
第1章 信息论基础
内容提要 信息论是应用近代概率统计方法研究信息传输、 交换、存储和处理的一门学科,也是源于通信 实践发展起来的一门新兴应用科学。本章首先 引出信息的概念,简述信息传输系统模型的各 个组成部分,进而讨论离散信源和离散信道的 数学模型,简单介绍几种常见的离散信源和离 散信道。
信道可以按不同的特性进行分类,根据输入和输出信号的特 点可分为:
离散信道 信道的输入和输出都是时间上离散、取值 离散的随机序列。离散信道有时也称为数字信道。
连续信道 信道的输入和输出都是时间上离散、 取值连续的随机序列,又称为模拟信道
半连续信道 输入序列和输出序列一个是离散的, 而另一个是连续的。
对于接收符号不能作出肯定或否定判 决时,引入删除符号,表示对该符号 存有疑问,作为有误或等待得到更多 信息时再作判决。
二元删除信道如图1-7所示,输入符号
x {0 , 1},输出符号y {0 , e , 1},
转移概率矩阵为 P 0p
1 p 1 p
0 p
4.二元Z信道
二元Z信道如图1-8所示,信道输入符
q X (X)q x1 (x1)
x2 q(x2)
xI q(xI)
q(xi ):信源输出符号消息xi的先验概率; I 满足:0 q(xi) 1,1 i I q( xi ) 1 i 1
2020/2/4
1.3.2 离散无记忆的扩展信源
实际情况下,信源输出的消息往往不是单个符号,而是由