第四章：信道与信道容量ppt课件

b1
ε
ε
a2
b2
1-ε
.
§4.3:离散无记忆信道及其信道容量11
由定理5.2，当输入等概分布时，互信息达到信道容量
即：p(a1)=p(a2)=1/2；有： 2 p(b1) p(ak)q(b1| ak)12 k1
p(b2)
p(b1)
1 2
2
于是： CI(xak;Y) q(bj|ak)loq(p g b (jb |a j)k) j 1
对离散无记忆信道，有： I(X;Y) I(Xk;Yk)（性质4）
则
K
k1
cmaxI(X;Y)max
p( x)
p(x) k1
I(Xk,Yk)
K
K
k1mpiaxI(Xk,Yk)
Ck
k1
平稳KCk
当且仅当信源(信道入)无记忆时，“等号”成立（性质3、4推论） .
§4.3:离散无记忆信道及其信道容量-3
2〉信号与干扰类型
离散
信号类型
连续 半离散 半连续
无记忆 有记忆
无干扰：干扰少到可忽 略；
无源热噪声
干扰类型
有干扰
线性叠加干扰 有源散弹噪声
脉冲噪声
交调
乘性干扰
衰落 码间干扰
.
§4.2:信道分类与描述－4
3〉信道参量类 变 恒型 参 参信 信道 道（ （时 时变 不信 变 ）道 信） 道
xi X K i{1,2,,nk}
其中：y j Y K 而 j{1,2,,mk} 而
P(y1 x1) P(ymk1 x1)
P
P(y1/xnk ) P(ymk xnk )
.
§4.2:信道分类与描述－8
当K=1时，退化为单个消息（符号）信道；进一步当 n=m=2时，退化为二进制单个消息信道。若它满足对称 性，即构成最常用的二进制单消息对称信道BSC：
.
§4.3:离散无记忆信道及其信道容量-1
离散消息序列信道
一般无记忆 无记忆信道
平稳无记忆 离散消息序列信道
有记忆信道 : 平稳，有限状态 有记忆信道
.
§4.3:离散无记忆信道及其信道容量-2
离散无记忆信道及其信道容量
P(
y
x
K
)无 记 忆
k1
P( yk
xk )
平稳Pk(y x )
由消息序列互信息 I(X;Y) 性质 K
第四章：信道与信道容量
.
本章节达到的目的
了解信息论研究信道的目的、内容 了解信道的基本分类并掌握信道的基本描述方
法 掌握信道容量/信道容量代价函数的概念，以
及与互信息、信道输入概率分布、信道转移函 数的关系 能够计算简单信道的信道容量/信道容量代价 函数（对称离散信道、无记忆加性高斯噪声信 道）
即：p(a1)=p(a2)=1/2；有：
2
p(b1)
p(ak
)q(b1
|
ak
)
1 2
(1 )
k 1
2
p(b2)
p(ak
)q(b2
|
ak
)
1 2
(1 )
k 1
p(b3)
3
于是：CI(xak;Y) q(bj|ak)loq(p g b (jb |a j)k) j 1
(1 )log 1 2(11) log 1
.
§4.2:信道分类与描述－5
4〉用户类多 二 型用 用户 户信 信道 道（ （通 点信 对 信网 点 ）） 通
.
§4.2:信道分类与描述－6
信道描述
信道可以引用三组变量来描述：
信道输入概率空间： [XK, p(x)]
信道输出概率空间： [YK,q(y)]
信道概率转移矩阵： P ( y x)
.
信道与信道容量
概述 信道的分类与描述 离散无记忆信道及其容量 连续信道及其容量
容量代价函数C(F)
.
§4.1:概述
信息论对信道研究的内容 什么是信道？ 信道的作用 研究信道的目的
.
§5.1:概述－1
信息论对信道研究的内容：
信道的建模：用恰当的输入/输出两个随机 过程来描述
0。7
b1
a1
0。1
0。1
0。2
b2
a2
0。7
b3
0。7 b1 a1
0。1 0。2
0。2
b2
a2 0。1
0。7
b3
Qaa1 200..71
0.1 0.7
0.2 0.2
Qaa1 20 0..7 2
0.1 0.7
0.2 0.1
.
§4.3:离散无记忆信道及其信道容量10
BSC信道信道容量的计算
1-ε
a1
通信技术研究－－信号在信道中传输的过 程所遵循的物理规律，即传输特性
信息论研究－－信息的传输问题（假定传 输特性已知）
.
§4.2:信道的分类与描述
信道分类 信道描述
.
§4.2:信道分类与描述－1
信道分类
从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；
.
概念问题
熵熵率无失真信源编码定理中 的作用
互信息信道容量信道编码定理 中的作用
.
回顾－互信息函数的性质1
互 信息与信道输入概率分布的关系
性质1 ：I(X; Y)是信道输入概率分布p(x) 的上凸函数.
I(X; Y)
p(x)
.
回顾－互信息函数的性质2
信息量与信道转移概率分布的关系 性质2 ：I(X; Y)是信道转移概率分布p(y/x) 的下凹函数.
q(bj|ak)l
og q(bj|ak) p(bj)
j1
是信源字母ak传送的平均互信息，C就是这一信道的信道容量。
.
§4.3:离散无记忆信道及其信道容量-6
离散无记忆信道的信道容量定理理解
在这种分布下，每个概率>0的字母提供的互信息＝C， 每个概率＝0的字母提供的互信息≤C
当且仅当这种分布时，可使I(p,Q)达到最大值C
.
离散无噪信道
1 无损信道
一个输入对多个互不相交的输出,因为损失熵H(X/Y)=0
故 I(X,Y)=H(X) C=logr r为输入个数
2 确定信道
一个输出对多个互不相交的输入,因为噪声熵H(Y/ X)=0
故 I(X,Y)=H(Y) C=logs s为输出个数
3 无损确定信道
一个输入对一个输出,因为损失熵H(X/Y)=0 噪声熵H(Y/ X)=0
(1)log11/2 log1/2
1H()
这里：H () lo ( g 1 )lo 1 g ) (
应用举例 3.2(18)、3.6(23)
.
§4.3:离散无记忆信道及其信道容量12
二元删除信道信道容量的计算
1-ε
a1
b1
ε
b3
ε
a2
b2
1-ε
.
§4.3:离散无记忆信道及其信道容量13
由定理5.2，当输入等概分布时，互信息达到信道容量
.
§4.3:离散无记忆信道及其信道容量14
c
1.0
Ca= 1H()
a
b 0.5
Cb= 1
0
0.5
a:BSC信道的信道容量曲线
1.0
ε
b:二进制删除信道的信道容量曲线
.
求对称信道离散矩阵P的信道的容量 1/2 1/3 1/6
P= 1/6 1/2 1/3 1/3 1/6 1/2
C=logs-H(p1,p2,p3)=log3-H(1/2,1/3,1/6) =log3+1/2log1/2+1/3log1/3+1/6log1/6=1.126 bit/s 结果表明:只有输入等概率分布,信道容量达到 最大,平均每个符号传输最大信息量为1.126比特
C
.
§4.3:离散无记忆信道及其信道容量-7
对称的离散无记忆信道信道容量
对称的离散无记忆信道
输出字母的集合可以划分为若干子集，对每个子集有：
矩阵中的每一行都是第一行的重排列； 矩阵中的每一列都是第一列的重排列。
定理5.2：对于对称的离散无记忆信道，当信 道输入字母为等概率分布时达到信道容量。
P 即：{ [XK, p(x)]
}， ( y x) [Y K ,q(y)]
它可简化为：[XK,P( )Y , K] 。
.
§4.2:信道分类与描述－7
p X (x K ) p x 1 1 x p n n k k 入 信 出 道 q Y (K y ) q y 1 1 q y m m k k
I(X; Y)
p(y/x)
.
回顾－互信息函数的性质3
信息量与信道输入符号相关性的关系 性质3: 信道的输入是离散无记忆的,
.
回顾－互信息函数的性质4
• 信息量与信道输入符号相关性的关系 性质4: 信道是离散无记忆的,
.
回顾－互信息函数的性质5
性质3、性质4的推论： 信道的输入和信道本身都是离散无记忆的
I(X,Y)是I(x=ak;Y)的平均值。即：I(X ,Y ) p (a k)I(xa k;Y )
想提高I(X,Y)，可以提高p(ak)
k
但提高p(ak)，又使I(x=ak;Y)降低
反复调整p(ak)，使I(x=ak;Y)相等且都等于C
此时I(X,Y) ＝C
定理只给出了可使I(X,Y) ＝C的p(x)的充要条件 ，并无 具体分布及C的值，但可以帮助求解简单情况部分信道的
信道容量 不同条件下充分利用信道容量的各种办法
.
§5.1:概述－2
什么是信道？
信道是传送信息的载体——信号所通过的 通道。
信息是抽象的，信道则是具体的。比如： 二人对话，二人间的空气就是信道；打电话， 电话线就是信道；看电视，听收音机，收、 发间的空间就是信道。
.
§5.1:概述－3
信道的作用
.
§4.3:离散无记忆信道及其信道容量-5
离散无记忆信道的信道容量定理
定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的 概率分布p*能使互信息I(p,Q)取最大值的充要条件是
I(xak;Y)|pp*C,当p*(ak)0
其中：
I(xak;Y)|pp*C,当p*(ak)＝ 0
J
I(xak;Y)
能充分利用信道传输信息的能力
.
§4.3:离散无记忆信道及其信道容量-4
离散无记忆信道容量的计算
思路：问题转化为：有界闭区域上求约束极 值
方法：1、求区域内极值
2、求边界极值 3、求前两者的最大值 具体实现：
1、简单情况下求解（如单符号信道、对称信道） 2、解方程 3、迭代法 4、其他
离散无记忆信道及其信道容量的进一步理解
Cmax存在互信息性质1，上凸函数极值存在 达到Cmax时的两个条件：
信道输入（信源）是离散无记忆的 信道输入的概率分布是使I(X,Y)达到最大的分布
C的值不是由信源的p(x)决定的，而是由p ( y x) 决定的 C是信道作为信息传输通道的性能度量 只有信道输入（信源）X（x1x2…xn)满足一定条件时，才
故 I(X,Y)=H(X)= H(Y)
C=logr r为输入个数
.
§4.3:离散无记忆信道及其信道容量15
香农第一定理（变长无失真信源编码定理）的物
理意义
l H (U ) log M
（达到极限时等号成立）
从信道的角度看，信道的信息传输率
RH l(U)(码 比/符 信 /特 信号 源 源 ） 符 符号 号 H ＝ （ lU ） (比/码 特符号
.
§4.3:离散无记忆信道及其信道容量-8
对称信道
1
1
31
6
3
1 16 6
1 6
1 3
1 3
1 1 1 1
P1
3 1
6
3 1
6
wenku.baidu.com
6 1
3
6
1 3
1 12 13 6 1 61 12 31 31
61 2
1 1 1
2 3 6
p2
1 6
1 2
1 3
1 1 1
3
6
2
.
§4.3:离散无记忆信道及其信道容量-9
.
§ 4.2:
2
－
信 道 分 类 与 描 述
1 传输媒介类型
固体介质
空气介质
混合介质
明线
对称平衡电缆（市内）
电缆
小同轴（长途）
中同轴（长途）
长波
中波
短波
超短波
移动
微波
视距接力 散射 对流层
电离层
卫星
光波
波导
光缆
.
§4.2:信道分类与描述－3
在信息系统中信道主要用于传输与存储信 息，而在通信系统中则主要用于传输。
.
§5.1:概述－4
研究信道的目的
实现信息传输的有效性和可靠性
有效性：充分利用信道容量
可靠性：通过信道编码降低误码率
在通信系统中研究信道，主要是为了描述、 度量、分析不同类型信道，计算其容量，即 极限传输能力，并分析其特性。
RloM g
（达到极限时等号成立）
.
§4.3:离散无记忆信道及其信道容量-
16
香农第一定理（变长无失真信源编码定理）的物理意义
无噪无损信道的信道容量：C=logMRloM g
再看当平均码长达到极限值时 此时信道的信息传输率R＝无噪信道的信道容量C 无失真信源编码的实质：
0
1-Pe1 0
输入
x{0,1}
Pe
Pe
1
1-Pe1
输出
y{0,1}
1
且
pX(x)
0 , p0,
1 p1
P( ,
) 1,1,
q(Yy), 0q0,,q11
.
§4.3:离散无记忆信道及其信道容量
•离散无记忆信道及其信道容量 •离散无记忆信道容量的计算 •离散无记忆信道的信道容量定理 •对称的离散无记忆信道容量 •香农第一定理的物理意义