信道与信道容量2.ppt
合集下载
34 连续信道的信道容量.ppt
则Y=X+N
定理：时间离散的高斯信道，若X、N高斯分布且 独立，则I(X;Y)=H(Y)-H(N)
证明：因为I(X;Y)=H(Y)-H(Y/X)
所以要证结论成立，即证H(Y/X)= H(N)
2021/8/8
3
时间离散的高斯信道
H(Y/X)= H(N)的证明如下：
H (Y / X ) p(x) p( y / x) log p( y / x)dxdy
时间连续的高斯信道
时间连续的高斯信道可以对其进行采样，使其变成 时间离散的高斯信道：
设信道带宽为[0，B],根据采样定理，采样频率为
2B,采样周期T=1/（2B）,这样可以在接收端无失真
的恢复出原始连续信号。则时间连续的高斯信道的
信道容量为
C采样后的离散信道 C t
T每个采样点所占的周期
1 log(1 S )
所以：等于是研究最坏情况下得到的信道容量。
所以：在所有具有噪声平均功率为N的加性噪声信道 中，高斯噪声信道的容量最小。
即若Y=X+N,
则（1）N为非高斯噪声时的信道容量大于N为高斯
噪声时的信道容量：
C非高斯信道
C高斯信道
1 log(1 2
S) N
2021/8/8
加性噪声信道的容量下限
8
本章主要内容
第3章 信道容量
2021/8/8
1
本章主要内容
3.1信道的数学模型与分类 3.2单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.5 连续信道及其容量 3.6 信道编码定理
2021/8/8
2
3.4 连续信道的信道容量
时间离散的高斯信道
时间离散的高斯信道的数学模型：
定理：时间离散的高斯信道，若X、N高斯分布且 独立，则I(X;Y)=H(Y)-H(N)
证明：因为I(X;Y)=H(Y)-H(Y/X)
所以要证结论成立，即证H(Y/X)= H(N)
2021/8/8
3
时间离散的高斯信道
H(Y/X)= H(N)的证明如下：
H (Y / X ) p(x) p( y / x) log p( y / x)dxdy
时间连续的高斯信道
时间连续的高斯信道可以对其进行采样，使其变成 时间离散的高斯信道：
设信道带宽为[0，B],根据采样定理，采样频率为
2B,采样周期T=1/（2B）,这样可以在接收端无失真
的恢复出原始连续信号。则时间连续的高斯信道的
信道容量为
C采样后的离散信道 C t
T每个采样点所占的周期
1 log(1 S )
所以：等于是研究最坏情况下得到的信道容量。
所以：在所有具有噪声平均功率为N的加性噪声信道 中，高斯噪声信道的容量最小。
即若Y=X+N,
则（1）N为非高斯噪声时的信道容量大于N为高斯
噪声时的信道容量：
C非高斯信道
C高斯信道
1 log(1 2
S) N
2021/8/8
加性噪声信道的容量下限
8
本章主要内容
第3章 信道容量
2021/8/8
1
本章主要内容
3.1信道的数学模型与分类 3.2单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.5 连续信道及其容量 3.6 信道编码定理
2021/8/8
2
3.4 连续信道的信道容量
时间离散的高斯信道
时间离散的高斯信道的数学模型：
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
课件：第三章信道及其容量
第三章 信道及其容量
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
信道与信道容量2
信道无噪声
C
信道强噪声
• 当p =1/2,
C1H(1,1)0 22
p
20
信道容量
• 定理：
• 给定转移概率矩阵P后,平均互信息I (X;Y)是输 入信源的概率分布p(ai)的 型上凸函数。
• 定理：
• 平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型凸函数。
• 信能道 够容 传量 输是 的完最全大描信I(述息X;信量Y)道。 特i 性j p的(a参i)p量(bj,是|ai信)lo道gp(pb(jb|ja)i)
34
由 I (X ;Y ) 0 解得 1/2
• 将信道矩阵P的列划分成若干个互不相交的子 集mk,由mk为列组成的矩阵[P]k是对称矩阵。
1 1 1 1 1 1 1 1
P131
3 1
6 1
6113
16
13
16
6 3 6 3 6 3 3 6
• 它们满足对称性,所以P1所对应的信道为准对称
信道。
30
准对称信道的信道容量
• 准对称信道
0.70.20.1 0.70.2 0.1 P 20.20.10.7 0.20.7 0.1
• 离散信道可分成： • 无干扰(无噪)信道
– 无嗓无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
10
无干扰离散信道
• 无噪无损信道 C m p ( a i)I ( X ; a Y ) x m H ( X a ) m xH ( Y a ) lx 2 o n • 有噪无损信道(一对多)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
• 对称离散信道的平均互信息为
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
离散信道及其信道容量
第2章 信道及其容量
信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。
2.1
信道的数学模型和分类
干扰源
信源
编码器
调制器
物理信道 实际信道
解调器
译码器
信宿
编码信道
等效信道
图2.1.1 数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道
C max { I ( X ;Y )}
解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为：
0 0 1 2 1
1－ p
q
1
p 1 p 0 0 1 q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即 b1 b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … …
R = I(X;Y) = H(X) – H(X|Y) (比特/符号)
• 信道中每秒平均传输的信息量----信息传输速率Rt (设传递一个符号用时为t).
Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）
一、 信道容量的定义
I ( X ; Y ) I (Y ; X ) P( xy ) log
a1 a2 b1 b2
X
.
. ar
P(bj/ai)
.
. bs
Y
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p
信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。
2.1
信道的数学模型和分类
干扰源
信源
编码器
调制器
物理信道 实际信道
解调器
译码器
信宿
编码信道
等效信道
图2.1.1 数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道
C max { I ( X ;Y )}
解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为：
0 0 1 2 1
1－ p
q
1
p 1 p 0 0 1 q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即 b1 b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2) … …. … …
R = I(X;Y) = H(X) – H(X|Y) (比特/符号)
• 信道中每秒平均传输的信息量----信息传输速率Rt (设传递一个符号用时为t).
Rt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）
一、 信道容量的定义
I ( X ; Y ) I (Y ; X ) P( xy ) log
a1 a2 b1 b2
X
.
. ar
P(bj/ai)
.
. bs
Y
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel] 解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: 1－p
信息论课件信道容量
信道容量：
I(X;Y)是输入随机变量X的概率分布P(x)的上凸函 数。因此对于一个固定的信道，总存在一种信源 （某种概率分布P(x)），使传输每个符号平均获 得的信息量最大，也就是每个固定信道都有一个 最大的信息传输率，就是信道容量C。
即：
C maxI (X ;Y ) p(x)
信道容量是描述某一固定信道特性的参量，是信 道（每个符号平均）能够传输的最大信息量。
采用平均互信息的第③种表达方式求信道容量：
I (X；Y ) H (Y ) H (Y | X )
H (Y | X ) p(x) p( y | x) logp( y | x)
x
y
p(x)H (Y | X x)
x
其中：H (Y | X x) p( y | x) logp( y | x)
P=
3
3
6
6
1 1 1 1
6 6 3 3
1 1 1
2
3
6
P=
1 6
1 2
1 3
1
1
1
3 6 2
满足对称 性,所对 应的信道 是对称离 散信道。
3
延边大学 计算机科学与技术学科 2019年10月19日星期六
1、对称离散信道的定义（续）
2
延边大学 计算机科学与技术学科 2019年10月19日星期六
1、对称离散信道的定义
对称离散信道：
对称性:
每一行都是由同一集{p’1, p’2,…p’s}的诸元素不同排列
组成——输入对称；
每一列都是由{q’1, q’2,…q’r}集的诸元素不同排列组成—
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
信道是通信系统的三要素之一.ppt
要保持信息传输速率c不变信号带b和信噪比sn是可以互换的这意味着不管信噪比多低甚至在信号被噪声淹没的情况下只要将信号带宽扩展得足够大仍能保证以相同的信息传输速率可靠地传输信息也就是可以用扩频方法以宽带传输信息来换取信噪比上的好处
第三章 信道
3.1 引言
信道是通信系统的三要素之一,是通信系统组成 的重要部分。
信道的一部分。
第3章 信 道
3.3.1 调制信道模型
ei(t)
f [ei(t)]
e0(t)
eo (t) f [ei (t)] n(t)
n(t)
式中
图3-13 调制信道数学模型
ei (t) － 信道输入端信号电压； eo (t) － 信道输出端的信号电压； n(t) － 噪声电压。
通常假设： f [ei (t)] k(t)ei (t)
本章所讨论的信道不是指各种具体的信道，而是 指抽象出来的模型，重要讲述以下几个问题：
1.信道的定义及分类; 2.恒参信道及其对信号传输的影响; 3.随参信道及其对信号传输的影响; 4.信道容量；
3.2 信道定义
1.定义： 信道：信号的传输媒质叫信道。 (明线,电缆,光纤,微波等) 1)狭义信道: 传输媒质。如， 有线信道：明线,电缆,光纤,波导管等。 无线信道：长波,中波,人造卫星中继等。
3.10 信道容量的概念
离散信道：输入与输出信号都是离散的时间函数（编码信道）
连续信道：输入和输出信号都是连续的（调制信道）
x1
P(y1/x1)
y1
一、 离散信道的信道容量
信道模型用转移概率来表示 如图3.10-1所示。
发送符号：x1，x2，x3，…，xn 接收符号：y1，y2，y3，…，ym
第3章
第三章 信道
3.1 引言
信道是通信系统的三要素之一,是通信系统组成 的重要部分。
信道的一部分。
第3章 信 道
3.3.1 调制信道模型
ei(t)
f [ei(t)]
e0(t)
eo (t) f [ei (t)] n(t)
n(t)
式中
图3-13 调制信道数学模型
ei (t) － 信道输入端信号电压； eo (t) － 信道输出端的信号电压； n(t) － 噪声电压。
通常假设： f [ei (t)] k(t)ei (t)
本章所讨论的信道不是指各种具体的信道，而是 指抽象出来的模型，重要讲述以下几个问题：
1.信道的定义及分类; 2.恒参信道及其对信号传输的影响; 3.随参信道及其对信号传输的影响; 4.信道容量；
3.2 信道定义
1.定义： 信道：信号的传输媒质叫信道。 (明线,电缆,光纤,微波等) 1)狭义信道: 传输媒质。如， 有线信道：明线,电缆,光纤,波导管等。 无线信道：长波,中波,人造卫星中继等。
3.10 信道容量的概念
离散信道：输入与输出信号都是离散的时间函数（编码信道）
连续信道：输入和输出信号都是连续的（调制信道）
x1
P(y1/x1)
y1
一、 离散信道的信道容量
信道模型用转移概率来表示 如图3.10-1所示。
发送符号：x1，x2，x3，…，xn 接收符号：y1，y2，y3，…，ym
第3章
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
第三章信道容量
p
b1 an
,
p
b2 an
,,
p
bm an
信道容量的定义
信息传输率是衡量通信质量的一个重要指标，由前面 定理知：对于固定信道后，总存在某种输入概率分布p(X)， 使I（X; Y）达到最大值，定义这个最大值为信道容量，记 为C。
C max I ( X ;Y ) （比特/码符号） { p ( ai )} max H ( X ) H ( X Y ) { p ( ai )} max H (Y ) H (Y X ) { p ( ai )}
a1
b1
1 0 0
a2 ……
b2
0 1 0
0
0
1
an
bn
0
0
0
n=m
... 0 ... 0
...
0
...
1
另一种情况:
a1
b1
a2
b2
……
an-1
bn-1
an
bn
0 ... 0 0 1
0 ... 0 1 0
0
...
1
0
0
1
0
0
...
0
对于上述两种情况,X与Y一一对应,因此有
输入或输出无关
信道的分类 （根据有无记忆）
输出仅与信道当前输 入有关，与过去输入
无关
有记忆 信道
无记忆 信道
信道的分类
（根据信道的输入与输出 随机变量的个数）
单符号 信道
多符号 信道
信道的分类
（根据输入与 输出的个数）
单用户 信道
多用户 信道
（1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道：至少有一端有两个以上的用户， 双向通信
第三章信道及信道容量PPT课件
第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
信道容量及其计算PPT课件
6 6 3 3
C log 4 H (1 , 1 , 1 , 1) 2 (1 log 1 1 log 1 1 log 1 1 log 1)
3366
3 33 36 66 6
0,0817(bit / symbol)
第12页/共27页
（2）、准对称信道的容量
准对称信道：信道矩阵（列）的子阵是对称矩阵。
信道容量定义为信道中每个符号所能传递的最大 信息量，也就是最大 I (X；Y)值。
C max{I (X ;Y )} P(x)
此时输入的概率分布称为最佳输入分布。
第5页/共27页
信道容量C与输入信源的概率无关（C只对应着一种 信源概率分布，即最佳概率分布），它只是信道传输概 率的函数（不同的转移概率对应不同的信道），只与信 道的统计特性有关，所以信道容量是完全描述信道特性 的参量。
I(x
k;Y )
j
P(
j
|
k) log
P( j | k) P(i)P( j
|
i)
i
第17页/共27页
一般信道容量的计算方法 （拉格朗日乘子法）
第18页/共27页
（4）、扩展信道的信道容量
定理1：如果信道的输入随机序列为 X (X1, X 2,X N ) 通过信道传输，接收到的随机序列为 Y (Y1,Y2 ,YN ) 若信道是无记忆的，即满足
级联信道：信道1的输出作为信道2的输入。
C min{ C1,C2}
第25页/共27页
第四讲 信道容量及其计算
结束
第26页/共27页
谢谢您的观看！
第27页/共27页
第13页/共27页
例：求二元对称删除信道的C。（例3.8中特例 ）
02 1
第三章信道及信道容量
2但为有限值,即
p11
P
p2
1
p12 p22
,
p1m
p2m
pn1
pn2
pn
m
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p
0 p
0
1p p
p
P
p
1p
1
1
1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使
得 I（X；Y）达到最大。
C m ax { I(X ;Y )} (b it/符 号 ) p(x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为：
C T1 tm p(axx ){I(X;Y)}(bit/秒 )
即信道传输速率。
信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
这样，波形信道化为多维连续信道，信道转移概率密度 函数为
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。
第3章 信道与信道容量
max p(x)
H C (Y )
1 log
2
2e
2
pn(n)＝N(0, 2) 连续单符号信道
噪声是均值为零、方差为 2的加性高斯噪声
34
3.4 连续信道及其容量
连续单符号加性信道
pY (y) ＝N(0,P)，pn(n)＝N(0, 2)，y=x+n，所以 pX (x)＝N(0, S)
3
3.1 信道分类和表示参数
二进制对称信道(BSC)
P
1 p
p
p 1 p
4
3.1 信道分类和表示参数
离散无记忆信道
a1 a2
b1
p11 p12 p1m
b2 b3
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
5
3.1 信道分类和表示参数
离散输入、连续输出信道
pY ( y / ai )
31
3.3 离散序列信道及其容量
扩展信道
(1 p)2 p(1 p) p(1 p) p2
1
P
p(1 p(1
p) p)
(1 p)2 p2
p2 (1 p)2
p(1
p)
p(1 p)
p2 p(1 p) p(1 p) (1 p)2
C2 log2 4 H[(1 p)2 , p(1 p), p(1 p), p 2 ]
1 1 1 1
13
3 1
6 1
6 1
6 6 3 3
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
12
3.2 离散单个符号信道及其容量
信道模型及信道容量
i 1 j 1 r s
p(ai b j ) p(ai ) p(b j ) I (Y ; X )
p(b j ai ) log
i 1 j 1
r
s
p(b j ai ) p(b j ) p(ai )
I ( X ; Y ) I (Y ; X )
结 论 平均互信息特性：
平均互信息量的非负性 平均互信息量的极值性（凸函数） 平均互信息量的交互性（对称性）
单符号信道的数学模型：
{ X , p( y / x),Y }
单维离散信道的数学模型
输入输出的联合概率为：
p(bj ai ) p(ai ) p(bj / ai ) p(bi ) p(a j / bi )
P(ai )
称作输入概率/先验概率
P(bj / ai ) 称作前向概率 P(ai / bj ) 称作后向概率/后验概率
平均互信息量
当信宿Y收到某一具体符号bj(Y=bj)后，推测信 源X发符号ai的概率，已由先验概率p(ai)转变为 后验概率p(ai/bj)，从bj中获取关于输入符号的信 息量，应是互信息量I(ai ; bj)在两个概率空间X 和Y中的统计平均值：
I ( X ; Y ) p(ai b j ) I (ai ; b j )
称为信宿熵
H(Y/X)——散布度，噪声熵。 表示由噪声引起的不确定性的增加。
(3)
I ( X ; Y ) p(ai b j ) log
i 1 j 1
r
s
p(ai b j ) p(ai ) p(b j )
联合熵
H ( X ) H (Y ) H ( XY )
I ( X ;Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( X ) H (Y ) H ( XY )
p(ai b j ) p(ai ) p(b j ) I (Y ; X )
p(b j ai ) log
i 1 j 1
r
s
p(b j ai ) p(b j ) p(ai )
I ( X ; Y ) I (Y ; X )
结 论 平均互信息特性：
平均互信息量的非负性 平均互信息量的极值性（凸函数） 平均互信息量的交互性（对称性）
单符号信道的数学模型：
{ X , p( y / x),Y }
单维离散信道的数学模型
输入输出的联合概率为：
p(bj ai ) p(ai ) p(bj / ai ) p(bi ) p(a j / bi )
P(ai )
称作输入概率/先验概率
P(bj / ai ) 称作前向概率 P(ai / bj ) 称作后向概率/后验概率
平均互信息量
当信宿Y收到某一具体符号bj(Y=bj)后，推测信 源X发符号ai的概率，已由先验概率p(ai)转变为 后验概率p(ai/bj)，从bj中获取关于输入符号的信 息量，应是互信息量I(ai ; bj)在两个概率空间X 和Y中的统计平均值：
I ( X ; Y ) p(ai b j ) I (ai ; b j )
称为信宿熵
H(Y/X)——散布度，噪声熵。 表示由噪声引起的不确定性的增加。
(3)
I ( X ; Y ) p(ai b j ) log
i 1 j 1
r
s
p(ai b j ) p(ai ) p(b j )
联合熵
H ( X ) H (Y ) H ( XY )
I ( X ;Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( X ) H (Y ) H ( XY )
信道与信道容量
4.2 多维无记忆加性连续信道
多维无记忆高斯加性信道可等价成 L 个独立的并联高
斯连续单符号加性信道
47
当且仅当输入随机矢量 X 中各分量统计独立，且是均值 为零、方差为 P l 的高斯变量时，才能达到此信道容量
噪声均值为零、方差相同
噪声均值为零、方差不同，输入总平均功率受限
48
4.3 限时限频限功率加性高斯白噪声信道
转移概率满足:
信道无记忆
只需分析单个符号的转移概率 p (yj|xi)
– 二进制离散信道
– 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
7
二进制离散信道
信道转移概率 p (yj|xi) ：
传输发生错误的概率 无错误传输的概率
二进制对称信道（ BSC ）
8
离散无记忆信道 (DMC)
9
转移概率矩阵
m = n ，信道矩阵为非奇异阵
3 离散序列信道及其容量
无记忆离散序列信道 信道转移概率
仅与当前输入有关
进一步信道是平稳的
40
扩展信道 如果对离散单符号信道进行 L 次扩展，就形成了 L 次离散无记忆序列信道 --- 离散无记忆 L 次扩展信道 例： BSC 的二次扩展信道
2次扩展信道的信道容量：
到的值是其信道容量的下限值。
50
香农公式的讨论
1 带宽一定时，信噪比与信道
容量成对数关系
2 当输入信号功率一定，增加带
宽，容量可以增加 即使带宽无限，信 道容量仍是有限
当 C∞=1bit / s ， PS/N0 =-1.6dB ，即当带宽不受限制时， 传送 1 比特信息，信噪比最低只需 -1.6dB ( 香农限 )
频带利用率：单位频带的信息传输速率
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
C m p (a i)I(a X ;Y x ) m H ( a Y ) x lo 2m g • 无噪有损信道(多对一)
C m p (a i)I(a X ;Y x ) mH a (X )x lo 2ng
11
3.2.1 对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{p1, p2,…pm} 的诸元素 不同排列组成——输入对称
第三章
信道与信道容量
内容
3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量
2
信道
• 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}
1-H(p)
ω
19
BSC信道容量
• BSC信道容量
C1H(p)
• 当固定信源的概率分布ω时,I (X;Y) 是p的 型 下
凸函数。 • 当p = 0,
C =1－0 = 1bit = H(X)
信道无噪声
C
信道强噪声
• 当p =1/2,
C1H(1,1)0 22
p
20
信道容量
• 定理：
• 给定转移概率矩阵P后,平均互信息I (X;Y)是输 入信源的概率分布p(ai)的 型上凸函数。
5
离散无记忆信道DMC
• 信道输入是n元符号X∈{a1, a2, …, an} • 信道输出是m元符号Y∈{b1, b2, …, bm} • 转移矩阵
– 已知X,输出Y统计特性
b1 b2 bm
p11 p12 p1m a1
P
p21
p22
p2m
a2
pn1
pn2
pnm
an
p11
a1
1 1 1 1 6 3 6 3
P00..27
0.1 0.1
0.2 0.7
• 不具有对称性,因而所对应的信通不是对 称离散信道。
13
对称DMC信道
• 若输入符号和输出符号个数相同,都等于n,且信 道矩阵为
1 p
P
n
p 1
p n 1 1 p
p
n
p
1
n 1
p n 1
p n 1
1
p
• 离散信道可分成： • 无干扰(无噪)信道
– 无嗓无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
10
无干扰离散信道
• 无噪无损信道 C m p ( a i)I ( X ; a Y ) x m H ( X a ) m xH ( Y a ) lx 2 o n • 有噪无损信道(一对多)
• 此信道称为强对称信道 (均匀信道)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
• 对称离散信道的平均互信息为
I ( X ; Y ) H ( X ) H ( X |Y ) H ( Y ) H ( Y |X )
H(Y| X) p(ai) p(bj | ai)logp(bj | ai)
p(b0) p(ai)p(b0 |ai)pp i0
1
p(b1) p(ai)p(b1|ai)pp i0
17
H(Y)(pp)logp 1p(pp)logp 1p
H(pp)
H(Y| X) p(ai) p(bj | ai)logp(bj | ai)
i
j
p(bj | ai)logp(bj | ai) j
• 有干扰无记忆信道
– 信道的输出信号Y与输入信号X之间没有确 定的关系,但转移概率满足: p ( Y |X ) p ( y 1 |x 1 ) p ( y 2 |x 2 ) p ( y L |x L )
• 有干扰无记忆信道可分为: – 二进制离散信道 – 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
– 每一列都是由集{q1, q2,…qn}的诸元素不同 排列组成——输出对称
1 1 1 1 P 3 3 6 6
1 1 1 1 6 6 3 3
1 1 1
2 3 6
P
1 6
1 2
1 3
1 1 1
3 6 2
满足对称 性,所对应 的信道是 对称离散 信道。
12
对称DMC信道
• 信道矩阵
1 1 1 1 P3 3 6 6
[plogp plogp] H(p)
I(X ;Y ) H (Y ) H (Y |X ) H (p p ) H (p )
1 H (p )
18
BSC信道容量
• BSC信道容量 C1H(p)
• 当p固定时,I (X;Y) 是ω的 型上凸函数。
• I (X;Y) 对ω存在一
I(X;Y)
个极大值。
)
n
p(yj) p(xi)p(yj |xi) i1
• 信道的信息传输率就是平均互信息
8
信道容量
• 信道容量C：
– 最大的信息传输率
CmaIx(X;Y) p(ai)
• 单位时间的信道容量：
1
Ct
maIx(X;Y) T p(ai)
9
信道容量的计算
• 对于一般信道,信道容量计算相当复杂,我们只 讨论某些特殊类型的信道：
i
j
p(bj | ai)logp(bj | ai)
j
H(Y| ai) i 1,2,n
H (Y |X ) H (Y |a i) H (p 1 ,p 2 , p m )
15
对称DMC信道
• 对称DMC信道的容量：
ClogmH(p1, p2pm)
m
logm pijlogpij j1
• 上式是对称离散信道能够传输的最大的平均信息量,它
只与对称信道矩阵中行矢量{p1, p2,…pm }（第二项为矩 阵任一行元素的信息熵 ）和输出符号集的个数m有关。
• 强对称信道的信道容量：
Clo2ng H (1p,np 1, ,np 1)
16
BSC信道容量
• •
设二进制对称信道的输入概率空间 信道矩阵：
X 0 1
P
P
1p
p
1pppp
p p
1
• 信道转移概率矩阵p(Y|X)：
– 描述输入/输出的统计依赖关系,反映信道统计关 系p(Y|X)XY信道3
无干扰(无噪声)信道
• 无干扰(无噪声)信道
– 信道的输出信号Y与输入信号X之间有确定 的关系Y=f (X),已知X后就确知Y
– 转移概率: 1, Yf(X)
p(Y|X)0, Yf(X)
4
有干扰无记忆信道
p12
p21
a2
p22
:
:
:
an
pnm
m
p(bj |ai)1
j1
i1,2, n
b1 b2
: : :
bm
6
3.2 离散单个符号信道 及其容量
7
信道容量
• 平均互信息I (X;Y)：
– 接收到符号Y后平均每个符号获得的关于X
的信息量。
I(X;Y)
i
j
p(xi
)p(yj
|
xi
)l
ogp(yj |xi p(yj)
C m p (a i)I(a X ;Y x ) mH a (X )x lo 2ng
11
3.2.1 对称DMC信道
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{p1, p2,…pm} 的诸元素 不同排列组成——输入对称
第三章
信道与信道容量
内容
3.1 信道分类和表示参数 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量
2
信道
• 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an} 输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}
1-H(p)
ω
19
BSC信道容量
• BSC信道容量
C1H(p)
• 当固定信源的概率分布ω时,I (X;Y) 是p的 型 下
凸函数。 • 当p = 0,
C =1－0 = 1bit = H(X)
信道无噪声
C
信道强噪声
• 当p =1/2,
C1H(1,1)0 22
p
20
信道容量
• 定理：
• 给定转移概率矩阵P后,平均互信息I (X;Y)是输 入信源的概率分布p(ai)的 型上凸函数。
5
离散无记忆信道DMC
• 信道输入是n元符号X∈{a1, a2, …, an} • 信道输出是m元符号Y∈{b1, b2, …, bm} • 转移矩阵
– 已知X,输出Y统计特性
b1 b2 bm
p11 p12 p1m a1
P
p21
p22
p2m
a2
pn1
pn2
pnm
an
p11
a1
1 1 1 1 6 3 6 3
P00..27
0.1 0.1
0.2 0.7
• 不具有对称性,因而所对应的信通不是对 称离散信道。
13
对称DMC信道
• 若输入符号和输出符号个数相同,都等于n,且信 道矩阵为
1 p
P
n
p 1
p n 1 1 p
p
n
p
1
n 1
p n 1
p n 1
1
p
• 离散信道可分成： • 无干扰(无噪)信道
– 无嗓无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
10
无干扰离散信道
• 无噪无损信道 C m p ( a i)I ( X ; a Y ) x m H ( X a ) m xH ( Y a ) lx 2 o n • 有噪无损信道(一对多)
• 此信道称为强对称信道 (均匀信道)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
• 对称离散信道的平均互信息为
I ( X ; Y ) H ( X ) H ( X |Y ) H ( Y ) H ( Y |X )
H(Y| X) p(ai) p(bj | ai)logp(bj | ai)
p(b0) p(ai)p(b0 |ai)pp i0
1
p(b1) p(ai)p(b1|ai)pp i0
17
H(Y)(pp)logp 1p(pp)logp 1p
H(pp)
H(Y| X) p(ai) p(bj | ai)logp(bj | ai)
i
j
p(bj | ai)logp(bj | ai) j
• 有干扰无记忆信道
– 信道的输出信号Y与输入信号X之间没有确 定的关系,但转移概率满足: p ( Y |X ) p ( y 1 |x 1 ) p ( y 2 |x 2 ) p ( y L |x L )
• 有干扰无记忆信道可分为: – 二进制离散信道 – 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
– 每一列都是由集{q1, q2,…qn}的诸元素不同 排列组成——输出对称
1 1 1 1 P 3 3 6 6
1 1 1 1 6 6 3 3
1 1 1
2 3 6
P
1 6
1 2
1 3
1 1 1
3 6 2
满足对称 性,所对应 的信道是 对称离散 信道。
12
对称DMC信道
• 信道矩阵
1 1 1 1 P3 3 6 6
[plogp plogp] H(p)
I(X ;Y ) H (Y ) H (Y |X ) H (p p ) H (p )
1 H (p )
18
BSC信道容量
• BSC信道容量 C1H(p)
• 当p固定时,I (X;Y) 是ω的 型上凸函数。
• I (X;Y) 对ω存在一
I(X;Y)
个极大值。
)
n
p(yj) p(xi)p(yj |xi) i1
• 信道的信息传输率就是平均互信息
8
信道容量
• 信道容量C：
– 最大的信息传输率
CmaIx(X;Y) p(ai)
• 单位时间的信道容量：
1
Ct
maIx(X;Y) T p(ai)
9
信道容量的计算
• 对于一般信道,信道容量计算相当复杂,我们只 讨论某些特殊类型的信道：
i
j
p(bj | ai)logp(bj | ai)
j
H(Y| ai) i 1,2,n
H (Y |X ) H (Y |a i) H (p 1 ,p 2 , p m )
15
对称DMC信道
• 对称DMC信道的容量：
ClogmH(p1, p2pm)
m
logm pijlogpij j1
• 上式是对称离散信道能够传输的最大的平均信息量,它
只与对称信道矩阵中行矢量{p1, p2,…pm }（第二项为矩 阵任一行元素的信息熵 ）和输出符号集的个数m有关。
• 强对称信道的信道容量：
Clo2ng H (1p,np 1, ,np 1)
16
BSC信道容量
• •
设二进制对称信道的输入概率空间 信道矩阵：
X 0 1
P
P
1p
p
1pppp
p p
1
• 信道转移概率矩阵p(Y|X)：
– 描述输入/输出的统计依赖关系,反映信道统计关 系p(Y|X)XY信道3
无干扰(无噪声)信道
• 无干扰(无噪声)信道
– 信道的输出信号Y与输入信号X之间有确定 的关系Y=f (X),已知X后就确知Y
– 转移概率: 1, Yf(X)
p(Y|X)0, Yf(X)
4
有干扰无记忆信道
p12
p21
a2
p22
:
:
:
an
pnm
m
p(bj |ai)1
j1
i1,2, n
b1 b2
: : :
bm
6
3.2 离散单个符号信道 及其容量
7
信道容量
• 平均互信息I (X;Y)：
– 接收到符号Y后平均每个符号获得的关于X
的信息量。
I(X;Y)
i
j
p(xi
)p(yj
|
xi
)l
ogp(yj |xi p(yj)