信道及信道容量PPT课件
合集下载
第三章 信道模型和信道容量
i 1
j 1
H[ p(b1/ ai), p(b2 / ai),......p(bs / ai)]
C max{H(Y) H[ p(b1/ ai), p(b2/ ai),......p(bs / ai)]} P(X ) log s H[ p(b1/ ai), p(b2 / ai),......p(bs / ai)]
Chapter 3
信道模型和信道容量
3.1 信道模型和信道分类
1〉什么是信道？ 信道是传送信息的载体——信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话， 二人间的空气就是信道；打电话，电话线就是信道； 看电视，听收音机，收、发间的空间就是信道。
2〉信道的作用 在信息系统中信道主要用于传输与存储信息，而在通 信系统中则主要用于传输。
C max{I( X,Y)} max{H(Y) H(Y / X )}
由最P大( X 熵) 定理可知P( X )
C=logs-H(ε,1-ε)- εlog(r-1)=logsH(p1’,p2’…ps’)
对于强对称信道，只有当信源等概分布 时，才能使其达到信道容量C。
对于强对称信道，可以证明 H(X)=H(Y)=logr=logs,
根据输入和输出信号的特点：
•离散信道 •连续信道 •半离散或半连续信道 •波形信道
离散信道
设离散信道的输入为一个随机变量X，相应的 输出的随机变量为Y，如图所示： 规定一个离散信道应有三个参数： 输入符号集：X={a1,a2,….ar} 输出符号集：Y={b1,b2,….bs} 信道转移概率： P(Y/X)={p(b1/a1),p(b2/a1),…p(bs/ar),……
信道及其容量PPT课件
是连续的 时间离散的连续信道：信道输入和输出是连续
的时间序列 波形信道：输入和输出都是时间的实函数x(t),
y(t)
4.1 信道分类
两端信道 多端信道 恒参信道：参数不随时间变化 随参信道：参数随时间变化 无记忆信道和有记忆信道 对称信道和非对称信道
4.2 离散无记忆信道
第四章 信道及其容量
信道及其容量
4.1信道分类 4.2离散无记忆信道 4.3信道的组合 4.4时间离散的无记忆信道 4.5波形信道
4.1信道分类
4.1信道分类
离散信道：输入输出均为离散事件集 连续信道：输入输出空间均为连续事件集 半连续信道：输入和输出一个是离散的，一个
最佳分布是均值为0，方差为S的高斯型 分布
平均功率受限时间离散恒参可加 噪声信道容量
1 2
log(1
S
2
)
C
1 2
log[
S
2
2
]
2 x
2
2 y
2 x
2
给定信号功率，高斯信道是最差的信道
平行可加高斯噪声信道
X=(x1,…,xN),y=(y1,…,yN)
C N 1 log(1 Sn )
的时间序列 波形信道：输入和输出都是时间的实函数x(t),
y(t)
4.1 信道分类
两端信道 多端信道 恒参信道：参数不随时间变化 随参信道：参数随时间变化 无记忆信道和有记忆信道 对称信道和非对称信道
4.2 离散无记忆信道
第四章 信道及其容量
信道及其容量
4.1信道分类 4.2离散无记忆信道 4.3信道的组合 4.4时间离散的无记忆信道 4.5波形信道
4.1信道分类
4.1信道分类
离散信道：输入输出均为离散事件集 连续信道：输入输出空间均为连续事件集 半连续信道：输入和输出一个是离散的，一个
最佳分布是均值为0，方差为S的高斯型 分布
平均功率受限时间离散恒参可加 噪声信道容量
1 2
log(1
S
2
)
C
1 2
log[
S
2
2
]
2 x
2
2 y
2 x
2
给定信号功率，高斯信道是最差的信道
平行可加高斯噪声信道
X=(x1,…,xN),y=(y1,…,yN)
C N 1 log(1 Sn )
信道容量课件
• 2)从信息论的角度看，平均的条件自信息即条 件熵H（X/Y）可以解释为由于信道干扰和噪声 所造成的平均信息量的损伤。 如果BSC信道中p(0/1)=p(1/0)=p=0,即无误 码概率，那么从接收的 Y可完全确定发送的X， 信道的介入没有产生任何损伤或模糊度，因此 条件熵H（X/Y）＝0。 若H（X/Y）＝0，必有I（X;Y）＝H（X）， 互信息等于输人符号的信息熵。 换言之，信道上传送的信息量正是输人信 号的全部信息量，相当于信道容量为1。
H (Y / X ) p( xi ) p( y j / xi ) log p( y j / xi )
i j
p( y j / xi ) log p( y j / xi )
j
H (Y / xi )
② 当信道输入符号等概分布时，信道输出 符号也等概分布； 反之，若信道输出符号等概分布，信道 输入符号必定也是等概分布。
如何计算信道容量?
• （1）对称DMC信道的容量 什么叫对称DMC信道?
如果转移概率矩阵P的每一行都是第一行的 置换（包含同样元素），称该矩阵是输入对称 的；如果转移概率矩阵P的每一列都是第一列
的置换（包含同样元素），称该矩阵是输出对
称的；如果输入、输出都对称，则称该DMC 为对称的DMC信道。
例如：
3)当X和Y统计独立时，接收的Y完全与发送 说明损失的信息达到与输人符号信息熵相等
第三章 信道容量.ppt
y随信道变化的曲线如图211005050505050505050505相互独立条件下假定图218数据处理模型31323334353131无干扰信道有干扰信道有记忆信道无记忆信道单符号信道多符号信道单用户信道多用户信道半离散信道离散信道3132323334353232321321322323213213232321322322323223221一一对应的无噪信道1000000001000xy一一对应cmaxix
n
i
p(ai )[(1
p) log(1
p)
p
log
n
p] 1
[(1 p) log(1 p) p log p ] n 1
Hni
C max I ( X ;Y ) p(ai ) max[H (Y ) H (Y / X )] p(ai ) max[H (Y ) Hni] p(ai ) log n Hni
p( xi )
maxH (X ) H (X Y )
p( xi )
maxH (Y ) H (Y X )
p( xi )
Ct
1 max
t p(ai )
I ( X ;Y )
§3.2 单符号离散信道的信道容量
§3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量
§3.2 .3 离散信道容量的一般计算方法
1 2
1 4
n
i
p(ai )[(1
p) log(1
p)
p
log
n
p] 1
[(1 p) log(1 p) p log p ] n 1
Hni
C max I ( X ;Y ) p(ai ) max[H (Y ) H (Y / X )] p(ai ) max[H (Y ) Hni] p(ai ) log n Hni
p( xi )
maxH (X ) H (X Y )
p( xi )
maxH (Y ) H (Y X )
p( xi )
Ct
1 max
t p(ai )
I ( X ;Y )
§3.2 单符号离散信道的信道容量
§3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量
§3.2 .3 离散信道容量的一般计算方法
1 2
1 4
第3章信道与信道容量
j
i
j
I (X ;Y) 0
C max I (X ;Y ) 0.036bit / 符号
普通高等教育“十一五”国家级规划教材《信息论基础》 曹雪虹编著
25
3.2离散单个符号信道及其容量
方法二
当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4 C=H(Y)-H(Y/X)=0.036bit/符号
n 1
1
n
1
n 1
n 1
n 1
1
C log n H(1 , ,, )
n 1 n 1
信道输入符号和输出符号的个数相同，都为n，且正确的传输 概率为1－，错误概率被对称地均分给n-1个输出符号，此信 道称为强对称信道或均匀信道，是对称离散信道的一个特例
21
3.2离散单个符号信道及其容量
信道容量 I(X;Y)=1-H()，I(X;Z)=1-H[2 (1-)]
1
0.8
0.6
m=1
m=2
0.4
m=3
0.2
0
0
0.5
1
普通高等教育“十一五”国家级规划教材《信息论基础》 曹雪虹编著
22
3.2离散单个符号信道及其容量
第四章：信道与信道容量
Y 0 , 1 q( y ) , q ,q 0 1
§4.3:离散无记忆信道及其信道容量
•离散无记忆信道及其信道容量 •离散无记忆信道容量的计算 •离散无记忆信道的信道容量定理
•对称的离散无记忆信道容量
•香农第一定理的物理意义
§4.3:离散无记忆信道及其信道容量-1
离散消息序列信道
无记忆信道 一般无记忆 平稳无记忆
离散消息序列信道 有记忆信道 : 平稳，有限状态 有记忆信道
§4.3:离散无记忆信道及其信道容量-2
离散无记忆信道及其信道容量
P( y x )无记忆 P(
k 1 K
yk
xk
)
平稳 P k ( y ) x 由消息序列互信息 I ( X ;Y ) 性质 K 对离散无记忆信道，有： I ( X ; Y ) I ( X k ; Yk )（性质4）
Q
a1 0.7 0.1 0.2 a2 0.2 0.7 0.1
§4.3:离散无记忆信道及其信道容量10
BSC信道信道容量的计算
1-ε a1 b1
ε
ε a2 1-ε b2
§4.3:离散无记忆信道及其信道容量11
由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有：
第三章信道及信道容量ppt课件
9
《信息论与编码》
2、一般离散信道（多维离散信道） 输入输出信号都是平稳随机矢量，其数学模型可用概率空间 [X，p(Y/X)，Y]来描述。 其中 为输入信号， 为输出信号。 X中 Y中 其中P(Y/X)是信道的传递概率，反映输入和输出信号之间统计 依赖关系。 根据信道是否存在干扰以及有无记忆，将信道分为： 1 ）无干扰（噪声）信道： 2 ）有干扰无记忆信道： 3）有干扰有记忆信道：
2 ）有干扰无记忆信道： 每个信道输出只与当前输入信号之间有转移概率关系，而 与其它时刻的输入输出信号无关。
这种情况下，不需要矢量形式，只要分析单个符号的转 移概率p(yi/xi)即可。
①离源自文库无记忆信道（DMC） ②二进制对称信道（BSC）
15
《信息论与编码》
①离散无记忆信道 (DMC)： 输入和输出信号的符号数大于 2但为有限值,即 ,
Y=X+G
式中，G 是一个零均值，方差为σ2的高斯随机变量。 当 X=ai给定后，Y是一个均值为ai，方差为σ2的高斯随机变量。
18
《信息论与编码》
四、波形信道
当信道输入和输出都是随机过程{x(t)}和{y(t)} 时，该信 道就称为波形信道，在实际模拟通信系统中，信道都是波 形信道。 如果波形信道为频宽受限信道，在有限的观察时间内， 输入和输出的随机过程可以化为L个时间离散，取值连续的 平稳随机序列。 这样，波形信道化为多维连续信道，信道转移概率密度 函数为
《信息论与编码》
2、一般离散信道（多维离散信道） 输入输出信号都是平稳随机矢量，其数学模型可用概率空间 [X，p(Y/X)，Y]来描述。 其中 为输入信号， 为输出信号。 X中 Y中 其中P(Y/X)是信道的传递概率，反映输入和输出信号之间统计 依赖关系。 根据信道是否存在干扰以及有无记忆，将信道分为： 1 ）无干扰（噪声）信道： 2 ）有干扰无记忆信道： 3）有干扰有记忆信道：
2 ）有干扰无记忆信道： 每个信道输出只与当前输入信号之间有转移概率关系，而 与其它时刻的输入输出信号无关。
这种情况下，不需要矢量形式，只要分析单个符号的转 移概率p(yi/xi)即可。
①离源自文库无记忆信道（DMC） ②二进制对称信道（BSC）
15
《信息论与编码》
①离散无记忆信道 (DMC)： 输入和输出信号的符号数大于 2但为有限值,即 ,
Y=X+G
式中，G 是一个零均值，方差为σ2的高斯随机变量。 当 X=ai给定后，Y是一个均值为ai，方差为σ2的高斯随机变量。
18
《信息论与编码》
四、波形信道
当信道输入和输出都是随机过程{x(t)}和{y(t)} 时，该信 道就称为波形信道，在实际模拟通信系统中，信道都是波 形信道。 如果波形信道为频宽受限信道，在有限的观察时间内， 输入和输出的随机过程可以化为L个时间离散，取值连续的 平稳随机序列。 这样，波形信道化为多维连续信道，信道转移概率密度 函数为
信道容量及其计算PPT课件
二元删除信道 （BEC）：输入符号X取值于{ 0, 1}， 输出符号取值于{ 0, 2, 1}，传递概率为
p 0
1-p 1-q 1
q
0
0 21百度文库
2
0 p 1 p 0
1 0 1 q q
1
第2页/共27页
删除信道的必要性
0
1
0
1
？2
第3页/共27页
2、 信道容量定义
信息传输率：信道中平均每个符号所能传送的信息量。 R = I(X;Y) = H(X)-H(X|Y) （bit/符号）
p(akN bhN ) log
p(bhN | akN ) p(bhN )
p(ak1 akN bh1 bhN ) log
X1,Y2 X N ,YN
p(bh1
| ak1 ) p(bh2 | ak2 ) p(bh1N p(bh1 ) p(bh2 ) p(bhN )
| akN )
E[log
p(bh1
| ak1 ) p(bh2 | ak2 ) p(bh1N p(bh1 ) p(bh2 ) p(bhN )
1、常见的简单DMC离散信道：
二元对称信道 （DSC）：输入符号X取值于{0,1}， 输出符号取值于{0,1}，传递概率为
P(0 | 0) P(1|1) 1 p, P(0 |1) P(1| 0) p
信道及信道容量PPT课件
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续8）
3. 后验概率（后向概率）: 贝叶斯公式
p(xi |
yj)pp((xyiyj)j)
p(xi)p(yj |xi)
r
p(xi)p(yj |xi)
i1
（i =1，2，…，r;j =1，2，…，s）
且
r
p(xi | yj ) 1
第四章：信道及信道容量
一. 信道分类（续1）
一、信道分类
按输入/输出信号的幅度和时间特性划分：
幅度 离散 连续 连续 离散
时间 离散 离散 连续 连续
信道分类名称 离散信道/数字信道（例如：数字电话） 连续信道 模拟信道/波形信道（例如：普通电话） （理论和实用价值均很小）
第四章：信道及信道容量
信道特性可以用转移概率矩阵来表示：
P=[p(yj|xi)]r×s
• 信道的数学模型为{X, P(Y|X),Y}
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续4）
例1：二元对称信道 （BSC：binary symmetric channel）
输入符号集A={0,1}, 输出符号集B={0,1}，r＝s＝2．
第四章：信道及信道容量
一、信道分类 二、离散单符号信道及其信道容量 三、离散多符号信道及其信道容量 四、组合信道及其信道容量 五、连续信道及其信道容量 六、波形信道及其信道容量
信道模型及信道容量
平均互信息量的非负性 平均互信息量的极值性 平均互信息量的交互性（对称性） 平均互信息量的凸函数性
1.平均互信息量的非负性
I ( X ;Y ) 0
虽然互信息量可能为负，但平均互信息量一定为 正，除非信道输入和输出完全统计独立，所有的 信息都损失在信道里了。
2.平均互信息量的极值性
P(bi )
称作输出概率
单维离散信道的数学模型
输出符号概率： p(b j ) p(ai b j ) p(ai ) p(b j / ai )
i 1 i 1 r r
p (b1 ) p (a1 ) p (b ) p(a ) 2 2 PT p ( b ) p ( a ) s r
2.1.1 信道的分类
工程物理背景——传输媒介类型； 数学描述方式——信号与干扰描述方式； 信道本身的参数类型——恒参与变参； 用户类型——单用户与多用户； 输入、输出随机变量的个数 ——单符号信道与多符号信道。
明线 对称平衡电缆（市内） 固体介质电缆小同轴（长途） 有线信道 中同轴（长途） 波导 混合介质 光缆 长波 中波 1 传输媒介类型 短波 超短波 移动 空气介质 视距接力 微波 对流层 散射 电离层 卫星 光波
1.平均互信息量的非负性
I ( X ;Y ) 0
虽然互信息量可能为负，但平均互信息量一定为 正，除非信道输入和输出完全统计独立，所有的 信息都损失在信道里了。
2.平均互信息量的极值性
P(bi )
称作输出概率
单维离散信道的数学模型
输出符号概率： p(b j ) p(ai b j ) p(ai ) p(b j / ai )
i 1 i 1 r r
p (b1 ) p (a1 ) p (b ) p(a ) 2 2 PT p ( b ) p ( a ) s r
2.1.1 信道的分类
工程物理背景——传输媒介类型； 数学描述方式——信号与干扰描述方式； 信道本身的参数类型——恒参与变参； 用户类型——单用户与多用户； 输入、输出随机变量的个数 ——单符号信道与多符号信道。
明线 对称平衡电缆（市内） 固体介质电缆小同轴（长途） 有线信道 中同轴（长途） 波导 混合介质 光缆 长波 中波 1 传输媒介类型 短波 超短波 移动 空气介质 视距接力 微波 对流层 散射 电离层 卫星 光波
通信原理PPT第8章
图8.4.1连续信道模型
s0 (t ) ft [si (t )] n(t )
其中，ft［si(t) ］为时变线性算子；n(t)为加性干扰
图8.4.2多输入、多 输出端连续信道模型
8.4.2离散信道模型
离散信道的输入和输出
都是离散信号，广义信道 的编码信道就是一种离散 信道。
图8.4.3二进制离散信道模型
最大比合并：以各支路的信噪比为加权系数将各支
路信号相加作为接收信号。
8.8 信道容量
信道容量是指该信道能够传送的最大信息量。
它等于信道输入与输出互信息的最大可能值， 其值决定于信道自身的性质，与其输入信号的
特性无关。
1 离散信道(编码信道)的信道容量
2 连续信道
(1) 单符号高斯连续信道的信道容量
（2）电离层的性质（例如电离层的电子密度、 高度、厚度等）受太阳辐射和其他许多因素的影 响，不断的随机变化。例如，四层中的D层和F1 层白天存在，夜晚消失，电离层的电子密度随昼 夜、季节以至年份而变化等。 由此可见，短波反射信道是典型的随参信 道。
对流层散射信道
对流层是离地面10~12Km的大气层。在对流 层中由于大气湍流运动等因素将引起大气层不均 匀性。 当电磁波射入对流层时，这种不均匀性就会 引起电磁波的散射，也就是漫反射，部分电磁波 向接收方向散射，起到中继作用。另外，对流层不 是一个平面而是一个散体，电波信号经过对流层散 射也会产生多径传播，故对流层散射信道也是随参 信道。
信息论基础及应用第3章 信道及其容量(1)_3.1~3.3
R p( y1 y2 yN x1x2 xN )dy1dy2 dyN 1,
( p( y1 y2 yN x1x2 xN ) 0, R为实数域)
◆多维连续信道用符号 [X, p(y| x) ,Y] 表示。
N
◆若 p(y| x) 满足 p( y x) p( yi xi )
i 1
信道为连续无记忆信道。
3.1.1 信道的分类
◆多元接入信道：多个输入、一个输出。 ◆广播信道：单一输入、多个输出。
多个地面站与一个公共卫星通信的上行线路是多元接入信道。 卫星与多个地面站的下行通信系统，是广播信道。
卫星
卫星
地面站 地面站
地面站
地面站
地面站
地面站
3.1.1 信道的分类
(5) 根据输入端和输出端的关联分类 ◆无反馈信道：信道输出端没有信号反馈到输入端，
输出符号数是 s，y ∈ B:{b1,b2,…,bs}
ar
◆采用 r×s 阶转移概率矩阵表示，即
b1 b2
输出
bs
p1,1 p1,2
PDMC
=
P(y
x)
[P(bj
ai )]
[ pi, j ]
p2,1
p2,2
pr,1
pr,2
p1,s
p2,s
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2020/11/24
2
信道及信道容量
信源
编码
信道
译码
信宿
噪声
信道——传输信号的媒介，信道中通常引入噪声 狭义信道——信号的传输媒介
➢有线信道——电线、电缆、光缆 ➢无线信道——电磁空间——地波传播、天 波传播、视线传播
2020/11/24
3
信道及信道容量
广义信道——包括调制解调、收发转换装置的信道
y
j)
log
P(y j) P(y j / xi
)
log
P(y
j
)
log
P(y
j
/
xi
)
2020/11/24
11
信道及信道容量
例3
信源P(XX)
0 0.4
1 0.6
Z信道P(Y / X)
1 0.25
0 0.75
信宿消息0所含各信源消息的互信息量
P(y1 0) 0.4 1 0.6 0.25 0.55 I(x1 0; y1 0) log P(y1) log P(y1 / x1) log 0.55 log 1 0.862(bit )
P(xi y j )I(xi ; y j )
i1 j1
nm
nm
P(x i y j ) log P(y j )
P(x i y j ) log P(y j / x i )
i1 j1
i1 j1
2020/11/24
13
信道及信道容量
n
nm
P(y j ) log P(y j )
P(x i y j ) log P(y j / x i )
17
信道及信道容量
5、平均互信息量的主要性质 ①对称性
信道及信道容量
第3章 信道及信道容量
教学内容和要求
➢掌握单符号离散信道及平均互信息量，理解其 性质
➢掌握m=n信道、对称信道和准对称信道的信道 容量
➢了解多符号离散信道，掌握N次扩展信道及信道 容量
2020/11/24
1
信道及信道容量
➢掌握单符号连续信道及平均互信息量，理解其性 质 ➢掌握高斯加性信道的信道容量和最大信息传输速 率 ➢了解多符号连续信道及信道容量
14
信道及信道容量
n
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
nm
P(x i y j ) log P(x i )
P(x i y j ) log P(x i / y j )
j1
iFra Baidu bibliotek j1
H(Y) H(Y / X)
平均互信息量I(X;Y)反映信道每传输一条消息所携 带的平均信息量，不反映信宿收到某条消息所含信 源发出某条特定消息的信息量
4、平均互信息量的意义
I(X;Y) H(Y) H(Y / X)
条件熵H(Y/X)是信道给出的平均信息量——噪声 熵或信道散布度
2020/11/24
设X {x1, x 2 ,, x n } P(X) {P(x1 ), P(x 2 ),, P(x n )} 随机变量X的取值xi为信源发出的消息 i=1,2,…,n 设Y {y1, y2 ,, ym}，通常m n P(Y) {P(y1 ), P(y2 ),, P(ym )} 随机变量Y的取值yj为信宿收到的消息 j=1,2,…,m
9
信道及信道容量
2、互信息量 信源发出消息xi而信宿接收到消息yj，信宿消息yj 所含信源消息xi的信息量
定义
信宿消息yj的概率P(yj)与信源发出消息xi而信宿接 收到消息yj的转移概率P(yj /xi )之差对数的负值， 用I(xi;yj) 表示
2020/11/24
10
信道及信道容量
表示
I(xi ;
调制 发转调换制信道媒编介码信道收转换 解调
➢调制信道——连续信道 ➢编码信道——离散信道
2020/11/24
4
信道及信道容量
一、单符号离散信道及信道容量
1、单符号离散信道
定义
对应于单符号离散信源和单符号离散信宿的信道
表示
信源——离散型随机变量X 信宿——离散型随机变量Y
2020/11/24
5
信道及信道容量
i1 j1
i1 j1
H(X) H(X / Y)
条件熵H(X/Y)是用反信道矩阵形式表示的信道给 出的平均信息量——损失熵或信道疑义度
2020/11/24
15
信道及信道容量
H(X)
H(Y/X) I(X;Y) H(X/Y)
H(Y)
➢以信宿为参考，利用信宿的信息熵和信道的 噪声熵来度量信道中传输的平均信息量
X P(Y/X) Y
2020/11/24
6
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y
/
X)
P(y1 / x2
)
P(y2 / x2)
P(
ym
/
x
2
)
P(y1 / xn ) P(y2 / xn ) P(ym / xn )
➢以信源为参考，利用信源的信息熵和信道的 损失熵来度量信道中传输的平均信息量
平均互信息量I(X;Y)——信息传输率R
2020/11/24
16
信道及信道容量
n
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
I(x2 1; y1 0) log P(y1) log P(y1 / x2) log 0.55 log 0.25
1.138(bit )
2020/11/24
12
信道及信道容量
3、平均互信息量
定义
各互信息量的数学期望，也叫交互熵，用I(X;Y)表 示
表示
nm
I(X; Y) E[I(xi ; y j )]
j1
P(xi )P(y j ) P(xi y j )
nm
nm
P(x i y j ) log P(x i )
P(x i y j ) log P(y j )
i1 j1
i1 j1
nm
P(x i y j ) log P(x i y j )
i1 j1
H(X) H(Y) H(XY)
2020/11/24
2020/11/24
7
信道及信道容量
m
其中，0 P(y j / xi ) 1且 P(y j / xi ) 1 i 1,2,, n j1
2020/11/24
8
信道及信道容量
例1
1 p p
P(Y / X)
p
1 p
例2
P(Y
/
X)
1
1 1
2
2 2
1
1
1
2
2020/11/24