第3章-信道与信道容量复习过程
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
第3章信道与信道容量32
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
14
3.2离散单个符号信道及其容量
信道容量
C＝ max I ( X ; Y )
p ( ai )
= max[ H (Y ) − H (Y | X )]
p ( ai ) p ( ai )
= max H (Y ) − H (Y / X )
第3章信道与信道容量
3.1信道分类和表示参数 3.2离散单个符号信道及其容量
离散无记忆信道：对称、准对称
3.4连续信道及其容量
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
1
3.1信道分类和表示参数
信道分类
用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半 连续、波形信道
• 信道种类
1 无干扰信道 2 有干扰无记忆信道 3 有干扰有记忆信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3
信道参数
无干扰（无噪声）信道
1, y = f (x) p ( Y / X) = 0, y ≠ f (x)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
13
3.2离散单个符号信道及其容量
•
输入对称
∑ p(b j / ai ) log p(b j / ai )与i无关
j
H (Y / X ) = −∑ p(ai )∑ p(b j / ai ) log p(b j / ai ) = −∑ p(b j / ai ) log p (b j / ai ) = H (Y / xi )
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
信息论基础第3章离散信道及其信道容量
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第3章信道容量
其信道容量
C max I ( X ;Y ) max H ( Y ) log m
p ( xi ) p ( xi )
达到此类信道的信道容量的概率分布是使信道输出分布为 等概分布的输入分布。
8
离散无噪信道（总结）
对于无噪信道，求信道容量C的问题，已经 从求I(X;Y)的极值问题退化为求H(Y)或H(X)的 极值问题。
H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪 信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号 集Y之后平均每个符号所获得的关于输入集X的信息量。 H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。 因为H(Y/X)=H(Y)-I(X;Y)
i 1 j 1 n n
p( x i ) H ni
i 1
n
H ni p( y j / x i ) log p( y j / x i ) 由 于 信 道 的 对 称 性 ， 一 每行 都 是 同 一 集 合 诸素 元的 不 同 排 列 。
其信道容量
C max I ( X ;Y ) max H ( X ) log n
p ( xi ) p ( xi )
6
3.具有归并性能的无噪信道（确定信道）
确定信道的一个输出对应着多个 互不相交的输入，如右图所示。
信道矩阵中每行中只有一非零元 素，即已知X后，Y不再有任何 不确定度。故噪声熵H(Y/X)=0
11
强对称信道的几个特性
强对称信道是对称信道的一个特例；
输入符号数与输出符号数相等； 信道中总的错误概率为p，对称地平均分配给 n-1个输出符号，n为输入符号的个数； 均匀信道中不仅各行之和为1,而且各列之和也 为1。 一般信道各列之和不一定等于1
信道、信道容量、数据传输速率
信道、信道容量、数据传输速率简介：信道、信道容量、数据传输速率（比特率）、电脑装置带宽列表一、信道的概念信道，是信号在通信系统中传输的通道，是信号从发射端传输到接收端所经过的传输媒质，这是狭义信道的定义。
广义信道的定义除了包括传输媒质，还包括信号传输的相关设备。
信道容量是在通信信道上可靠地传输信息时能够达到的最大速率。
根据有噪信道编码定理，给定信道的信道容量是其以任意小的差错概率传输信息的极限速率。
信道容量的单位为比特每秒、奈特每秒等等。
香农在第二次世界大战期间发展出信息论，并给出了信道容量的定义和计算信道容量的数学模型。
他指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。
二、信道的分类（一）狭义信道的分类狭义信道，按照传输媒质来划分，可以分为有线信道、无线信道和存储信道三类。
1. 有线信道有线信道以导线为传输媒质，信号沿导线进行传输，信号的能量集中在导线附近，因此传输效率高，但是部署不够灵活。
这一类信道使用的传输媒质包括用电线传输电信号的架空明线、电话线、双绞线、对称电缆和同轴电缆等等，还有传输经过调制的光脉冲信号的光导纤维。
2. 无线信道无线信道主要有以辐射无线电波为传输方式的无线电信道和在水下传播声波的水声信道等。
无线电信号由发射机的天线辐射到整个自由空间上进行传播。
不同频段的无线电波有不同的传播方式，主要有：地波传输：地球和电离层构成波导，中长波、长波和甚长波可以在这天然波导内沿着地面传播并绕过地面的障碍物。
长波可以应用于海事通信，中波调幅广播也利用了地波传输。
天波传输：短波、超短波可以通过电离层形成的反射信道和对流层形成的散射信道进行传播。
短波电台就利用了天波传输方式。
天波传输的距离最大可以达到400千米左右。
电离层和对流层的反射与散射，形成了从发射机到接收机的多条随时间变化的传播路径，电波信号经过这些路径在接收端形成相长或相消的叠加，使得接收信号的幅度和相位呈随机变化，这就是多径信道的衰落，这种信道被称作衰落信道。
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
信息论基础及应用第3章 信道及其容量(2)_3.4~3.7
3.5.1 串联信道及其信道容量和数据处理定理
定理3.6 串联信道的平均互信息满足 I (Y ; Z ) I ( XY ; Z ) I ( X ;Z ) I ( XY ;Z )
仅当对任意x,y,z，满足 P(z | xy)=P(z | y) 时，一式等号成立； 满足 P(z | xy)=P(z | x)时，二式等号成立。
max
P(x)
I ( X;Y )
max
P(x)
i 1
I ( Xi;Yi )
i 1
max
P(x)
I ( X i;Yi )
N
Ci
i 1
式中，Ci
max
P( x)
I
(
X
i
;Yi
)
◆若信道为时不变的，则有：
Ci C,(i 1,2, , N)
此时，离散无记忆信道容量为
CN NC
*3.5 组合信道的信道容量
Y = Y2 β1 = 00 β 2 = 01 β 3 = 10 β 14 = 11
P(
4
1)
P(11
00)
P(1
0)P(1
0)
p2
p2 pp pp p2
◆二次扩展信道转移概率矩阵 ：
=
P
(
)
pp
p2
p2
pp
pp p2 p2 pp
p2
pp
pp
p
2
定理3.7 （数据处理定理） 若 X, Y, Z 构成一个马氏链，
I(X;Z) I(X;Y ) 则有: I ( X ; Z ) I (Y ; Z )
编码理论第3章
0 P0 1 p p
1 p p
• p(00|00)=p(0|0)p(0|0)= • p(01|10)=p(0|1)p(1|0)= • p(01|11)=p(0|1)p(1|1)=
3.3 互信息量和平均互信息量
• 3.3.1互信息量的基本概念 • 消息的x概率分布称为先验概率 p(x) ，接收 到符号y后，接收者重新估计事件x发生的概率， 记为条件概率p(x|y)，也称p(x|y)为后验概率。 • 事件 x i 是否发生具有不确定性，用 I ( xi ) 度 量。接收到符号 y j 后，事件 x i 是否发生仍保留 有一定的不确定性，用 I ( xi y j )度量。观察事件前 后，这两者之差就是信息传输过程中所获得的信 息量，即事件之间的互信息,用 I ( xi ; y j ) 表示，有
s j 1
p (b j a i ) i 1,2,..., r j 1,2,..., s
b1 b2 bs
p(b
j
ai ) 1
图3-1 基本离散信道模型
•
信道的输入有r种不同的输入符号，输出有s种不同的输出符 号，所以要完整描述信道的传递特性必须测定(r×s)个条件概率， 按输入、输出符号的对应关系，把(r×s)个条件概率排列成一个 (r×s)阶矩阵
ar N
P( j i )
i 1,2,..., r N ; j 1,2,..., s N
1 2 s
Y Y1Y2 YN
N
P(
j 1
sN
j
i ) 1
图3-4 扩展信道模型
按输入、输出的对应关系，N次扩展信道的传递矩阵
1 P 2 rN
1 2 p( 1 1 ) p( 2 1 ) p( 1 2 ) p( 2 2 ) p( 1 r N ) p( 2 r N )
信息论复习3-4
L
当信源与信道无记忆时，
D L
px py
il l 1 i 1 j 1
m
L
jl
/ x il d x il , y jl = D l
l 1
L
个符号的平均失真 信源符号平均失真度（平均每个符号的平均失真度）
DL
2012-7-10
D l 表示信源符号序列的第l
2012-7-10
输出Y
3
信道模型
1. 二进制离散信道：BSC信道
输入符号X取值{0,1}
输出符号Y取值{0,1}
1 p P p
p 1 p
p1 m p2m p nm
4
2. 离散无记忆信道：DMC信道 输入符号集 p1 1 X={a1, a2,…, an} p 21 P 输出符号集 Y={b1, b2,…, bm} p n1
C
2012-7-10
C
16
思维导图
2012-7-10
17
第4章 信息率失真函数
重点掌握
失真函数、平均失真
保真度准则 信息率失真函数的定义域 信息率失真函数与信道容量的比较 一般了解
信息率失真函数的性质
连续信源的平均失真
2012-7-10 18
失真函数
单符号失真函数定义为：
平均失真度不大于允许的失真
DD
23
信息率失真函数
信息率失真函数R(D) R(D)的定义域 率失真函数的定义域问题就是在信源和失真函数 已知的情况下，讨论允许平均失真度D的最小和最 大取值问题，即[Dmin,Dmax] Dmin的计算 Dmax的计算
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
第7讲——信道与信道容量(21)
可以通过更经常采用这个输入k（即加大Qk）来增大。但这样做 会改变每个输入与所有输出之间的平均互信息量（由概率归一 性约束）。通过足够多次的调整输入概率分布，就可使每个概 率不为零的输入与所有输出之间的平均互信息量任意接近。
信道容量计算
• 对于一般信道,信道容量计算相当复杂,我们只讨论 某些特殊类型的信道 • 几种特殊类型的信道 －无噪无损信道 －有噪无损信道 －无噪有损信道 －对称、 Y ) H ( X ) H (Y )
C max I ( X ; Y )
p ( ai )
max H ( X ) log n
1 3 P 0
1 3 0
1 3 0
0 1 4
0 3 4
对称信道
对称性: – 若P的任一行是第一行的置换，则称信道是关于输 入为对称的。 – 若P的任一列是第一列的置换，则称信道是关于输 出为对称的。 – 若信道是关于输入为对称的，又是关于输出为对称 的，则称信道为对称信道。 1 1 1 2 3 6 1 1 1 1 3 3 6 6 1 1 1 P P 6 2 3 1 1 1 1 1 1 1 6 6 3 3 3 6 2
第 3章 信道与信道容量
信道容量
• 我们研究信道的目的是要讨论信道中平均每个符号所能 传送的信息量，即信道的信息传输率 • 平均互信息I (X;Y) – 接收到符号Y后平均每个符号获得的关于X的信息量。 – 每传递一个符号流经信道的信息量，即信息传输率 K 1 J 1 p( x | y ) K 1 J 1 p( y | x) I ( X ; Y ) P( xy) log P( xy) log p ( x) p( y ) x 0 y 0 x 0 y 0
第三章信道及信道容量PPT课件
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
信道与信道容量
图3-3-1 离散、单消息信道
一、强对称信道
离散强对称信道见图3-3-2。 。 离散强对称信道见图
图3-3-2 离散强对称信道
二、对称信道
进一步分析上述强对称信道后， 进一步分析上述强对称信道后 ， 我们发现它具有下列两项重要特征。 我们发现它具有下列两项重要特征。 ① 其输入消息与输出消息相等 ， 其输入消息与输出消息相等， 均为n个 均为 个 ， 即 m=n。 且信道中总的误 。 差概率ε＝ 它将 平均分配给(n-1)个 它将ε平均分配给 差概率 ＝Pe,它将 平均分配给 个 传输的错误。 传输的错误。
五、一般化的离散单个消息 信道的信道容量迭代计算
前面， 前面，我们讨论了一些特殊情况下离 散单消息信道的信道容量计算的问题。 散单消息信道的信道容量计算的问题 。 下 面 ， 将讨论一般情况下离散单消息信道的 信道容量的计算机迭代算法。 信道容量的计算机迭代算法。
由信道容量定义， 由信道容量定义 ， 求信道容 量实际上就是求互信息I(X，Y)的 量实际上就是求互信息 ， 的 极大值。 极大值。而引用迭代法求互信息的 极值的关键在于寻求两个互为因果 关系的自变量来表达互信息， 关系的自变量来表达互信息，以便 进行循环迭代运算。 进行循环迭代运算。
3.2 无干扰离散信道
严格地说，信道总是存在干扰的。 严格地说，信道总是存在干扰的。 只有理想情况下，信道才无干扰。 只有理想情况下 ， 信道才无干扰 。 从 互信息角度看， 互信息角度看 ， 这时通过信道的互信 息即信宿所收到的信息就是信源所输 出的信息。 出的信息 。 信道中所通过的最大信息 量即信源所输出的最大熵。 量即信源所输出的最大熵。
频带正交复用(FDM)、 时间正交复用 、 频带正交复用 (TDM)、波形正交复用(WDM)。 、波形正交复用 。 所谓正交复用，即要求设计一组信号， 所谓正交复用 ， 即要求设计一组信号 ， 使它既能在发送端不重叠的合并， 使它既能在发送端不重叠的合并 ， 又能在 接收端不互相干扰的分开。 接收端不互相干扰的分开。
第三章 信道与信道容量 习题解答
第三章 信道与信道容量 习题解答
1.设信源
通过一干扰信道，接收符号为
信道传递矩阵为
（1） 信源 中符号 和 分别含有的自信息量。
（4）说明如果信噪比降低，则为保持信道容量不变，必须加大信道带宽。反之加大信道带宽，则可降低对信 噪比的要求。如果信道带宽降低，则为保持信道容量不变，必须加大信号功率信噪比。反之加大信号功率信 噪比，则可降低对信道带宽的要求。
12.在一个理想通信系统中，已知信道中功率信噪比为 10分贝，为了使功率节省一半又不损失信息量，有 几种办法？请计算并讨论各自的优缺点。
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
解：已知
根据公式：
前者改善不明显，后者改善明显，故存在阀值效应。 15.设加性高斯白噪声信道中，信道带宽 3kHz，又设
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
6.有一以“点”和“划”构成的老式电报系统，“点”的长度为 30毫秒，“划”的长度为 150毫秒，“点”和“划”出现的
4
概率分别为 0.8和 0.2，试求信息速率为多少？“点”、“划”出现的概率相等时，信息速率为多少？是否“点”、“划” 出现的概率相等时信息速率一定最高？是否和理论相矛盾？为什么？ 解：
通信原理复习+习题
4. 码元传输速率与信息传输速率
二进制数字通信系统
码元速率＝信息速率
M进制(M=2n)数字通信系统
信息速率＝码元速率 log2 M= n 码元速率
【例】四进制系统的码元传输速率rd=2400波特， 则信息传输速率 r＝rd log2 M=2400 log2 22 4800bps e
频率选择性衰落和时间弥散
频率选择性衰落造成的波形畸变称为“时间弥散”
频率选择性衰落——二径信道模型
V0 f t
V0
时延t0
V0 f t t0
V0 f t t0 V0 f t t0
f t
＋
V0 f t
V0
时延 t0＋τ
V0 f t t0
抽样速率的最小值
二进制代码的码元速 率（n为编码位数）
传输速率 最小传输带宽
复用路数
实际中用升余弦的传输特性， 此时所需传输带宽为
速率等级
以1.5Mbps为基础的系列
群次 日本体制
0次群 64
以2Mbps为基础的系列
北美体制
64
欧洲体制
64
1次群
2次群 3次群 4次群
1544
6312 32064 97728
3. 变参信道
变参信道对信号传输的影响
(1)产生瑞利型衰落，引起频率弥散 (2)产生频率选择性衰落，引起时间弥散
频率弥散与快衰落
从波形上看，多径传播的结果使确定的单一载频 信号Vcosωct变成了包络和相位都随机变化的窄 带信号，这种信号称为衰落信号；通常将由于电 离层浓度变化等因素所引起的信号衰落称为慢衰 落；而把由于多径效应引起的信号衰落称为快衰 落
通信原理第3章信道
图3.1-5 无线电中继
➢ 平流层通信：利用位于平流层的高空平台电台代替卫星作为 基站的通信。
11
第3章 信 道
三、电离层和大气层对于传播的影响
电离层对于传播的影响
反射 散射
大气层对于传播的影响
散射 吸收
衰 减
根据应用情况不同，在光纤线路中可能设有中继器 （也可不设）。中继器有两种类型：直接中继器和间接中继器。 所谓直接中继器就是光放大器，它直接将光信号放大以补偿光 纤的传输损耗，以便延长传输距离；所谓间接中继器就是将光 信号先解调为电信号，经放大或再生处理后，再调制到光载波 上，利用光纤继续进行传输。在数字光纤信道中，为了减少失 真及防止噪声的积累，每隔一定距离需要加入再生中继器。
电离层
电离层：约60 ～ 400 km
平流层
60 km
对流层
10 km
地面
0 km
6
第3章 信 道
3.短波电离层的传播路径
短波电离层反射信道是利用地面发射的无线电波在电 离层， 或电离层与地面之间的一次反射或多次反射所形成 的信道。
离地面60~400 km的大气层称为电离层。
电离层由分子、原子、离子及自由电子组成，形成的 原因是由于太阳辐射的紫外线和X射线。 当频率范围为 3~30 MHz (波长为10-100m)的短波(或称为高频)无线电 波射入电离层时， 由于折射现象会使电波发生反射，返回 地面，从而形成短波电离层反射信道。
制 器
光
光
纤
探
线测
路
器
基
基
带
带
处 理
电 信 号
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
式中，G是均值为零、方差为σ2的高斯随机变量
当X给定，Y是一个均值为ai、方差为σ2的高斯随机
变量
p y/ai
1 ey2a2i2
2
2020/6/21
10
信道模型
4. 波形信道
输入是模拟波形，输出也是模拟波形
连续无记忆信道和连续有记忆信道
任一时刻输出变量与以前时刻的输入输出是否有关
2020/6/21
7
信道模型
1. 二进制离散信道：BSC信道 输入符号X取值{0,1} 输出符号Y取值{0,1} 信道转移概率 p(0/0) = 1－p p(0/1) = p p(1/1) = 1－p p(1/0) = p
1-p
0
0
输 入
p p
输 出
1
1-p
1
P
1 p
pቤተ መጻሕፍቲ ባይዱ
p 1 p
无错传输概率 有错传输概率
信道容量的定义
信道容量
CmaxI(X;Y) p(ai)
n m
m p(a aix ) i1j1pai
pbj/ai logpp bjb /jai
信道容量C的单位是信道上每传送一个符号所能携带
的比特数，即比特/符号。
如果以e为底，即取自然对数时，信道容量的单位是 奈特/符号。
如果已知符号传送周期是T 秒，信道容量Ct=C /T， 单位为bit/s或nat/s。
离散信道：输入和输出的信号在时间和幅度上 均为离散的信道。
连续信道：信号的幅度连续，时间离散。 半离散半连续信道：
输入变量取值离散而输出变量取值连续。 输入变量取值连续而输出变量取值离散。 波形信道：信道的输入和输出信号在时间和幅 度上均连续，一般可用随机过程来描述。
单用户、无反馈、固定参数的离散信道
根据噪声对信道中信号的作用不同，可将噪声 分为：加性噪声和乘性噪声
假设输入该信道的带限信号x(t)，相应的输出是
y(t)， n(t)代表加性噪声过程的一个样本函数，
则y(t)＝ x(t)＋ n(t)
加性高斯白噪声
2020/6/21
11
信道容量的定义
信道传输率R 信道中平均每个符号能传送的信息量 R＝I (X;Y) bit/符号
2020/6/21
5
信道模型
信道的输入 X=(X1, X2,…, Xi,…) 输入符号集：Xi={a1, a2,…, an}
信道的输出 Y=(Y1,Y2,…,Yj,…) 输出符号集：Yj={b1, b2,…, bm}
信道转移概率矩阵p(Y/X)
描述输入/输出的统计依赖关系，反映信道统
计关系。
p(Y/X)
输入X
信道
输出Y
2020/6/21
6
根据干扰和记忆性分类
无干扰（无噪声）信道
信道的输出信号Y与输入信号X之间有确定的关系Y=f (X)
有干扰无记忆信道
每个输出信号只与当前输入信号之间有转移概率关系， 与其他时刻的输入（出）信号无关。
有干扰有记忆信道
一般情况下，信道存在码间干扰，输出信号不但与当前 输入信号有关，还与以前的输入信号有关。 将记忆很强的L个符号当作矢量符号，各矢量符号之间 认为是无记忆的。 将转移概率看成马尔可夫链的形式。
p1m
p2
m
M M M
pn2 L
pnm
2020/6/21
9
信道模型
3. 离散输入、连续输出信道
输入符号集：X={a1, a2,…, an} 输出未经量化，即Y={-∞,∞}
有限、离散 无限、连续
输出特性由离散输入X、连续输出Y以及一组条件概 率密度函数 p( y /X=ai) 来决定。
信道研究方法
输入X 信源
P (Y/X) 输出Y
信道
信宿
抽象地将信道问题归结为输入、输出和转移概率矩 阵三个要素来描述。
2020/6/21
2
信道分类
1. 按信道的用户数量来划分
单用户信道：即只有一个输入端和一个输出端 的单向通信信道。
多用户信道：即在输入端或输出端中至少有一 端存在两个以上的用户，并且还可以双向通信 的信道。
时变参数信道：即信道的统计特性随时间而变 化，如无线信道。
4. 按信道中的噪声种类来划分
随机差错信道：指噪声随机地影响每个传输码元，
如以高斯白噪声为主体的信道。
突发差错信道：指噪声、干扰的影响是前后相关
的，错误成串出现，如脉冲干扰或闪电等。
2020/6/21
4
信道分类
5. 按输入/输出信号在幅度和时间上的取值划分
第3章 信道与信道容量
3.1 信道的基本概念 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量 3.4 连续信道及其容量 3.5 信源与信道的匹配
2020/6/21
1
信道模型和信道容量
信道
传送信息的载体，信号通过的通道。
任务是以信号方式传输信息、存储信息。
研究信道就是研究信道中理论上能够传输或存储的 最大信息量，即信道的容量问题。信息论不研究信 号在信道中传输的物理过程。
信息传输速率Rt 若平均传输一个符号所需时间为t 则 Rt＝I (X;Y) / t bit /s
IX ;Yi n 1jm 1paipbj/a i logpp bjb /ja i
当信道确定时，p(bj/ai)确定。互信息是关于p(ai)的函数。
2020/6/21
12
信道容量的定义
2. 按输入/输出之间的关系来划分
无反馈信道：信道的输出端信号不反馈到输入端， 即输出信号对输入信号没有影响。
反馈信道：信道的输出信号通过一定途径反馈到输 入端，使输入端的信号发生变化。
2020/6/21
3
信道分类
3. 按信道参数与时间的关系来划分
固定参数信道：即信道的统计特性不随时间而 变化，如光纤、电缆信道。
定理：给定转移概率矩阵P后，平均互信息 I(X;Y)是概率矢量Px的上凸函数。
概率矢量Px＝[p(a1), p(a2),… p(an)]
用I(Px)表示I是Px的函数，则在I(Px)曲线的 上凸点对应的输入符号概率矢量Px上， I(Px) 取得极大值。这个值就是信道容量。
2020/6/21
13
2020/6/21
8
信道模型
2. 离散无记忆信道：DMC信道
输入符号集：X={a1, a2,…, an} 输出符号集：Y={b1, b2,…, bm} 输入－输出特性
各行概率
p(Y=bj /X=ai)≡ p(bj /ai)=pij
之和为1
转移概率矩阵
p11
P
p21
M
pn1
p12 L p22 L