三信道及其容量
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
限值-信道容量C； • 高斯白噪声危害最大
C max Ht ( y ) Ht (n)
又由于Ht(n)有极大值，故C最小；
• 仙农公式指出了通信系统的潜在能力，及可达到的理论值，
可作为带宽与信噪比互换的理论基础；
• 目前虽尚无实际系统的传信率达到信道容量，但近年来在编 码领域已取得了重大突破， 正在向这一极限逼近。 [信道编码定理]：只要信息传输速率不大于信道容量，总存在
C max I ( X , Y )
{ p ( x )}
max[ Ht (Y ) Ht ( n )]
{ p ( x )}
B log 22e( S N ) B log 22eN SN S B log 2 B log 2(1 ) N N 仙农（Shannon）公式：
(3) C与什么因素有关？
C max I ( X , Y ) max [ H ( X ) H ( X / Y )]
{ p ( x )} { p ( x )}
max H ( X ) min H [ p( y / x )]
{ p ( x )} 取决于信道干扰的概率 分布
2 离散信道的信道容量
p(x2/y1)=0.0050,
p(x2/y2)=0.9801
H(X/Y)
2
j 1 i 1
p(x ,y )logp(x
i j
2
i
/y j)
0.07883 (bit/ 符号)
(4) R I(X ,Y ) H (X ) H (X / Y ) =0.839 (bit/符号) 若每秒发1000个码元，则Rt=839bit/s，损失79bit/s.
C 1 p log p (1 p )log(1 p )
=0.919 (bit/符号)
(2)
H (X ) [p(0) log P(0) P(1) log p(1)]
=0.918 (bit/符号)
（3）求损失熵H(X/Y): 先计算出各种概率值
p(y1)=0.6633, p(x1,y1)=0.66, p(x2,y1)=0.0033, p(x1/y1)=0.9950, p(y2)=0.3367 p(x1,y2)=0.0067 p(x2,y2)=0.34 p(x1/y2)=0.0199
信道模型与信道分类
1. 信道模型
2. 信道的分类
根据信道输入集合与输出集合的连续与否,可分为:
• 离散信道(数字信道); • 连续信道(模拟信道); • 半连续信道; • 时间离散的连续信道; • 波形信道(时间连续信道) 根据输入和输出集合的个数及统计特性等又可分为:
• 两端(两用户)信道; • 恒参信道; • 无记忆信道;
C max I ( X , Y )
{p(x)}
(bit/符号)
若传一个符号需要T秒钟，则每秒可传1/T符号， 故信道的最大传输速率，即信道容量又可表示为
CT C / T
(bit/s)
(2) 信道容量的剩余度
• 绝对剩余度= C – I（X，Y）
• 相对剩余度= [ C – I (X, Y) ] / C
S n0 B log 2(1 ) lim C lim B n 0 B S n0 B S ) lim log 2 (1 n0 B n 0 B S
x
S
n0 B S
1 n0 B 利用极限公式 lim (1 ) e 并令 x x x S
便得到
B
lim C
Channel and Channel Capacity
信道及其容量
本章内容
• 信道模型与信道分类
• 离散无记忆信道及其信道容量 • 离散无记忆扩展信道 • 连续信道的信道容量 • 仙农(Shannon)公式
• 信号体积与信道容积,及B,T,S/N之间的互换关系
参考书：沈振元等，“通信系统原理”第11章 戴善荣, ―信息论与编码基础”, 第4章
i 1
信源发出的信息速率 Rs=300000 × 30 × 3.32=29880000 (bit/s) 要求Ｃ≥ Rs ,
S C B log 2(1 ) N
29880000 29880000 B 3 MHz log 2(1 1000 ) 9.969 所需带宽起码为3MHz
S n0
log 2 e 1.44
S n0
这说明，B趋于无穷，C并不为无穷，而是趋于一个常量。
讨论：若信源发出的信息速率为 Rs 1.44
S n0
，为使信息
传输速率R=C，至少需要多大的信噪比Eb/n0? 解：因为信源发出的信息速率为 Rs 比特码元，若每码元含能 量 Eb , 信号功率为
S Eb Rs E b C C S n0 log 2 e Eb C n0 log 2 e
某种信道编、译码方案，当码长趋于无穷时，可以使误码率
任意小。（即既可以使R接近C，但又可以实现无误传输） 通过信道编码可以不断向仙农限靠拢：
• 60年代，不用编码，采用最佳相干PSK，须Eb/No=9.5dB;
• 70年代，用卷积码及序列译码算法，Eb/No=3~5dB; • 80年代，用级连码，Eb/No=0.2dB; • 90年代，出现Turbo码，离仙农限只有0.7dB; • 2002年，采用LDPC码，离仙农限只有0.0045dB !
p( x )
此时，最大的平均信息量为
1 2
e
x 2 2
2
H ( X ) log 2 2e log 2 2e S
2
起伏噪声也具有同样的分布，即其相对的平均信息量为
H ( n ) log 2 2e N
式中，N为噪声的平均功率（平均电压为0）。
• 接收熵：接收端产生的平均信息量 设信号与噪声相互独立，接收信号=有用信息+噪声，即 P=S+N，因此接收端产生的总的平均信息量为
而 H（X/Y）取决于信道的错误概率分布，即
p( yj /xi ) , 若为k元对称信道，则有
c log 2k H (1 , ,..., ) k 1 k 1
p( yj / xi ) {
1,
i j , i j
k 1
3 连续信道的信道容量
连续信道的信息传输速率：
讨论：
• 无噪声干扰（即p=0）时，损失熵为0，信道容量 就等于信源发出的码元速率，即CT=R； • p=1/2时，C=0，信道已无传输信号的能力。
思考：为什么当p从1/2逐渐增大到1时，C反而逐渐
增加，而当p=1时达到最大值1？
例1 已知某二元对称信道，p=0.01, 求其信道容量。将一个二 进制信源与之连接，信源每秒发出1000码元，且p(0)=2/3, p(1)=1/3, 求：信源发出的平均信息量，信道传信率R，传输过 程中丢失的平均信息量，及信道剩余度。 解: (1)
• 多端(多用户)信道; • 随参信道; • 有记忆信道;
其它划分: 有线信道;无线信道;移动信道;卫星信 道;光纤信道;短波信道等。
离散信道及其信道容量
1 信道容量与信道利用率
（1）信道容量：对于一切可能的输入信号概率分布而 言，信道传信率（互信息量）所能达到的最大值，便 称为信道容量(channel capacity), 即
H (Y ) log 2 2e( S N ) （每样值）
• 高斯信道容量—仙农公式 若信道带宽为B，且以2B的速率取样，则每秒钟收到的总 信息量为
Ht (Y ) 2 B H (Y ) B log 22e( S N )
其中含有干扰信息量
Ht (n) 2B H (n) B log 22eN Ht (Y / X )
(5)信道利用率： 绝对剩余度 = C − I(X ,Y) = 0.08 (bit/符号)
相对剩余度 = 0.08 / 0.919 = 0.087 (bit/符号)
（2）K元信道的容量：
当信源X的符号 x1 , … , xk 等概出现时有最大熵 H(X)=logk, 故K元信道的容量为
C log2 k H ( X / Y )
（1）二元对称信道BSC（Binary Symmetric Channel）
如何求H（X/Y）？
H(X/Y) p(xi, yj)logp(xi/yj)
j1 i 1 m n
m
பைடு நூலகம்
n
p(xi, yj) p(xi, yj)log p(yj) j1 i 1
已知 p ( y 1 / x1) p ( y 2 / x 2 ) 1 p p ( y 2 / x1) p ( y 1 / x 2 ) p 取 p ( x1) p ( x 2 ) 1 / 2 , 故求得 p ( x1, y 1) p ( x1) p ( y 1 / x1) (1 p ) / 2 p ( x 2 , y 2 ) p ( x 2 , y 1) p ( x1, y 2 ) p ( x 2 ) p ( y1 / x 2 ) p / 2 p ( y 1) p ( y 2 ) p ( x1) p ( y 1 / x1) p ( x 2 ) p ( y 1 / x 2 ) p ( x1, y 1) p ( x 2 , y 1) (1 p ) / 2 p / 2 1 / 2
1 0.69 1.6dB log 2e n0
思考：上述结果说明了什么问题？实际通信系统是否能达到
这一极限？如何向这个目标靠拢？
Eb
（3）由仙农公式得出的重要结论： 对于平均功率受限的高斯白噪声信道 • 信道容量C与信道带宽B、信噪比S/N有关，要增加C，可增 加B、或S/N；
• 当输入信号为高斯分布时，信息速率可达到传信率的理论极
R Ht ( X ) Ht ( X / Y )
信道容量：
C max R max[ Ht ( X ) Ht ( X / Y )]
{ p ( x )} { p ( x )}
max[ Ht (Y ) Ht (Y / X )]
{ p ( x )}
（1）限带高斯白噪声信道的容量：
• 一个连续随机信源，当信号平均功率一定时，信号的最佳 分布是均值为零，方差等于平均功率的正态分布：
通信系统模型
An Introduction to Information Theory
•Information and Communication noise Source Transmitter (encoder) Channel Receiver (decoder) Destination
A general communication system
例2 一帧电视图象由300，000个象素组成，设每个象素均可随 机地取10个不同电平中的一个来代表其亮度，每秒发送30帧图 象，为满意地重现图像，要求信噪比S/N为30dB, 求信号所须的 带宽。
解：把每个象素看成是一个十进制信源发出的符号， p(xi)=1/10,
10
i=1,2…,10
H (X ) pi log pi log 10 3.32(bit / 符号)
(4) 信号体积和信道容积（通信系统原理，p.434）
由仙农公式可知，在Tc秒内信道能传输的最大平均信息量 为
Sc Vc Tc Ct BcTc log( 1 ) BcTcHc Nc
将上述数值代入公式，得
H ( X / Y ) [ p log p (1 p) log(1 p)] H 2 ( p)
故BSC的信道容量为
C 1 H ( X / Y ) 1 H 2 ( p) 1 p log p (1 p ) log(1 p )
S C B log 2(1 ) N
(2)带宽无限信道的容量： 问题：带宽趋于无穷时，信道容量是否也趋于无穷？ 带宽趋于无穷时，高斯信道内噪声功率谱密度是均匀分布， 故噪声的平均功率决定于带宽，即
N B n0
其中n0是噪声功率谱密度，单位为W/H z, 将上式代入仙 农公式，得
S C B log 2(1 ) n0 B
C max Ht ( y ) Ht (n)
又由于Ht(n)有极大值，故C最小；
• 仙农公式指出了通信系统的潜在能力，及可达到的理论值，
可作为带宽与信噪比互换的理论基础；
• 目前虽尚无实际系统的传信率达到信道容量，但近年来在编 码领域已取得了重大突破， 正在向这一极限逼近。 [信道编码定理]：只要信息传输速率不大于信道容量，总存在
C max I ( X , Y )
{ p ( x )}
max[ Ht (Y ) Ht ( n )]
{ p ( x )}
B log 22e( S N ) B log 22eN SN S B log 2 B log 2(1 ) N N 仙农（Shannon）公式：
(3) C与什么因素有关？
C max I ( X , Y ) max [ H ( X ) H ( X / Y )]
{ p ( x )} { p ( x )}
max H ( X ) min H [ p( y / x )]
{ p ( x )} 取决于信道干扰的概率 分布
2 离散信道的信道容量
p(x2/y1)=0.0050,
p(x2/y2)=0.9801
H(X/Y)
2
j 1 i 1
p(x ,y )logp(x
i j
2
i
/y j)
0.07883 (bit/ 符号)
(4) R I(X ,Y ) H (X ) H (X / Y ) =0.839 (bit/符号) 若每秒发1000个码元，则Rt=839bit/s，损失79bit/s.
C 1 p log p (1 p )log(1 p )
=0.919 (bit/符号)
(2)
H (X ) [p(0) log P(0) P(1) log p(1)]
=0.918 (bit/符号)
（3）求损失熵H(X/Y): 先计算出各种概率值
p(y1)=0.6633, p(x1,y1)=0.66, p(x2,y1)=0.0033, p(x1/y1)=0.9950, p(y2)=0.3367 p(x1,y2)=0.0067 p(x2,y2)=0.34 p(x1/y2)=0.0199
信道模型与信道分类
1. 信道模型
2. 信道的分类
根据信道输入集合与输出集合的连续与否,可分为:
• 离散信道(数字信道); • 连续信道(模拟信道); • 半连续信道; • 时间离散的连续信道; • 波形信道(时间连续信道) 根据输入和输出集合的个数及统计特性等又可分为:
• 两端(两用户)信道; • 恒参信道; • 无记忆信道;
C max I ( X , Y )
{p(x)}
(bit/符号)
若传一个符号需要T秒钟，则每秒可传1/T符号， 故信道的最大传输速率，即信道容量又可表示为
CT C / T
(bit/s)
(2) 信道容量的剩余度
• 绝对剩余度= C – I（X，Y）
• 相对剩余度= [ C – I (X, Y) ] / C
S n0 B log 2(1 ) lim C lim B n 0 B S n0 B S ) lim log 2 (1 n0 B n 0 B S
x
S
n0 B S
1 n0 B 利用极限公式 lim (1 ) e 并令 x x x S
便得到
B
lim C
Channel and Channel Capacity
信道及其容量
本章内容
• 信道模型与信道分类
• 离散无记忆信道及其信道容量 • 离散无记忆扩展信道 • 连续信道的信道容量 • 仙农(Shannon)公式
• 信号体积与信道容积,及B,T,S/N之间的互换关系
参考书：沈振元等，“通信系统原理”第11章 戴善荣, ―信息论与编码基础”, 第4章
i 1
信源发出的信息速率 Rs=300000 × 30 × 3.32=29880000 (bit/s) 要求Ｃ≥ Rs ,
S C B log 2(1 ) N
29880000 29880000 B 3 MHz log 2(1 1000 ) 9.969 所需带宽起码为3MHz
S n0
log 2 e 1.44
S n0
这说明，B趋于无穷，C并不为无穷，而是趋于一个常量。
讨论：若信源发出的信息速率为 Rs 1.44
S n0
，为使信息
传输速率R=C，至少需要多大的信噪比Eb/n0? 解：因为信源发出的信息速率为 Rs 比特码元，若每码元含能 量 Eb , 信号功率为
S Eb Rs E b C C S n0 log 2 e Eb C n0 log 2 e
某种信道编、译码方案，当码长趋于无穷时，可以使误码率
任意小。（即既可以使R接近C，但又可以实现无误传输） 通过信道编码可以不断向仙农限靠拢：
• 60年代，不用编码，采用最佳相干PSK，须Eb/No=9.5dB;
• 70年代，用卷积码及序列译码算法，Eb/No=3~5dB; • 80年代，用级连码，Eb/No=0.2dB; • 90年代，出现Turbo码，离仙农限只有0.7dB; • 2002年，采用LDPC码，离仙农限只有0.0045dB !
p( x )
此时，最大的平均信息量为
1 2
e
x 2 2
2
H ( X ) log 2 2e log 2 2e S
2
起伏噪声也具有同样的分布，即其相对的平均信息量为
H ( n ) log 2 2e N
式中，N为噪声的平均功率（平均电压为0）。
• 接收熵：接收端产生的平均信息量 设信号与噪声相互独立，接收信号=有用信息+噪声，即 P=S+N，因此接收端产生的总的平均信息量为
而 H（X/Y）取决于信道的错误概率分布，即
p( yj /xi ) , 若为k元对称信道，则有
c log 2k H (1 , ,..., ) k 1 k 1
p( yj / xi ) {
1,
i j , i j
k 1
3 连续信道的信道容量
连续信道的信息传输速率：
讨论：
• 无噪声干扰（即p=0）时，损失熵为0，信道容量 就等于信源发出的码元速率，即CT=R； • p=1/2时，C=0，信道已无传输信号的能力。
思考：为什么当p从1/2逐渐增大到1时，C反而逐渐
增加，而当p=1时达到最大值1？
例1 已知某二元对称信道，p=0.01, 求其信道容量。将一个二 进制信源与之连接，信源每秒发出1000码元，且p(0)=2/3, p(1)=1/3, 求：信源发出的平均信息量，信道传信率R，传输过 程中丢失的平均信息量，及信道剩余度。 解: (1)
• 多端(多用户)信道; • 随参信道; • 有记忆信道;
其它划分: 有线信道;无线信道;移动信道;卫星信 道;光纤信道;短波信道等。
离散信道及其信道容量
1 信道容量与信道利用率
（1）信道容量：对于一切可能的输入信号概率分布而 言，信道传信率（互信息量）所能达到的最大值，便 称为信道容量(channel capacity), 即
H (Y ) log 2 2e( S N ) （每样值）
• 高斯信道容量—仙农公式 若信道带宽为B，且以2B的速率取样，则每秒钟收到的总 信息量为
Ht (Y ) 2 B H (Y ) B log 22e( S N )
其中含有干扰信息量
Ht (n) 2B H (n) B log 22eN Ht (Y / X )
(5)信道利用率： 绝对剩余度 = C − I(X ,Y) = 0.08 (bit/符号)
相对剩余度 = 0.08 / 0.919 = 0.087 (bit/符号)
（2）K元信道的容量：
当信源X的符号 x1 , … , xk 等概出现时有最大熵 H(X)=logk, 故K元信道的容量为
C log2 k H ( X / Y )
（1）二元对称信道BSC（Binary Symmetric Channel）
如何求H（X/Y）？
H(X/Y) p(xi, yj)logp(xi/yj)
j1 i 1 m n
m
பைடு நூலகம்
n
p(xi, yj) p(xi, yj)log p(yj) j1 i 1
已知 p ( y 1 / x1) p ( y 2 / x 2 ) 1 p p ( y 2 / x1) p ( y 1 / x 2 ) p 取 p ( x1) p ( x 2 ) 1 / 2 , 故求得 p ( x1, y 1) p ( x1) p ( y 1 / x1) (1 p ) / 2 p ( x 2 , y 2 ) p ( x 2 , y 1) p ( x1, y 2 ) p ( x 2 ) p ( y1 / x 2 ) p / 2 p ( y 1) p ( y 2 ) p ( x1) p ( y 1 / x1) p ( x 2 ) p ( y 1 / x 2 ) p ( x1, y 1) p ( x 2 , y 1) (1 p ) / 2 p / 2 1 / 2
1 0.69 1.6dB log 2e n0
思考：上述结果说明了什么问题？实际通信系统是否能达到
这一极限？如何向这个目标靠拢？
Eb
（3）由仙农公式得出的重要结论： 对于平均功率受限的高斯白噪声信道 • 信道容量C与信道带宽B、信噪比S/N有关，要增加C，可增 加B、或S/N；
• 当输入信号为高斯分布时，信息速率可达到传信率的理论极
R Ht ( X ) Ht ( X / Y )
信道容量：
C max R max[ Ht ( X ) Ht ( X / Y )]
{ p ( x )} { p ( x )}
max[ Ht (Y ) Ht (Y / X )]
{ p ( x )}
（1）限带高斯白噪声信道的容量：
• 一个连续随机信源，当信号平均功率一定时，信号的最佳 分布是均值为零，方差等于平均功率的正态分布：
通信系统模型
An Introduction to Information Theory
•Information and Communication noise Source Transmitter (encoder) Channel Receiver (decoder) Destination
A general communication system
例2 一帧电视图象由300，000个象素组成，设每个象素均可随 机地取10个不同电平中的一个来代表其亮度，每秒发送30帧图 象，为满意地重现图像，要求信噪比S/N为30dB, 求信号所须的 带宽。
解：把每个象素看成是一个十进制信源发出的符号， p(xi)=1/10,
10
i=1,2…,10
H (X ) pi log pi log 10 3.32(bit / 符号)
(4) 信号体积和信道容积（通信系统原理，p.434）
由仙农公式可知，在Tc秒内信道能传输的最大平均信息量 为
Sc Vc Tc Ct BcTc log( 1 ) BcTcHc Nc
将上述数值代入公式，得
H ( X / Y ) [ p log p (1 p) log(1 p)] H 2 ( p)
故BSC的信道容量为
C 1 H ( X / Y ) 1 H 2 ( p) 1 p log p (1 p ) log(1 p )
S C B log 2(1 ) N
(2)带宽无限信道的容量： 问题：带宽趋于无穷时，信道容量是否也趋于无穷？ 带宽趋于无穷时，高斯信道内噪声功率谱密度是均匀分布， 故噪声的平均功率决定于带宽，即
N B n0
其中n0是噪声功率谱密度，单位为W/H z, 将上式代入仙 农公式，得
S C B log 2(1 ) n0 B