第三章离散信道及其信道容量
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
课件：第三章信道及其容量
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
第3章 离散信道概述
16
2. 输出符号概率: p( y j ) p( xi y j ) p( xi ) p( y j | xi )
i 1 i 1
1.离散单符号信道的数学模型 r r
问题：在什么条件下，通过信道的信息量最大，即
信道容量的问题。
3
信道的主要研究内容： 信道的分类和建模（信道的统计特性描述） √
信道传输信息的能力（信道容量） √
在有噪信道中能否实现可靠传输？怎样实现可靠 传输？
4
信道分类
按输入/输出信号的幅度和时间特性划分：
幅度 时间
信道分类名称
离散 离散 离散信道/数字信道（例如：数字电话） 连续 离散 连续信道 连续 连续 模拟信道/波形信道（例如：普通电话） 离散 连续 （理论和实用价值均很小）
5
信道分类
根据输入、输出信号的时间特性和取值特性，可以 将信号划分为：
◦
◦
离散信道：指输入输出随机变量均为离散的信道 连续信道：指输入输出随机变量均为离散的信道
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y
j 1
s
j
| xi ) 1
(i=1,2,…,r)
11
1.离散单符号信道的数学模型
信道传递概率可以用信道矩阵来表示：
PY PX PY | X
17
1.离散单符号信道的数学模型
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
信息论-第3章+信道的数学数学模型及分类
信道传递概率不同，平均互信息量不同 一定存在一种信道，使平均互信息量最小(0)
第3章 离散信道 及其信息容量
3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性
3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配
单用户（两端）信道
一个输入端、一个输出端 必须是单向通信 例：对讲机
多用户（多端）信道
输入输出至少有一端有两个以上用户 可以是双向通信 例：计算机网络
3.1.1 信道的分类 —— 按输入输出的关联分
无反馈信道
输出端无信号反馈到输入端 例：无线电广播
反馈信道
3.4.1 离散无噪信道的信道容量 —— 无损（有噪）信道
H(X)
H(X Y)：损失熵
信道
I ( X ;Y )
H (Y )
H(Y X ) ：噪声熵
H (X Y ) 0 ,H (YX ) 0
I(X ;Y ) H (X ) H ( Y )
C m { I ( X a ;Y )x } m { H ( X a ) x } lo r g
传递矩阵：
b1
b2
bs
a1 P(b1 a1) P(b2 a1) P(bs a1)
a2 P(b1 a2) P(b2 a2) P(bs a2)
ar P(b1 ar ) P(b2 ar ) P(bs ar )
3.2.1 信道疑义度 —— 先验熵
信源
X
信道
信息论基础第3章离散信道及其信道容量
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第3章信道容量
其信道容量
C max I ( X ;Y ) max H ( Y ) log m
p ( xi ) p ( xi )
达到此类信道的信道容量的概率分布是使信道输出分布为 等概分布的输入分布。
8
离散无噪信道（总结）
对于无噪信道，求信道容量C的问题，已经 从求I(X;Y)的极值问题退化为求H(Y)或H(X)的 极值问题。
H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪 信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号 集Y之后平均每个符号所获得的关于输入集X的信息量。 H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。 因为H(Y/X)=H(Y)-I(X;Y)
i 1 j 1 n n
p( x i ) H ni
i 1
n
H ni p( y j / x i ) log p( y j / x i ) 由 于 信 道 的 对 称 性 ， 一 每行 都 是 同 一 集 合 诸素 元的 不 同 排 列 。
其信道容量
C max I ( X ;Y ) max H ( X ) log n
p ( xi ) p ( xi )
6
3.具有归并性能的无噪信道（确定信道）
确定信道的一个输出对应着多个 互不相交的输入，如右图所示。
信道矩阵中每行中只有一非零元 素，即已知X后，Y不再有任何 不确定度。故噪声熵H(Y/X)=0
11
强对称信道的几个特性
强对称信道是对称信道的一个特例；
输入符号数与输出符号数相等； 信道中总的错误概率为p，对称地平均分配给 n-1个输出符号，n为输入符号的个数； 均匀信道中不仅各行之和为1,而且各列之和也 为1。 一般信道各列之和不一定等于1
第三章离散信道及其信道容量
p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
第3章信道与信道容量-信息论与编码(第3版)-曹雪虹-清华大学出版社
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2
3.1.2 信道的数学模型
– 信道输入 X ( X1, X 2, Xi , ), Xi a1, , an – 信道输出 Y (Y1,Y2, Yj , ),Yj b1, ,bm
– 条件概率p(Y/X)来描述信道输入、输出信号之间 统计的依赖关系。
有干扰无记忆信道
– 离散无记忆信道（DMC)
p11 p12 p1m
a1 a2
b1 b2
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
m
p(b j | ai ) 1,
j 1
i 1,2,, n
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
7
信道参数
有干扰无记忆信道
– 离散输入、连续输出信道
X
Y
+
Y＝X＋N
N
加性高斯白噪声 (AWGN) 信道：
pY ( y / ai )
1 e( yai )2 / 2 2
2
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
8
信道参数
有干扰无记忆信道
x(t)
– 波形信道
波形信道转化成多维连续信道，
pY ( y / x) pY ( y1, , yL / x1, , xL )
Cavg EH (C)
11
中断容量（Outage Capacity）：当信道 瞬时容量Cinst小于用户要求的速率时，信 道就会发生中断事件，这个事件的概率 称为中断概率Poutage。这个用户要求的速 率就定义为对应于该中断概率Poutage的中 断容量Coutage，即
信息论基础及应用第3章 信道及其容量(2)_3.4~3.7
3.5.1 串联信道及其信道容量和数据处理定理
定理3.6 串联信道的平均互信息满足 I (Y ; Z ) I ( XY ; Z ) I ( X ;Z ) I ( XY ;Z )
仅当对任意x,y,z，满足 P(z | xy)=P(z | y) 时，一式等号成立； 满足 P(z | xy)=P(z | x)时，二式等号成立。
max
P(x)
I ( X;Y )
max
P(x)
i 1
I ( Xi;Yi )
i 1
max
P(x)
I ( X i;Yi )
N
Ci
i 1
式中，Ci
max
P( x)
I
(
X
i
;Yi
)
◆若信道为时不变的，则有：
Ci C,(i 1,2, , N)
此时，离散无记忆信道容量为
CN NC
*3.5 组合信道的信道容量
Y = Y2 β1 = 00 β 2 = 01 β 3 = 10 β 14 = 11
P(
4
1)
P(11
00)
P(1
0)P(1
0)
p2
p2 pp pp p2
◆二次扩展信道转移概率矩阵 ：
=
P
(
)
pp
p2
p2
pp
pp p2 p2 pp
p2
pp
pp
p
2
定理3.7 （数据处理定理） 若 X, Y, Z 构成一个马氏链，
I(X;Z) I(X;Y ) 则有: I ( X ; Z ) I (Y ; Z )
信息论与编码第三章
模
型
P<Y1=V1,Y2=V2…Yn=Vn/X=U1…X=Un>
n
Õ = p(YR = UR / X = uR )
决定DMC特点的条件概率P<yj/xi>可写成矩阵形 式
P = [ pij ]
3.2.1
转移概率矩阵
æ p( y0 / x0) p( y1 / x0)
数
ç
学 模
P
=
ç ç
p( y0 / x1)
数 即P<Y=0/X=1>=P<Y=1/X=0>=P
学
模 型
P<Y=1/X=1>=P<Y=0/X=0>=1-P
01
这种对称二进二出的
0 é P P ù 信道叫做二进制对称信
P=1
ê ëê
P
ú P ûú
道,简称BSC信道.
3.2.1
信道模型:
数 学 模
1-P
0
0
P
型
P
1
1
1-P
这种信道的输出符号仅与对应时刻输 入符号有关,与以前输入无关,故称此信道是 无记忆信道的.
3.1
信道分类：
信
道
1.有线信道和无线信道
分
类
有线信道：明线、对称电缆、同轴电
缆及
光缆等.
无线信道：地波传播、短波电离层反 射、
超短波或微波视距中继、
3.1
2．恒参信道和随参信道
信 道
恒参信道：信道的统计特性不随时间而变化.如明
分 线、对称电缆、同轴电缆、光缆、卫星中继信道
类
一般被视为恒参信道.
p0,Q - 1 ö ÷
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
第三章信道及信道容量PPT课件
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第三章 信道与信道容量 习题解答
第三章 信道与信道容量 习题解答
1.设信源
通过一干扰信道，接收符号为
信道传递矩阵为
（1） 信源 中符号 和 分别含有的自信息量。
（4）说明如果信噪比降低，则为保持信道容量不变，必须加大信道带宽。反之加大信道带宽，则可降低对信 噪比的要求。如果信道带宽降低，则为保持信道容量不变，必须加大信号功率信噪比。反之加大信号功率信 噪比，则可降低对信道带宽的要求。
12.在一个理想通信系统中，已知信道中功率信噪比为 10分贝，为了使功率节省一半又不损失信息量，有 几种办法？请计算并讨论各自的优缺点。
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
解：已知
根据公式：
前者改善不明显，后者改善明显，故存在阀值效应。 15.设加性高斯白噪声信道中，信道带宽 3kHz，又设
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
6.有一以“点”和“划”构成的老式电报系统，“点”的长度为 30毫秒，“划”的长度为 150毫秒，“点”和“划”出现的
4
概率分别为 0.8和 0.2，试求信息速率为多少？“点”、“划”出现的概率相等时，信息速率为多少？是否“点”、“划” 出现的概率相等时信息速率一定最高？是否和理论相矛盾？为什么？ 解：
离散信道容量
P(x1y1) = P(x1) P(y1|x1) = 0.5×0.98 = 0.49
即对于一定的信道转移概率分布，总可以找到某 P(x y ) = P(x ) P(y |x ) = 0.5×0.80 = 0.40
一个先验概率分布的信源 X，使平均交互信息量达到 n pmax (yj) p( xi ) p( y j | xi ) ，求Y集合中各符号 （2）根据 I 相应的最大值 ，称此信源为该信道的匹配信源。
（ 3）根据 P(xi是信源概率分布 |yj) = P(xi yj)/P(yj) ，求各后验概率，得 平均互信息 I(X;Y) P(X) 的∩型凸函数
P(x1| y1) = P(x1y1)/ P(y1) = 0.49/0.59 = 0.831 即对于一定的信道转移概率分布，总可以找到某 P(x2| y1) = P(x2y1)/ P(y1) = 0.10/0.59 = 0.169 一个先验概率分布的信源 ，使平均交互信息量达到 P(x1| y2) = P(x1y2)/ P(X y2 ) = 0.01/0.41 = 0.024 相应的最大值 ，称此信源为该信道的匹配信源。 P(x | y ) I =max P(x y )/ P(y ) = 0.40/0.41 = 0.976
称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平 均交互信息量/交互熵）。 X对Y的平均互信息定义为
I (Y ; X ) p( xi y j ) I ( y j ; xi ) p( xi y j )log 2
i 1 j 1 i 1 j 1
n
m
n
m
p ( y j / xi ) p( y j )
p11 p1s P(b / a ) p p j i ij p2 s P 21 ... pr1 prs p12 ... p1s p2 s ... prs
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
扩 展 两 次: X ( X 1 , X 2 ), Y (Y1 , Y2 )
Y : 1 (0,0), 2 (0,1), 3 (1,0), 4 (1,1)
0.64 0.16 PY X 0.16 0.04
X : a1 (0,0),a 2 (0,1), a 3 (1,0), a4 (1,1)
离散信道模型如图:
X(t) 信道 干扰源 N(t) Y(t)
1.基本信道(最简单的信道) 发端 X:{a1,a2,…,aq} 收端 Y:{b1,b2,…,bm} (m不一定等于q) 信道用一信道矩阵来描述:
b1 p a 1 p b1 a 2 [ p] b p 1 aq b2 bm p p a a 1 1 b b p 2 a p m a 2 2 b b p 2 p m aq aq
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
0.16 0.64 0.04 0.16 0.16 0.04 0.64 0.16 0.04 0.16 0.16 0.64
有扰有信息损失的信道
(2)考虑到信道对前后码元的影响
a. 无记忆信道
pY
Y1 , Y2 , YN p X , X , X X N 1 2 Yi p X i i 1
有扰无信息损失
2.扩展信道(延长信道) 一般离散信道输入和输出却是一系列时间(或空间) 离散的随机变量,即随机序列。其信道模型如下：
X ( X1 , X 2 ,, X N )
信 道
Y (Y1 ,Y2 ,,YN )
Y1 , Y2 ,YN Y P P X , X , X X N 1 2
N
p
Y1
X1
p
Y2
p Y N X2 X N
信道转移矩阵
按有无噪声来分类: (1)无干扰(无噪声)信道 例1 X={a1,a2,a3,a4}
1 0 0 0 1 0 [P] 0 0 1 0 0 0
0 0 0 1
这为收端与发端一一对应的情况。(无扰无损)
例2:
X Y
无扰有损信道
1 1 [P] 0 0
1 1 P a 0 0 0 0 1 1
无干扰有信息损失。 ☆☆ ☆无扰不等于无损！！！
b、有扰信道 例3：基本信道 X={a1=0，a2=1} X={b1=0，b2=1}
0.8 0.2 P 0.2 0.8
0 0 不是一一对应,无扰有信息损失 1 1
(2)有扰信道 例3:
a1
X
0.9 0.1 0.2 0.8
b1
Y
a2
b2
0.9 0.1 [P] 有扰有信息损失,干扰严重 0.2 0.8
例4:
a1
X
1/2
1/2
1/2 1/2
b1
Y
a2
b2
yi P xi xi P y i
1 0 0 0
0 1 0 0
0 0 1 0
0 0 0 1
无干扰无信息损失。
例2 :
X X1 , X 2 , X 3
Y 1 0, 2 1
Y P X
X a1 (0,0,0), a 2 (0,1,1), a3 (1,0,1), a4 (1,1,0)
第三章 离散信道及其信道容量
主讲：易波老师
3.1 离散信道的统计描述及分类
离散信道的统计描述及分类 信道的输入和输出之间一般不是确定的函数关系， 而是统计依赖的关系。只要知道信道的输入信号、 输出信号，以及它们之间的统计依赖关系，那么信 道的全部特性就确定了。 根据信道的用户多少，可以分为： (1)两端(单用户)信道。它是只有一个输入端和一 个输出端的单向通信的信道。 (2)多端(多用户)信道。它是在输入端或输出端至 少有一端有二个以上的用户，并且还可以双向通信 的信道。
1 / 2 1 / 2 [P] 1 / 2 1 / 2
信息全部被信道损耗。
从信道有无损失的观点来看：有扰全损信道！
例 5：
a1 о
X
1/2 1/2 1/2 1/2
о о о о
1 2 0
b1 B1 b2
Y
b3 b4
0 1 2
a2 о
B2
0 1 2
1 2 [P] 0
(Y ) , Y 扩展离散信道 X , P X
(1)有无干扰的角度对信道分类 a、无扰信道 例1：X={a1=0，a2=1} Y={b1=0，b2=1} N=2，2维扩展
1 2 3 4 p a1 p a1 p a1 p a 1 pY X 1 2 3 4 p a p a p a p a 4 4 4 4