第3章 离散信道及其信道容量(ok) (1)讲解
合集下载
第3章_离散信道及其信道容量1
信息论基础
10
DUT
3.2 平均互信息及平均条件互信息
互信息量的性质
（2）P(ai) < P(ai|bj ) < 1，这时I(ai) > I(ai/bj)，I(ai；bj) > 0。
后验概率大于先验概率，说明收到bj后对信源是否发ai所进行判断 的正确程度，要大于ai在信源集合中的概率. 或者说收到bj后多少还能消除一些对信源是否发ai的不确定度，因 此bj获取了关于ai的信息量。 I(ai；bj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰， 但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(ai；bj) > 0，就存在着能够通信的可 能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。
log
P( x | yz ) P( y | xz ) P( xy | z ) log log P( x | z ) P( y | z ) P( x | z ) P( y | z )
P ( x | yz ) P( x | y ) P( x | yz ) log P( x) P( x) P( x | y )
这一性质清楚地说明了互信息量是描述信息流通特性
的物理量，流通量的数值当然不能大于被流通量的数 值。
某一事件的自信息量是任何其他事件所能提供的关于
该事件的最大信息量。
DUT
信息论基础
14
3.2 平均互信息及平均条件互信息
平均条件互信息
I ( x; y | z ) log
I ( x; yz ) log
互信息量的性质
1. 对称性
如果考虑信息的反向流通问题，即考虑事件ai的出现 给出关于事件bj的信息量，或者从ai中获取关于bj的信
10
DUT
3.2 平均互信息及平均条件互信息
互信息量的性质
（2）P(ai) < P(ai|bj ) < 1，这时I(ai) > I(ai/bj)，I(ai；bj) > 0。
后验概率大于先验概率，说明收到bj后对信源是否发ai所进行判断 的正确程度，要大于ai在信源集合中的概率. 或者说收到bj后多少还能消除一些对信源是否发ai的不确定度，因 此bj获取了关于ai的信息量。 I(ai；bj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰， 但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(ai；bj) > 0，就存在着能够通信的可 能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。
log
P( x | yz ) P( y | xz ) P( xy | z ) log log P( x | z ) P( y | z ) P( x | z ) P( y | z )
P ( x | yz ) P( x | y ) P( x | yz ) log P( x) P( x) P( x | y )
这一性质清楚地说明了互信息量是描述信息流通特性
的物理量，流通量的数值当然不能大于被流通量的数 值。
某一事件的自信息量是任何其他事件所能提供的关于
该事件的最大信息量。
DUT
信息论基础
14
3.2 平均互信息及平均条件互信息
平均条件互信息
I ( x; y | z ) log
I ( x; yz ) log
互信息量的性质
1. 对称性
如果考虑信息的反向流通问题，即考虑事件ai的出现 给出关于事件bj的信息量，或者从ai中获取关于bj的信
第3章 离散信道及其信道容量(ok) (1)
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
其中 P(bj / ai ) 称为前向概率，描述信道的噪声特性；
P(ai / bj ) 称为后向概率， 有时也把 P(ai )称为先验概率；
把 P(ai / bj ) 称为后验概率。 （2）输出符号的概率： P(b j ) p(ai ) p(b j / ai )
例：对于二元对称信道
0 1-p p p 1-p 1 0
1
如果信源分布X={w,1-w}，则
I ( X ; Y ) H ( p p) H ( p)
由此可得
I(X;Y)
1/2
p
3.4 信道容量及其一般计算方法
定义信息传输率： R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)] bit/符号 由定理3.1可知，对于每一个确定信道，都有一个信源 分布，使得信息传输率达到最大值，我们把这个最大值称 为该信道的信道容量。
H ( p1 ' , p2 '...ps ' ) 表示转移矩阵中某一行的熵（某一行 的元素作为一个信源，求此信源的熵）
而： 所以：
P( y 0) p p
P( y 1) p p
I ( X ; Y ) H ( p p) H ( p)
当信道固定时，平均互信息时信源分布的 型凸函 数，最大只为1-H(P)
1-H(P) I(X;Y)
1/2
w
3.3 平均互信息的特性
H(Y|X)
I(X;Y)
3.2 平均互信息
（1）无噪一一对应信道 此时可以计算得：H(X/Y)=H(Y/X)=0在图一中 表示就是两圆重合。 (2)输入输出完全统计独立 此时I(X;Y)=0 H(X/Y)=H(X) H(Y/X)=H(Y)
其中 P(bj / ai ) 称为前向概率，描述信道的噪声特性；
P(ai / bj ) 称为后向概率， 有时也把 P(ai )称为先验概率；
把 P(ai / bj ) 称为后验概率。 （2）输出符号的概率： P(b j ) p(ai ) p(b j / ai )
例：对于二元对称信道
0 1-p p p 1-p 1 0
1
如果信源分布X={w,1-w}，则
I ( X ; Y ) H ( p p) H ( p)
由此可得
I(X;Y)
1/2
p
3.4 信道容量及其一般计算方法
定义信息传输率： R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)] bit/符号 由定理3.1可知，对于每一个确定信道，都有一个信源 分布，使得信息传输率达到最大值，我们把这个最大值称 为该信道的信道容量。
H ( p1 ' , p2 '...ps ' ) 表示转移矩阵中某一行的熵（某一行 的元素作为一个信源，求此信源的熵）
而： 所以：
P( y 0) p p
P( y 1) p p
I ( X ; Y ) H ( p p) H ( p)
当信道固定时，平均互信息时信源分布的 型凸函 数，最大只为1-H(P)
1-H(P) I(X;Y)
1/2
w
3.3 平均互信息的特性
H(Y|X)
I(X;Y)
3.2 平均互信息
（1）无噪一一对应信道 此时可以计算得：H(X/Y)=H(Y/X)=0在图一中 表示就是两圆重合。 (2)输入输出完全统计独立 此时I(X;Y)=0 H(X/Y)=H(X) H(Y/X)=H(Y)
离散信道及其容量1
p ( a1 ) p(a ) 2 p ( ar )
3.1
3.20
信道的数学模型及分类
3.2 平均互信息及其性质
3.2.1 信道疑义度
1 H ( X ) P(ai ) log P( x) log P( x) P( ai ) i 1 X
1 知信源X的概率分布为 PX [ 4 3 ] 4
，求H(X|Y)。
解：信道矩阵为:
PY | X 1 2 0 1 2 1 3
1 4
0 2 3
1 3 2 ] 4 0 1 2 1 3 0 1 2 8 3
1 8 1 4 0 1 2
PY PX PY | X [
1 2 px1 PXY 0 p x2
3 8
1 2
1 px1 2 1 px 2 3
1 0 px1 8 2 px 2 0 3
1 / 8 1 / 8 0 PXY 0 1 / 4 1 / 2
p X |Y (0 | 0) p XY (00) 1 8 1 pY (0) 18
1 PY 8
p X |Y (1 | 0)
p X |Y (1| 2)
3 8
1 2
p XY (10) 0 0 pY (0) 1 8
p XY (12) 1 4 2 pY (2) 38 3
信道的数学模型及分类
3.1.3 单符号离散信道的数学模型
简单的单符号离散信道可以用 概率空间 [X, P(y|x),Y] 描述:
3.1
信道的数学模型及分类
由于信道中存在干扰，输入符号在传递过程中 会产生错误，这种信道干扰对传输的影响可以用 传递概率p(bj|ai)来描述。所有的传递概率构成传 递概率矩阵P，如下图所示：
第3章 离散信道及其信道容量
1 p(b j ) p(ai ) p(b j / ai ) p(b j / ai ) n i i
对称离散信道及其容量
对称信道的信道容量容量
C＝max I ( X ; Y ) max[ H ( X ) H ( X | Y )] max[ H (Y ) H (Y | X )] max H (Y ) H (Y / X )
3.2 单符号离散信道
二进制对称信道（BSC）
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I ( X ; Y ) p( xy) log
p ( ai )
几个特殊信道的信道容量
无干扰离散信道的信道容量
Y 1 1 1 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 X 1 Y X 1 1 1 Y
aX
(a) 无噪无损信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
如果上述方程组存在解{pi}:
P(a ) P(b
i i j
j
/ ai ) log
也就是说：C loge
一般离散信道的信道容量
特别的，当信道转移矩阵非奇异时，对n个i：
p(b
j
j
/ ai ) log
p (b j / ai ) p (b j )
对称离散信道及其容量
对称信道的信道容量容量
C＝max I ( X ; Y ) max[ H ( X ) H ( X | Y )] max[ H (Y ) H (Y | X )] max H (Y ) H (Y / X )
3.2 单符号离散信道
二进制对称信道（BSC）
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I ( X ; Y ) p( xy) log
p ( ai )
几个特殊信道的信道容量
无干扰离散信道的信道容量
Y 1 1 1 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 X 1 Y X 1 1 1 Y
aX
(a) 无噪无损信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
如果上述方程组存在解{pi}:
P(a ) P(b
i i j
j
/ ai ) log
也就是说：C loge
一般离散信道的信道容量
特别的，当信道转移矩阵非奇异时，对n个i：
p(b
j
j
/ ai ) log
p (b j / ai ) p (b j )
第三章离散信道及其信信道容量
离散信道及其信道容量离散信道的统计特性和数学模型信道传输的平均互信息及其性质信道容量及其计算方法信道的任务是以信号方式传输信息和存储信息。
研究信道中能够传送或存储的最大信息量，即信道容量问题。
只限于研究一个输入端和一个输出端的信道，即单用户信道，其中以无记忆、无反馈、固定参数的离散信道为重点。
3.1 信道的数学模型及分类几个前提：信源输出的消息必须首先转换成能在信道中传输或存储的信号噪声或干扰主要从信道中引入，它使信号通过信道后产生错误和失真输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系3.1.1 信道的分类根据信道的用户多少（１）两端（单用户）信道只有一个输入端和一个输出端的单向通信的信道（２）多端（多用户）信道输入端或输出端中有一端有两个以上的用户，且可以双向通信的信道根据信道输入端和输出端的关联（１）无反馈信道信道输出端无信号反馈到输入端（２）反馈信道信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化。
根据信道的参数与时间的关系（１）固定参数信道信道的参数（统计特性）不随时间变化而改变（２）时变参数信道信道的参数（统计特性）随时间变化而变化根据输入和输出信号的特点（１）离散信道输入和输出的随机序列的取值都是离散的信道（２）连续信道输入和输出的随机序列的取值都是连续的信道（３）半离散或半连续信道输入序列是离散型的但相应的输出序列是连续的信道，或者相反（４）波形信道信道输入和输出的随机变量的取值是连续的，并且还随时间连续变化只限于研究无反馈、固定参数的单用户离散信道。
充分性：若满足此式则离散信道为无记忆信道。
P 证明：根据概率关系，得条件概率(1P y ==......(1P y =((1 P y P =因为所以(P ((1 P y y P y =又因为(y NP y ∑所以∑【例3.2】二元删除信道BEC0 2 10p 1-p 0 101qq ⎡⎤⎢⎥−⎣⎦输入符号X取值于{0,1}；输出符号Y取值于{0,2,1} 。
第3章信道及信道容量
X P(Y/X) Y
2019/11/27
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y / X) P(y1 / x2) P(y2 / x2) P(ym / x2 )
信道及信道容量
例5
信源P(XX)
0 p
1
1
p
信道P(Y
/
X)
1
q
q
1 q
q
平均互信息量及p-I(X;Y)和q-I(X;Y)曲线
P(y1 0) pq (1 p)(1 q) pq pq P(y2 1) p(1 q) (1 p)q pq pq H(Y) (pq pq) log( pq pq) (pq pq) log( pq pq) H(pq pq)
I(X;Y) H(Y) H(Y / X) H(pq pq) H(q) 信道固定时q为常数，作p-I(X;Y)曲线 当p 0时，I(X; Y) H(q) H(q) 0
p 0.5时，I(X; Y) H(0.5) H(q) 1 H(q)
2019/11/27
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
2019/11/27
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y / X) P(y1 / x2) P(y2 / x2) P(ym / x2 )
信道及信道容量
例5
信源P(XX)
0 p
1
1
p
信道P(Y
/
X)
1
q
q
1 q
q
平均互信息量及p-I(X;Y)和q-I(X;Y)曲线
P(y1 0) pq (1 p)(1 q) pq pq P(y2 1) p(1 q) (1 p)q pq pq H(Y) (pq pq) log( pq pq) (pq pq) log( pq pq) H(pq pq)
I(X;Y) H(Y) H(Y / X) H(pq pq) H(q) 信道固定时q为常数，作p-I(X;Y)曲线 当p 0时，I(X; Y) H(q) H(q) 0
p 0.5时，I(X; Y) H(0.5) H(q) 1 H(q)
2019/11/27
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第3章信道容量
其信道容量
C max I ( X ;Y ) max H ( Y ) log m
p ( xi ) p ( xi )
达到此类信道的信道容量的概率分布是使信道输出分布为 等概分布的输入分布。
8
离散无噪信道（总结）
对于无噪信道，求信道容量C的问题，已经 从求I(X;Y)的极值问题退化为求H(Y)或H(X)的 极值问题。
H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪 信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号 集Y之后平均每个符号所获得的关于输入集X的信息量。 H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。 因为H(Y/X)=H(Y)-I(X;Y)
i 1 j 1 n n
p( x i ) H ni
i 1
n
H ni p( y j / x i ) log p( y j / x i ) 由 于 信 道 的 对 称 性 ， 一 每行 都 是 同 一 集 合 诸素 元的 不 同 排 列 。
其信道容量
C max I ( X ;Y ) max H ( X ) log n
p ( xi ) p ( xi )
6
3.具有归并性能的无噪信道（确定信道）
确定信道的一个输出对应着多个 互不相交的输入，如右图所示。
信道矩阵中每行中只有一非零元 素，即已知X后，Y不再有任何 不确定度。故噪声熵H(Y/X)=0
11
强对称信道的几个特性
强对称信道是对称信道的一个特例；
输入符号数与输出符号数相等； 信道中总的错误概率为p，对称地平均分配给 n-1个输出符号，n为输入符号的个数； 均匀信道中不仅各行之和为1,而且各列之和也 为1。 一般信道各列之和不一定等于1
第三章离散信道及其信道容量-数学与统计学院
下面来推导一般单符号离散信道的一些概率关系。
设信道的输入概率空间为：
X
P（x）
a1，
P（a1），
a2，
P（a
），
2
， ，
ar P（a
r）、并
r i 1
P（ai）
1、
0 P（ai） 1、（i 1，，r）
又设输出Y的符号集为B {b1，b2，，bs }。给定信道矩阵为
1.信道的分类
根据输入和输出信号的特点，信道可以为： (1)离散信道。它是指输入和输出的随机序列的取值 都是离散的信道 (2) 连续信道。它是指输入和输出的随机序列的取 值都是连续的信道。 (3) 半离散或半连续信道。输入序列是离散型的但 相应的输出序列是连续的信道，或者相反。
1.信道的分类
(4)波形信道。信道的输入和输出都是一些时间
《信息论基础》
第3章
主讲人：刘昌红
第3章离散信道及其信道容量
3.1 信道的数学模型及分类 1. 信道的分类 2. 离散信道的数学模型 3. 单符号离散信道的数学模型
3.2 信道容量及其一般计算方法 1. 离散无噪信道的信道容量 2. 对称离散信道的信道容量 3. 准对称信道的信道容量 4. 一般离散信道的信道容量
1.信道的分类
1.信道的分类 实际的通信系统中，信道的种类很多，包含的
设备也各式各样。实际的通信系统中，根据载荷消 息的媒体不同，可有邮递信道、电信道、光信道、 声信道等等。从信息传输的角度来考虑，信道输入 和输出信号的形式、信道的统计特性以及信道的用 户多少等方法来进行分类。
根据信道的用户 多少分类
P（ai / b j） PP（（abibj）j）、（P（b j） 0）
第三章离散信道及其信道容量
Y
P2( y)
X
P(x, y)log
Y
P( y)
P(y)
P( y)
t
X
Y
P1(x, y)log P1( y) (1 t) X
Y
P2(x, y)log P2( y)
因为y=logx是∩ 函数,根据Jensen不等式
X
Y
P1( x,
y) log
P( y) P1( y)
log
X
Y
P1
(
x,
y)
数,也就是说在某一种概率分布条件下: C=max I(X;Y)比特/符号 C=max I(X;Y)/t 比特/秒 信道容量C(或)是信道的核心指标。P(Y/X)给定
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
0 0
0 0 1 1
H ( X ) log42 2bits
P a1 b1
p(a1 ) p b1 a1 p(b1 )
1 1 4 11
1 2
44
P(a2/b1)=1/2, P(a3/b1)=P(a4/b1)=0 H(X/b1)=1bits H(X/b2)= 1bits H(X/Y)=H(X/bi)=1bits
3.3 平均互信息的特性
1. 非负性 I(X;Y) ≥ 0 即接收到的平均互信息量大于等于0,也就是说,从 总体而言,多多少少总可以收到一些信息量。 证明：方法一
∵ H(X) ≥H(X/Y) ∴ I(X;Y)=H(X)-H(X/Y) ≥ 0 方法二 ∵ logx为∩ 型凸函数 Jensen不等式E{f(x)} ≤f{E(X)}
I( X;Y ) H ( X ) H ( )
P2( y)
X
P(x, y)log
Y
P( y)
P(y)
P( y)
t
X
Y
P1(x, y)log P1( y) (1 t) X
Y
P2(x, y)log P2( y)
因为y=logx是∩ 函数,根据Jensen不等式
X
Y
P1( x,
y) log
P( y) P1( y)
log
X
Y
P1
(
x,
y)
数,也就是说在某一种概率分布条件下: C=max I(X;Y)比特/符号 C=max I(X;Y)/t 比特/秒 信道容量C(或)是信道的核心指标。P(Y/X)给定
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
0 0
0 0 1 1
H ( X ) log42 2bits
P a1 b1
p(a1 ) p b1 a1 p(b1 )
1 1 4 11
1 2
44
P(a2/b1)=1/2, P(a3/b1)=P(a4/b1)=0 H(X/b1)=1bits H(X/b2)= 1bits H(X/Y)=H(X/bi)=1bits
3.3 平均互信息的特性
1. 非负性 I(X;Y) ≥ 0 即接收到的平均互信息量大于等于0,也就是说,从 总体而言,多多少少总可以收到一些信息量。 证明：方法一
∵ H(X) ≥H(X/Y) ∴ I(X;Y)=H(X)-H(X/Y) ≥ 0 方法二 ∵ logx为∩ 型凸函数 Jensen不等式E{f(x)} ≤f{E(X)}
I( X;Y ) H ( X ) H ( )
信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习
![信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习](https://img.taocdn.com/s3/m/b3091d87a0116c175f0e48d8.png)
第三章离散信道及其信道容量3．1．1 信道的分类在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。
信道的分类有：按照信道输入端或输出端的个数可分为单用户信道和多用户信道。
按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。
按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。
按照信道输入／输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。
按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。
按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。
按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。
3．1．2 离散信道的数字模型1．一般离散信道(多维离散信道)一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。
其数学模型可用离散型概率空间[X，P(y|x)，Y]来描述。
其中X=(X1X2…X N)为输入信号，Y= (Y1Y2…Y N)为输出信号。
X中X i∈A={a1，a2，…，a r}，Y中Y i∈B={b1，b2，…，b s}。
又P(y|x)(x∈X，y∈Y)是信道的传递概率(转移概率)，反映输入和输出信号之间统计依赖关系，并满足概率空间[X，P(y|x)，Y]也可用图来描述。
2．基本离散信道(单符号离散信道)单符号离散信道是离散信道中最基本的信道，其信道输入/输出信号都是取值离散的单个随机变量。
数学模型是概率空间[X，P(y|x)，Y]，(或[X，P(b j|a i)，Y])，其中X∈A={a1，a2，…，a r}，Y∈B={b1，b2，…，b s)，P(y|x)=P(b j|a i)(i=1，2，…，r；j=1，2，…，s)并满足概率空间[X，P(y|x)，Y]也可用图来描述，如图3．1所示。
第三章信道及信道容量PPT课件
第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
离散信道及其信道容量课件
离散信道的应用场景
01
02
数据通信
数字电视
03 数字电话
CHAPTER
离散信道模型
输入输出符号集
输入符号集
输出符号集
输入输出概率分布
输入概率分布
输出概率分布
转移概率
定义
转移概率表示在给定输入符号下，输出符号出现的条件概率，即$P(Y=y|X=x)$。
计算方法
根据输入输出概率分布和转移概率的定义，可以通过以下公式计算转移概率： $P(Y=y|X=x) = frac{P(X=x, Y=y)}{P(X=x)}$。
CHAPTER
离散信道容量
信道容量的定 义 01 02
单符号离散信道容量
在无记忆信道中，每个符号独立地通 过信道，信道状态与符号无关，因此 单符号离散信道容量可以通过概率计 算得出。
多符号离散信道容量
多符号离散信道容量是指多个符号在 离散有记忆信道中能够传输的最大信 息量。
多符号离散信道容量的计算方法包括 互信息法、迭代法和密度进化法等。
离散信道容量的应用
数据 传
数据压缩
错误控制编码
通信系统设计
通信协议设计
在通信系统设计中，离散信道容量提供 了关于通信系统性能的理论限制。这有 助于设计者根据这些限制优化通信协议， 提高系统的整体性能。
VS
频谱效率
频谱效率是通信系统设计的重要指标之一。 通过理解和利用离散信道容量，可以更有 效地利用频谱资源，提高频谱效率，从而 在有限的带宽内传输更多的信息。
CHAPTER
离散信道容量的计算方法
解析法
解析法是一种基于概率论和组合数学的计算离散信道容量的方法。它通 过将输入和输出符号之间的概率关系表示为数学表达式，然后求解这些 表达式来计算信道容量。
信道容量 第三章(1)
I(X ,Y)H (Y)H (X )
CmIa (X x ;Y )mH a(Y x ) p(a i)
整理课件 19
II、对称离散信道的信道容量
整理课件 20
II 对称离散信道的信道容量
• 对称离散信道：
• 对称性:
– 每一行都是由同一集{q1, q2,…qm}的诸元素 不同排列组成——输入对称
– 每一列都是由{p1, p2,…pn}集的诸元素不同 排列组成——输出对称
X a 1 ,a 2 , a n Y b 1 ,b 2, b m
X
p(yj /xi)
Y
i=1,2,…n
信道 转移
p p
b1 a1
b1 a2
,p ,pBiblioteka b2 a1b2 a2
,, p ,, p
bm a1
bm a2
概率
矩阵
p
b1 an
,
p
,, b2 a整n 理课件
3.2.3 离散信道容量的一般计算方法
整理课件 3
回顾——1.信道的基本概念
整理课件 4
信道
• 信道：信息传输的通道
输入量X (随机过程)
p(Y|X) 信道
输出量Y (随机过程)
一般信道的数学模型
XPYX Y
整理课件 5
回顾——2.单符号离散信道容 量的定义
整理课件 6
单符号离散信道容量的定义
• 噪声熵H(Y|X) ≠ 0 损失熵H(X|Y) = 0
I(X ,Y)H (X )H (Y)
CmI( aX ;x Y )mH a(X x ) p(a i)
整理课件 17
I-3 归并性能的无噪信道
• 多个输入变成一个输出(n＞m)
信息论：第3章离散信道及其信道容量
P ( b1 | a 1 ) P ( 0 | 0 ) 1 p p P ( b 2 | a 2 ) P (1 | 1 ) 1 p p P ( b1 | a 2 ) P ( 0 | 1 ) p P ( b 2 | a 1 ) P (1 | 0 ) p
a1=0
（2）多端(多用户)信道---输入端和输出端中至少有
两个以上的用户，并且可以双向通信的信道。
5
copyright ©赵越 ise_zhaoy1@
根据信道输入端和输出端的关联：
（1）无反馈信道---信道输出端无信号反馈到输入端，
即输出端信号对输入端信号无影响、无作用；
（2）反馈信道---输出端的信号反馈到输入端，对输
（2）连续信道---输入输出的随机序列的取值都是连续 的信道； （3）半离散或半连续信道---输入序列是离散型的，但 相应的输出序列是连续的信道，或相反。 （4）波形信道---输入和输出都是一些时间上连续的随 机信号。（又称模拟信道）
7
copyright ©赵越 ise_zhaoy1@
p(x | y) p( x)
所以，平均互信息 I ( X ; Y ) 永远不会取负值。 最差的情况是平均互信息为零，即信道输出端 接收到输出符号Y后不获得任何关于输入符号X的 信息量。
28
copyright ©赵越 ise_zhaoy1@
有记忆信道。
copyright ©赵越 ise_zhaoy1@
3.1.3 单符号离散信道
单符号离散信道：
输入符号为X，取值于{a1,a2, …,ar}。
输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率， 可以用来描述信道干扰影响的大小。
a1=0
（2）多端(多用户)信道---输入端和输出端中至少有
两个以上的用户，并且可以双向通信的信道。
5
copyright ©赵越 ise_zhaoy1@
根据信道输入端和输出端的关联：
（1）无反馈信道---信道输出端无信号反馈到输入端，
即输出端信号对输入端信号无影响、无作用；
（2）反馈信道---输出端的信号反馈到输入端，对输
（2）连续信道---输入输出的随机序列的取值都是连续 的信道； （3）半离散或半连续信道---输入序列是离散型的，但 相应的输出序列是连续的信道，或相反。 （4）波形信道---输入和输出都是一些时间上连续的随 机信号。（又称模拟信道）
7
copyright ©赵越 ise_zhaoy1@
p(x | y) p( x)
所以，平均互信息 I ( X ; Y ) 永远不会取负值。 最差的情况是平均互信息为零，即信道输出端 接收到输出符号Y后不获得任何关于输入符号X的 信息量。
28
copyright ©赵越 ise_zhaoy1@
有记忆信道。
copyright ©赵越 ise_zhaoy1@
3.1.3 单符号离散信道
单符号离散信道：
输入符号为X，取值于{a1,a2, …,ar}。
输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率， 可以用来描述信道干扰影响的大小。
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一般简单的单符号离散信道的数学模型可以用概 率空间[X,p(y|x),Y]来描述。
a1 X
ar
P(bj | ai )
b1 Y
bs
3.1 信道的数学模型及分类
表示成矩阵形式：
b1
b2
…
a1 p(b1/a1) p(b2/a1)
…
[P]= a2 p(b1/a2) p(b2/a2)
…
…… …
…
an p(b1/an) p(b2/an)
H(Y/X)---噪声熵。 H(X/Y)----损失熵
3.2 平均互信息
H(X/Y) ，也表示通过有噪信道造成的损失，故也 称为损失熵，因此信源的熵等于收到的信息量加上损 失的熵；而H(Y/X)表示已知输入的情况下，对输出端 还残留的不确定性，这个不确定性是由噪声引起的， 故也称之为噪声熵。
H(Y/X)---噪声熵。 H(X/Y)----损失熵
3.1 信道的数学模型及分类
2、离散信道的数学模型
设离散信道的输入为一个随机变量X，相应的输出的随
机变量为Y，如图所示：
规定一个离散信道应有三个参数：
x 输入符号集：X={x1，x2，…，
输出符号集：Y={y1，y2，…，
ymn}}
信道转移概率： P(y/X)
X
P(y/X)
Y
离散信道的数学模型
3.1 信道的数学模型及分类
H(Y|X)
3.2 平均互信息
（1）无噪一一对应信道 此时可以计算得：H(X/Y)=H(Y/X)=0在图一中
表示就是两圆重合。
(2)输入输出完全统计独立 此时I(X;Y)=0 H(X/Y)=H(X) H(Y/X)=H(Y)
3.3 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0
该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
把 P(ai / bj )称为后验概率。
r
（2）输出符号的概率：P(bj ) p(ai ) p(bj / ai ) i 1
（3）后验概率：
P(ai
/
bj )
P(aibj ) P(bj )
r
P(ai / bj ) 1
i 1
表明输出端收到任一符号，必定是输入端某一符号输入所致。
3.2 平均互信息
…
bm
p(bm/a1) p(bm/a2)
… p(bm/an)
为方便可以写 成
P(bj / ai ) pij
p11 p12 ... p1s
P
p21
p22
...
p2s
...
...
pr1
pr2 ...
prs
3.1 信道的数学模型及分类
[例1] 二元对称信道（BSC）
根据输入端和输出端的关联： （1）无反馈信道 （2）有反馈信道
3.1 信道的数学模型及分类
根据信道参数与时间的关系： 固定参数信道（恒参信道）与时变参数信道（随参信道）
根据输入输出信号的特点 （1）离散信道 （2）连续信道 （3）半离散半连续信道： （4）波形信道
我们只研究无反馈、固定参数的单用户离散信道。
X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;
传递矩阵：
二元对称信道模型：
P
1
p
p
p 1 p
1-p
0
0
p
p
1
1
1-p
3.1 信道的数学模型及分类
[例2] 二元删除信道：X={0,1}; Y={0,2,1}
0
2
1
0 1－p p
根据信道模型，可对信道分类如下： （1）无干扰信道：输入信号与输出信号 有一一对应关系
y
f
( x)，并且P(
y
/
x)
1 0
y f (x) y f (x)
（2）有干扰无记忆信道：输入与输出无一一对应关系， 输出只与当前输入有关；
（3）有干扰有记忆信道：这是最一般的信道。
3.1 信道的数学模型及分类
p(x | y ) p(x )
3.2 平均互信息
3、平均互信息的物理意义：
表示接收端接收到输出符号后平均每个符号获得 的关于X的信息量。
互信息与各类熵之间的关系可以用下图表示：
H(X) H(X|Y)
I(X;Y)
H(Y)
I(X;Y) H(X) H(X |Y) H (Y ) H (Y | X ) H (X ) H (Y ) H (XY)
0
[P]=
1
0
p
1-p
0 1-p 0
p
p
2
1 1-p
1
3.1 信道的数学模型及分类（公式总结）
（1）联合概率 P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj ) 其中 P(bj / ai ) 称为前向概率，描述信道的噪声特性；
P(ai / bj ) 称为后向概率， 有时也把P(ai )称为先验概率；
第3章 离散信道及其信道容量
3.1 信道的数学模型及分类 3.2 平均互信息 3.3 平均互信息的特性 3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 信源与信道的匹配
3.1 信道的数学模型及分类
1、信道的分类：
根据信道用户的多少，可分为： （1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道：至少有一端有两个以上的用户，双向通信
3、单符号离散信道的数学模型
单符号离散信道的输入变量为X，取值于 a1, a2, , ar 输出变量为Y，取值于 b1,b2, ,bs。
并有条件概率 P( y | x) P(bj | ai ), (i 1, 2, , r; j 1, 2, , s) 条件概率被称为信道的传递概率或转移概率。
1、信道疑义度
H
(X
/Y
)
E[H
(X
/
bj )
X ,Y
P(xy) log
1 P(x /
y)
这个条件熵称为信道疑义度，表示输出端在收到一个
符号后，对输入符号尚存的不确定性，这是由信道干扰 造成的，如果没有干扰，H(X/Y)=0,一般情况下 H(X/Y)小于H(X)，说明经过信道传输，总能消除一些 信源的不确定性，从而获得一些信息。
3.2 平均互信息
2、互信息及平均互信息
互信息表示收到y后获得关于某事件x的信息量。
I(x;y )
log
p(x | y ) p(x )
log
p(y | x ) p(y )
log
p(xy ) p(x )p(y )
对互信息在联合概率基础上求统计平均即为平均互信息。
I(X;Y )
xy
p(xy )log