第3章 离散信道及其信道容量共32页
合集下载
第3章_离散信道及其信道容量1
信息论基础
10
DUT
3.2 平均互信息及平均条件互信息
互信息量的性质
（2）P(ai) < P(ai|bj ) < 1，这时I(ai) > I(ai/bj)，I(ai；bj) > 0。
后验概率大于先验概率，说明收到bj后对信源是否发ai所进行判断 的正确程度，要大于ai在信源集合中的概率. 或者说收到bj后多少还能消除一些对信源是否发ai的不确定度，因 此bj获取了关于ai的信息量。 I(ai；bj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰， 但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(ai；bj) > 0，就存在着能够通信的可 能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。
log
P( x | yz ) P( y | xz ) P( xy | z ) log log P( x | z ) P( y | z ) P( x | z ) P( y | z )
P ( x | yz ) P( x | y ) P( x | yz ) log P( x) P( x) P( x | y )
这一性质清楚地说明了互信息量是描述信息流通特性
的物理量，流通量的数值当然不能大于被流通量的数 值。
某一事件的自信息量是任何其他事件所能提供的关于
该事件的最大信息量。
DUT
信息论基础
14
3.2 平均互信息及平均条件互信息
平均条件互信息
I ( x; y | z ) log
I ( x; yz ) log
互信息量的性质
1. 对称性
如果考虑信息的反向流通问题，即考虑事件ai的出现 给出关于事件bj的信息量，或者从ai中获取关于bj的信
10
DUT
3.2 平均互信息及平均条件互信息
互信息量的性质
（2）P(ai) < P(ai|bj ) < 1，这时I(ai) > I(ai/bj)，I(ai；bj) > 0。
后验概率大于先验概率，说明收到bj后对信源是否发ai所进行判断 的正确程度，要大于ai在信源集合中的概率. 或者说收到bj后多少还能消除一些对信源是否发ai的不确定度，因 此bj获取了关于ai的信息量。 I(ai；bj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰， 但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(ai；bj) > 0，就存在着能够通信的可 能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。
log
P( x | yz ) P( y | xz ) P( xy | z ) log log P( x | z ) P( y | z ) P( x | z ) P( y | z )
P ( x | yz ) P( x | y ) P( x | yz ) log P( x) P( x) P( x | y )
这一性质清楚地说明了互信息量是描述信息流通特性
的物理量，流通量的数值当然不能大于被流通量的数 值。
某一事件的自信息量是任何其他事件所能提供的关于
该事件的最大信息量。
DUT
信息论基础
14
3.2 平均互信息及平均条件互信息
平均条件互信息
I ( x; y | z ) log
I ( x; yz ) log
互信息量的性质
1. 对称性
如果考虑信息的反向流通问题，即考虑事件ai的出现 给出关于事件bj的信息量，或者从ai中获取关于bj的信
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
第3章 离散信道及其信道容量
1 p(b j ) p(ai ) p(b j / ai ) p(b j / ai ) n i i
对称离散信道及其容量
对称信道的信道容量容量
C＝max I ( X ; Y ) max[ H ( X ) H ( X | Y )] max[ H (Y ) H (Y | X )] max H (Y ) H (Y / X )
3.2 单符号离散信道
二进制对称信道（BSC）
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I ( X ; Y ) p( xy) log
p ( ai )
几个特殊信道的信道容量
无干扰离散信道的信道容量
Y 1 1 1 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 X 1 Y X 1 1 1 Y
aX
(a) 无噪无损信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
如果上述方程组存在解{pi}:
P(a ) P(b
i i j
j
/ ai ) log
也就是说：C loge
一般离散信道的信道容量
特别的，当信道转移矩阵非奇异时，对n个i：
p(b
j
j
/ ai ) log
p (b j / ai ) p (b j )
对称离散信道及其容量
对称信道的信道容量容量
C＝max I ( X ; Y ) max[ H ( X ) H ( X | Y )] max[ H (Y ) H (Y | X )] max H (Y ) H (Y / X )
3.2 单符号离散信道
二进制对称信道（BSC）
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I ( X ; Y ) p( xy) log
p ( ai )
几个特殊信道的信道容量
无干扰离散信道的信道容量
Y 1 1 1 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 X 1 Y X 1 1 1 Y
aX
(a) 无噪无损信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
如果上述方程组存在解{pi}:
P(a ) P(b
i i j
j
/ ai ) log
也就是说：C loge
一般离散信道的信道容量
特别的，当信道转移矩阵非奇异时，对n个i：
p(b
j
j
/ ai ) log
p (b j / ai ) p (b j )
第三章离散信道及其信信道容量
离散信道及其信道容量离散信道的统计特性和数学模型信道传输的平均互信息及其性质信道容量及其计算方法信道的任务是以信号方式传输信息和存储信息。
研究信道中能够传送或存储的最大信息量，即信道容量问题。
只限于研究一个输入端和一个输出端的信道，即单用户信道，其中以无记忆、无反馈、固定参数的离散信道为重点。
3.1 信道的数学模型及分类几个前提：信源输出的消息必须首先转换成能在信道中传输或存储的信号噪声或干扰主要从信道中引入，它使信号通过信道后产生错误和失真输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系3.1.1 信道的分类根据信道的用户多少（１）两端（单用户）信道只有一个输入端和一个输出端的单向通信的信道（２）多端（多用户）信道输入端或输出端中有一端有两个以上的用户，且可以双向通信的信道根据信道输入端和输出端的关联（１）无反馈信道信道输出端无信号反馈到输入端（２）反馈信道信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化。
根据信道的参数与时间的关系（１）固定参数信道信道的参数（统计特性）不随时间变化而改变（２）时变参数信道信道的参数（统计特性）随时间变化而变化根据输入和输出信号的特点（１）离散信道输入和输出的随机序列的取值都是离散的信道（２）连续信道输入和输出的随机序列的取值都是连续的信道（３）半离散或半连续信道输入序列是离散型的但相应的输出序列是连续的信道，或者相反（４）波形信道信道输入和输出的随机变量的取值是连续的，并且还随时间连续变化只限于研究无反馈、固定参数的单用户离散信道。
充分性：若满足此式则离散信道为无记忆信道。
P 证明：根据概率关系，得条件概率(1P y ==......(1P y =((1 P y P =因为所以(P ((1 P y y P y =又因为(y NP y ∑所以∑【例3.2】二元删除信道BEC0 2 10p 1-p 0 101qq ⎡⎤⎢⎥−⎣⎦输入符号X取值于{0,1}；输出符号Y取值于{0,2,1} 。
第3章信道及信道容量
X P(Y/X) Y
2019/11/27
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y / X) P(y1 / x2) P(y2 / x2) P(ym / x2 )
信道及信道容量
例5
信源P(XX)
0 p
1
1
p
信道P(Y
/
X)
1
q
q
1 q
q
平均互信息量及p-I(X;Y)和q-I(X;Y)曲线
P(y1 0) pq (1 p)(1 q) pq pq P(y2 1) p(1 q) (1 p)q pq pq H(Y) (pq pq) log( pq pq) (pq pq) log( pq pq) H(pq pq)
I(X;Y) H(Y) H(Y / X) H(pq pq) H(q) 信道固定时q为常数，作p-I(X;Y)曲线 当p 0时，I(X; Y) H(q) H(q) 0
p 0.5时，I(X; Y) H(0.5) H(q) 1 H(q)
2019/11/27
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
2019/11/27
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y / X) P(y1 / x2) P(y2 / x2) P(ym / x2 )
信道及信道容量
例5
信源P(XX)
0 p
1
1
p
信道P(Y
/
X)
1
q
q
1 q
q
平均互信息量及p-I(X;Y)和q-I(X;Y)曲线
P(y1 0) pq (1 p)(1 q) pq pq P(y2 1) p(1 q) (1 p)q pq pq H(Y) (pq pq) log( pq pq) (pq pq) log( pq pq) H(pq pq)
I(X;Y) H(Y) H(Y / X) H(pq pq) H(q) 信道固定时q为常数，作p-I(X;Y)曲线 当p 0时，I(X; Y) H(q) H(q) 0
p 0.5时，I(X; Y) H(0.5) H(q) 1 H(q)
2019/11/27
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第三章离散信道及其信道容量
p(ym/x1)
p(ym/x2) … p(ym/xn)
第一节 信道的数学模型及分类 为了表述简便，可以写成 P(bj / ai ) pij
p11 p P 21 ... pr1 p12 ... p22 ... pr 2 ... p1s p2 s ... prs
i 1 r
P(aibj ) P(ai )P(bj / ai ) P(bj )P(ai / bj )
（3）后验概率
P(ai / b j )
P(aib j ) P(b j )
P(a / b ) 1
i 1 i j
r
表明输出端收到任一符号，必定是输入端某一符号 输入所致
第二节 平均互信息
第三节 平均互信息的特性
1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。
2、平均互信息的极值性
I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵。
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。 对于二元对称信道，由图可以看出信道容量等于 1-H(P)
第四节 信道容量及其一般计算方法
1、离散无噪信道的信道容量 （1）具有一一对应关系的无噪声信道 x1 x2 x3 I(X;Y)=H(X)=H(Y) y1 y2 y3
信息论基础离散信道及其信道容量
量X的条件下，对随机变量Y尚存在 的不确定性。噪声熵完全是由于信 道中噪声引起的，也称为散布度， 它反映了信道中噪声源的不确定性。
通信与信息基础教学部
30
信息论课件
平均互信息
互信息：信道输出端接收到某消息y（或
某消息序列y）后获得关于输入端某消息x （或某消息序列x）的信息量
I (x; y) log P(x / y) log P(xy) log P( y / x)
通信与信息基础教学部
16
信息论课件
几个重要的单符号离散信道
对称离散信道：信道矩阵中的行元素集 合相同，列元素集合也相同的信道，称 为对称信道。
通信与信息基础教学部
17
信息论课件
例：二元对称信道Binary Symmetric Channel (BSC)
1 p
0
0
p
p
1 1 p 1
通信与信息基础教学部
既不作“1”，也不作“0”
通信与信息基础教学部
21
信息论课件
例：二元删除信道Binary Erasure Channel (BEC)
p
0
0
1 p
1 q
e
1
q
1
通信与信息基础教学部
22
信息论课件
单符号离散信道的一些概率关系
对于信道[ X, P, Y ]，
先
后
输入和输出符号的联合概率
验 概
验 概
通信与信息基础教学部
4
信道分类
信息论课件
根据信道的用户多少：
两端(单用户)信道 ■ 多端(多用户)信道
根据信道输入端和输出端的关联：
无反馈信道
■ 反馈信道
通信与信息基础教学部
30
信息论课件
平均互信息
互信息：信道输出端接收到某消息y（或
某消息序列y）后获得关于输入端某消息x （或某消息序列x）的信息量
I (x; y) log P(x / y) log P(xy) log P( y / x)
通信与信息基础教学部
16
信息论课件
几个重要的单符号离散信道
对称离散信道：信道矩阵中的行元素集 合相同，列元素集合也相同的信道，称 为对称信道。
通信与信息基础教学部
17
信息论课件
例：二元对称信道Binary Symmetric Channel (BSC)
1 p
0
0
p
p
1 1 p 1
通信与信息基础教学部
既不作“1”，也不作“0”
通信与信息基础教学部
21
信息论课件
例：二元删除信道Binary Erasure Channel (BEC)
p
0
0
1 p
1 q
e
1
q
1
通信与信息基础教学部
22
信息论课件
单符号离散信道的一些概率关系
对于信道[ X, P, Y ]，
先
后
输入和输出符号的联合概率
验 概
验 概
通信与信息基础教学部
4
信道分类
信息论课件
根据信道的用户多少：
两端(单用户)信道 ■ 多端(多用户)信道
根据信道输入端和输出端的关联：
无反馈信道
■ 反馈信道
第三章离散信道及其信道容量-数学与统计学院
下面来推导一般单符号离散信道的一些概率关系。
设信道的输入概率空间为：
X
P（x）
a1，
P（a1），
a2，
P（a
），
2
， ，
ar P（a
r）、并
r i 1
P（ai）
1、
0 P（ai） 1、（i 1，，r）
又设输出Y的符号集为B {b1，b2，，bs }。给定信道矩阵为
1.信道的分类
根据输入和输出信号的特点，信道可以为： (1)离散信道。它是指输入和输出的随机序列的取值 都是离散的信道 (2) 连续信道。它是指输入和输出的随机序列的取 值都是连续的信道。 (3) 半离散或半连续信道。输入序列是离散型的但 相应的输出序列是连续的信道，或者相反。
1.信道的分类
(4)波形信道。信道的输入和输出都是一些时间
《信息论基础》
第3章
主讲人：刘昌红
第3章离散信道及其信道容量
3.1 信道的数学模型及分类 1. 信道的分类 2. 离散信道的数学模型 3. 单符号离散信道的数学模型
3.2 信道容量及其一般计算方法 1. 离散无噪信道的信道容量 2. 对称离散信道的信道容量 3. 准对称信道的信道容量 4. 一般离散信道的信道容量
1.信道的分类
1.信道的分类 实际的通信系统中，信道的种类很多，包含的
设备也各式各样。实际的通信系统中，根据载荷消 息的媒体不同，可有邮递信道、电信道、光信道、 声信道等等。从信息传输的角度来考虑，信道输入 和输出信号的形式、信道的统计特性以及信道的用 户多少等方法来进行分类。
根据信道的用户 多少分类
P（ai / b j） PP（（abibj）j）、（P（b j） 0）
第3章_离散信道及其信道容量2
由于 I ( X；Y ) 是输入概率分布p( x) 的∩型凸函数，所以极大值一定存在。 r p(a i ) 1 而 I ( X；Y )是r个变量 p(a1 ), p(a 2 ), , p(a r )的多元函数，并满足 i 1 所以这是一个多元函数求条件极值的问题。于是，可以运用拉格朗日乘 子法来计算这个条件极值，其求解步骤如下： I ( X；Y ) p(a i ) ①引进一个新函数
信息论与编码
第三章 离散信道及其信道容量
1
本章内容提要 3.1 信道的数学模型及分类
信息论与编码
3.2 平均互信息及平均条件互信息 3.3 平均互信息特性 3.4 信道容量及其一般计算 3.6 离散无记忆扩展信道及其信道容量 3.9 信源与信道的匹配
2
信息论与编码
1 1-p 1 0 1-p
数字信道
0
信 息 源
信源 编码器
加 密 器
信道 编码器
调 制 器
信 道 噪声
解 调 器
信道 译码器
解 密 器
信源 译码器
受 信 者
n(t)
模拟信道
S(t)
+
r(t)
3
信息论与编码
3.4 信道容量及其一般计算
Ｘ
P(b j / ai )
Ｙ
I ( X ;Y ) H ( X ) H ( X / Y )
C maxI X；Y maxH X log r
px px
比特/符号
12
信息论与编码 （2）有噪无损信道
1 2 P 0 0 1 2 0 0 0 3 5 0 0 3 10 0 0 1 10 0 0 0 1
信息论与编码
第三章 离散信道及其信道容量
1
本章内容提要 3.1 信道的数学模型及分类
信息论与编码
3.2 平均互信息及平均条件互信息 3.3 平均互信息特性 3.4 信道容量及其一般计算 3.6 离散无记忆扩展信道及其信道容量 3.9 信源与信道的匹配
2
信息论与编码
1 1-p 1 0 1-p
数字信道
0
信 息 源
信源 编码器
加 密 器
信道 编码器
调 制 器
信 道 噪声
解 调 器
信道 译码器
解 密 器
信源 译码器
受 信 者
n(t)
模拟信道
S(t)
+
r(t)
3
信息论与编码
3.4 信道容量及其一般计算
Ｘ
P(b j / ai )
Ｙ
I ( X ;Y ) H ( X ) H ( X / Y )
C maxI X；Y maxH X log r
px px
比特/符号
12
信息论与编码 （2）有噪无损信道
1 2 P 0 0 1 2 0 0 0 3 5 0 0 3 10 0 0 1 10 0 0 0 1
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
第三章信道及信道容量PPT课件
第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第三章 离散信道及其容量
3.1 信道的数学模型及分类
通常信源发送的是包含信息的消息，消息转换 成适合信道传输的信号，然后通过信道传递给接 收者。 一般认为干扰或者噪声主要从信道引入，在信 道传输时使信号错误或者失真，因此信道的输入 和输出之间一般是不确定的函数关系，而是统计 依赖关系。 因此，只要知道输入输出信号以及它们的统计 依赖关系，那么信道的全部特性就确定了。
3.1 信道的数学模型及分类
3.1.2 信道的数学模型
条件概率P(y/x)描述了输入信号和输出信号之间 统计依赖关系,反映了信道的统计特性. 信道的数学模型有几种描述方法：(1)如上图用 框图描述；(2)数学语言描述；(3)信道传递图描 述；(4)信道传递矩阵描述。
3.1 信道的数学模型及分类
无扰(无噪声) 1 无扰(无噪声)信道 信道中没有随机性的干扰或干扰很小，输出信 号y与输入信号x之间有确定的对应的关系，其信 道传递图的特点：一一对应或多对一，但不交叉。 y＝f(x)
yN
∏ P( y | x )
i =1 N i i i i yN i =1
N
∑∏ P( y | x ) ∏ P( y | xx )
i =1 N −1 i i
N
= P( yN | xN )
⇒ P( yi | x1 x2 ⋯ xN y1 y2 ⋯ yi −1 ) = P( yi | xi ) ⇒ 是离散无记忆信道
P( yN | x1x2 ...xN y1 y2 ...yN −1 ) = P( y1 y2 ...yN | x1x2 ...xN ) P( y1 y2 ...yN −1 | x1x2 ...xN )
P( y1 y2 ...yN | x1x2 ...xN ) = = ∑ P( y1 y2...yN | x1x2...xN )
第3章.信道与信道容量
p(Y | X) p( y1 | x1) p( y2 | x2 ) p( yL | xL )
即每个输出信号只与当前的输入信号之间有转移概率关 系，而与其他非该时刻的输入信号、输出信号都无关， 也就是无记忆性。
14
3.1.2 信道参数
有干扰无记忆信道 按照输入输出信号的符号数目，有干扰信道可以进一步 划分为： （1）二进制离散信道 （2）离散无记忆信道 （3）离散输入、连续输出信道 （4）波形信道
22
3.2 离散单个符号信道及其容量
信息传输率
有时需要了解的是信道在单位时间内平均传输的信息量，
若已知平均传输一个符号所需的时间为t秒，则将信道
在单位时间内平均传输的信息量定义为信息传输速率，
即：
I ( X ;Y ) Rt t bit / s
注意：
R：单位为bit / 符号
信息传输率
Rt：单位为bit / s
maxH (Y ) H (Y | X ) p(ai )
max
p(ai )
H
(Y
)
H
(Y
|ai)393.2.2 对称DMC信道
对称DMC信道的容量 如果信道输入符号等概率分布，即p(ai)=1/n，则由于转 移概率矩阵的列对称，所以：
p(bj )
i
p(ai
)
p(bj
|
ai
)
1 n
i
p(bj | ai )
信息论不研究信号在信道中传输的物理过程，并假定信 道的传输特性已知，这样信息论就可以抽象地将信道用 下图所示的模型来描述。
3
3.1.1 信道的分类
信道
输入量X (随机过程)
P(Y | X ) 信道
输出量Y (随机过程)
即每个输出信号只与当前的输入信号之间有转移概率关 系，而与其他非该时刻的输入信号、输出信号都无关， 也就是无记忆性。
14
3.1.2 信道参数
有干扰无记忆信道 按照输入输出信号的符号数目，有干扰信道可以进一步 划分为： （1）二进制离散信道 （2）离散无记忆信道 （3）离散输入、连续输出信道 （4）波形信道
22
3.2 离散单个符号信道及其容量
信息传输率
有时需要了解的是信道在单位时间内平均传输的信息量，
若已知平均传输一个符号所需的时间为t秒，则将信道
在单位时间内平均传输的信息量定义为信息传输速率，
即：
I ( X ;Y ) Rt t bit / s
注意：
R：单位为bit / 符号
信息传输率
Rt：单位为bit / s
maxH (Y ) H (Y | X ) p(ai )
max
p(ai )
H
(Y
)
H
(Y
|ai)393.2.2 对称DMC信道
对称DMC信道的容量 如果信道输入符号等概率分布，即p(ai)=1/n，则由于转 移概率矩阵的列对称，所以：
p(bj )
i
p(ai
)
p(bj
|
ai
)
1 n
i
p(bj | ai )
信息论不研究信号在信道中传输的物理过程，并假定信 道的传输特性已知，这样信息论就可以抽象地将信道用 下图所示的模型来描述。
3
3.1.1 信道的分类
信道
输入量X (随机过程)
P(Y | X ) 信道
输出量Y (随机过程)
信息论：第3章离散信道及其信道容量
P ( b1 | a 1 ) P ( 0 | 0 ) 1 p p P ( b 2 | a 2 ) P (1 | 1 ) 1 p p P ( b1 | a 2 ) P ( 0 | 1 ) p P ( b 2 | a 1 ) P (1 | 0 ) p
a1=0
（2）多端(多用户)信道---输入端和输出端中至少有
两个以上的用户，并且可以双向通信的信道。
5
copyright ©赵越 ise_zhaoy1@
根据信道输入端和输出端的关联：
（1）无反馈信道---信道输出端无信号反馈到输入端，
即输出端信号对输入端信号无影响、无作用；
（2）反馈信道---输出端的信号反馈到输入端，对输
（2）连续信道---输入输出的随机序列的取值都是连续 的信道； （3）半离散或半连续信道---输入序列是离散型的，但 相应的输出序列是连续的信道，或相反。 （4）波形信道---输入和输出都是一些时间上连续的随 机信号。（又称模拟信道）
7
copyright ©赵越 ise_zhaoy1@
p(x | y) p( x)
所以，平均互信息 I ( X ; Y ) 永远不会取负值。 最差的情况是平均互信息为零，即信道输出端 接收到输出符号Y后不获得任何关于输入符号X的 信息量。
28
copyright ©赵越 ise_zhaoy1@
有记忆信道。
copyright ©赵越 ise_zhaoy1@
3.1.3 单符号离散信道
单符号离散信道：
输入符号为X，取值于{a1,a2, …,ar}。
输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率， 可以用来描述信道干扰影响的大小。
a1=0
（2）多端(多用户)信道---输入端和输出端中至少有
两个以上的用户，并且可以双向通信的信道。
5
copyright ©赵越 ise_zhaoy1@
根据信道输入端和输出端的关联：
（1）无反馈信道---信道输出端无信号反馈到输入端，
即输出端信号对输入端信号无影响、无作用；
（2）反馈信道---输出端的信号反馈到输入端，对输
（2）连续信道---输入输出的随机序列的取值都是连续 的信道； （3）半离散或半连续信道---输入序列是离散型的，但 相应的输出序列是连续的信道，或相反。 （4）波形信道---输入和输出都是一些时间上连续的随 机信号。（又称模拟信道）
7
copyright ©赵越 ise_zhaoy1@
p(x | y) p( x)
所以，平均互信息 I ( X ; Y ) 永远不会取负值。 最差的情况是平均互信息为零，即信道输出端 接收到输出符号Y后不获得任何关于输入符号X的 信息量。
28
copyright ©赵越 ise_zhaoy1@
有记忆信道。
copyright ©赵越 ise_zhaoy1@
3.1.3 单符号离散信道
单符号离散信道：
输入符号为X，取值于{a1,a2, …,ar}。
输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率， 可以用来描述信道干扰影响的大小。
第3章 信道及信道容量
– 缓冲电路，非门 – 移位加密法
X ;Y P ( X ;Y ) = 0 1
a b X → Y ≡ c ... z
01 0 1 1 0
X
Y
a b c ... z
c a d X ;Y b e , =c P X Y ; ( ) ... ... b z
n i =1
P( xi ) = 1 )=1
3
H
P( y
j =1
m
j
一、单符号离散信道及信道容量-续
如果信道无噪，当信源发出
消息xi，信宿接收的也是 xi，信道的输出yj等于输入 xi。
如果信道有噪，通过信道的
消息产生失真，信道的输出 yj一般不等于输入xi ，但它 们之间存在某种关系，由于 噪声的随机性，这种关系可 以用条件概率P(yj/xi)来描 述。
I ( x1 = 0; y1 = 0 ) = − lbP ( y1 ) + lbP ( y1 / x1 ) = − lb0.55 + lb1 ≈ 0.862(bit) I ( x 2 = 1; y1 = 0 ) = − lbP ( y1 ) + lbP ( y1 / x 2 ) = − lb0.55 + lb0.25 ≈ −1.138(bit)
= P ( x i y j ) lb = I (Y ; X )
– ②非负性 I ( X ;Y ) ≥ 0
i =1 j =1 n n P ( x j / yi ) P( x j )
– ①对称性 I ( X ;Y ) = I ( Y ; X )
– ③极值性
I ( X ;Y ) ≤ H ( X ) I ( X ;Y ) ≤ H (Y )
X ;Y P ( X ;Y ) = 0 1
a b X → Y ≡ c ... z
01 0 1 1 0
X
Y
a b c ... z
c a d X ;Y b e , =c P X Y ; ( ) ... ... b z
n i =1
P( xi ) = 1 )=1
3
H
P( y
j =1
m
j
一、单符号离散信道及信道容量-续
如果信道无噪，当信源发出
消息xi，信宿接收的也是 xi，信道的输出yj等于输入 xi。
如果信道有噪，通过信道的
消息产生失真，信道的输出 yj一般不等于输入xi ，但它 们之间存在某种关系，由于 噪声的随机性，这种关系可 以用条件概率P(yj/xi)来描 述。
I ( x1 = 0; y1 = 0 ) = − lbP ( y1 ) + lbP ( y1 / x1 ) = − lb0.55 + lb1 ≈ 0.862(bit) I ( x 2 = 1; y1 = 0 ) = − lbP ( y1 ) + lbP ( y1 / x 2 ) = − lb0.55 + lb0.25 ≈ −1.138(bit)
= P ( x i y j ) lb = I (Y ; X )
– ②非负性 I ( X ;Y ) ≥ 0
i =1 j =1 n n P ( x j / yi ) P( x j )
– ①对称性 I ( X ;Y ) = I ( Y ; X )
– ③极值性
I ( X ;Y ) ≤ H ( X ) I ( X ;Y ) ≤ H (Y )
第3章信道与信道容量32
j i j
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
14
3.2离散单个符号信道及其容量
信道容量
C＝ max I ( X ; Y )
p ( ai )
= max[ H (Y ) − H (Y | X )]
p ( ai ) p ( ai )
= max H (Y ) − H (Y / X )
第3章信道与信道容量
3.1信道分类和表示参数 3.2离散单个符号信道及其容量
离散无记忆信道：对称、准对称
3.4连续信道及其容量
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
1
3.1信道分类和表示参数
信道分类
用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半 连续、波形信道
• 信道种类
1 无干扰信道 2 有干扰无记忆信道 3 有干扰有记忆信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3
信道参数
无干扰（无噪声）信道
1, y = f (x) p ( Y / X) = 0, y ≠ f (x)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
13
3.2离散单个符号信道及其容量
•
输入对称
∑ p(b j / ai ) log p(b j / ai )与i无关
j
H (Y / X ) = −∑ p(ai )∑ p(b j / ai ) log p(b j / ai ) = −∑ p(b j / ai ) log p (b j / ai ) = H (Y / xi )
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
14
3.2离散单个符号信道及其容量
信道容量
C＝ max I ( X ; Y )
p ( ai )
= max[ H (Y ) − H (Y | X )]
p ( ai ) p ( ai )
= max H (Y ) − H (Y / X )
第3章信道与信道容量
3.1信道分类和表示参数 3.2离散单个符号信道及其容量
离散无记忆信道：对称、准对称
3.4连续信道及其容量
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
1
3.1信道分类和表示参数
信道分类
用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半 连续、波形信道
• 信道种类
1 无干扰信道 2 有干扰无记忆信道 3 有干扰有记忆信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 3
信道参数
无干扰（无噪声）信道
1, y = f (x) p ( Y / X) = 0, y ≠ f (x)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
13
3.2离散单个符号信道及其容量
•
输入对称
∑ p(b j / ai ) log p(b j / ai )与i无关
j
H (Y / X ) = −∑ p(ai )∑ p(b j / ai ) log p(b j / ai ) = −∑ p(b j / ai ) log p (b j / ai ) = H (Y / xi )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
当条件概率分布给定时，平均互信息量是输入概 率分布的上凸函数 当集合X的概率分布保持不变时，平均互信息量 是条件概率分布的下凸函数
3.4 信道容量
信息传输率就是互信息
信道中平均每个符号所能传送的信息量，即 信道的信息传输速率
R=I(X;Y)=H(X)－H(X/Y) 比特/符号
Rt=I(X;Y)/t
p(xy)logp(px()xp(y)y) p(xy)logpp(y(y/)x)
x,y
x,y
I(X ;Y )I(Y ;X )H (X )H (X/Y )
H (Y )H (Y/X )H (X )H (Y )H (X)Y
其中
H(XY ) p(xy)log1
x,y
p(xy)
损失熵和噪声熵
信道疑义度（损失熵）
P111//63
1/3 1/3
1/6 1/6
1/6 1/3
P2 00..72
0.1 0.1
0.2 0.7
对于准对称DMC信道，当输入分布为等概
分布时，互信息达到最大值，即为信道容量
准对称离散信道及其容量
Eg. 求信道容量
P00..53
0.3 0.5
0.2 0.2
信道的输入符号有两个，可设p(a1)＝，p(a2)＝1 －，信道的输出符号有三个，用b1、b2、b3表示
j1
对称离散信道及其容量
1 1 1 1
Eg. 求信道容量
P
3 1
3 1
6 1
6 1
6 6 3 3
Clo24 g H (1 3,1 3,1 6,1 6)0.08 b/2 i符 t 号
强对称信道(均匀信道)
1
P
n
1
n 1 1
n
1
n 1
n 1
n 1
1
C lon gH (1,
3.1 信道的分类及其描述
信道分类
– 用户数量：单用户、多用户 – 有记忆/无记忆信道 – 信道参数与时间的关系：固参、时变参 – 有噪/无声种类： 随机差错、突发差错 – 输入输出特点：离散、连续、半离散半连续、
波形信道
3.2 单符号离散信道
信道参数
， 输入信号 X ( X 1 ,X 2 , X i , ) X i, a 1 , , a n
X
Y
1
1
1
1
1 (c) 有噪无损信道
部分理想化的无干扰离散信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
多个输入变成一个输出( I(X;Y)=H(Y)<H(X) )
C＝maxI(X;Y)＝maxH(Y) = log m
一个输入对应多个输出( I(X;Y)=H(X)<H(Y) )
3.C）
1-p 0
p
0 p
1p p
P
p
1p
1
1
1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I(X;Y) p(xy)logpp(x(x/)y)
x,y
,, )
n1 n1
对称离散信道及其容量
二进制对称信道容量 C＝1+plog p +(1-p)log (1-p)
1
0 .8
0 .6
0 .4
0 .2
0
0
0 .2
0 .4
0 .6
0 .8
1
准对称离散信道及其容量
准对称DMC信道: 转移概率矩阵P的每一行
都包含同样的元素而各列的元素可以不同， 则称该信道是准对称DMC信道
• 前向概率 • 后向概率 • 先验概率 • 后验概率
p(bj / ai ) p(ai / bj )
p(ai ) p(ai / bj )
3.2 单符号离散信道
• 信道种类
1.无干扰信道 2.有干扰无记忆信道 3.有干扰有记忆信道
如果信道转移概率矩阵的每一行/每一列只 包含一个1，其余都为0，则信道是无干扰 离散息道，否则是有干扰信道
比特/秒
信道容量: I(X;Y)是p(x)、p(y/x)的函数，
并且是p(x)的凹函数。对固定的信道，存在
某个分布p(x)，使得I(X;Y)达到最大值，称
为信道容量 CmaIx(X;Y)
p(ai)
几个特殊信道的信道容量
无干扰离散信道的信道容量
aX
Y
1
1
1 (a) 无噪无损信道
X
Y
1
1
1
1
1 (b) 无噪有损信道
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
对称离散信道及其容量
• 两个性质：
• H(Y/X)与信道输入符号的分布无关
H(Y/X)p(ai)p(bj/ai)lopg(bj/ai)
i
j
p(bj/ai)lopg(bj/ai)H(Y/xi)
j
• 当输入等概分布时，输出符号也等概分布
p p p(((b b b1 3 2))) 0 0 0...5 2 3 0 0 0...3 2 5(((11 1 ))) 00 0...35 2 00..22
1
p (bj)
i
p (a i)p (bj/a i)ni
p (bj/a i)
对称离散信道及其容量
对称信道的信道容量容量
C＝maIx(X;Y)ma[H x(X)H(X|Y)]
p(ai)
p(ai)
ma[H x(Y)H(Y| X)]
p(ai)
maHx(Y)H(Y/X)
p(ai)
m
Clom gH (Y|ai)lom g pijlopg ij
输出信号 Y ( Y 1 ,Y 2 , Y j, )X j , b 1 , ,b m
条件概率 p(Y/X)来描述信道输入输出信号之间统 计的依赖关系。P称为转移概率矩阵
a1 a2
b1 b2
p11
P
p21
p12 p22
p1m
p2
m
an
bm
pn1
pn2
pnm
3.2 单符号离散信道
H (X /Y ) H (X ) I(X ;Y )
共熵
H ( X ) Y I ( X ;Y ) H ( X ) H ( Y )
噪声熵
H(Y / X) H(Y)I(X;Y)
平均互信息的特性
非负性：当且仅当X和Y统计独立时，取值0
对称性 I(X ;Y )I(Y ;X )
极值性
I ( X ; Y ) H ( X )I ( ; Y ; X ) H ( Y ) 凸性函数
C＝maxI(X;Y)＝maxH(X) = log n
对称离散信道及其容量
对称的DMC信道:如果转移概率矩阵P的每一行 都是第一行的置换(包含同样元素)，并且每一列 都是第一列的置换(包含同样元素)，称该信道为 对称的DMC信道
对称DMC信道例子
1 1 1 1
3 1
3 1
6 1
6 1
6 6 3 3
3.4 信道容量
信息传输率就是互信息
信道中平均每个符号所能传送的信息量，即 信道的信息传输速率
R=I(X;Y)=H(X)－H(X/Y) 比特/符号
Rt=I(X;Y)/t
p(xy)logp(px()xp(y)y) p(xy)logpp(y(y/)x)
x,y
x,y
I(X ;Y )I(Y ;X )H (X )H (X/Y )
H (Y )H (Y/X )H (X )H (Y )H (X)Y
其中
H(XY ) p(xy)log1
x,y
p(xy)
损失熵和噪声熵
信道疑义度（损失熵）
P111//63
1/3 1/3
1/6 1/6
1/6 1/3
P2 00..72
0.1 0.1
0.2 0.7
对于准对称DMC信道，当输入分布为等概
分布时，互信息达到最大值，即为信道容量
准对称离散信道及其容量
Eg. 求信道容量
P00..53
0.3 0.5
0.2 0.2
信道的输入符号有两个，可设p(a1)＝，p(a2)＝1 －，信道的输出符号有三个，用b1、b2、b3表示
j1
对称离散信道及其容量
1 1 1 1
Eg. 求信道容量
P
3 1
3 1
6 1
6 1
6 6 3 3
Clo24 g H (1 3,1 3,1 6,1 6)0.08 b/2 i符 t 号
强对称信道(均匀信道)
1
P
n
1
n 1 1
n
1
n 1
n 1
n 1
1
C lon gH (1,
3.1 信道的分类及其描述
信道分类
– 用户数量：单用户、多用户 – 有记忆/无记忆信道 – 信道参数与时间的关系：固参、时变参 – 有噪/无声种类： 随机差错、突发差错 – 输入输出特点：离散、连续、半离散半连续、
波形信道
3.2 单符号离散信道
信道参数
， 输入信号 X ( X 1 ,X 2 , X i , ) X i, a 1 , , a n
X
Y
1
1
1
1
1 (c) 有噪无损信道
部分理想化的无干扰离散信道
几个特殊信道的信道容量
X、Y一一对应 ( I(X;Y)=H(X)=H(Y) ) C＝maxI(X;Y)＝log n
多个输入变成一个输出( I(X;Y)=H(Y)<H(X) )
C＝maxI(X;Y)＝maxH(Y) = log m
一个输入对应多个输出( I(X;Y)=H(X)<H(Y) )
3.C）
1-p 0
p
0 p
1p p
P
p
1p
1
1
1-p
如果信道转移概率矩阵的每一行/每一列只包 含一个1，其余都为0，则信道是无干扰离散 息道，否则是有干扰信道
3.3 平均互信息及其特性
平均互信息量
I(X;Y) p(xy)logpp(x(x/)y)
x,y
,, )
n1 n1
对称离散信道及其容量
二进制对称信道容量 C＝1+plog p +(1-p)log (1-p)
1
0 .8
0 .6
0 .4
0 .2
0
0
0 .2
0 .4
0 .6
0 .8
1
准对称离散信道及其容量
准对称DMC信道: 转移概率矩阵P的每一行
都包含同样的元素而各列的元素可以不同， 则称该信道是准对称DMC信道
• 前向概率 • 后向概率 • 先验概率 • 后验概率
p(bj / ai ) p(ai / bj )
p(ai ) p(ai / bj )
3.2 单符号离散信道
• 信道种类
1.无干扰信道 2.有干扰无记忆信道 3.有干扰有记忆信道
如果信道转移概率矩阵的每一行/每一列只 包含一个1，其余都为0，则信道是无干扰 离散息道，否则是有干扰信道
比特/秒
信道容量: I(X;Y)是p(x)、p(y/x)的函数，
并且是p(x)的凹函数。对固定的信道，存在
某个分布p(x)，使得I(X;Y)达到最大值，称
为信道容量 CmaIx(X;Y)
p(ai)
几个特殊信道的信道容量
无干扰离散信道的信道容量
aX
Y
1
1
1 (a) 无噪无损信道
X
Y
1
1
1
1
1 (b) 无噪有损信道
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
对称离散信道及其容量
• 两个性质：
• H(Y/X)与信道输入符号的分布无关
H(Y/X)p(ai)p(bj/ai)lopg(bj/ai)
i
j
p(bj/ai)lopg(bj/ai)H(Y/xi)
j
• 当输入等概分布时，输出符号也等概分布
p p p(((b b b1 3 2))) 0 0 0...5 2 3 0 0 0...3 2 5(((11 1 ))) 00 0...35 2 00..22
1
p (bj)
i
p (a i)p (bj/a i)ni
p (bj/a i)
对称离散信道及其容量
对称信道的信道容量容量
C＝maIx(X;Y)ma[H x(X)H(X|Y)]
p(ai)
p(ai)
ma[H x(Y)H(Y| X)]
p(ai)
maHx(Y)H(Y/X)
p(ai)
m
Clom gH (Y|ai)lom g pijlopg ij
输出信号 Y ( Y 1 ,Y 2 , Y j, )X j , b 1 , ,b m
条件概率 p(Y/X)来描述信道输入输出信号之间统 计的依赖关系。P称为转移概率矩阵
a1 a2
b1 b2
p11
P
p21
p12 p22
p1m
p2
m
an
bm
pn1
pn2
pnm
3.2 单符号离散信道
H (X /Y ) H (X ) I(X ;Y )
共熵
H ( X ) Y I ( X ;Y ) H ( X ) H ( Y )
噪声熵
H(Y / X) H(Y)I(X;Y)
平均互信息的特性
非负性：当且仅当X和Y统计独立时，取值0
对称性 I(X ;Y )I(Y ;X )
极值性
I ( X ; Y ) H ( X )I ( ; Y ; X ) H ( Y ) 凸性函数
C＝maxI(X;Y)＝maxH(X) = log n
对称离散信道及其容量
对称的DMC信道:如果转移概率矩阵P的每一行 都是第一行的置换(包含同样元素)，并且每一列 都是第一列的置换(包含同样元素)，称该信道为 对称的DMC信道
对称DMC信道例子
1 1 1 1
3 1
3 1
6 1
6 1
6 6 3 3