2012.信息论.第4章离散信道及其容量

0有损hyx0无噪hxy0无损hyx0无噪特点一多对应多一对应一一对应损失熵和噪声熵45分类无损确定信道无损信道确定信道信道容量最佳信源logbitrc?符号logbitrc?符号logbitsc?符号1pxr?1pxr?px等概分布等概分布使信道输出为等概率分布py1s的输入分布信道容量和最佳信源46离散输入对称信道若一个离散无记忆信道的信道矩阵中每一行都是其它行的同一组元素的不同排列则称此类信道为离散输入对称信道
i 1
NHale Waihona Puke 7二、单符号离散无记忆信道 1、定义：假设信道输入随机变量为X，取值为x，
x A a1 , a2 ,..., ar
输出随机变量为Y，取值为y，
Ｘ
信道
p(y|x)
Y
y B {b1 , b2 ,..., bs }
信道传递(转移)概率为
p(b j | ai ) 0 p( y | x) P(Y b j | X ai ) P(b j | ai ) s i 1,2,..., r；j 1,2,..., s p(b j | ai ) 1 8 j 1
X 1 X 2 X N
并联信道
Y1Y2 YN
28
2、级联信道：两个或两个以上信道串联传送信息 X Y Z 信道1 信道2
级联信道是最常见的信道组合形式
29
二、级联信道：信道Ⅰ，信道Ⅱ满足:
§ 4.2 离散无记忆信道 一、离散信道数学模型 Ｘ=X1X2…XN 信道 p(y|x)
Y=Y1Y2…YN
输入符号集A={a1,a2,…,ar}，输出符号集B={b1,b2, …,bs} 输入序列Ｘ=X1X2…XN，取值x=x1x2…xN，xi∈A 输出序列Y=Y1Y2…YN，取值y=y1y2…yN，yi∈B 信道特性可用转移概率 p(y|x)=p(y1y2…yN|x1x2…xN) 描述，信道数学模型为 [ X p(y|x) Y] 4
n
H ( X 1 / Y1 ) H ( X 2 / Y2 ) H ( X 3 / Y3 ) ... H ( X N / YN ) ( H ( X i ) H ( X i / Yi )) N ( H ( X ) H ( X / Y )) NI ( X ; Y )
4、平均互信息量
定义：原始信源熵与信道疑义度之差
I ( X ;Y ) H ( X ) H ( X Y ) ① H(X)是先验的不确定性；
② H(X | Y)是尚存在的不确定性； ③ I(X ; Y)是消除的不确定性； ④ I(X ; Y)是信源分布p(x)和信道传递概率p(y|x)的函数
p( y | x ) I ( X ;Y ) p( y | x ) p( x ) log XY p( y | x ) p( x )
第4章 离散信道及其容量
§ 4.1 信道模型及其分类 一、信道的数学模型 信道是信息传输的媒质或通道。其数学模型如下:
信 源 输入端
干扰
信 道 输出端
信 宿
1、信道输入事件的概率空间为[X P] 2、信道输出事件的概率空间为[Y P] 1 3、信道相当于一个数学变换，可以用条件概率描述
二、信道的分类 1、输入输出事件取值集合性质 ①离散信道：Ｘ和Ｙ都是离散事件集合，数字信道 ②连续信道：Ｘ和Ｙ都是连续事件集合，模拟信道 ③半连续信道：Ｘ和Ｙ一个是离散事件集合，一个是 连续事件集合 ④时间离散的连续信道：信道输入和输出是取值于连 续集合的序列。 ⑤波形信道：信道输入和输出是随机过程。
I[p(x)] ≥ αI[p1(x)] +(1-α)I[p2(x)]
18
I(p(x)) 信道容量
意义：对于给定的信 道，至少存在一个信 源，当通过这个信道 传递时，可以获得最 大的平均互信息。
P1(x)
P2(x)
P(x)
p( y | x ) I ( X ;Y ) p( y | x ) p( x ) log XY p( y | x ) p( x )
信道传递概率可以用传递概率矩阵表示，称为信 道矩阵P。
p11 p 21 P pr1
信道矩阵P的特点：
p12 p22 pr 2
p1s p2 s prs
＊每个元素均大于等于零；
＊每行元素之和等于1。
9
二元对称信道
-
10
二元删除信道
11
二元对称消失信道
X
19
考虑二元信道的情况
20
I(X;Y)
1-H(P)
0
0.5
1.0
w
固定二元对称信道的平均互信息
21
定理二：对于给定的信源，I(X ; Y)是信源传递函数 p(y|x)的下凸函数。
即：对于信源p(x)，假定信道p1(y|x)，p2(y|x)，p(y|x)对 应的平均互信息为I[p1(y|x)]，I[p2(y|x)]，I[p(y|x)] 若有p(y|x) =αp1(y|x)+ (1-α)p2(y|x)，0≤α≤1，则
若DMC对于任意给定的 n 和 m 有
p( yn= bj | xn= ai) = p( ym= bj | xm= ai)
则称为平稳信道，即信道转移概率不随时间变化。
5
3、离散信道分类 ①无噪（无扰）信道 信道的输入和输出集存在确定的函数关系。
yn f ( xn )
1 p ( yn | xn ) 0 yn f ( xn ) yn f ( xn )
2
2、根据输入和输出的个数分为 两端信道：输入和输出只有一个事件集合， 也称单用户信道 。 多端信道：输入和输出至少有一端有两个以上的事 件集合，也称多用户信道。 3、根据信道的统计特性分为 恒参信道：信道统计特性不随时间变化。 随参信道：信道统计特性随时间变化。 4、根据信道的记忆特性分为 无记忆信道：信道输出集Ｙ仅与当前输入集Ｘ有关 有记忆信道：信道输出集Ｙ与当前和以前若干个输 入集有关。 3
②（有干扰）无记忆离散信道
y n f ( xn )
p(y | x) p( y1 y2 ... y N | x1 x2 ... xN ) p( yi | xi )
i 1
N
6
③ （有干扰）有记忆离散信道
y n f ( xn )
p(y | x) p( y1 y2 ... y N | x1 x2 ... xN ) p( yi | xi )
25
2、离散信道N次无记忆扩展信道的概率空间：
[X , p( y | x ), Y ]
输入符号集合为
A N {1 , 2 ,..., r N }
N
N
N
N
输出符号集合为
B N {1 , 2 ,..., s N }
1 a1a1 ...a1 2 a1a1 ...a2 ... k ak ak ...ak 1 2 N ... a a ...a r r r rN
I[p(y|x)]≤αI[p1(y|x)]+ (1-α)I[p2(y|x)] 意义：对于给定的信源，存在一个信道，当这个信源 通过时，获得最小的平均互信息。
22
I(X;Y) H(w) 当p=1/2时,I(X;Y)=0, 信道输出端获得的信 息量最小。
0
0.5
1.0
23
p
§4.3、离散无记忆扩展信道 1、离散N次无记忆扩展信道定义： 假设离散信道为［X, p(y|x), Y］, 输入符号集合：A={a1,a2,……,ar} Ｘ 输出符号集合：B={b1,b2, ……,bs} X取值集合为Ａ，Ｙ取值集合为Ｂ。 将输入，输出Ｎ次扩展得
r
p ( ai ) p (b j | ai )
p ( a ) p (b
i 1 i
r
j
| ai )
i 1,2,..., r; j 1,2,..., s
i 1
p(b j ) P(Y b j ) p(ai ) p(b j | ai ), j 1,2,..., s
14
3、信道疑义度 定义：条件熵
传递概率为
N N
1 b1b1 ...b1 2 b1b1 ...b2 ... h bh bh ...bh 1 2 N ... b b ...b s s s sN
N
p( y | x ) p( h | k ) p(bh1 bh2 ...bhN | ak1 ak2 ...ak N ) p(bhi | aki )
i 1
I(X;Y)是原始信道[X p(y|x) Y]的平均互信息量， 等号成立的充要条件是信道输入无记忆扩展信源。
27
§4.4 信道的组合 一、组合信道分类 1、并联信道：两个或两个以上信道并行传送信息 X1 Y1 信道1 X2
信道2
Y2
XN
信道N
YN
扩展信道可以 看成N个相同信 道的并联组合 信道。
X ( X 1 X 2 ... X N )
信道
p(y|x)
Y
信道
p(y|x)
Y (Y1Y2 ...YN )
其中,Ｘi取值于Ａ，Ｙi取值于Ｂ，i=1,2,……Ｎ
24
其数学模型为：
X 1 X 2 X N
信道
Y1Y2 YN
p( y1 y2 yN | x1 x2 xN )
①若
p( y | x ) p( y1 y2 ... y N | x1 x2 ... x N ) p( yi | xi )
③联合概率
p(ai b j ) P( X ai , Y b j ) p(ai ) p(b j | ai ) i 1,2,..., r; j 1,2,..., s
④后向概率（又称后验概率）
p ( ai | b j ) P ( X a i | Y b j )
⑤输出符号概率
i 1
N
则称其为[X, p(y|x), Y]的Ｎ次无记忆扩展信道，记作
[X , p( y | x ), Y ]
②若
p(y | x) p( y1 y2 ... y N | x1 x2 ... xN ) p( yi | xi )
i 1 N
N
N
N
N
则称其为[X, p(y|x), Y]的Ｎ次有记忆扩展信道。
12
2、常用概率公式 ①先验概率
p(ai ) P( X ai )
i 1, 2,, r
②前向概率（即信道传递概率）
p (ai ) 0 r p (ai ) 1 i 1
p(b j | ai ) p(Y b j | X ai ) i 1,2,..., r p(b j | ai ) 0 s j 1,2,..., s p(b j | ai ) 1, i 1,2,...r 13 j 1
1 H ( X | Y ) E[ H ( X | b j )] p( ai b j ) log p(ai | b j ) j 1 i 1 定义为信道疑义度。 ①信宿收到符号Y后，对输入符号X尚存在的平均不 确定程度——损失熵。 ②H(X | Y) = 0的信道称为无损信道。
s r
15
i 1
26
aki A {a1 , a2 ,..., ar }, bhi B {b1 , b2 ,..., bs }
3、离散信道N次无记忆扩展信道的平均互信息量：
I ( X N ;Y N ) H ( X N ) H ( X N | Y N ) H ( X 1 ) H ( X 2 / X 1 ) H ( X 3 / X 2 X 1 ) ... H ( X N / X N 1 X 2 X 1 ) H ( X 1 / Y1 ) H ( X 2 / Y2 ) H ( X 3 / Y3 ) ... H ( X N / YN ) H ( X 1 ) H ( X 2 ) H ( X 3 ) ... H ( X N )
X
16
def
Ｘ
H(X)
信道
p(y|x)
Y
H(Y)
H(X/Y) I(X;Y) 信道疑义度 平均互信息量 H(Y/X) 噪声熵
17
定理一：对于给定的信道，I(X ; Y)是信源分布p(x)的 上凸函数。
即：对于信道p(y|x)，假定信源p1(x)，p2(x)，p(x)对 应的平均互信息为I[p1(x)]，I[p2(x)]，I[p(x)] 若有p(x) = αp1(x) +(1-α)p2(x)，0≤α≤1，则
1、离散无记忆信道discrete memoryless channel(DMC) 若离散信道的转移概率满足
p(y | x) p( y1 y2 ... y N | x1 x2 ... xN ) p( yi | xi )
i 1
N
则称其为离散无记忆信道，记作 [ X p(yi|xi) Y] 2、平稳信道（恒参信道）