信息论第四章(叶中行)

1
1-q
1
例4.2.2 （高噪声打印机）信道输入与输出字母集分 别是 { A, B,..., Z , }.其中 表示空格，这27个字 1 符排成一圈，当输入某个字符时，输出以等概率 产 3 生它本身及相邻2个字符，例如： P （Y A | X B） =P （Y B | X B） 1 =P （Y C | X B）= 3 求信道容量C.
第4章 数据可靠传输和信道编码
信定义
信道在通信系统中作用
研究信道的哪些问题？
§4.1 离散无记忆信道和信道容量 §4.2 信道容量的计算 §4.3 信道编码理论 §4.4 带反馈的信道模型 §4.5 联合信源——信道编码定理 §4.6 线性分组码
§4.1 数据可靠传输和信道编码
一.信道分类 1.根据传输媒介的类型划分 有线信道 传输媒介类型 无线信道 2.根据用户数量分类，分为单用户信道和多用户 信道 3.根据信道输入端和输出端关系，分为无反馈信 道和反馈信道
p( x) p( x)
例4.1.2 二进无噪信道 Pr (Y 0 X 0) Q(0 0) Pr (Y 1 X 1) Q(1 1) 1, 其他转移概率为0, 求信道容量
b.具有扩展性能的无噪信道
C max I ( X ; Y ) max H ( x) =log 2 n
例4.1.4 求二进对称删除信道的信道容量


0
1
0

1
0
0
定义4.1.4(弱对称信道)
如果转移概率矩阵的每一行都是其他行的置换， 而每列的元素之和相等，称为弱对称信道
其信道容量为
例 英文26个字母中每一个以0.5概率复制成自己，以 0.5概率变成下一个字母，信道容量。
例3 3 离散无记忆模k加性噪声信道Y =X Zmodk , 其中X,Y,Z 取值范围相同，X = Y = Z ={0,1,2, ,k-1} ,p(z )为任意分布。求该信道容量
定理4.2.2 对离散无记忆信道[，Q （y | x）, ],其输入 分布p *(x)能达到的信道容量（即使I(X;Y )=I ( p; Q)达 到最大）的充要条件是： C ,当p *(x)>0 D(Q （y | x）p(y ) )|p (x )=p*(x ) C ,当p *(x)=0 其中p(y )= p(x)Q （y | x） ，C即为信道容量。
4.根据信道的物理性质，分为固定参数信道 和变参数信道
5.根据输入输出信号的特点，分为离散信道、 连续信道、半离散半连续信道、波形信道 6. 根据信道输入输出随机变量个数的多少， 分为单符号信道和多符号信道
7. 根据信道有无干扰，分为有干扰信道和无 干扰信道 8. 根据信道有无记忆性，分为有记忆信道和 无记忆信道 9. 根据信道中受噪声干扰的不同，分为随机 差错信道和突发信道
信道表示方法
平稳信道定义 若对任意n和m，离散无记忆信道满足 则称此信道为平稳的或恒参的，记为 , Q( y | x), Q( yn j | xn i ) Q( ym j | xm i )
衡量一个信息传递系统的好坏，有两个指标 a.数量指标：信息传输率R b.质量指标：平均错误率Pe 信道编码的目的： 使译码错误概率Pe在一定限制下使码率R达到最 大
r1 ( x)Q( y | x) def r1 ( x)Q( y | x) Q( x | y) rQ r1 ( x)Q( y | x) 1 ( y)
x
2. 固定这个 Q( | ) ，计算达到 min r1QA D(rQ 1 || Q 1Q) 的最好输入分布 r2 ( x) r2 ( x) A11r1 ( x)exp[D(Q( | x) || rQ 1 ()]
4.2.2 信道容量的迭代算法
• 简单的信道容量：用拉格朗日法求解 • 复杂的信道容量：求解极值比较困难，必须 借助数值方法。 • 此处介绍由本单(Arimoto)和布莱赫特(Blahut) 1972年分别独立给出的迭代算法。
Q( x | y ) J (r , Q, Q) r ( y )Q ( x | y ) log r ( x) y x Q( x | y ) def I ( X ; Y ) r ( y )Q ( y | x) log I (r , Q) r ( x) y x r ( x)Q( y | x) log
p( x) p( x)
其中h( )=- log -(1- )log(1- )
定义4.1.3 如果矩阵的每一行都是其他行的置换,每一列 都是其他列的置换,称这种信道为对称信道 1 1 1 2 3 6 1 1 1 1 3 3 6 6 1 1 1 P2 P1 6 2 3 1 1 1 1 1 1 1 6 6 3 3 3 6 2
p( x) p( x)
c.具有归并性能的无噪信道
C max I ( X ; Y ) max H ( x) =log 2 m
p( x) p( x)
结论：无噪信道的信道容量C只决定于信道的输 入符号数n或输出符号数m，与信源无关
2.对称信道
二进对称信道
C max I ( X ; Y ) max H (Y ) -h( )=1-h( )
X mod k Y
Z
§4.2 信道容量的计算
• 拉格朗日乘子法 • 信道容量的迭代算法 注意：信道容量的计算实际上是求解一个 有约束的凸函数的条件极值问题。
定义4.1.2(信道容量) 一个离散无记忆信道的信道 容量定义为 C max R max I ( X ; Y ) max I ( p; Q) bit 符号
R I ( X ; Y ) H ( X ) H ( X | Y ) H (Y ) H (Y | X )
定义4.1.2(信道容量) 一个离散无记忆信道的信道 容量定义为 C max R max I ( X ; Y ) max I ( p; Q) bit 符号
p( x) p( x) p( x)
其中 A 1 （以及以下的 An 等）是使左边成为概率密度函数的规范化常数。 3. 计算
Q1( x | y) D(r2Q || QQ ) r2 x ( ) Q y( x | ) l o g r2 ( x) x y
4. 以下再重复上述过程(即 1~3)，直到达到预设的精度为止。
r2 ( x)
Q ( x | y )
1 y x y
Q ( y| x )
Q1( x | y)
Q ( y| x )
r1 ( x)Q( y | x) r1 ( x) ( ) r1Q( y ) y A1
Q ( y| x )
A11r1 ( x) exp[ D(Q( | x) || r1Q()] 注意 :
x y
Q( y | x) r ( y)
p ( x, y ) r ( x)Q( y | x), r ( y ) r ( x)Q( y | x)
x
引理4.2.4 J(r,Q,Q) I (r , Q), 且等号成立的充要 条件是Q( x | y ) Q( x | y )对所有满足p( x, y ) 0的 x ，y 成立
要条件是： f (x) 0，当xi 0 xi x x* i 1, 2,3...n f (x) 0，当xi 0 xi x x*
注：当 f ( x) 是凹函数， M max f ( x) ，类似结论成立，只须把“ ”变成“ ”号。 由于 I ( X ; Y ) I ( p; Q) 是关于输入分布 p(x)的函数，利用上述引理可得关于信道容量 输入分布的充要条件。
x y def
r ( x)Q( x | y ) Q( x | y )Q( x | y )
D( r ( x)Q( y | x) || Q( x | y)Q( y | x)) D(rQ || QQ)
计算信道容量的迭代算法：
1. 从任一输入分布 r1 ( x) 开始，找到达到 min QQB D(rQ || QQ) 的最好条件分布
x
定理4.2.3 离散无记忆信道Q （Q （y | x），x ，y ） 的信道容量C有以下性质： 1）C 0; 2) C log ; 3) C log ;
例4.2.1
Z 信道（见下图）输入集 {0，，输出集 1}
X 0 1 q Y 0
{0，，求 1} 信道容量
max:所有输入分布集 p(x)
三点说明： (1)信道容量C是R的上限 (2)使得I(X;Y)达到最大值的输入分布称为最佳输入 分布 (3)I(X;Y)与输入概率分布和转移概率两者有关
三、特殊单符号离散信道的信道容量
1.无噪信道 a.具有一一对应关系的无噪信道 信道容量
C max I ( X ; Y ) max H ( x) =log 2n
1 1 1 1 3 3 6 6 0.7 0.2 0.1 P4 P3 1 1 1 1 0.2 0.1 0.7 6 3 6 3 另一种对称信道定义
如果一个矩阵的每一行都是同一集合Q q1 , q2 , 中诸元素的不同排列，称矩阵的行可排列。 如果一个矩阵的每一列都是同一集合P p1 , p2 , 中诸元素的不同排列，称矩阵的行可排列。
J (r , Q, Q) r ( y )Q( x | y ) log
y x
Q( x | y ) r ( x)
Q( x | y ) I (r , Q) r ( y )Q( y | x) log r ( x) y x
Q( x | y ) J (r , Q, Q) r ( y )Q( x | y ) log r ( x) y x r ( x)Q( y | x) log