信息论第四章(叶中行)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p( x) p( x)
c.具有归并性能的无噪信道
C max I ( X ; Y ) max H ( x) =log 2 m
p( x) p( x)
结论：无噪信道的信道容量C只决定于信道的输 入符号数n或输出符号数m，与信源无关
2.对称信道
二进对称信道
C max I ( X ; Y ) max H (Y ) -h( )=1-h( )
二、离散信道的数学模型
W W
信道通信模型框图
信道
X
n
n
信道 Q(y|x)
Y
n
n
信道 译码器D
W W
编码器E
X 信道Q(y|x) 干扰
Y
狭义信道模型
定义4.1.1 如果离散信道对任何n，有 Q ( y n | x n ) Q ( yi | xi )
i 1 n
其中Q( yi | xi )不依赖于i, 则称信道为无记忆信道， 记为 , Q( yi | xi ),
其中 A 1 （以及以下的 An 等）是使左边成为概率密度函数的规范化常数。 3. 计算
Q1( x | y) D(r2Q || QQ ) r2 x ( ) Q y( x | ) l o g r2 ( x) x y
4. 以下再重复上述过程(即 1~3)，直到达到预设的精度为止。
r2 ( x)
1 1 1 1 3 3 6 6 0.7 0.2 0.1 P4 P3 1 1 1 1 0.2 0.1 0.7 6 3 6 3 另一种对称信道定义
如果一个矩阵的每一行都是同一集合Q q1 , q2 , 中诸元素的不同排列，称矩阵的行可排列。 如果一个矩阵的每一列都是同一集合P p1 , p2 , 中诸元素的不同排列，称矩阵的行可排列。
第4章 数据可靠传输和信道编码
信道定义
信道在通信系统中作用
研究信道的哪些问题？
§4.1 离散无记忆信道和信道容量 §4.2 信道容量的计算 §4.3 信道编码理论 §4.4 带反馈的信道模型 §4.5 联合信源——信道编码定理 §4.6 线性分组码
§4.1 数据可靠传输和信道编码
一.信道分类 1.根据传输媒介的类型划分 有线信道 传输媒介类型 无线信道 2.根据用户数量分类，分为单用户信道和多用户 信道 3.根据信道输入端和输出端关系，分为无反馈信 道和反馈信道
1
1-q
1
例4.2.2 （高噪声打印机）信道输入与输出字母集分 别是 { A, B,..., Z , }.其中 表示空格，这27个字 1 符排成一圈，当输入某个字符时，输出以等概率 产 3 生它本身及相邻2个字符，例如： P （Y A | X B） =P （Y B | X B） 1 =P （Y C | X B）= 3 求信道容量C.
Q ( x | y )
1 y x y
Q ( y| x )
Q1( x | y)
Q ( y| x )
r1 ( x)Q( y | x) r1 ( x) ( ) r1Q( y ) y A1
Q ( y| x )
A11r1 ( x) exp[ D(Q( | x) || r1Q()] 注意 :
x
定理4.2.3 离散无记忆信道Q （Q （y | x），x ，y ） 的信道容量C有以下性质： 1）C 0; 2) C log ; 3) C log ;
例4.2.1
Z 信道（见下图）输入集 {0，，输出集 1}
X 0 1 q Y 0
{0，，求 1} 信道容量
4.2.2 信道容量的迭代算法
• 简单的信道容量：用拉格朗日法求解 • 复杂的信道容量：求解极值比较困难，必须 借助数值方法。 • 此处介绍由本单(Arimoto)和布莱赫特(Blahut) 1972年分别独立给出的迭代算法。
Q( x | y ) J (r , Q, Q) r ( y )Q ( x | y ) log r ( x) y x Q( x | y ) def I ( X ; Y ) r ( y )Q ( y | x) log I (r , Q) r ( x) y x r ( x)Q( y | x) log
若一个矩阵的行和列都是可排列的，称这个矩阵是可排 列的，若一个矩阵具有可排列性，称信道为对称信道
, qm , pn
推广：强对称信道
1- n-1 n-1 1- 信道转移概率矩阵为P= n-1 n-1 n-1 n-1 n-1 信道输入随机变量和输出随机变量的取值个数
p( x) p( x)
例4.1.2 二进无噪信道 Pr (Y 0 X 0) Q(0 0) Pr (Y 1 X 1) Q(1 1) 1, 其他转移概率为0, 求信道容量
b.具有扩展性能的无噪信道
C max I ( X ; Y ) max H ( x) =log 2 n
定理4.2.2 对离散无记忆信道[，Q （y | x）, ],其输入 分布p *(x)能达到的信道容量（即使I(X;Y )=I ( p; Q)达 到最大）的充要条件是： C ,当p *(x)>0 D(Q （y | x）p(y ) )|p (x )=p*(x ) C ,当p *(x)=0 其中p(y )= p(x)Q （y | x） ，C即为信道容量。
x y def
r ( x)Q( x | y ) Q(பைடு நூலகம்x | y )Q( x | y )
D( r ( x)Q( y | x) || Q( x | y)Q( y | x)) D(rQ || QQ)
计算信道容量的迭代算法：
1. 从任一输入分布 r1 ( x) 开始，找到达到 min QQB D(rQ || QQ) 的最好条件分布
4.根据信道的物理性质，分为固定参数信道 和变参数信道
5.根据输入输出信号的特点，分为离散信道、 连续信道、半离散半连续信道、波形信道 6. 根据信道输入输出随机变量个数的多少， 分为单符号信道和多符号信道
7. 根据信道有无干扰，分为有干扰信道和无 干扰信道 8. 根据信道有无记忆性，分为有记忆信道和 无记忆信道 9. 根据信道中受噪声干扰的不同，分为随机 差错信道和突发信道
r1 ( x)Q( y | x) def r1 ( x)Q( y | x) Q( x | y) rQ r1 ( x)Q( y | x) 1 ( y)
x
2. 固定这个 Q( | ) ，计算达到 min r1QA D(rQ 1 || Q 1Q) 的最好输入分布 r2 ( x) r2 ( x) A11r1 ( x)exp[D(Q( | x) || rQ 1 ()]
例4.1.4 求二进对称删除信道的信道容量
0
1
0
1
0
0
定义4.1.4(弱对称信道)
如果转移概率矩阵的每一行都是其他行的置换， 而每列的元素之和相等，称为弱对称信道
其信道容量为
例 英文26个字母中每一个以0.5概率复制成自己，以 0.5概率变成下一个字母，信道容量。
例3 3 离散无记忆模k加性噪声信道Y =X Zmodk , 其中X,Y,Z 取值范围相同，X = Y = Z ={0,1,2, ,k-1} ,p(z )为任意分布。求该信道容量
max:所有输入分布集 p(x)
三点说明： (1)信道容量C是R的上限 (2)使得I(X;Y)达到最大值的输入分布称为最佳输入 分布 (3)I(X;Y)与输入概率分布和转移概率两者有关
三、特殊单符号离散信道的信道容量
1.无噪信道 a.具有一一对应关系的无噪信道 信道容量
C max I ( X ; Y ) max H ( x) =log 2n
J (r , Q, Q) r ( y )Q( x | y ) log
y x
Q( x | y ) r ( x)
Q( x | y ) I (r , Q) r ( y )Q( y | x) log r ( x) y x
Q( x | y ) J (r , Q, Q) r ( y )Q( x | y ) log r ( x) y x r ( x)Q( y | x) log
x y
Q( y | x) r ( y)
p ( x, y ) r ( x)Q( y | x), r ( y ) r ( x)Q( y | x)
x
引理4.2.4 J(r,Q,Q) I (r , Q), 且等号成立的充要 条件是Q( x | y ) Q( x | y )对所有满足p( x, y ) 0的 x ，y 成立
p( x) p( x) p( x)
max:所有输入分布集 p(x)
4.2.1 拉格朗日乘子法
引理4.2.1 设f (x)是定义在R n + {( x1，x2，...xn ); xi 0, i 1, 2,3...n}上的连续可微凸函数，M =minf (x)
* 是f (x)在R n 上的 最 小值 ，则 x x 时达到最小值的充 +
相同，都为n,且正确的传递概率为1-，错误概率 为 被对称平均地分给n-1个输出符号，此信道称 为强对称或均匀信道
准对称信道定义
如果转移概率矩阵P是输入对称矩阵(行可排列)而 输出不对称(列不可排列)，即转移概率矩阵P的 每一行都包含同样的元素，而各列的元素可以 不同，称该信道为准对称DMC信道
信道表示方法
平稳信道定义 若对任意n和m，离散无记忆信道满足 则称此信道为平稳的或恒参的，记为 , Q( y | x), Q( yn j | xn i ) Q( ym j | xm i )
衡量一个信息传递系统的好坏，有两个指标 a.数量指标：信息传输率R b.质量指标：平均错误率Pe 信道编码的目的： 使译码错误概率Pe在一定限制下使码率R达到最 大
要条件是： f (x) 0，当xi 0 xi x x* i 1, 2,3...n f (x) 0，当xi 0 xi x x*
注：当 f ( x) 是凹函数， M max f ( x) ，类似结论成立，只须把“ ”变成“ ”号。 由于 I ( X ; Y ) I ( p; Q) 是关于输入分布 p(x)的函数，利用上述引理可得关于信道容量 输入分布的充要条件。
Q ( x | y )
R I ( X ; Y ) H ( X ) H ( X | Y ) H (Y ) H (Y | X )
定义4.1.2(信道容量) 一个离散无记忆信道的信道 容量定义为 C max R max I ( X ; Y ) max I ( p; Q) bit 符号
p( x) p( x) p( x)
X mod k Y
Z
§4.2 信道容量的计算
• 拉格朗日乘子法 • 信道容量的迭代算法 注意：信道容量的计算实际上是求解一个 有约束的凸函数的条件极值问题。
定义4.1.2(信道容量) 一个离散无记忆信道的信道 容量定义为 C max R max I ( X ; Y ) max I ( p; Q) bit 符号
p( x) p( x)
其中h( )=- log -(1- )log(1- )
定义4.1.3 如果矩阵的每一行都是其他行的置换,每一列 都是其他列的置换,称这种信道为对称信道 1 1 1 2 3 6 1 1 1 1 3 3 6 6 1 1 1 P2 P1 6 2 3 1 1 1 1 1 1 1 6 6 3 3 3 6 2
c.具有归并性能的无噪信道
C max I ( X ; Y ) max H ( x) =log 2 m
p( x) p( x)
结论：无噪信道的信道容量C只决定于信道的输 入符号数n或输出符号数m，与信源无关
2.对称信道
二进对称信道
C max I ( X ; Y ) max H (Y ) -h( )=1-h( )
二、离散信道的数学模型
W W
信道通信模型框图
信道
X
n
n
信道 Q(y|x)
Y
n
n
信道 译码器D
W W
编码器E
X 信道Q(y|x) 干扰
Y
狭义信道模型
定义4.1.1 如果离散信道对任何n，有 Q ( y n | x n ) Q ( yi | xi )
i 1 n
其中Q( yi | xi )不依赖于i, 则称信道为无记忆信道， 记为 , Q( yi | xi ),
其中 A 1 （以及以下的 An 等）是使左边成为概率密度函数的规范化常数。 3. 计算
Q1( x | y) D(r2Q || QQ ) r2 x ( ) Q y( x | ) l o g r2 ( x) x y
4. 以下再重复上述过程(即 1~3)，直到达到预设的精度为止。
r2 ( x)
1 1 1 1 3 3 6 6 0.7 0.2 0.1 P4 P3 1 1 1 1 0.2 0.1 0.7 6 3 6 3 另一种对称信道定义
如果一个矩阵的每一行都是同一集合Q q1 , q2 , 中诸元素的不同排列，称矩阵的行可排列。 如果一个矩阵的每一列都是同一集合P p1 , p2 , 中诸元素的不同排列，称矩阵的行可排列。
第4章 数据可靠传输和信道编码
信道定义
信道在通信系统中作用
研究信道的哪些问题？
§4.1 离散无记忆信道和信道容量 §4.2 信道容量的计算 §4.3 信道编码理论 §4.4 带反馈的信道模型 §4.5 联合信源——信道编码定理 §4.6 线性分组码
§4.1 数据可靠传输和信道编码
一.信道分类 1.根据传输媒介的类型划分 有线信道 传输媒介类型 无线信道 2.根据用户数量分类，分为单用户信道和多用户 信道 3.根据信道输入端和输出端关系，分为无反馈信 道和反馈信道
1
1-q
1
例4.2.2 （高噪声打印机）信道输入与输出字母集分 别是 { A, B,..., Z , }.其中 表示空格，这27个字 1 符排成一圈，当输入某个字符时，输出以等概率 产 3 生它本身及相邻2个字符，例如： P （Y A | X B） =P （Y B | X B） 1 =P （Y C | X B）= 3 求信道容量C.
Q ( x | y )
1 y x y
Q ( y| x )
Q1( x | y)
Q ( y| x )
r1 ( x)Q( y | x) r1 ( x) ( ) r1Q( y ) y A1
Q ( y| x )
A11r1 ( x) exp[ D(Q( | x) || r1Q()] 注意 :
x
定理4.2.3 离散无记忆信道Q （Q （y | x），x ，y ） 的信道容量C有以下性质： 1）C 0; 2) C log ; 3) C log ;
例4.2.1
Z 信道（见下图）输入集 {0，，输出集 1}
X 0 1 q Y 0
{0，，求 1} 信道容量
4.2.2 信道容量的迭代算法
• 简单的信道容量：用拉格朗日法求解 • 复杂的信道容量：求解极值比较困难，必须 借助数值方法。 • 此处介绍由本单(Arimoto)和布莱赫特(Blahut) 1972年分别独立给出的迭代算法。
Q( x | y ) J (r , Q, Q) r ( y )Q ( x | y ) log r ( x) y x Q( x | y ) def I ( X ; Y ) r ( y )Q ( y | x) log I (r , Q) r ( x) y x r ( x)Q( y | x) log
若一个矩阵的行和列都是可排列的，称这个矩阵是可排 列的，若一个矩阵具有可排列性，称信道为对称信道
, qm , pn
推广：强对称信道
1- n-1 n-1 1- 信道转移概率矩阵为P= n-1 n-1 n-1 n-1 n-1 信道输入随机变量和输出随机变量的取值个数
p( x) p( x)
例4.1.2 二进无噪信道 Pr (Y 0 X 0) Q(0 0) Pr (Y 1 X 1) Q(1 1) 1, 其他转移概率为0, 求信道容量
b.具有扩展性能的无噪信道
C max I ( X ; Y ) max H ( x) =log 2 n
定理4.2.2 对离散无记忆信道[，Q （y | x）, ],其输入 分布p *(x)能达到的信道容量（即使I(X;Y )=I ( p; Q)达 到最大）的充要条件是： C ,当p *(x)>0 D(Q （y | x）p(y ) )|p (x )=p*(x ) C ,当p *(x)=0 其中p(y )= p(x)Q （y | x） ，C即为信道容量。
x y def
r ( x)Q( x | y ) Q(பைடு நூலகம்x | y )Q( x | y )
D( r ( x)Q( y | x) || Q( x | y)Q( y | x)) D(rQ || QQ)
计算信道容量的迭代算法：
1. 从任一输入分布 r1 ( x) 开始，找到达到 min QQB D(rQ || QQ) 的最好条件分布
4.根据信道的物理性质，分为固定参数信道 和变参数信道
5.根据输入输出信号的特点，分为离散信道、 连续信道、半离散半连续信道、波形信道 6. 根据信道输入输出随机变量个数的多少， 分为单符号信道和多符号信道
7. 根据信道有无干扰，分为有干扰信道和无 干扰信道 8. 根据信道有无记忆性，分为有记忆信道和 无记忆信道 9. 根据信道中受噪声干扰的不同，分为随机 差错信道和突发信道
r1 ( x)Q( y | x) def r1 ( x)Q( y | x) Q( x | y) rQ r1 ( x)Q( y | x) 1 ( y)
x
2. 固定这个 Q( | ) ，计算达到 min r1QA D(rQ 1 || Q 1Q) 的最好输入分布 r2 ( x) r2 ( x) A11r1 ( x)exp[D(Q( | x) || rQ 1 ()]
例4.1.4 求二进对称删除信道的信道容量
0
1
0
1
0
0
定义4.1.4(弱对称信道)
如果转移概率矩阵的每一行都是其他行的置换， 而每列的元素之和相等，称为弱对称信道
其信道容量为
例 英文26个字母中每一个以0.5概率复制成自己，以 0.5概率变成下一个字母，信道容量。
例3 3 离散无记忆模k加性噪声信道Y =X Zmodk , 其中X,Y,Z 取值范围相同，X = Y = Z ={0,1,2, ,k-1} ,p(z )为任意分布。求该信道容量
max:所有输入分布集 p(x)
三点说明： (1)信道容量C是R的上限 (2)使得I(X;Y)达到最大值的输入分布称为最佳输入 分布 (3)I(X;Y)与输入概率分布和转移概率两者有关
三、特殊单符号离散信道的信道容量
1.无噪信道 a.具有一一对应关系的无噪信道 信道容量
C max I ( X ; Y ) max H ( x) =log 2n
J (r , Q, Q) r ( y )Q( x | y ) log
y x
Q( x | y ) r ( x)
Q( x | y ) I (r , Q) r ( y )Q( y | x) log r ( x) y x
Q( x | y ) J (r , Q, Q) r ( y )Q( x | y ) log r ( x) y x r ( x)Q( y | x) log
x y
Q( y | x) r ( y)
p ( x, y ) r ( x)Q( y | x), r ( y ) r ( x)Q( y | x)
x
引理4.2.4 J(r,Q,Q) I (r , Q), 且等号成立的充要 条件是Q( x | y ) Q( x | y )对所有满足p( x, y ) 0的 x ，y 成立
p( x) p( x) p( x)
max:所有输入分布集 p(x)
4.2.1 拉格朗日乘子法
引理4.2.1 设f (x)是定义在R n + {( x1，x2，...xn ); xi 0, i 1, 2,3...n}上的连续可微凸函数，M =minf (x)
* 是f (x)在R n 上的 最 小值 ，则 x x 时达到最小值的充 +
相同，都为n,且正确的传递概率为1-，错误概率 为 被对称平均地分给n-1个输出符号，此信道称 为强对称或均匀信道
准对称信道定义
如果转移概率矩阵P是输入对称矩阵(行可排列)而 输出不对称(列不可排列)，即转移概率矩阵P的 每一行都包含同样的元素，而各列的元素可以 不同，称该信道为准对称DMC信道
信道表示方法
平稳信道定义 若对任意n和m，离散无记忆信道满足 则称此信道为平稳的或恒参的，记为 , Q( y | x), Q( yn j | xn i ) Q( ym j | xm i )
衡量一个信息传递系统的好坏，有两个指标 a.数量指标：信息传输率R b.质量指标：平均错误率Pe 信道编码的目的： 使译码错误概率Pe在一定限制下使码率R达到最 大
要条件是： f (x) 0，当xi 0 xi x x* i 1, 2,3...n f (x) 0，当xi 0 xi x x*
注：当 f ( x) 是凹函数， M max f ( x) ，类似结论成立，只须把“ ”变成“ ”号。 由于 I ( X ; Y ) I ( p; Q) 是关于输入分布 p(x)的函数，利用上述引理可得关于信道容量 输入分布的充要条件。
Q ( x | y )
R I ( X ; Y ) H ( X ) H ( X | Y ) H (Y ) H (Y | X )
定义4.1.2(信道容量) 一个离散无记忆信道的信道 容量定义为 C max R max I ( X ; Y ) max I ( p; Q) bit 符号
p( x) p( x) p( x)
X mod k Y
Z
§4.2 信道容量的计算
• 拉格朗日乘子法 • 信道容量的迭代算法 注意：信道容量的计算实际上是求解一个 有约束的凸函数的条件极值问题。
定义4.1.2(信道容量) 一个离散无记忆信道的信道 容量定义为 C max R max I ( X ; Y ) max I ( p; Q) bit 符号
p( x) p( x)
其中h( )=- log -(1- )log(1- )
定义4.1.3 如果矩阵的每一行都是其他行的置换,每一列 都是其他列的置换,称这种信道为对称信道 1 1 1 2 3 6 1 1 1 1 3 3 6 6 1 1 1 P2 P1 6 2 3 1 1 1 1 1 1 1 6 6 3 3 3 6 2