信道编码定理

且p( x n )在 n 上取均匀分布。
第二节 信道编码问题 （2） ( f , g ), 在n 时，st
n n
n ( f n , g n )的误差
e( f n , g n ) n 0成立。
编码问题一就是求信道序列 C 的最大可达速率R1。 编码问题二 对给定 C 寻找一组 专线：
0
1
2
1
1
第三节 离散无记忆信道 例：对于二元对称信道
0 1-p p p 1-p 0
1
1
如果信源分布X={ ,1- }，则 I ( X ; Y ) H (Y ) H (Y / X )
H (Y ) P( x) P( y / x) log 1 P( y / x) X Y 1 1 H (Y ) P( x)[ p log p log ] p p X

那么，在什么样的信源输出情况下，信道输出能等概分 布呢？可以证明，输入等概分布时，输出也等概分布。
第三节 离散无记忆信道
例：
1 3 P 1 6 1 3 1 6 1 6 1 3 1 6 1 3
1 1 1 1 1 1 1 1 C log 4 H ( , , , ) 2 [ log 3 log 3 log 6 log 6] 0.817 3 3 6 6 3 3 6 6
1 2 1 P 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2 和第三节 离散无记忆信道
如果离散信道的转移矩阵如下
p p P r 1 ... p r 1 p r 1 p p r 1 ... p r 1 ... p r 1 p r 1 p
是可通过的：若
( f n , g n ), 在n 时，st e( f n , g n ) 0
Def5.1.1 （ C 的可达速率）若存在一个具有均匀分布的信 ~ 源序列 S 与数列 n 0满足以下条件 n n S （1） 的消息字母表 {1,2,..., M n }, n 1,2,.... M n 2 nR (1 n )
n {1,2,..., M n }, n 1,2,....
n n 是一个正整数集合，p( x )在 上取均匀分布，这时对任何
~
第二节 信道编码问题
~ 1 x , 总有p( x ) 成立。这时称 S 是一个均有分布 Mn 的信源序列。
n n n
称信源序列 S 在信道序列
~
~
3 3 3 3 3 C [ , p ( v u ), v ], 取 例：三重二进信道

3
3
{000 ,001,010 ,011,100 ,101,110 ,111}
第二节 信道编码问题
在信道不变的条件下，减少信源传输的信息量可以降低通 信时的误差概率。在通信问题中，牺牲数量可以换取质量。 5.1.2 信道序列的编码问题 实际通信问题中一般要求通信的平均误差很小。信道编 码问题要求解决的最大传输信息量到底有多少？ 编码问题一 设 S 是一个具有均匀分布得信源序列，取
第一节 信道的数学模型及分类
根据信道信道的统计特性： （1）恒参信道 （2）随参信道 根据输入输出信号的特点
（1）离散信道
（2）连续信道 （3）半离散半连续信道： （4）波形信道
第一节 信道的数学模型及分类 根据信道的记忆特性 （1）无记忆信道：只与当前输入有关； （2）有记忆信道：不仅与当前输入有关，还与过去输 入有关。 以下我们只研究无反馈、固定参数的单用户离散信道。


p (u , v) 为入口与出口的互 log p (u )q (v)

Def5.2.1 当C固定时，称 C=max{I(C;p）p P } 为信道C的信道容量，此时的p为信道的最大入口分布。
第三节 离散无记忆信道 事实上，由互信息的凸性可知，对于每一个确定信道，都 有一个信源分布，使得信息传输率达到最大值，我们把这 个最大值称为该信道的信道容量。
H (Y ) [ p log
1 1 p log ] H (Y ) H ( p) p p
第三节 离散无记忆信道
与 无关，只需求H(Y)的最大值即可，由P41Th2.3.1 H(Y) 在q(0)=q(1)=1/2时最大。 所以：I(X;Y)=H(Y)-H(P) 当信道固定时，平均互信息时信源分布的 型凸函 数，最大值为1-H(P)
第一节 信道的数学模型及分类 （1）无干扰信道：输入信号与输出信号 有一一对应关系
1 y f ( x )，并且P ( y / x) 0
y f ( x) y f ( x)
（2）有干扰无记忆信道：输入与输出无一一对应关系， 输出只与当前输入有关； （3）有干扰有记忆信道：这是最一般的信道。
则称此信道为强对称信道或均匀信道，它是对称离 散信道的一种特例。该信道的各列之和也为1
第四节 信道容量及其一般计算方法 下面我们来计算对称离散信道的信道容量 I(X;Y)=H(Y)-H(Y/X) 而
1 P( x) H (Y / X x) P( y / x) X X Y H(Y/X=x)是对矩阵的行求和，而由于对称信道定义，我们 知道，此值是一个与x无关的一个常数，即 H (Y / X ) P( x) P( y / x) log
vm p(vm/u1) p(vm/u2)
… …
…
…
un
…
p(v1/un)
…
p(v2/un)
…
p(vm/un)
第二节 信道编码问题
信道编码问题就是讨论信息在信道中通过的含义，以及给 定信道有多少信息可以通过，即信道容量问题。 5.1.1 通信中编码的数量与质量关系问题 信道编码的目标是在保证通信误差充分小的情况下尽可能 多得信息得到传送。为了减少误差最常用的方法是以数量 换取质量。
第三节 离散无记忆信道
[例1] 二元对称信道（BSC） U={0,1}; V={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;
0 [P]= 0 1 1-p p 1 p 1-p
0
1-p p p
0
1
1-p
1
第三节 离散无记忆信道
[例2] 二元删除信道,M信道 U={0,1}; V={0,2,1} 2 p [P]= 0 1 0 1－p 0 1-p p p 1-p 0 p 0 1-p
1-H(P) I(X;Y)
1/2
w
第三节 离散无记忆信道 2、对称离散信道的信道容量 如果一个离散信道的信道转移矩阵中的每一行都是由 同一组元素的不同组合构成的，并且每一列也是由这一组 元素组成的，则称为对称信道 如：
1 3 P 1 6 1 3 1 6 1 6 1 3 1 6 1 3
0 1-p 0 0 1 p 1 1 1-p 1 1 0 0 1-p P p 1-p 0
P p
1 1-p
2
1
二元对称信道
p 1 p p 1 p
Z信道
0 1 p 1 p
M信道
0 1 p 0 1 p p p
u p(u, v) 称 i(u, v) log p(u )q(v) (u, v)


为入口与出口信号的互信息密度函数。
第三节 离散无记忆信道 这时 I (U , V ) ( u , v ) 信息 。 3、由以上定义知，I(U;V)是由p(v/u)及p决定，因此I(U;V)是二 者的函数，有时记为I(C;p）或I[p(u),p(v/u)]，当信道固定时， 互信息就是入口概率分布p的函数，记 上的全体概率分布 为 P
' H (Y / X x) H ( p1' , p2 ... ps' )
' C max[ H (Y ) H ( p1' , p2 ... ps' )]
因此
可以看出，当输出等概分布时，即H(Y)=logs时信道容 量达到。
第三节 离散无记忆信道 Th5.2.1 （1）对称信道的条件熵H(V/U)与信道的入口分布无 关。 (2) 对称信道的信道容量C=log || V||H0其中H0=H(V/U)，且 信道的最大入口分布为 上的均匀（等概）分布。
第二节 信道编码问题 在第三章中，我们已给出信道与信道序列
C {C [ , p (v u ),v ], n 1,2,3,...}
~ n n n n n n
C p(v / u )
信道转移概率表示成矩阵形式：…
v1 v2 u1 [P]= u2 p(v1/u1) p(v1/u2) p(v2/u1) p(v2/u2) …
第五章 信道编码定理
第一节 概论
第二节 信道编码问题
第三节 离散无记忆信道 第四节 信道序列的正、反编码定理 第五节 信道容量的计算问题
第一节 概论
1、信道的分类： 根据信道用户的多少，可分为： （1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道：至少有一端有两个以上的用户，双向通信 根据输入端和输出端的关联： （1）无反馈信道 （2）有反馈信道
第三节 离散无记忆信道
在对信道进行分类和建立数学模型后，就开始研究信道传 输信息的能力－可以用信道容量来表示，它代表了信道 传输信息的最大能力。 我们先从最简单最基本的信道－离散无记忆信道入手。 5.2.1 信道容量
n n n n v ( v , v ,...., v ) u ( u , u ,...., u ) 是一信道序列，若 1 2 n 1 2 n
n 此时称 C0 为信道 C n 的一个 专线组，Mn为这 的数 目。 ～ Def5.1.2 若 一列 n 0, 在n 时， n 0且st C的每个Cn
总有 M n 2
nR (1 n )
条 n专线，那么称R是 C 的一个可达速率。
~
~
编码问题二就是求信道序列 C 的最大可达速率R2。 分别称Def5.1.1与Def5.1.2所定义的信道序列的可达速率为第一 可达速率与第二可达速率。事实上，二者具有等价性，可以等 价讨论。
n n 满足：（1）u i 且互不相同；
~
~
n C0 {(u in , Bin ), i 1,2,...., M n }
(2) Bin 是 n 的一组子集，他们互不相交；
(3)i 1,2,..., M n , 有P n ( Bin u in ) 1
第二节 信道编码问题
对于二元对称信道
C log 2 H ( p) 1 H ( p)
这个式子很重要。
第三节 离散无记忆信道
例：对于强对称信道，其信道容量为：
C log r H ( p, p p p , ,..., ) r 1 r 1 r 1
，
C {C n [ n , p n (v n u n ),v n ], n 1,2,3,...}
~
有p (v u ) p(vi u i )
n n n
n
那么C 是由C确定的无记忆信道。先讨论单字母信道的特性。
n
i 1
第三节 离散无记忆信道 1、对C，分别称 , 上的概率分布为信道的入口分布、 出口分布，记为 p ( p(u ), u ) , p(u ).q(v) 0, p(u ) q(v) 1 q (q(v), v ) 2、若C与它的入口分布p给定，那么入口与出口的联合概率 分布为p(u,v)=p(u)p(v/u) (u, v) 出口分布q确定为 q(v) p(u, v), v
C max{I ( X , Y )} max{H ( X ) H ( X / Y )}
P( X ) P( X )
R=I(U;V)=[H(U)-H(U/V)]=[H(V)-H(V/U)] 信道容量与与信源无关，它是信道的特征参数，反 应的是信道的最大的信息传输能力。
第三节 离散无记忆信道 5.2.2 几种典型的无记忆信道 典型的无记忆信道有：二元对称信道，Z信道，M信道