信道及信道容量

第
教学内容包括：信道模型及信道分类、单符号离散信道、多符号离散信道、多用户信道及连续信道
5
教学内容：
1、一般信道的数学模型
2、信道的分类
3、信道容量的定义
1、一般信道的数学模型
影响信道传输的因素：噪声、干扰。
噪声、干扰：非函数表述、随机性、统计依赖。
信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。
,
其中
,
二进制均匀信道容量曲线如图5.2.4所示。
C
1.0
P
0 0.5 1.0
5
教学内容：
1、对称信道的定义
2、信道容量
1、对称信道的定义：
如果一个矩阵的每一行都是同一集合 中诸元素的不同排列，我们称矩阵的行是可排列的；如果一个矩阵的每一列都是同一集合 中诸元素的不同排列，我们称矩阵的列是可排列的；如果一个矩阵的行和列都是可排列的，则称这个矩阵是可排列的，或称它具有可排列性。如果一个信道矩阵具有可排列性，它所表示的信道称为对称信道。
，
，
，
只要 ， 达到最大值，即达到信道容量C。此时使 的信源概率分布 存在，但不是惟一的。这种信道的输入符号熵大于输出符号熵，即 。
综合以上三种无噪信道的分析，我们得出一个结论，无噪信道的信道容量C只决定于信道的输入符号数n，或输出符号数m，与信源无关，是表征信道特性的一个参量。
5
教学内容：
1、信道矩阵特点
3、具有归并性能的无噪信道
1、具有一一对应关系的无损信道
此时输入X和输出Y符号集的元素个数相等；
给出信道矩阵。
噪声熵H（Y/X）=0，信道疑义度H（X/Y）=0，固有
，
根据信道容量的定义，有
（5.2.1）
式(5.2.1)表明当信源呈等概率分布时，具有一一对应的确定关系的无噪信道达到信道容量，其值就是信源X的最大熵值。这个结果还表明，信道容量只决定于信道的输入符号数n，与信源无关，是表征信道特性的一个参量。
2、具有扩展性能的无噪信道
信道矩阵是
信道疑义度 。
故有
。
显然其信道容量
（5.2.2）
与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，即 。
3、具有归并性能的无噪信道
信道的噪声熵 ，但是信道疑义度 。
相应的信道容量为
尽管式中平均互信息I（X;Y）等于输出端符号熵H(Y)，但是在求极大值时，调整的仍然是输入端的概率分布 ；而不能用输出端的概率分布 来代替。对于图5.2.3，其信道容量是 =1.585（bit／信道符号）。那么，要达到这一信道容量，对应信源的概率分布是什么呢？由信道矩阵有
2、特点
行具有可排列性，列不具有可排列性。但是把矩阵的前两列和后两列分成互不相交的子集，构成两个子矩阵，两个子矩阵的行和列均是可排列的，故信道 是准对称信道。
3、信道矩阵
4、信道容量
两个子矩阵的行和列均是可排列的，故信道 是准对称信道。由行的可排列性有
，
其信道矩阵如下图：
2、信道容量
根据平均互信息的定义
其中
,
类似于均匀信道的情况，Hmi也是与输入X无关的常数，故有 ，代入上式得
,
对应的信道容量为
（5.2.8）
式(5.2.7)与式(5.2.5)形式相同，只是此时的m≠n。由于对称信道的特点，容易证明，输入随机变量X等概率分布时，输出随机变量Y也是等概率分布，从而使Y的熵达到最大值 ，即达到信道容量C。
信道的一般数学模型：
2、信道的分类
输出随机信号
输入、输出随机变量个数
输入和输出的个数
信道上有无干扰
有无记忆特性
3、信道容量的定义
衡量一个信息传递系统的好坏，有两个主要指标：
速度指标：信息（传输）率 ，即信道中平均每个符号传递的信息量；
质量指标：平均差错率 ，即对信道输出符号进行译码的平均错误概率；
目标：速度快、错误少，即 尽量大而 尽量小。
4、意义：
研究信道，其核心问题就是求信道容量和最佳输入分布。根据定义，求信道容量问题就是求平均互信息量 关于输入概率分布 的最大值问题。一般来说，这是一个很困难的问题，只有对一些特殊信道，如无噪信道等，才能得到解析解，对于一般信道，必须借助于数值算法。
5
教学内容：
1、无损信道
2、具有扩展性能的无噪信道
信道容量：信息率 能大到什么程度；
若信道平均传送一个符号所需时间为t秒，则
（bit/s）
称 为信息（传输）速率。
分析：
对于给定的信道，总存在一个信源（其概率分布为 ），会使信道的信息率R达到最大。
（ 是输入概率 的上凸函数，这意味着 关于 存在最大值）
每个给定的信道都存在一个最大的信息率，这个最大的信息率定义为该信道信道容量，记为 ，即5
教学内容：
1、定义
2、特点
3、信道矩阵
4、信道容量
1、定义
如果一个n行m列单符号离散信道矩阵[P]的行是可排列的，列不可排列。但是矩阵中的m列可分成s个不相交的子集，各子集分别有m1，m2,…，ms个元素（m1＋m2＋…＋ms＝m）,若由n行mk（k＝l，2,…，s）组成的子矩阵 具有可排列性，则称这信道为准对称信道。
bit/符号 （5.1.3）
信道容量也可以定义为信道的最大的信息速率，记为
（bit/s）（5.1.4）
解释：
(1)信道容量 是信道信息率 的上限，定量描述了信道（信息的）最大通过能力；
(2)使得给定信道的 达到最大值（即信道容量 ）的输入分布，称为最佳输入（概率）分布，记为 ；
(3)信道的 与输入概率分布 和转移概率分布 两者有关，但信道容量 是信道的固有参数，只与信道转移概率 有关。
要获得这一最大值，可通过公式
寻找相应的输入概率分布。
现在观察信道矩阵，我们发现其特殊性：
信道矩阵中的每一行都是由同一集合 中的诸元素的不同排列组成，所以保证了当输入符号 是等概率分布，即 时，输出符号 一定是等概率分布，这时 。相应的信道容量为
（bit/信道符号）
当n=2时，就是二进制均匀信道，根据式（5.2.7）可计算出信道容量
2、信道容量计算
1、信道矩阵特点：
这类信道中总的错误概率是 ，对称平均地分配给(n-1)个输出符号。信道矩阵为(n×n)阶对称矩阵。
2、信道容量计算
其中条件熵
(5.2.4)
上式中
,
于信道的对称性，每一行都是同一集合诸元素的不同排列，所以
,
于是得信道容量
。
这就变成求一种输入分布 使 取最大值的问题了。现已知输出符号集 共有n个符号，则 。根据最大离散熵定理，只有当 ，即输出端呈等概率分布时， 才达到最大值 。