离散信道及其信道容量

离散信道及其信道容量
例3
1 1 1 2 2 P( Y / X) 1 1 2 1 2
离散信道及其信道容量
2、互信息量
定义
信宿消息yj的自信息量I(yj)减去信道关于发出消息 xi和接收消息yj的条件信息量I(yj/xi)为信宿消息yj 所含信源消息xi的互信息量，用I(xi; yj)表示。
离散信道及其信道容量
信道对于信息率的容纳并不是无限制 的，它不仅与物理信道本身的特性有关 ，还与信道输入信号的统计特性有关， 它有一个极限值，即信道容量，信道容 量是有关信道的一个很重要的物理量。
离散信道及其信道容量
一般信道的定义及模型
信道是传输信息的媒质或通道。
影响信道传输的因素：噪声、干扰。 噪声、干扰：非函数表述、随机性、统计依赖。 信道的全部特性：输入信号、输出信号，以及它们之间 的依赖关系。 信道的一般数学模型：
P( y1 / x1 ) P( y 2 / x1 ) P( y / x ) P( y / x ) 1 2 2 2 P( Y / X) P( y1 / x n ) P( y 2 / 2 … xn
P(y1/x1) P(y2/x2) … P(ym/xn)
离散信道及其信道容量
信道容量：信息率能大到什么程度
(1)信道容量是信道信息率的上限，定量描述了信道（信息的）最 大通过能力； (2)使得给定信道的达到最大值（即信道容量）的输入分布，称为 最佳输入（概率）分布 (3)信道的I(x;y)与输入概率分布和转移概率分布两者有关，但信 道容量是信道的固有参数，只与信道转移概率有关。
X
P（Y/X） 一般信道的数学模型
Y
离散信道及其信道容量
信道的分类
（1）根据信道输入、信道响应特性、信道输出的情况， 可将信道分类：离散信道（又称为数字信道）；连续 信道（又称为模拟信道）；半离散半连续信道；特殊 的连续信道——波形信道。
离散信道：输入、输出信号在时间和幅度上均离散； 连续信道：信号的幅度是连续的，时间是离散的； 半离散半连续信道：输入和输出中有一个是离散的，另一个是连续的； 波形信道：输入和输出信号在时间上和幅度上均连续，一般可用随机 过程来描述。而且一般经过抽样处理，分解为前三种情况。
研究信道，其核心问题就是求信道容量和最佳输 入分布。根据定义，求信道容量问题就是求平均 互信息量关于输入概率分布的最大值问题。一般 来说，这是一个很困难的问题，只有对一些特殊 信道，如无噪信道等，才能得到解析解，对于一 般信道，必须借助于数值算法。
离散信道及其信道容量
一、单符号离散信道及其信道容量
1、单符号离散信道
定义
对应于单符号离散信源和单符号离散信宿的信道 为单符号离散信道。
表示
信源符号X取值于集合 {x1, x 2 ,, x n }
离散信道及其信道容量
信宿符号Y取值于集合 {y1 , y2 ,, ym } X P(Y/X) Y
P ( y m / x1 ) P( y m / x 2 ) P( y m / x n )
离散信道及其信道容量
第4章 离散信道及其信道容量
掌握互信息量的定义和计算； 掌握离散系统平均互信息量的定义、计算和性质； 理解单符号离散信道信道容量的定义，了解信道容 量计算一般方法的推导、计算步骤的整理，掌握一 般2×2信道信道容量的计算； 掌握对称信道的特点，信道容量计算式的导出和计 算； 了解离散无记忆信道（扩展信道）的特点，离散无 记忆信道信道容量与单符号离散信道信道容量的关 系。
y1 y2 … ym
其中， 0 P( y j / x i ) 1 且 P( y j / x i ) 1
j 1 m
i 1,2,, n
j 1,2,, m
i 1,2,, n
离散信道及其信道容量
例1
1 0 P(Y / X) 0 1
例2
1 p p P( Y / X) p 1 p
表示
I(x i ; y j ) I( y j ) I( y j / x i ) log P( y j ) log P( y j / x i )
log P( y j / x i ) P( y j )
离散信道及其信道容量
例1
0 1 1 X 0 信源 Z信道P(Y / X) P ( X ) 0 . 4 0 . 6 0.25 0.75
离散信道及其信道容量
信道容量
衡量一个信息传递系统的好坏，有两个主要 指标：
速度指标：信息（传输）率R，即信道中平均每 个符号传递的信息量； 质量指标：平均差错率Pe，即对信道输出符号 进行译码的平均错误概率； 目标：速度快、错误少，即R尽量大而Pe尽量小。
信道容量：信息率能大到什么程度；
信宿消息0所含各信源消息的互信息量
P( y1 0) 0.4 1 0.6 0.25 0.55
I( x1 0; y1 0) log P( y1 ) log P( y1 / x1 ) log 0.55 log 1 0.862(bit ) I( x 2 1; y1 0) log P( y1 ) log P( y1 / x 2 ) log 0.55 log 0.25 1.138(bit )
离散信道及其信道容量

（2）根据输入、输出随机变量个数
单符号信道和多符号信道 单用户和多用户信道


（3）输入和输出的个数

（4）根据信道上有无干扰 有干扰信道和无干扰信道 （5）根据信道上有无记忆特性 有记忆信道和无记忆信道 （6）根据信道输入端和输出端的关系 无反馈信道和反馈信道 （7）根据根据信道参数和时间的关系 固定参数信道和时变参数信道 （8）根据信道中所受噪声的种类的不同固定参数信道和时变参数信 道 随机差错信道和突发差错信道