第三章 信道容量
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
无记忆信道 离散消息序列信道 有记忆信道 : 平稳，有限状态 有记忆信道 一般无记忆 平稳无记忆
一、信道矩阵（信道转移概率）
设单符号离散信道的输入为 X (a , a , a ,, a ) 1 2 i n
相应的输出为 Y (b1 , b2 ,b j ,, bm ) 其信道模型如下：
3.2.2 几种特殊离散信道的信道容量
一、离散无噪信道的信道容量
I ( X ; Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X )
1.具有一一对应关系的无噪无损信道 a1 a2 an b1 a1 b2 bn a2 a2n=1 an
输入输出之间有确 定的一一对应关系
概念问题
熵熵率无失真信源编码定理中的作用 互信息信道容量信道编码定理中的作用
回顾－平均互信息的性质1
性质1 ：I(X;Y)是信源输入概率分布p(x)的上凸函数。
回顾－平均互信息的性质2
性质2 ：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.
回顾－平均互信息的性质3
2.具有扩展性能的有噪无损信道(一个输入对应多个输出)
此种情况是信道疑义度 H(X/Y)=0 a1 b1 b2 b3 b4 a2 b5 b6
I ( X ;Y ) H ( X ) H ( X / Y )
C max I ( X ;Y )
p ( ai )
max H ( X ) log 2 n
在信息系统中信道主要用于传输与存储信息，而 在通信系统中则主要用于传输。
研究信道的目的
实现信息传输的有效性和可靠性
有效性：充分利用信道容量. 可靠性：通过信道编码降低误码率.
在通信系统中研究信道，主要是为了描述、度量、
分析不同类型信道，计算其容量，即极限传输能力， 并分析其特性。
通信技术研究——信号在信道中传输的过程所遵循的物理
根据信道输入/输出随机变量个数的多少来划分
单符号信道和多符号信道。
根据输入/输出个数的多少来划分
单用户信道和多用户信道。
根据信道上有无干扰来划分
干扰信道和无干扰信道。
根据信道有无记忆特性来划分
有记忆信道和无记忆信道。
3.1.2 信道的描述
信道可以引用三组变量来描述：
信道输入概率空间： [XK,p(x)] 信道输出概率空间：[YK,q(y)] 信道概率转移矩阵：p(y/x) 即： {[XK,p(x)], p(y/x),[YK,q(y)]} 它可简化为：[XK, p( / ),YK]
2）输入X和输出Y有确定的对应关系，所以噪声熵
H(Y/X)=0 信道疑义度 故有 H(X/Y)=0 I(X;Y)=H(X)=H(Y)
p ( xi ) p ( xi )
由信道容量的定义有 C max I ( X ; Y ) max H ( X ) log 2 n 3）信道容量只取决于信道的输入符号数n，与信源无 关，是表征信道特性的一个参量。
C max I ( X ; Y ) max H ( X ) log 2 n
p ( ai ) p ( ai )
4)与一一对应信道不同的是，此时输入端符号熵小于输出端符号 熵，即H(X)<H(Y) .
3.具有归并性能的无噪有损信道
H (Y / X ) 0
p ( ai )
多个输入对应一个输出，每 一行只有一个非零元素1
信道疑义度：表示在输出端收到输出变量Y的符号
后，对于输入端X的变量尚存在的平均不确定性（存 在疑义）。这个尚存在的不确定性是由于干扰（噪声）
引起的。如果是一一对应信道，那么接收到输出Y后，
对X的不确定性将完全消除，则信道疑义度为0。由于
一般情况下条件熵小于无条件熵，即有H(X/Y) <
H(X) 。这正说明接收到变量Y的所有符号后，关于输 入变量X的平均不确定性将减少，即总能消除一些关 于输入端X的不确定性，从而获得了一些信息。
对于特定的信道，信道容量是个定值，但是在传输 信息时，信道能否提供其最大传输能力，则取决于输 入端的概率分布。
若信道平均传输一个符号需要t 秒钟，则单位时间的信道容
量为（信道的最大信息传输速率）
1 1 Ct max R max I ( X ; Y ) （比特/秒） t p ( xi ) t p ( xi )
（nats／s）为信道容量单位。
对信道容量的进一步理解：
C存在平均互信息性质1,上凸函数极值存在
达到C时的两个条件：
信道输入（信源）是离散无记忆的。
信道输入的概率分布是使I(X,Y)达到最大的分布。
C的值不是由信源的p(x)决定的,而是由p(y/x)决定的. C是信道作为信息传输通道的性能度量. 只有信道输入（信源）X 满足一定条件时，才能充分利
在这一章要回答前面两个问题，在第六章介绍第 三个问题。
什么是信道？
信道是传送信息的载体——信号所通过的通道。
信息是抽象的，信道则是具体的。比如：二人对话， 二人间的空气就是信道；打电话，电话线就是信道； 看电视，听收音机，收、发间的空间就是信道。 如：微波信道、光纤信道、电缆信道等。
信道的作用:
C的单位是信道上每传送一个符号（每使用一次信道）所能
携带的比特数，即比特／符号（bits／sign或 bits／channel use）。
以e为底取自然对数时，信道容量的单位变为奈特／符号
（nats／sign）。
如果已知符号传送周期是T秒，也可以“秒”为单位来计算
信道容量，此时Cs＝C／T，以比特/秒（bits／s）或奈特/秒
H(X /Y ) 0
p ( ai )
C max I ( X ; Y ) max H (Y ) log 2 m
无噪信道的信道容量C只决 a1 a2 a3 b2 a4 a5 b3 b1
定于信道的输入符号数n，或
输出符号数m，与信源无关， 是表征信道特性的一个参量. 这时的输入概率分布应该 是使得信道输出概率分布为 等概分布。
互信息与信道输入符号相关性的关系
百度文库质3: 信道的输入是离散无记忆的
即p( x ) p( a1 , a2 ,, a N ) p(a1 ) p(a2 ) p( a N ) p(ai )
i 1 N
回顾－平均互信息的性质4
互信息与信道输入符号相关性的关系
性质4: 信道是离散无记忆的
§3.2 单符号离散信道的信道容量
本节内容
信道容量定义
几种离散无记忆信道容量的计算
离散无噪信道的信道容量
强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量
离散信道容量的一般计算方法
3.2.1 信道容量定义
单符号离散信道
信道的输入和输出都取值于离散集合，且都用一 个随机变量来表示的信道就是单符号离散信道。
二、强对称离散信道的信道容量
若单符号离散信道的输入随机变量X和输出随机变量Y取值 的集合均由n个不同符号组成，每个符号的正确传递概率为 ， 其他（n-1）个符号的错误传递概率为p/(n-1) ，则信道矩阵 p （n×n）为对称矩阵
P n n
第三章 信道容量
本章内容
了解信息论研究信道的目的、内容；
了解信道的基本分类并掌握信道的基本描述方法; 掌握信道容量的概念，以及与互信息、信道输入概率
分布、信道转移函数的关系; 能够计算简单信道的信道容量（对称离散信道、准对 称离散信道）； 了解信道容量在研究通信系统中的作用; 了解多用户信道.
p(b1 / a1 ) p(b2 / a1 ) p(bm / a1 ) p (b / a ) p (b / a ) p (b / a ) 2 2 m 2 1 2 p(b1 / an ) p(b2 / an ) p(bm / an )
信道矩阵中每个元素均为非负 P(b j / ai ) 0 且每一行元素之和为1
规律，即传输特性。
信息论研究——信息的传输问题（假定传输特性已知）.
3.1 信道的分类与描述
3.1.1 信道的分类
根据输入/输出信号在幅度和时间上的取值是离散
或是连续来划分
幅度 时间 信道名称
离散 连续
连续 离散
离散 离散
连续 连续
离散信道（数字信道） 连续信道
模拟信道（波形信道） （理论和实用价值均很小）
b1 b2 B2n-1
bn H(X/Y)信道疑义度或损失熵， H(Y/X)噪声熵。凡是H(X/Y)=0的 信道称为无损信道。凡是H(Y/X)=0的信道称为无噪信道。
I ( X ; Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X )
特点： 1）输入X和输出Y符号集的元素个数相等，即n=m。
p ( ai )
此时
H ( X ) H (Y )
a3
这时的输入概率 分布为等概率分布. 噪声熵H(Y/X) ≠0
b7 b8
特点：
信道疑义度 H(X/Y)=0
1)输入X的符号集个数小于输出Y的符号集的元素个数，即n<m. 2)信道转移矩阵中每一列有且仅有一个非零元素（即每一个输出 符号对应着惟一的一个输入符号），则该信道一定是无损信道. 3)已知Y后能确切地知道对应的X，或接收到符号Y后,对发送的X 符号是完全确定的，则信道疑义度H(X/Y)=0,故有I(X;Y)=H(X), 由信道容量的定义有
显然，C和Ct都是求平均互信息I(X;Y)的条件极大值的问题。
当输入信源概率分布p(ai) 调整好以后，C和Ct已与 p(ai)无关，
而仅仅是信道转移概率p( bj /ai ) 的函数，只与信道的统计特 性有关。所以信道容量是完全描述信道特性的参量，是信道 能够传送的最大信息量。
3. 信道容量单位
第三章 信道与信道容量
本章内容
概述
信道的分类与描述 单符号离散信道的信道容量 多符号离散信道 多用户信道 连续信道及其容量
3.0 概述
信息论研究信道的内容 什么是信道？ 信道的作用 研究信道的目的
信息论研究信道的内容：
信道的建模：信道的统计特性的描述； 信道传输信息的能力（信道容量）的计算； 在有噪信道中能否实现可靠传输?怎样实现可靠传输?
用信道传输信息的能力。
三、信道疑义度H(X/Y)
信源熵H(X) 表示在接收到输出Y以前，关于输入变 量X的先验不确定性的度量。如果信道中无干扰（噪 声），信道输出符号Y与输入符号X一一对应，那么， 接收到传送过来的符号后就消除了对发送符号的先验 不确定性。但一般信道中有干扰存在，接收到输出Y后 对发送的是什么符号仍有不确定性。那么，怎样来度 量接收到Y后关于X的不确定性呢？一般用信道疑义度 H(X/Y) 表示。
X P (b j / ai Y
a1 ,a2 ,ai ,,an
单符号离散信道的数学模型
b1 ,b2 ,b j ,,bm
表示当信道输入为xai 时，信道的输出Y必为
b1 , b2 ,b j ,, bm 中的一个。
一般单符号信道的转移概率可用信道转移矩阵表示：
即p( y / x ) p(b1 , b2 ,, bN / a1 , a2 ,, a N ) p(b1 / a1 ) p(b2 / a2 ) p(bN / a N ) p(bi /ai )
i 1 N
回顾－平均互信息的性质5
性质3、性质4的推论：
信道的输入和信道本身都是离散无记忆的。
对于某特定的信道，可找到某种信源的概率分布 p(ai ) ，
使得I (X;Y )达到最大值。
C max R max I ( X ; Y )
p ( xi ) p ( xi )
（3.2.5）
说明：
由平均互信息的性质可知I (X;Y)≤H(X) ，意味着输
出端Y往往只能获得关于输入端X的部分信息。
P (b
j 1
m
j
/ ai ) 1
二、信道容量
1. 理论基础
对于固定的信道，平均互信息量 I (X;Y)是信源概率分布 p( xi ) 的上凸函数。也就是说，存在一个使某一特定信道的 平均互信息量达到极大值的信源概率分布，该极大值可以
用来表述信道传送信息的最大能量，即信道容量。
2. 信道容量的定义
一、信道矩阵（信道转移概率）
设单符号离散信道的输入为 X (a , a , a ,, a ) 1 2 i n
相应的输出为 Y (b1 , b2 ,b j ,, bm ) 其信道模型如下：
3.2.2 几种特殊离散信道的信道容量
一、离散无噪信道的信道容量
I ( X ; Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X )
1.具有一一对应关系的无噪无损信道 a1 a2 an b1 a1 b2 bn a2 a2n=1 an
输入输出之间有确 定的一一对应关系
概念问题
熵熵率无失真信源编码定理中的作用 互信息信道容量信道编码定理中的作用
回顾－平均互信息的性质1
性质1 ：I(X;Y)是信源输入概率分布p(x)的上凸函数。
回顾－平均互信息的性质2
性质2 ：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.
回顾－平均互信息的性质3
2.具有扩展性能的有噪无损信道(一个输入对应多个输出)
此种情况是信道疑义度 H(X/Y)=0 a1 b1 b2 b3 b4 a2 b5 b6
I ( X ;Y ) H ( X ) H ( X / Y )
C max I ( X ;Y )
p ( ai )
max H ( X ) log 2 n
在信息系统中信道主要用于传输与存储信息，而 在通信系统中则主要用于传输。
研究信道的目的
实现信息传输的有效性和可靠性
有效性：充分利用信道容量. 可靠性：通过信道编码降低误码率.
在通信系统中研究信道，主要是为了描述、度量、
分析不同类型信道，计算其容量，即极限传输能力， 并分析其特性。
通信技术研究——信号在信道中传输的过程所遵循的物理
根据信道输入/输出随机变量个数的多少来划分
单符号信道和多符号信道。
根据输入/输出个数的多少来划分
单用户信道和多用户信道。
根据信道上有无干扰来划分
干扰信道和无干扰信道。
根据信道有无记忆特性来划分
有记忆信道和无记忆信道。
3.1.2 信道的描述
信道可以引用三组变量来描述：
信道输入概率空间： [XK,p(x)] 信道输出概率空间：[YK,q(y)] 信道概率转移矩阵：p(y/x) 即： {[XK,p(x)], p(y/x),[YK,q(y)]} 它可简化为：[XK, p( / ),YK]
2）输入X和输出Y有确定的对应关系，所以噪声熵
H(Y/X)=0 信道疑义度 故有 H(X/Y)=0 I(X;Y)=H(X)=H(Y)
p ( xi ) p ( xi )
由信道容量的定义有 C max I ( X ; Y ) max H ( X ) log 2 n 3）信道容量只取决于信道的输入符号数n，与信源无 关，是表征信道特性的一个参量。
C max I ( X ; Y ) max H ( X ) log 2 n
p ( ai ) p ( ai )
4)与一一对应信道不同的是，此时输入端符号熵小于输出端符号 熵，即H(X)<H(Y) .
3.具有归并性能的无噪有损信道
H (Y / X ) 0
p ( ai )
多个输入对应一个输出，每 一行只有一个非零元素1
信道疑义度：表示在输出端收到输出变量Y的符号
后，对于输入端X的变量尚存在的平均不确定性（存 在疑义）。这个尚存在的不确定性是由于干扰（噪声）
引起的。如果是一一对应信道，那么接收到输出Y后，
对X的不确定性将完全消除，则信道疑义度为0。由于
一般情况下条件熵小于无条件熵，即有H(X/Y) <
H(X) 。这正说明接收到变量Y的所有符号后，关于输 入变量X的平均不确定性将减少，即总能消除一些关 于输入端X的不确定性，从而获得了一些信息。
对于特定的信道，信道容量是个定值，但是在传输 信息时，信道能否提供其最大传输能力，则取决于输 入端的概率分布。
若信道平均传输一个符号需要t 秒钟，则单位时间的信道容
量为（信道的最大信息传输速率）
1 1 Ct max R max I ( X ; Y ) （比特/秒） t p ( xi ) t p ( xi )
（nats／s）为信道容量单位。
对信道容量的进一步理解：
C存在平均互信息性质1,上凸函数极值存在
达到C时的两个条件：
信道输入（信源）是离散无记忆的。
信道输入的概率分布是使I(X,Y)达到最大的分布。
C的值不是由信源的p(x)决定的,而是由p(y/x)决定的. C是信道作为信息传输通道的性能度量. 只有信道输入（信源）X 满足一定条件时，才能充分利
在这一章要回答前面两个问题，在第六章介绍第 三个问题。
什么是信道？
信道是传送信息的载体——信号所通过的通道。
信息是抽象的，信道则是具体的。比如：二人对话， 二人间的空气就是信道；打电话，电话线就是信道； 看电视，听收音机，收、发间的空间就是信道。 如：微波信道、光纤信道、电缆信道等。
信道的作用:
C的单位是信道上每传送一个符号（每使用一次信道）所能
携带的比特数，即比特／符号（bits／sign或 bits／channel use）。
以e为底取自然对数时，信道容量的单位变为奈特／符号
（nats／sign）。
如果已知符号传送周期是T秒，也可以“秒”为单位来计算
信道容量，此时Cs＝C／T，以比特/秒（bits／s）或奈特/秒
H(X /Y ) 0
p ( ai )
C max I ( X ; Y ) max H (Y ) log 2 m
无噪信道的信道容量C只决 a1 a2 a3 b2 a4 a5 b3 b1
定于信道的输入符号数n，或
输出符号数m，与信源无关， 是表征信道特性的一个参量. 这时的输入概率分布应该 是使得信道输出概率分布为 等概分布。
互信息与信道输入符号相关性的关系
百度文库质3: 信道的输入是离散无记忆的
即p( x ) p( a1 , a2 ,, a N ) p(a1 ) p(a2 ) p( a N ) p(ai )
i 1 N
回顾－平均互信息的性质4
互信息与信道输入符号相关性的关系
性质4: 信道是离散无记忆的
§3.2 单符号离散信道的信道容量
本节内容
信道容量定义
几种离散无记忆信道容量的计算
离散无噪信道的信道容量
强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量
离散信道容量的一般计算方法
3.2.1 信道容量定义
单符号离散信道
信道的输入和输出都取值于离散集合，且都用一 个随机变量来表示的信道就是单符号离散信道。
二、强对称离散信道的信道容量
若单符号离散信道的输入随机变量X和输出随机变量Y取值 的集合均由n个不同符号组成，每个符号的正确传递概率为 ， 其他（n-1）个符号的错误传递概率为p/(n-1) ，则信道矩阵 p （n×n）为对称矩阵
P n n
第三章 信道容量
本章内容
了解信息论研究信道的目的、内容；
了解信道的基本分类并掌握信道的基本描述方法; 掌握信道容量的概念，以及与互信息、信道输入概率
分布、信道转移函数的关系; 能够计算简单信道的信道容量（对称离散信道、准对 称离散信道）； 了解信道容量在研究通信系统中的作用; 了解多用户信道.
p(b1 / a1 ) p(b2 / a1 ) p(bm / a1 ) p (b / a ) p (b / a ) p (b / a ) 2 2 m 2 1 2 p(b1 / an ) p(b2 / an ) p(bm / an )
信道矩阵中每个元素均为非负 P(b j / ai ) 0 且每一行元素之和为1
规律，即传输特性。
信息论研究——信息的传输问题（假定传输特性已知）.
3.1 信道的分类与描述
3.1.1 信道的分类
根据输入/输出信号在幅度和时间上的取值是离散
或是连续来划分
幅度 时间 信道名称
离散 连续
连续 离散
离散 离散
连续 连续
离散信道（数字信道） 连续信道
模拟信道（波形信道） （理论和实用价值均很小）
b1 b2 B2n-1
bn H(X/Y)信道疑义度或损失熵， H(Y/X)噪声熵。凡是H(X/Y)=0的 信道称为无损信道。凡是H(Y/X)=0的信道称为无噪信道。
I ( X ; Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X )
特点： 1）输入X和输出Y符号集的元素个数相等，即n=m。
p ( ai )
此时
H ( X ) H (Y )
a3
这时的输入概率 分布为等概率分布. 噪声熵H(Y/X) ≠0
b7 b8
特点：
信道疑义度 H(X/Y)=0
1)输入X的符号集个数小于输出Y的符号集的元素个数，即n<m. 2)信道转移矩阵中每一列有且仅有一个非零元素（即每一个输出 符号对应着惟一的一个输入符号），则该信道一定是无损信道. 3)已知Y后能确切地知道对应的X，或接收到符号Y后,对发送的X 符号是完全确定的，则信道疑义度H(X/Y)=0,故有I(X;Y)=H(X), 由信道容量的定义有
显然，C和Ct都是求平均互信息I(X;Y)的条件极大值的问题。
当输入信源概率分布p(ai) 调整好以后，C和Ct已与 p(ai)无关，
而仅仅是信道转移概率p( bj /ai ) 的函数，只与信道的统计特 性有关。所以信道容量是完全描述信道特性的参量，是信道 能够传送的最大信息量。
3. 信道容量单位
第三章 信道与信道容量
本章内容
概述
信道的分类与描述 单符号离散信道的信道容量 多符号离散信道 多用户信道 连续信道及其容量
3.0 概述
信息论研究信道的内容 什么是信道？ 信道的作用 研究信道的目的
信息论研究信道的内容：
信道的建模：信道的统计特性的描述； 信道传输信息的能力（信道容量）的计算； 在有噪信道中能否实现可靠传输?怎样实现可靠传输?
用信道传输信息的能力。
三、信道疑义度H(X/Y)
信源熵H(X) 表示在接收到输出Y以前，关于输入变 量X的先验不确定性的度量。如果信道中无干扰（噪 声），信道输出符号Y与输入符号X一一对应，那么， 接收到传送过来的符号后就消除了对发送符号的先验 不确定性。但一般信道中有干扰存在，接收到输出Y后 对发送的是什么符号仍有不确定性。那么，怎样来度 量接收到Y后关于X的不确定性呢？一般用信道疑义度 H(X/Y) 表示。
X P (b j / ai Y
a1 ,a2 ,ai ,,an
单符号离散信道的数学模型
b1 ,b2 ,b j ,,bm
表示当信道输入为xai 时，信道的输出Y必为
b1 , b2 ,b j ,, bm 中的一个。
一般单符号信道的转移概率可用信道转移矩阵表示：
即p( y / x ) p(b1 , b2 ,, bN / a1 , a2 ,, a N ) p(b1 / a1 ) p(b2 / a2 ) p(bN / a N ) p(bi /ai )
i 1 N
回顾－平均互信息的性质5
性质3、性质4的推论：
信道的输入和信道本身都是离散无记忆的。
对于某特定的信道，可找到某种信源的概率分布 p(ai ) ，
使得I (X;Y )达到最大值。
C max R max I ( X ; Y )
p ( xi ) p ( xi )
（3.2.5）
说明：
由平均互信息的性质可知I (X;Y)≤H(X) ，意味着输
出端Y往往只能获得关于输入端X的部分信息。
P (b
j 1
m
j
/ ai ) 1
二、信道容量
1. 理论基础
对于固定的信道，平均互信息量 I (X;Y)是信源概率分布 p( xi ) 的上凸函数。也就是说，存在一个使某一特定信道的 平均互信息量达到极大值的信源概率分布，该极大值可以
用来表述信道传送信息的最大能量，即信道容量。
2. 信道容量的定义