第四章：信道与信道容量

Y 0 , 1 q( y ) , q ,q 0 1
§4.3:离散无记忆信道及其信道容量
•离散无记忆信道及其信道容量 •离散无记忆信道容量的计算 •离散无记忆信道的信道容量定理
•对称的离散无记忆信道容量
•香农第一定理的物理意义
§4.3:离散无记忆信道及其信道容量-1

离散消息序列信道
无记忆信道 一般无记忆 平稳无记忆
离散消息序列信道 有记忆信道 : 平稳，有限状态 有记忆信道
§4.3:离散无记忆信道及其信道容量-2

离散无记忆信道及其信道容量
P( y x )无记忆 P(
k 1 K
yk
xk
)
平稳 P k ( y ) x 由消息序列互信息 I ( X ;Y ) 性质 K 对离散无记忆信道，有： I ( X ; Y ) I ( X k ; Yk )（性质4）

Q
a1 0.7 0.1 0.2 a2 0.2 0.7 0.1

§4.3:离散无记忆信道及其信道容量10

BSC信道信道容量的计算
1-ε a1 b1
ε
ε a2 1-ε b2
§4.3:离散无记忆信道及其信道容量11

由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有：
第四章：信道与信道容量
本章节达到的目的

了解信息论研究信道的目的、内容
了解信道的基本分类并掌握信道的基本描述方 法 掌握信道容量/信道容量代价函数的概念，以 及与互信息、信道输入概率分布、信道转移函 数的关系 能够计算简单信道的信道容量/信道容量代价 函数（对称离散信道、无记忆加性高斯噪声信 道）
性质2 ：I(X; Y)是信道转移概率分布p(y/x) 的下凹函数.
I(X; Y)
p(y/x)
回顾－互信息函数的性质3

信息量与信道输入符号相关性的关系
性质3: 信道的输入是离散无记忆的,
回顾－互信息函数的性质4
•
信息量与信道输入符号相关性的关系
性质4: 信道是离散无记忆的,
回顾－互信息函数的性质5
I ( x ak ; Y ) q(b j | ak ) log
j 1
J
q ( b j |ak ) p (b j )
是信源字母ak传送的平均互信息，C就是这一信道的信道容量。
§4.3:离散无记忆信道及其信道容量-6

离散无记忆信道的信道容量定理理解


在这种分布下，每个概率>0的字母提供的互信息＝C， 每个概率＝0的字母提供的互信息≤C 当且仅当这种分布时，可使I(p,Q)达到最大值C I(X,Y)是I(x=ak;Y)的平均值。即： I ( X , Y ) p ( a k ) I ( x ak ; Y )

离散无记忆信道的信道容量定理
定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的 概率分布p*能使互信息I(p,Q)取最大值的充要条件是
I ( x ak ; Y ) | p p* C , 当p* (ak ) 0
其中：
I ( x ak ; Y ) | p p* C , 当p* (ak )＝0
§4.2:
2
§4.2:信道分类与描述－3
离散 无记忆 连续 信号类型 半离散 有记忆 半连续 无干扰：干扰少到可忽略； 无源热噪声 2〉信号与干扰类型 线性叠加干扰 有源散弹噪声 脉冲噪声 干扰类型 有干扰 交调 乘性干扰 衰落 码间干扰



信道的建模：用恰当的输入/输出两个随机 过程来描述 信道容量 不同条件下充分利用信道容量的各种办法
§5.1:概述－2

什么是信道？


信道是传送信息的载体——信号所通过的 通道。 信息是抽象的，信道则是具体的。比如： 二人对话，二人间的空气就是信道；打电话， 电话线就是信道；看电视，听收音机，收、 发间的空间就是信道。
则
c max I ( X ;Y ) max I ( X k , Yk )
p( x) p( x) k 1 K K pi K
k 1
max I ( X k , Yk ) Ck 平稳 KCk
k 1 k 1
当且仅当信源(信道入)无记忆时，“等号”成立（性质3、4推论）
§4.3:离散无记忆信道及其信道容量-3
§4.3:离散无记忆信道及其信道容量-8

对称信道
1
1 6
12 13 6 1 6 1
1 3 1 6
1 3
1 6
1 6
1 3
2
1 3
1 3 1 3
1 6
1 2
1 P1 3 1 6
1 3 1 6
1 6 1 3
1 6 1 3
1 2 1 p2 6 1 3
§4.3:离散无记忆信道及其信道容量-4

离散无记忆信道容量的计算


思路：问题转化为：有界闭区域上求约束极 值 方法：1、求区域内极值
2、求边界极值 3、求前两者的最大值 具体实现：


1、简单情况下求解（如单符号信道、对称信道） 2、解方程 3、迭代法 4、其他
§4.3:离散无记忆信道及其信道容量-5

§4.2:信道的分类与描述

信道分类
信道描述

§4.2:信道分类与描述－1

信道分类



从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；
信 道 分 类 与 描 述 －
明线 对称平衡电缆（市内） 固体介质 电缆 小同轴（长途） 中同轴（长途） 长波 中波 短波 超短波 移动 1 传输媒介类型空气介质 视距接力 微波 对流层 散射 电离层 卫星 光波 波导 混合介质 光缆
1 H ( ) H ( ) log (1 ) log( 1 ) 这里：
应用举例 3.2(18)、3.6(23)
§4.3:离散无记忆信道及其信道容量12

二元删除信道信道容量的计算
1-ε a1 b1
ε
b3 ε a2 1-ε b2
§4.3:离散无记忆信道及其信道容量13

由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有：
p (b1 ) p (ak )q (b1 | ak ) 1 2 (1 )
k 1 2 2
p (b2 ) p (ak )q (b2 | ak ) 1 2 (1 )

离散无记忆信道及其信道容量的进一步理解

Cmax存在互信息性质1，上凸函数极值存在 达到Cmax时的两个条件：


信道输入（信源）是离散无记忆的 信道输入的概率分布是使I(X,Y)达到最大的分布

C的值不是由信源的p(x)决定的，而是由p ( y x) 决定的 C是信道作为信息传输通道的性能度量 只有信道输入（信源）X（x1x2…xn)满足一定条件时， 才能充分利用信道传输信息的能力

性质3、性质4的推论： 信道的输入和信道本身都是离散无记忆的
信道与信道容量



概述 信道的分类与描述 离散无记忆信道及其容量 连续信道及其容量 容量代价函数C(F)
§4.1:概述

信息论对信道研究的内容
什么是信道？ 信道的作用 研究信道的目的



§5.1:概述－1

信息论对信道研究的内容：
§4.3:离散无记忆信道及其信道容量-7

对称的离散无记忆信道信道容量

对称的离散无记忆信道
输出字母的集合可以划分为若干子集，对每个子集有：

矩阵中的每一行都是第一行的重排列； 矩阵中的每一列都是第一列的重排列。

定理5.2：对于对称的离散无记忆信道，当信 道输入字母为等概率分布时达到信道容量。



概念问题

熵熵率无失真信源编码定理中 的作用

互信息信道容量信道编码定理 中的作用
回顾－互信息函数的性质1

互 信息与信道输入概率分布的关系
性质1 ：I(X; Y)是信道输入概率分布p(x) 的上凸函数.
I(X; Y)
p(x)
回顾－互信息函数的性质2

信息量与信道转移概率分布的关系
§4.2:信道分类与描述－4
恒参信道（时不变信道） 3 〉信道参量类型 变参信道（时变信道）
§4.2:信道分类与描述－5
二用户信道（点对点通信） 4〉用户类型 多用户信道（通信网）
§4.2:信道分类与描述－6

信道描述
信道可以引用三组变量来描述： 信道输入概率空间： [ X , p( x)] 信道输出概率空间： [Y , q( y)] 信道概率转移矩阵： P ( y x) 即：{ [ X , p( x)] P ( y x) [Y , q( y)] }， [ X , P( ), Y ] 它可简化为： 。

当K=1时，退化为单个消息（符号）信道；进一步当 n=m=2时，退化为二进制单个消息信道。若它满足对称 性，即构成最常用的二进制单消息对称信道BSC：
0
1-Pe 1 Pe Pe
0
x{0,1 }
1
输入
y {0,1 }
1
输出
1-Pe 1
1 , X 0 , 1 且 ,1 p ( x) p ,p P( , ) 0 1
Baidu Nhomakorabea
1 3 1 2 1 6
1 6 1 3 1 2
§4.3:离散无记忆信道及其信道容量-9
0。7 0。7
b1
b1 b2
a1
0 。1 0。1 0。2 0。7
a1
0 。1 0。2 0。1 0。7 0。2
b2
a2
a2 b3
b3
a1 0.7 0.1 0.2 Q a2 0.1 0.7 0.2
p(b1 ) p(ak )q(b1 | ak )
k 1
2
1 2
p(b2 ) p(b1 )
于是： C I ( x ak ; Y )
2
1 2
q(b j | ak ) log
j 1
q ( b j |ak ) p (b j )
(1 ) log 1 log 1/ 2 1/ 2
xi X K
i {1,2,, n k }
K
y j Y 其中：
k 而 j {1,2,, m } 而
P( y1 x1 ) P( y k x1 ) m 1 P P( y1 / xn k ) P( ym k xn k )
§4.2:信道分类与描述－8
§5.1:概述－3

信道的作用

在信息系统中信道主要用于传输与存储信 息，而在通信系统中则主要用于传输。
§5.1:概述－4

研究信道的目的
实现信息传输的有效性和可靠性 有效性：充分利用信道容量 可靠性：通过信道编码降低误码率 在通信系统中研究信道，主要是为了描述、 度量、分析不同类型信道，计算其容量，即 极限传输能力，并分析其特性。 通信技术研究－－信号在信道中传输的过 程所遵循的物理规律，即传输特性 信息论研究－－信息的传输问题（假定传 输特性已知）

K
K
K
K
K
K
§4.2:信道分类与描述－7
出 YK y1 ymk X K x1 xnk 入 p( x) p1 p k 信道 q( y ) q q k n m 1

想提高I(X,Y)，可以提高p(ak) 但提高p(ak)，又使I(x=ak;Y)降低 反复调整p(ak)，使I(x=ak;Y)相等且都等于C 此时I(X,Y) ＝C
k

定理只给出了可使I(X,Y) ＝C的p(x)的充要条件 ，并无 具体分布及C的值，但可以帮助求解简单情况部分信道的 C