信道及信道容量

P 1
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述

信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
信息工程学院通信工程系
3.2 离散信道及数学模型

离散信道数学模型
设离散信道的输入空间为 X {x1 , x2 , , xn } 概率分布为 { pi }, i 1, 2, , n 输出空间为 Y { y , y , , y } 1 2 m 概率分布为 {q j }, j 1, 2, , m 条件概率为 P(Y | X ) p( y j | xi ),(i 1,2,, n; j 1,2,, m) 该条件概率称为信道的传递概率或转移概率。
其中 p( xi | y j ) 0,
p( x | y ) 1
i 1 i j
n
信息工程学院通信工程系
3.2 离散信道及数学模型
离散信道中的概率关系
（1）联合概率
p( xi y j ) p( xi ) p( y j | xi ) p( y j ) p( xi | y j )
其中 p( y j | xi ) 称为前向概率，描述信道的噪声特性。 p( xi | y j ) 称为后向概率，后验概率。 p( xi ) 称为先验概率。 （2）输出符号的概率 p( y j ) i 1 p( xi ) p( y j | xi )
条件概率为
P(Y | X ) p(Y y j | X xi ) p( y j | xi ) (i 1, 2, , n; j 1, 2, , m)
满足

m j 1
p( y j | xi ) 1, (i 1, 2, , n)
p( y j | xi ) 0 (i 1, 2, , n; j 1, 2, , m)
信息工程学院通信工程系
3.3 信道容量
x1
X
p( y j | xi )
y1
Y
xn
ym
信息工程学院通信工程系
3.2 离散信道及数学模型
将所有转移概率以矩阵方式列出，得：
p( y1 | x1 ) p( y | x ) 1 2 P(Y | X ) ... p( y1 | xn ) p( y2 | x1 ) p( y2 | x2 ) ... p( y2 | xn )
p( jj | kk ) p( j | k ) p( j | k )
称这样组合成的信道为信道1和信道2的独立并行信道或积信道。 以 P P P来表示，信道1和信道2称为积信道的分信道。
信道1 p( j | k ) 信道 2 p ( j ' | k ')
易推广到N个独立信道构成并行信道。
信息工程学院通信工程系
3.2 离散信道及数学模型
2. 和信道 若任一单位时间可随机的选用信道1或信道2中的一个（两 者不能同时选用）。选用信道1的概率为 P1 ，选用信道 2 的概 率为 P2 ，且 P P2 1 。 1 组合信道的输入空间 X X1 X 2 ，输出空间 Y Y1 Y2 转移概率分布为：
信息工程学院通信工程系
3.2 离散信道及数学模型
典型的单符号离散信道
1. 二进制对称信道
二进制对称信道也称二元对称信道或BSC信道，它的输入 为 X {0,1} ，输出为 Y {0,1} ，其转移概率矩阵为
p p 1 p P(Y | X ) p 1 p p

信道组合
假设信道1和信道2如下：

X 2 {ak }
X1 { ak }
信道1 p( j | k )
1 j
Y {b }
信道2 Y2 {bj } p( j | k )
下面介绍三种基本的信道组合方式。
信息工程学院通信工程系
3.2 离散信道及数学模型
i ( xi xi xi ), xi , xi , , xi {x1 , x2 , , xn }
1 2 N 1 2 N
j ( y j y j y j ), y j , y j , , y j { y1 , y2 , , yn }
1 2 N 1 2 N
1. 并行信道（积信道） 若信道1和信道2同时分别传送消息，并且两个信道相互独 立，则组合信道的输入集由所有有序对 (k X1 , k X 2 ) 组成， 即组合信道输入集 X X1 X 2 ，输出集由 ( j Y1 , j Y2 ) 组 成，即输出集 Y Y1 *Y2 。由 kk 到 jj 的转移概率为：
且有
p( y
1
3
p 1 p P (Y | X ) 0 1 q
X 0 p 1-p 1-q
0 q
Y 0
j
| xi ) 1, (i 1, 2)
二进制删除信道线图
1
?
q
1
信息工程学院通信工程系
3.2 离散信道及数学模型

多符号离散信道(N次扩展信道)
如果在不同时刻有多个来自于同一信源的随机变量（多符 号信源）通过离散信道传输，则称该信道为多符号离散信道。 多符号离散信源 X X1 X 2 X N 在N个不同时刻分别通过单 符号离散信道 {X P(Y/X) Y}，在输出端出现 Y YY2 YN ，形成 1 一个新的信道，此即多符号离散信道。 由于新信道相当于单符号离散信道在N个不同的时刻连续 运用了N次，也称为单符号离散信道的N次扩展信道。
3.2 离散信道及数学模型
反信道矩阵(m行n列)
p( x1 | y1 ) p( x | y ) 1 2 P( X | Y ) ... p( x1 | ym ) p( x2 | y1 ) p( x2 | y2 ) ... p( x2 | ym ) ... p( xn | y1 ) ... p( xn | y2 ) ... ... ... p( xn | ym )
n
（3）后验概率 p( xi | y j ) p( xi y j ) / p( y j )

n i 1
p ( xi | y j ) 1
表明输出端收到任一符号，必定是输入端某一符号输入所致。
信息工程学院通信工程系
3.2 离散信道及数学模型

单符号离散信道
单符号离散信道是最简单的离散信道，即信道的输入 输出都只是单个随机变量的，单符号离散信道的输入变量 为 X {x1 , x2 , , xn } ，输出为 Y { y1, y2 , , ym}。
信息工程学院通信工程系
3.1 信道分类和描述
4、根据信道有无记忆特性，分为： 无记忆信道--输出仅与当前输入有关，与先前输入 无关 有记忆信道--输出不仅与当前输入有关，还与先前 输入有关 5、根据输入输出信号的特点，分为： 离散信道(数字信道)--输入、输出随机变量均为离散 取值，取值可有限或无限。 连续信道(模拟信道)--输入、输出随机变量均为连续 取值 半离散(连续)信道-- 一个为离散，一个为连续
{ p( j | k ), p( j | k ), k X1, k X 2 , j Y1, j Y2}
称此组合信道为和信道，以 P P P2 表示。 1
信道2 p( j | k ) p( j | k )
信息工程学院通信工程系
信道1
3.2 离散信道及数学模型
3. 级联信道 若将信道1的输出作为信道2的输入，信道1的输入集就是组 合信道的输入集，信道2的输出集就是组合信道的输出集，称这 样组成的信道为级联信道又称为串行信道。
信息工程学院通信工程系
3.1 信道分类和描述

信道描述
所有信道都有输入集和输出集，当输入集的信号经过信 道输出为输出集时，噪声或干扰会从信道引入，它们使信号 在通过信道后产生错误和失真。信道的输入和输出信号之间 不是确定的函数关系，而是统计依赖的关系，因此只要知道 信道的输入信号，输出信号以及它们之间统计关系，则能够 确定信道的全部特性。 由于实际信道的带宽总是有限的，所以输入信号和输出 信号总可以分解成随机序列来研究，信道整体描述包含以下 三要素：
j
且有
p( y
j 1
2
p p
Y 0
| xi ) 1, (i 1, 2)
二进制对称信道线图
X 0
1-p p
p
1 1-p 1
信息工程学院通信工程系
3.2 离散信道及数学模型
2. 二进制删除信道 二进制删除信道的输入为 X {0,1}，输出为Y {0,?,1}，
其转移概率矩阵为
注意：每行元素之和等于1。 其中
p( j | i ) p( y j1 y j2 y jN | xi1 xi2 xiN ) p( y j1 | xi1 ) p( y j2 | xi2 ) p( y jN | xiN )
信息工程学院通信工程系
3.2 离散信道及数学模型
信息工程学院通信工程系
3.2 离散信道及数学模型
信道矩阵为
p( 1 | 1 ) p( | ) 1 2 P (Y | X ) p( 1 | n N ) p ( m N | 1 ) p( 2 | 2 ) p( m N | 2 ) p( 2 | nN ) p( mN | nN ) p ( 2 | 1 )
第3章 信道与信道容量
3.0 引言
3.1 信道分类和描述
3.2 离散信道及数学模型
3.3 信道容量
3.4 离散信道的信道容量 3.5 多用户信道及信道容量 3.6 连续信道及信道容量
信息工程学院通信工程系
3.0 引言
信道作为通信系统中的重要组成部分，是传输信息
的媒介和通道，其任务是以信号的形式传输和存储信息。
j
... ... ... ...
p( ym | x1 ) p( ym | x2 ) ... p( ym | xn )
其中 p ( y j | xi ) 0,
p( y
j 1
m
| xi ) 1
该矩阵完全描述了信道在干扰作用下的统计特性，称 为信道矩阵(n行m列)。
信息工程学院通信工程系