第三章信道容量

H(X/Y)=0,H(Y/X)=0,则:
C＝maxI(X;Y)＝H(X)=log n
{p(ai)}
{p(ai)}
2、具有扩展功能的无噪信道
a1
b1
a2
b4
b2
b5
b3
b6
n=3;
a3
b7
m=8
b8
p
b1
0
a1
0
p b2 a1 0 0
wenku.baidu.com
p b3 a1 0 0
0
p b4 a2 0
0
p b5 a2 0
使I(X; Y)达到信道容量的分布p (x)为最佳分布。
单位时间信道容量
若信道平均传输一符号需t秒种，则单位时间的信道容量 为:
1
Ct
max I ( X ;Y ) t { p(ai )}
§3.2.2 几种特殊离散信道的容量
一、离散无噪信道
1、一一对应的无噪信道
X
a1,
a2
,a n
Y b1, b2 ,bn
§3.1 信道的数学模型和分类
信道的数学模型： {X P(Y/X) Y}
x
P(Y/X)
Y
信道的输入为一个随机变量X，相应的输出的随机变量为Y。 对于一个离散信道应有三个参数：
输入符号集：X={x1，x2，…，xn} 输出符号集：Y={y1，y2，…，ym} 信道转移概率：P(Y/X)={p(y1/x1),p(y2/x1),…,p( ym /x1),…,p(y1/xn),…,p(ym/xn)}
信道的分类
半离散信道
输入输出随机变量 取连续值
离散信道
输入或输出随机变 量有一半取离散值、 另一半取连续值
§3.2 单符号离散信道
内容回顾
I(X ;Y )
n i1
m j 1
p(aibj ) log
p(bj ai ) p(bj )
p(aibj ) p(ai ) p(bj ai ) p(bj ) p(ai bj )
输入或输出无关
信道的分类 （根据有无记忆）
输出仅与信道当前输 入有关，与过去输入
无关
有记忆 信道
无记忆 信道
信道的分类
（根据信道的输入与输出 随机变量的个数）
单符号 信道
多符号 信道
信道的分类
（根据输入与 输出的个数）
单用户 信道
多用户 信道
（1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道：至少有一端有两个以上的用户， 双向通信
I(X ;Y )
n i 1
m j 1
p(ai ) p(bj ai ) log
n i 1
p(bj ai ) p(ai ) p(bj ai )
I ( X ;Y )
n m
p(aibj ) log p(ai bj ) log p(ai )
i1 j1
H(X) H(X Y)
平均互信息量是收到Y前、后关于 X的不确定度减少的量，即由Y获得的关 于X的平均信息量。同理:
I(X;Y)
p(ai)
§3.2.1 信道容量的定义
X
a1,
a2
,a n
Y b1,b2 ,bm
x
p(yj/xi)
Y
i=1,2,…n j=1,2,…m
信道转移概率矩阵：（见下页）
p p
b1 a1
b1 a2
,p ,p
b2 a1
b2 a2
,, p ,, p
bm a1
bm a2
第3章：信道容量
信道，通俗地说，是指以传输媒质为基础的信 号通路。具体地说，信道是指由有线或无线电线路 提供的信号通路。信道的作用是传输信号。
如果信道仅是指信号的传输媒质，这种信道称 为狭义信道； 如果信道不仅是传输媒质，而且包 括通信系统中的一些转换装置，这种信道称为广义 信道。
信道对于信息率的容纳并不是无限制的，它不仅与物 理信道本身的特性有关，还与信道输入信号的统计特性有 关，它有一个极限值，即信道容量，信道容量是有关信道 的一个很重要的物理量。这一章研究在信道中传输的每个 符号所携带的信息量，并定义信道容量。
a1
b1
1 0 0
a2 ……
b2
0 1 0
0
0
1
an
bn
0
0
0
n=m
... 0 ... 0
...
0
...
1
另一种情况:
a1
b1
a2
b2
……
an-1
bn-1
an
bn
0 ... 0 0 1
0 ... 0 1 0
0
...
1
0
0
1
0
0
...
0
对于上述两种情况,X与Y一一对应,因此有
I(X;Y) H (Y ) H (Y / X )
由此可以看出,平均互信息量是信源概率分布:
{p(ai ),i 1,2..., n}
和表示输入输出关系的条件概率或信道转移概率 分布:
{p(bj / ai ), i 1,2..., n; j 1,2,..., m}
的函数,即:
I ( X ;Y ) f [ p(ai ), p(bj ai )]
信道的分类
（根据有无干扰）
有干扰 信道
无干扰 信道
（1）无干扰信道：输入信号与输出信号 有一一对应关系
y
f
( x)，并且P(
y
/
x)
1 0
y f (x) y f (x)
（2）有干扰无记忆信道：输入与输出无一一对应关系， 输出只与当前输入有关；
（3）有干扰有记忆信道：这是最一般的信道。
输出不仅与信道当前 输入有关，还与过去
若固定信道{p(bj/ai)}，平均互信息量是信源概率
分布:
{p(ai ),i 1,2..., n}
的函数,即:
I ( X ;Y ) f [ p(ai )]
若固定信源{p(ai)}，平均互信息量是信道转移
概率分布:
{p(bj / ai ), i 1,2..., n; j 1,2,..., m}
p
b1 an
,
p
b2 an
,,
p
bm an
信道容量的定义
信息传输率是衡量通信质量的一个重要指标，由前面 定理知：对于固定信道后，总存在某种输入概率分布p(X)， 使I（X; Y）达到最大值，定义这个最大值为信道容量，记 为C。
C max I ( X ;Y ) （比特/码符号） { p ( ai )} max H ( X ) H ( X Y ) { p ( ai )} max H (Y ) H (Y X ) { p ( ai )}
的函数,即:
I ( X ;Y ) f [ p(bj ai )]
固定信道后，I ( X ;Y )是信源p(ai )
的上凸函数.
那么， 对信源{a1, a2,..., an},通过适当调整概率分布 {p(ai ), i 1,2,..., n}，I ( X ,Y )可以获得最大值。 这时， 信道能够传送的信息率最大， 该最大值就可以定义 为信道容量。