第三章 信道容量
合集下载
第3章 信道容量A
p ( xi ) 1 2 m
例1.信道矩阵
1 2 P 1 1 4
1 4 1 2
1 8 1 8
1 8 1 8
是行可排的。
1 1 1 1 3 I ( X , Y ) H (Y ) H ( , , , ) H (Y ) 1 2 4 8 8 4
记 则
• 信道矩阵中元素为0或1，每行有一个1，其余是0， • 这种信道的噪声熵H(Y/X )=0,信道容量 C max I ( X ;Y ) log m
p ( xi )
(10)
二、强对称离散信道的信道容量
设单符号离散信道｛X P(Y/X ) Y｝的输入 X x1, x2 ,..., xn ，输出为 Y y1, y2 ,..., yn 信道矩阵为n×n阶对称矩阵
i i
i
3.2.2 几种特殊离散信道的信道容量
一、离散无噪信道的信道容量 一般分为三种情况： 1.具有一一对应关系的无噪信道(“一对一”) m=n, 信道矩阵元素均为0或1。
无噪H(X/Y )=0,H(Y/X )=0,所以：
Ｉ(Ｘ;Y )=H(X )= H(Y )
根据信道容量的定义有：C 来自 max I ( X ; Y ) log n
i 1 j 1 n n m
H (Y ) p( xi ) H mi
其中
i 1
H mi p( y j / xi ) log p( y j / xi )
j 1
m
对于任何 i, p( y j / xi ), j 1, 2,..., m 都是一个集合Q的 排列的， H mi 是与X无关的常数，故有
i 1,2,...,n j 1,2,...,m
x1 , x2 ,..., xi ,..., xn
例1.信道矩阵
1 2 P 1 1 4
1 4 1 2
1 8 1 8
1 8 1 8
是行可排的。
1 1 1 1 3 I ( X , Y ) H (Y ) H ( , , , ) H (Y ) 1 2 4 8 8 4
记 则
• 信道矩阵中元素为0或1，每行有一个1，其余是0， • 这种信道的噪声熵H(Y/X )=0,信道容量 C max I ( X ;Y ) log m
p ( xi )
(10)
二、强对称离散信道的信道容量
设单符号离散信道｛X P(Y/X ) Y｝的输入 X x1, x2 ,..., xn ，输出为 Y y1, y2 ,..., yn 信道矩阵为n×n阶对称矩阵
i i
i
3.2.2 几种特殊离散信道的信道容量
一、离散无噪信道的信道容量 一般分为三种情况： 1.具有一一对应关系的无噪信道(“一对一”) m=n, 信道矩阵元素均为0或1。
无噪H(X/Y )=0,H(Y/X )=0,所以：
Ｉ(Ｘ;Y )=H(X )= H(Y )
根据信道容量的定义有：C 来自 max I ( X ; Y ) log n
i 1 j 1 n n m
H (Y ) p( xi ) H mi
其中
i 1
H mi p( y j / xi ) log p( y j / xi )
j 1
m
对于任何 i, p( y j / xi ), j 1, 2,..., m 都是一个集合Q的 排列的， H mi 是与X无关的常数，故有
i 1,2,...,n j 1,2,...,m
x1 , x2 ,..., xi ,..., xn
第三章信道及其容量
… …. … … ar P(b1|ar) P(b2|ar) … P(bs|ar)
p11 p12 ... p1s
P
p21
p22
...
p
2
s
: : : :
p
r1
pr2
...
prs
s
pij 0
pij 1
j 1
矩阵P完全描述了信道的特性，可用它作为离散单符号 信道的另一种数学模型的形式。
P中有些是信道干扰引起的错误概率，有些是信道正确 传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。
1
H(X | bj ) X P(x | bj )logP(x | bj )
这是接收到输出符号bj后关于X的后验熵。
后验熵是当信道接收端接收到输出符号bj后，关于输入 符号的信息测度。
后验熵在输出符号集Y范围内是个随机量，对后验熵在符 号集Y中求数学期望，得条件熵----信道疑义度：
s
H ( X | Y ) E[H ( X / b j )] P(bj )H ( X / bj )
y f (x) y f (x)
➢ 信道的输入和输出一一对应，信息无损失地传输， 称为无损信道。
➢ H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ]
➢ 由于噪声熵等于零，因此，输出端接收的信息就等 于平均互信息:
பைடு நூலகம்I(X;Y) = H(X) = H(Y)
（2）、输入输出独立信道 ( 全损信道 )
• 当信源固定后，选择不同的信道来传输同一信源符 号，在信道输出端获得关于信源的信息量是不同的。
• 对每一种信源都存在一种最差的信道，此时干扰 (噪 声) 最大，而输出端获得的信息量最小。
p11 p12 ... p1s
P
p21
p22
...
p
2
s
: : : :
p
r1
pr2
...
prs
s
pij 0
pij 1
j 1
矩阵P完全描述了信道的特性，可用它作为离散单符号 信道的另一种数学模型的形式。
P中有些是信道干扰引起的错误概率，有些是信道正确 传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。
1
H(X | bj ) X P(x | bj )logP(x | bj )
这是接收到输出符号bj后关于X的后验熵。
后验熵是当信道接收端接收到输出符号bj后，关于输入 符号的信息测度。
后验熵在输出符号集Y范围内是个随机量，对后验熵在符 号集Y中求数学期望，得条件熵----信道疑义度：
s
H ( X | Y ) E[H ( X / b j )] P(bj )H ( X / bj )
y f (x) y f (x)
➢ 信道的输入和输出一一对应，信息无损失地传输， 称为无损信道。
➢ H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ]
➢ 由于噪声熵等于零，因此，输出端接收的信息就等 于平均互信息:
பைடு நூலகம்I(X;Y) = H(X) = H(Y)
（2）、输入输出独立信道 ( 全损信道 )
• 当信源固定后，选择不同的信道来传输同一信源符 号，在信道输出端获得关于信源的信息量是不同的。
• 对每一种信源都存在一种最差的信道，此时干扰 (噪 声) 最大，而输出端获得的信息量最小。
第3章信道及信道容量
X P(Y/X) Y
2019/11/27
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y / X) P(y1 / x2) P(y2 / x2) P(ym / x2 )
信道及信道容量
例5
信源P(XX)
0 p
1
1
p
信道P(Y
/
X)
1
q
q
1 q
q
平均互信息量及p-I(X;Y)和q-I(X;Y)曲线
P(y1 0) pq (1 p)(1 q) pq pq P(y2 1) p(1 q) (1 p)q pq pq H(Y) (pq pq) log( pq pq) (pq pq) log( pq pq) H(pq pq)
I(X;Y) H(Y) H(Y / X) H(pq pq) H(q) 信道固定时q为常数，作p-I(X;Y)曲线 当p 0时，I(X; Y) H(q) H(q) 0
p 0.5时，I(X; Y) H(0.5) H(q) 1 H(q)
2019/11/27
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
2019/11/27
信道及信道容量
x1
P(y1/x1)
y1
x2
P(y2/x2)
y2
…
…
…
P(ym/xn)
xn
ym
P(y1 / x1) P(y2 / x1) P(ym / x1)
P(Y / X) P(y1 / x2) P(y2 / x2) P(ym / x2 )
信道及信道容量
例5
信源P(XX)
0 p
1
1
p
信道P(Y
/
X)
1
q
q
1 q
q
平均互信息量及p-I(X;Y)和q-I(X;Y)曲线
P(y1 0) pq (1 p)(1 q) pq pq P(y2 1) p(1 q) (1 p)q pq pq H(Y) (pq pq) log( pq pq) (pq pq) log( pq pq) H(pq pq)
I(X;Y) H(Y) H(Y / X) H(pq pq) H(q) 信道固定时q为常数，作p-I(X;Y)曲线 当p 0时，I(X; Y) H(q) H(q) 0
p 0.5时，I(X; Y) H(0.5) H(q) 1 H(q)
2019/11/27
I(X; Y)
i1
m
P(x i y j ) log
j1
P(y j ) P(y j / xi )
n
i1
m
P(x i y j ) log
j1
P(xi ) P(xi / y j )
nm
第三章信道与信道容量
3.1信道的基本概念 信道的基本概念
• 2. 信道模型及信道参数
• • • • • •
信道的三要素:输入 输出 信道的三要素 输入,输出 输入 输出,p(y/x) 根据信道是否存在干扰及有无记忆,可分为 可分为: 根据信道是否存在干扰及有无记忆 可分为 1)无干扰 无干扰 2)有干扰无记忆 有干扰无记忆 3)有干扰有记忆 有干扰有记忆 对于有干扰无记忆信道进一步分为: 对于有干扰无记忆信道进一步分为
这里I ( xI ; Y ) = ∑ p( yj / xi ) log p( yj / xi )
j =0
Q −1
p( yj )
• 2 离散时间无记忆信道的容量
这类信道中最重要的一种是加性高斯白噪 信道,对它而言 声(AWGN)信道 对它而言，离散输入 ＝{ 信道 对它而言，离散输入X＝ x0,x1,…，xq-1}和模拟输出 ＝｛ 和模拟输出Y＝｛ ， 和模拟输出 ＝｛-∞,∞｝ ｝ 之间的最大平均互信息即信道容量由下式 给出(单位是比特 符号)： 单位是比特/符号 给出 单位是比特 −符号 ： q 1
1 ∞ p ( y / A) 1 ∞ p ( y / − A) C = ∫ p ( y / A) log 2 dy + ∫ p ( y / − A) log 2 dy −∞ −∞ 2 2 p( y) p( y )
•
3.带限波形信道的容量 带限波形信道的容量
一个受加性高斯白噪声干扰的带限波形信道的容量
1 C = lim max I ( X ; Y ) T →∞ Px T
香农公式
C = W log(1 +
1.
Pav ) = W log(1 + SNR) WN 0
带宽一定时，信道容量随 的增加而单调增加， 带宽一定时，信道容量随SNR的增加而单调增加，因此增大 的增加而单调增加 信号功率、减小信道噪声可以增加信道容量。 信号功率、减小信道噪声可以增加信道容量。 2. 如果 如果SNR固定，信道容量随着带宽的增加而增加。 固定， 固定 信道容量随着带宽的增加而增加。
第三章 信道容量
1
p
1
1
q
1
9
概率计算
输入概率矩阵 PX = [ p( x1 )
输出概率矩阵 PY = [ p( y1 )
p( x2 ) L p( y 2 ) L
p( xn )] p( ym )]
行 向量
联合概率矩阵 PXY
p( x1 y1 ) p( x y ) 2 1 = M p( xn y1 ) p( y1 | x1 ) p( y | x ) 1 2 = M p( y1 | xn )
H (Y | X ) 噪声熵(信道散布度) 它们都是由于噪声干扰的存在而产生的； 它们都是由于噪声干扰的存在而产生的；信道中存 在噪声干扰， 在噪声干扰，是减低信道传信能力的基本原因
13
平均互信息 I ( X ; Y )
以后， 平均互信息表示接收到 Y 以后 ， 平均每个符号所获得的关于 的信息量，是信道实际传输信息的数量， 输入变量 X 的信息量 ， 是信道实际传输信息的数量 ， 也是真 正被接收者收到的信息量 I ( X ;Y ) = I (Y ; X ) = H ( X ) + H (Y ) − H ( XY ) = H(X ) − H(X |Y ) 信道疑义度 = H (Y ) − H (Y | X ) 信道散布度 n m p( y j | x i ) = ∑∑ p( y j | xi ) p( xi )log n ∑ i = 1 p ( y j | x i ) p( x i ) i =1 j =1
i = 1,2,L , n j = 1,2,L , m
为研究方便，信道特性一般用信道转移概率矩阵(信 为研究方便 ， 信道特性一般用 ( 道矩阵) 道矩阵) 来表示 y1 y2 ym L x1 p( y1 | x1 ) p( y2 | x1 ) L p( ym | x1 ) ∑ = 1 p( y | x ) p( y | x ) L p( y | x ) j x2 1 2 2 2 m 2 PY | X = M M M L M xn p( y1 | xn ) p( y2 | xn ) L p( ym | xn ) n× m
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
第三章 信道容量.ppt
输入
X X1X2......X N i a ai1 i2 aiN
Y Y1Y2.....YN
i 1,2,......, nN
X K a1a2 an i1i2......iN 1,2,......, n 输出
YK b1b2 bn
X P(Y X ) Y
j b bj1 j2 bjN
§3.4 网络信息理论 §3.5 连续信道 §3.6 信道编码定理
§3.3 多符号离散信道的信道容量
§3.3.1 多符号离散信道的数学 模型
§3.3.2 离散无记忆扩展信道的信 道容量 §3.3.3 独立并联信道的信道容量
多符号离散信道
多符号信源通过离散信道传输形 成多符号离散信道。
§3.3.1 多符号离散信道的数学模型
1 n
强对称信道与对称信道比较：
强对称
对称
n=m
n与m未必相等
矩阵对称
矩阵未必对称
P=Q
行之和，列之和均 为1
P与Q未必相等 行之和为1
四、准对称信道离散信道的信道容量
若信道矩阵的行是可排列的，但列不可 排列，如果把列分成若干个不相交的子集， 且由n行和各子集的诸列构成的各个子矩阵 都是可排列的，则称相应的信道为准对称 信道。例如下面的矩阵：
§3.2 单符号离散信道的信道容量
§3.3 多符号离散信道的信道容量 §3.4 网络信息理论 §3.5 连续信道 §3.6 信道编码定理
§3.2 单符号离散信道的信道容量 §3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量 §3.2 .3 离散信道容量的一般计算方法
§3.2.1 信道容量的定义
p(b1) p(a1) p(a2 )
p(b2 ) (1 ) p(a2 )
第三章信道容量
p
b1 an
,
p
b2 an
,,
p
bm an
信道容量的定义
信息传输率是衡量通信质量的一个重要指标，由前面 定理知：对于固定信道后，总存在某种输入概率分布p(X)， 使I（X; Y）达到最大值，定义这个最大值为信道容量，记 为C。
C max I ( X ;Y ) （比特/码符号） { p ( ai )} max H ( X ) H ( X Y ) { p ( ai )} max H (Y ) H (Y X ) { p ( ai )}
a1
b1
1 0 0
a2 ……
b2
0 1 0
0
0
1
an
bn
0
0
0
n=m
... 0 ... 0
...
0
...
1
另一种情况:
a1
b1
a2
b2
……
an-1
bn-1
an
bn
0 ... 0 0 1
0 ... 0 1 0
0
...
1
0
0
1
0
0
...
0
对于上述两种情况,X与Y一一对应,因此有
输入或输出无关
信道的分类 （根据有无记忆）
输出仅与信道当前输 入有关，与过去输入
无关
有记忆 信道
无记忆 信道
信道的分类
（根据信道的输入与输出 随机变量的个数）
单符号 信道
多符号 信道
信道的分类
（根据输入与 输出的个数）
单用户 信道
多用户 信道
（1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道：至少有一端有两个以上的用户， 双向通信
第3章 信道容量
{x1,x2,…,xn} X
{P(yj/xi)}
i=1,2,…,n j=1,2,…,m
{y1,y2,…,ym} Y
信道统计特性由信道转移概率p(yj/xi)描述。信道转移
(传递)概率实际上是一个转移概率矩阵，称为信道 矩阵。常用它来表示信道特性。
信道矩阵
若行表示输入X，列表 示输出Y，信道矩阵为n行 m列矩阵。
无噪信道的信道容量C只决定于信道的输入 符号n，或输出符号数m，与信源无关，是表 征信道特性的一个参量。
3.2.2 几种特殊离散信道的信道容量
信道矩阵具有对称性的特殊信道
二、强对称离散信道 （均匀信道） 三、对称离散信道 四、准对称离散信道
二、强对称离散信道（均匀信道）
如果信道输入符号和输出符号个数相同，且信道矩阵为
当m 3时，其信道矩阵为 1 1 P 0 0 0 0 0 0 0 1 0 1 0 0 1
X x1 x2 x3 x4 x5
Y y1
y2
y3
3.具有归并性能的无噪信道（确定信道）
在这类信道中，信道输出端接收到某个yj以后，并不能断 定是哪一个输入符号xi，因此损失熵H(X/Y) ＞0。 于是，可求出确定信道的平均互信息为 I(X;Y) = H(Y) ＜H(X)
0 p( y5 / x2 ) 0
p( y6 / x3 ) 0 0
2.具有扩展性能的无噪信道（无损信道）
在这类信道中，因为信源发生符号xi，并不能确定在 信道输出端会发生哪个yj，因此噪声熵H(Y/X) ＞0。 于是，可求出无损信道的平均互信息为 I(X;Y) = H(X) ＜H(Y)
p( xn / y1 ) p ( xn / y 2 ) p ( xn / y m )
{P(yj/xi)}
i=1,2,…,n j=1,2,…,m
{y1,y2,…,ym} Y
信道统计特性由信道转移概率p(yj/xi)描述。信道转移
(传递)概率实际上是一个转移概率矩阵，称为信道 矩阵。常用它来表示信道特性。
信道矩阵
若行表示输入X，列表 示输出Y，信道矩阵为n行 m列矩阵。
无噪信道的信道容量C只决定于信道的输入 符号n，或输出符号数m，与信源无关，是表 征信道特性的一个参量。
3.2.2 几种特殊离散信道的信道容量
信道矩阵具有对称性的特殊信道
二、强对称离散信道 （均匀信道） 三、对称离散信道 四、准对称离散信道
二、强对称离散信道（均匀信道）
如果信道输入符号和输出符号个数相同，且信道矩阵为
当m 3时，其信道矩阵为 1 1 P 0 0 0 0 0 0 0 1 0 1 0 0 1
X x1 x2 x3 x4 x5
Y y1
y2
y3
3.具有归并性能的无噪信道（确定信道）
在这类信道中，信道输出端接收到某个yj以后，并不能断 定是哪一个输入符号xi，因此损失熵H(X/Y) ＞0。 于是，可求出确定信道的平均互信息为 I(X;Y) = H(Y) ＜H(X)
0 p( y5 / x2 ) 0
p( y6 / x3 ) 0 0
2.具有扩展性能的无噪信道（无损信道）
在这类信道中，因为信源发生符号xi，并不能确定在 信道输出端会发生哪个yj，因此噪声熵H(Y/X) ＞0。 于是，可求出无损信道的平均互信息为 I(X;Y) = H(X) ＜H(Y)
p( xn / y1 ) p ( xn / y 2 ) p ( xn / y m )
第三章 信道容量
由C 2。
3。
log （ , 求C 2 2 ）
βj j 1
β j C
m
由p(b j ) 2
n
,求p(b j )
i j i i
4。由p(b j )
p(a ) p(b /a ),求p(a )
i 1
对于离散无记忆N次扩展信道，当信源是平稳无记忆 I ( X ;Y ) 等于单符号信道的平均互信息 信源时，其平均互信息 的N倍。 离散无记忆信道的N次扩展信道的信道容量为
k 1
当N个独立并联信道的信道容量都相同时，
C并 NC
图4.10 独立并联信道
§3.5 连续信道
{X P(Y / X ) Y }
P(Y/X)
X [a, b]
(,)R
'
Y [a , b ]
' '
(,) R
连续信道的数学模型
C max I C ( X ; Y )
p( x)
二、强对称(均匀)离散信道的信道容量
X a1 , a2 ,an Y b1 , b2 ,bn
n=m
Pnn
p 1 p n 1 p n 1 1 p ...... p p n 1 n 1
p ...... n 1 p ...... n 1 ...... p 1 p n 1 nn
对称离散信道的信道容量
H (Y / X ) p(ai ) p(b j / ai ) log p(b j / ai )
i 1 j 1 n n m
p(ai )[ p(b j / ai ) log p (b j / ai )]
i 1 j 1
31第3章3132信道模型信道容量
22
简单的离散无记忆信道
信道矩阵为： p11
p1m
P
且满足 m
p n1
p nm
pij 1; i 1,2, ,n
j1
这意味着矩阵中每一行之和为1。
其 中 pij p(yj/xi)P(Yyj/Xxi) 其 概 率 空 间 为 [X,P(yj/xi),Y].
p(x)
p(x)
28
无噪信道
无噪信道的一个输出对
应着多个互不相交的输 入，如右图所示。
当 m 2时 ， 信 道 矩 阵 为 :
1 0 0
1
0
0
P 0 1 0
0
1
0
0 1 0
前 向 概 率 p
y j | xi
0
限个或可数无限个取自连续集的序列
3
信道的分类２－按输入输出个数
根据信道的输入和输出个数： 两端信道（两用户信道）：输入和输出均只
有一个事件集； 多端信道（多用户信道）：输入和输出中至
少有一个具有两个或两个以上的事件集。
4
信道的分类３－按信道接入
根据信道接入的不同： 多元接入信道：多个不同信源的信息经编码
后送入统一信道传输，接收端译码后再送给 不同的信宿。如在卫星通信系统中的应用。 广播信道：单一输入，多个输出。
5
信道的分类４－按统计特性
根据信道的统计特性： 恒参信道：统计特性不随时间变化； 随参信道：统计特性随时间变化。
6
信道的分类５－按记忆特性
根据信道的记忆特性 无记忆信道：信道输出仅与当前的输入有关； 有记忆信道：信道输出不仅与当前输入有关，
信道容量 第三章
YKb1b2 bm
X
P(X Y)
Y
p(1 1) p(2 1) ...... p(mN 1)
p(1
2)
p(2 2)
......
p(mN
2)
...... ......
p(1 nN) p(2 nN) ...... p(mN nN)
a 4
II 离散无记忆扩展信道的信道容量
• 无记忆：Yi仅与Xi有关
a 6
3.4 连续信道
a 7
3.4-I 连续信道及其容量
{X P(Y/X) Y}
X[a,b]
(,)R'
P(Y/X)
连续信道的数学模型
Y [a',b']
(,)R
Cm p(axx) IC(X;Y)
a 8
3.4-II 加性连续信道及其容量
X
p(y/x)=p(n)
Y=X+N
N 加性连续信道
C m p ( a x x )I C ( X ;Y ) m p ( a x x ){ H c ( Y ) } H c ( N )
结论
a 14
P100 3.11 P101 3.14 P101 3.18
习题
a 15
P102 3.20
作业
a 16
第三章—4
小结
小结
• 回顾了多符号离散信道的信道容量。 • 学习了连续信道和信道编码定理。 • 结合所学内容，对习题进行讲解。
a 18
本次课结束！
a 19
第三章—4
信道容量
内容
3.1 信道的基本概念 3.2 单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.4 连续信道 3.5 信道编码定理
X
P(X Y)
Y
p(1 1) p(2 1) ...... p(mN 1)
p(1
2)
p(2 2)
......
p(mN
2)
...... ......
p(1 nN) p(2 nN) ...... p(mN nN)
a 4
II 离散无记忆扩展信道的信道容量
• 无记忆：Yi仅与Xi有关
a 6
3.4 连续信道
a 7
3.4-I 连续信道及其容量
{X P(Y/X) Y}
X[a,b]
(,)R'
P(Y/X)
连续信道的数学模型
Y [a',b']
(,)R
Cm p(axx) IC(X;Y)
a 8
3.4-II 加性连续信道及其容量
X
p(y/x)=p(n)
Y=X+N
N 加性连续信道
C m p ( a x x )I C ( X ;Y ) m p ( a x x ){ H c ( Y ) } H c ( N )
结论
a 14
P100 3.11 P101 3.14 P101 3.18
习题
a 15
P102 3.20
作业
a 16
第三章—4
小结
小结
• 回顾了多符号离散信道的信道容量。 • 学习了连续信道和信道编码定理。 • 结合所学内容，对习题进行讲解。
a 18
本次课结束！
a 19
第三章—4
信道容量
内容
3.1 信道的基本概念 3.2 单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.4 连续信道 3.5 信道编码定理
第三章信道及信道容量
2但为有限值,即
p11
P
p2
1
p12 p22
,
p1m
p2m
pn1
pn2
pn
m
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p
0 p
0
1p p
p
P
p
1p
1
1
1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使
得 I（X；Y）达到最大。
C m ax { I(X ;Y )} (b it/符 号 ) p(x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为：
C T1 tm p(axx ){I(X;Y)}(bit/秒 )
即信道传输速率。
信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
这样，波形信道化为多维连续信道，信道转移概率密度 函数为
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。
第3章 信道与信道容量
max p(x)
H C (Y )
1 log
2
2e
2
pn(n)＝N(0, 2) 连续单符号信道
噪声是均值为零、方差为 2的加性高斯噪声
34
3.4 连续信道及其容量
连续单符号加性信道
pY (y) ＝N(0,P)，pn(n)＝N(0, 2)，y=x+n，所以 pX (x)＝N(0, S)
3
3.1 信道分类和表示参数
二进制对称信道(BSC)
P
1 p
p
p 1 p
4
3.1 信道分类和表示参数
离散无记忆信道
a1 a2
b1
p11 p12 p1m
b2 b3
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
5
3.1 信道分类和表示参数
离散输入、连续输出信道
pY ( y / ai )
31
3.3 离散序列信道及其容量
扩展信道
(1 p)2 p(1 p) p(1 p) p2
1
P
p(1 p(1
p) p)
(1 p)2 p2
p2 (1 p)2
p(1
p)
p(1 p)
p2 p(1 p) p(1 p) (1 p)2
C2 log2 4 H[(1 p)2 , p(1 p), p(1 p), p 2 ]
1 1 1 1
13
3 1
6 1
6 1
6 6 3 3
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
12
3.2 离散单个符号信道及其容量
信息论与编码理论-第3章信道容量-习题解答
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X CI X Y bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
第3章.信道与信道容量
p(Y | X) p( y1 | x1) p( y2 | x2 ) p( yL | xL )
即每个输出信号只与当前的输入信号之间有转移概率关 系，而与其他非该时刻的输入信号、输出信号都无关， 也就是无记忆性。
14
3.1.2 信道参数
有干扰无记忆信道 按照输入输出信号的符号数目，有干扰信道可以进一步 划分为： （1）二进制离散信道 （2）离散无记忆信道 （3）离散输入、连续输出信道 （4）波形信道
22
3.2 离散单个符号信道及其容量
信息传输率
有时需要了解的是信道在单位时间内平均传输的信息量，
若已知平均传输一个符号所需的时间为t秒，则将信道
在单位时间内平均传输的信息量定义为信息传输速率，
即：
I ( X ;Y ) Rt t bit / s
注意：
R：单位为bit / 符号
信息传输率
Rt：单位为bit / s
maxH (Y ) H (Y | X ) p(ai )
max
p(ai )
H
(Y
)
H
(Y
|ai)393.2.2 对称DMC信道
对称DMC信道的容量 如果信道输入符号等概率分布，即p(ai)=1/n，则由于转 移概率矩阵的列对称，所以：
p(bj )
i
p(ai
)
p(bj
|
ai
)
1 n
i
p(bj | ai )
信息论不研究信号在信道中传输的物理过程，并假定信 道的传输特性已知，这样信息论就可以抽象地将信道用 下图所示的模型来描述。
3
3.1.1 信道的分类
信道
输入量X (随机过程)
P(Y | X ) 信道
输出量Y (随机过程)
即每个输出信号只与当前的输入信号之间有转移概率关 系，而与其他非该时刻的输入信号、输出信号都无关， 也就是无记忆性。
14
3.1.2 信道参数
有干扰无记忆信道 按照输入输出信号的符号数目，有干扰信道可以进一步 划分为： （1）二进制离散信道 （2）离散无记忆信道 （3）离散输入、连续输出信道 （4）波形信道
22
3.2 离散单个符号信道及其容量
信息传输率
有时需要了解的是信道在单位时间内平均传输的信息量，
若已知平均传输一个符号所需的时间为t秒，则将信道
在单位时间内平均传输的信息量定义为信息传输速率，
即：
I ( X ;Y ) Rt t bit / s
注意：
R：单位为bit / 符号
信息传输率
Rt：单位为bit / s
maxH (Y ) H (Y | X ) p(ai )
max
p(ai )
H
(Y
)
H
(Y
|ai)393.2.2 对称DMC信道
对称DMC信道的容量 如果信道输入符号等概率分布，即p(ai)=1/n，则由于转 移概率矩阵的列对称，所以：
p(bj )
i
p(ai
)
p(bj
|
ai
)
1 n
i
p(bj | ai )
信息论不研究信号在信道中传输的物理过程，并假定信 道的传输特性已知，这样信息论就可以抽象地将信道用 下图所示的模型来描述。
3
3.1.1 信道的分类
信道
输入量X (随机过程)
P(Y | X ) 信道
输出量Y (随机过程)
信息论与编码-第10、11讲-第3章信道容量
THANKS
感谢观看
信道容量决定了单位时间内传输 的信息量，容量越大，传输效率 越高。
02
编码技术对信息传 输效率的影响
采用高效的编码技术可以减小信 息的冗余度，提高信息传输效率 。
03
多路复用技术提高 信道利用率
多路复用技术允许多个信号在同 一信道上同时传输，提高了信道 的利用率。
信道容量与信号设计
1 2
信号设计对信道容量的影响
02
它反映了信道在噪声干扰下传输信息的能力，是衡量信道性 能的重要指标。
03
信道容量可以通过特定的编码方式和技术实现接近，但无法 达到。
信道容量的性质
确定性
对于确定的信道，其容量是确定的，与使用的信号和 编码方式无关。
可加性
对于并联的多个信道，其容量等于各个信道容量的总 和。
单调性
随着输入信号的平均功率增加，信道容量通常会增加 ，但增加的幅度逐渐减小。
通信系统设计中的关键问题
如何提高信号传输的可靠 性和速率？
如何平衡传输质量和系统 复杂度？
如何降低噪声和干扰对信 号的影响？
如何实现高效、低成本的 通信系统设计？
05
CATALOGUE
信道容量与实际应用
无线通信中的信道容量问题
无线信道的不确定性
无线通信中，由于信号传播的复杂性和多径效应，信道容量存在不 确定性。
信道容量的计算方法
离散无记忆信道容量
01
通过计算输入信号的熵和输出信号的熵，再根据互信息公式计
算得出。
连续无记忆信道容量
02
通过计算输入信号的功率谱密度和输出信号的功率谱密度，再
根据互信息公式计算得出。
有记忆信道容量
第3章：信道容量
信道的描述：用条件转移概率表示。
本章内容
信道的数学模型及分类 单符号离散信道的信道容量
3.1 信道的数学模型及分类
一般信道的数学模型 信道的分类 实际的信道
(1) 一般信道的数学模型
信息论对信道的研究：对具体物理信道抽象，建立与各 种通信系统相适应的信道模型，研究信息在这些模型信 道上传输的普遍规律，指导通信系统的设计。
但每列的非零元素个数大于 1：
已知某一个 xi 后，对应的 yj 完全确定，
损失熵/信道疑义度：H(X/Y)>0 I(X;Y)= H(X)－H(X/Y)= H(Y)－H(Y/X)= H(Y)
噪声熵：H(Y/X)=0
收到某一个 yj 后，对应的 xi 不完全确定， 信道疑义度
H(X/Y)≠0。
信道容量为：
① 离散无噪声信道的信道容量
② 强对称离散信道的信道容量
③ 对称离散信道的信道容量
④ 准对称离散信道的信道容量
① 离散无噪信道的信道容量
a 具有一一对应关系的无噪信道 b 具有扩展性能的无噪信道 c 具有归并性能的无噪信道
a 具有一一对应关系的无噪信道（无噪无损信道）
信道线图
x1 y1 x1 x2 yi
a 具有一一对应关系的无噪信道（无噪无损信道）
因为信道矩阵中所有元素均是 “1” 或 “0”，X 和 Y 有确 定的对应关系：
已知 X 后 Y 没有不确定性， 噪声熵：H(Y/X)=0
收到 Y 后，X 也不存在不确定性， 损失熵/信道疑义度：H(X/Y)=0
I(X;Y)=H(X)=H(Y)。
i 1 j 1
n
本章内容
信道的数学模型及分类 单符号离散信道的信道容量
3.1 信道的数学模型及分类
一般信道的数学模型 信道的分类 实际的信道
(1) 一般信道的数学模型
信息论对信道的研究：对具体物理信道抽象，建立与各 种通信系统相适应的信道模型，研究信息在这些模型信 道上传输的普遍规律，指导通信系统的设计。
但每列的非零元素个数大于 1：
已知某一个 xi 后，对应的 yj 完全确定，
损失熵/信道疑义度：H(X/Y)>0 I(X;Y)= H(X)－H(X/Y)= H(Y)－H(Y/X)= H(Y)
噪声熵：H(Y/X)=0
收到某一个 yj 后，对应的 xi 不完全确定， 信道疑义度
H(X/Y)≠0。
信道容量为：
① 离散无噪声信道的信道容量
② 强对称离散信道的信道容量
③ 对称离散信道的信道容量
④ 准对称离散信道的信道容量
① 离散无噪信道的信道容量
a 具有一一对应关系的无噪信道 b 具有扩展性能的无噪信道 c 具有归并性能的无噪信道
a 具有一一对应关系的无噪信道（无噪无损信道）
信道线图
x1 y1 x1 x2 yi
a 具有一一对应关系的无噪信道（无噪无损信道）
因为信道矩阵中所有元素均是 “1” 或 “0”，X 和 Y 有确 定的对应关系：
已知 X 后 Y 没有不确定性， 噪声熵：H(Y/X)=0
收到 Y 后，X 也不存在不确定性， 损失熵/信道疑义度：H(X/Y)=0
I(X;Y)=H(X)=H(Y)。
i 1 j 1
n
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
C的单位是信道上每传送一个符号（每使用一次信道）所能
携带的比特数，即比特／符号（bits／sign或 bits／channel use）。
以e为底取自然对数时，信道容量的单位变为奈特／符号
（nats／sign）。
如果已知符号传送周期是T秒，也可以“秒”为单位来计算
信道容量，此时Cs＝C／T，以比特/秒（bits／s）或奈特/秒
X P (b j / ai Y
a1 ,a2 ,ai ,,an
单符号离散信道的数学模型
b1 ,b2 ,b j ,,bm
表示当信道输入为xai 时，信道的输出Y必为
b1 , b2 ,b j ,, bm 中的一个。
一般单符号信道的转移概率可用信道转移矩阵表示：
概念问题
熵熵率无失真信源编码定理中的作用 互信息信道容量信道编码定理中的作用
回顾－平均互信息的性质1
性质1 ：I(X;Y)是信源输入概率分布p(x)的上凸函数。
回顾－平均互信息的性质2
性质2 ：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.
回顾－平均互信息的性质3
第三章 信道与信道容量
本章内容
概述
信道的分类与描述 单符号离散信道的信道容量 多符号离散信道 多用户信道 连续信道及其容量
3.0 概述
信息论研究信道的内容 什么是信道？ 信道的作用 研究信道的目的
信息论研究信道的内容：
信道的建模：信道的统计特性的描述； 信道传输信息的能力（信道容量）的计算； 在有噪信道中能否实现可靠传输?怎样实现可靠传输?
第三章 信道容量
本章内容
了解信息论研究信道的目的、内容；
了解信道的基本分类并掌握信道的基本描述方法; 掌握信道容量的概念，以及与互信息、信道输入概率
分布、信道转移函数的关系; 能够计算简单信道的信道容量（对称离散信道、准对 称离散信道）； 了解信道容量在研究通信系统中的作用; 了解多用户信道.
（nats／s）为信道容量单位。
对信道容量的进一步理解：
C存在平均互信息性质1,上凸函数极值存在
达到C时的两个条件：
信道输入（信源）是离散无记忆的。
信道输入的概率分布是使I(X,Y)达到最大的分布。
C的值不是由信源的p(x)决定的,而是由p(y/x)决定的. C是信道作为信息传输通道的性能度量. 只有信道输入（信源）X 满足一定条件时，才能充分利
即p( y / x ) p(b1 , b2 ,, bN / a1 , a2 ,, a N ) p(b1 / a1 ) p(b2 / a2 ) p(bN / a N ) p(bi /ai )
i 1 N
回顾－平均互信息的性质5
性质3、性质4的推论：
信道的输入和信道本身都是离散无记忆的。
显然，C和Ct都是求平均互信息I(X;Y)的条件极大值的问题。
当输入信源概率分布p(ai) 调整好以后，C和Ct已与 p(ai)无关，
而仅仅是信道转移概率p( bj /ai ) 的函数，只与信道的统计特 性有关。所以信道容量是完全描述信道特性的参量，是信道 能够传送的最大信息量。
3. 信道容量单位
对于某特定的信道，可找到某种信源的概率分布 p(ai ) ，
使得I (X;Y )达到最大值。
C max R max I ( X ; Y )
p ( xi ) p ( xi )
（3.2.5）
说明：
由平均互信息的性质可知I (X;Y)≤H(X) ，意味着输
出端Y往往只能获得关于输入端X的部分信息。
2）输入X和输出Y有确定的对应关系，所以噪声熵
H(Y/X)=0 信道疑义度 故有 H(X/Y)=0 I(X;Y)=H(X)=H(Y)
p ( xi ) p ( xi )
由信道容量的定义有 C max I ( X ; Y ) max H ( X ) log 2 n 3）信道容量只取决于信道的输入符号数n，与信源无 关，是表征信道特性的一个参量。
2.具有扩展性能的有噪无损信道(一个输入对应多个输出)
此种情况是信道疑义度 H(X/Y)=0 a1 b1 b2 b3 b4 a2 b5 b6
I ( X ;Y ) H ( X ) H ( X / Y )
C max I ( X ;Y )
p ( ai )
max H ( X ) log 2 n
用信道传输信息的能力。
三、信道疑义度H(X/Y)
信源熵H(X) 表示在接收到输出Y以前，关于输入变 量X的先验不确定性的度量。如果信道中无干扰（噪 声），信道输出符号Y与输入符号X一一对应，那么， 接收到传送过来的符号后就消除了对发送符号的先验 不确定性。但一般信道中有干扰存在，接收到输出Y后 对发送的是什么符号仍有不确定性。那么，怎样来度 量接收到Y后关于X的不确定性呢？一般用信道疑义度 H(X/Y) 表示。
H(X /Y ) 0
p ( ai )
C max I ( X ; Y ) max H (Y ) log 2 m
无噪信道的信道容量C只决 a1 a2 a3 b2 a4 a5 b3 b1
定于信道的输入符号数n，或
输出符号数m，与信源无关， 是表征信道特性的一个参量. 这时的输入概率分布应该 是使得信道输出概率分布为 等概分布。
在这一章要回答前面两个问题，在第六章介绍第 三个问题。
什么是信道？
信道是传送信息的载体——信号所通过的通道。
信息是抽象的，信道则是具体的。比如：二人对话， 二人间的空气就是信道；打电话，电话线就是信道； 看电视，听收音机，收、发间的空间就是信道。 如：微波信道、光纤信道、电缆信道等。
信道的作用:
无记忆信道 离散消息序列信道 有记忆信道 : 平稳，有限状态 有记忆信道 一般无记忆 平稳无记忆
一、信道矩阵（信道转移概率）
设单符号离散信道的输入为 X (a , a , a ,, a ) 1 2 i n
相应的输出为 Y (b1 , b2 ,b j ,, bm ) 其信道模型如下：
二、强对称离散信道的信道容量
若单符号离散信道的输入随机变量X和输出随机变量Y取值 的集合均由n个不同符号组成，每个符号的正确传递概率为 ， 其他（n-1）个符号的错误传递概率为p/(n-1) ，则信道矩阵 p （n×n）为对称矩阵
P n n
b1 b2 B2n-1
bn H(X/Y)信道疑义度或损失熵， H(Y/X)噪声熵。凡是H(X/Y)=0的 信道称为无损信道。凡是H(Y/X)=0的信道称为无噪信道。
I ( X ; Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X )
特点： 1）输入X和输出Y符号集的元素个数相等，即n=m。
信道疑义度：表示在输出端收到输出变量Y的符号
后，对于输入端X的变量尚存在的平均不确定性（存 在疑义）。这个尚存在的不确定性是由于干扰（噪声）
引起的。如果是一一对应信道，那么接收到输出Y后，
对X的不确定性将完全消除，则信道疑义度为0。由于
一般情况下条件熵小于无条件熵，即有H(X/Y) <
H(X) 。这正说明接收到变量Y的所有符号后，关于输 入变量X的平均不确定性将减少，即总能消除一些关 于输入端X的不确定性，从而获得了一些信息。
ห้องสมุดไป่ตู้ P (b
j 1
m
j
/ ai ) 1
二、信道容量
1. 理论基础
对于固定的信道，平均互信息量 I (X;Y)是信源概率分布 p( xi ) 的上凸函数。也就是说，存在一个使某一特定信道的 平均互信息量达到极大值的信源概率分布，该极大值可以
用来表述信道传送信息的最大能量，即信道容量。
2. 信道容量的定义
在信息系统中信道主要用于传输与存储信息，而 在通信系统中则主要用于传输。
研究信道的目的
实现信息传输的有效性和可靠性
有效性：充分利用信道容量. 可靠性：通过信道编码降低误码率.
在通信系统中研究信道，主要是为了描述、度量、
分析不同类型信道，计算其容量，即极限传输能力， 并分析其特性。
通信技术研究——信号在信道中传输的过程所遵循的物理
§3.2 单符号离散信道的信道容量
本节内容
信道容量定义
几种离散无记忆信道容量的计算
离散无噪信道的信道容量
强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量
离散信道容量的一般计算方法
3.2.1 信道容量定义
单符号离散信道
信道的输入和输出都取值于离散集合，且都用一 个随机变量来表示的信道就是单符号离散信道。
规律，即传输特性。
信息论研究——信息的传输问题（假定传输特性已知）.
3.1 信道的分类与描述
3.1.1 信道的分类
根据输入/输出信号在幅度和时间上的取值是离散
或是连续来划分
幅度 时间 信道名称
离散 连续
连续 离散
离散 离散
连续 连续
离散信道（数字信道） 连续信道
模拟信道（波形信道） （理论和实用价值均很小）
互信息与信道输入符号相关性的关系
性质3: 信道的输入是离散无记忆的
即p( x ) p( a1 , a2 ,, a N ) p(a1 ) p(a2 ) p( a N ) p(ai )
i 1 N
回顾－平均互信息的性质4
互信息与信道输入符号相关性的关系
性质4: 信道是离散无记忆的
p(b1 / a1 ) p(b2 / a1 ) p(bm / a1 ) p (b / a ) p (b / a ) p (b / a ) 2 2 m 2 1 2 p(b1 / an ) p(b2 / an ) p(bm / an )
携带的比特数，即比特／符号（bits／sign或 bits／channel use）。
以e为底取自然对数时，信道容量的单位变为奈特／符号
（nats／sign）。
如果已知符号传送周期是T秒，也可以“秒”为单位来计算
信道容量，此时Cs＝C／T，以比特/秒（bits／s）或奈特/秒
X P (b j / ai Y
a1 ,a2 ,ai ,,an
单符号离散信道的数学模型
b1 ,b2 ,b j ,,bm
表示当信道输入为xai 时，信道的输出Y必为
b1 , b2 ,b j ,, bm 中的一个。
一般单符号信道的转移概率可用信道转移矩阵表示：
概念问题
熵熵率无失真信源编码定理中的作用 互信息信道容量信道编码定理中的作用
回顾－平均互信息的性质1
性质1 ：I(X;Y)是信源输入概率分布p(x)的上凸函数。
回顾－平均互信息的性质2
性质2 ：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.
回顾－平均互信息的性质3
第三章 信道与信道容量
本章内容
概述
信道的分类与描述 单符号离散信道的信道容量 多符号离散信道 多用户信道 连续信道及其容量
3.0 概述
信息论研究信道的内容 什么是信道？ 信道的作用 研究信道的目的
信息论研究信道的内容：
信道的建模：信道的统计特性的描述； 信道传输信息的能力（信道容量）的计算； 在有噪信道中能否实现可靠传输?怎样实现可靠传输?
第三章 信道容量
本章内容
了解信息论研究信道的目的、内容；
了解信道的基本分类并掌握信道的基本描述方法; 掌握信道容量的概念，以及与互信息、信道输入概率
分布、信道转移函数的关系; 能够计算简单信道的信道容量（对称离散信道、准对 称离散信道）； 了解信道容量在研究通信系统中的作用; 了解多用户信道.
（nats／s）为信道容量单位。
对信道容量的进一步理解：
C存在平均互信息性质1,上凸函数极值存在
达到C时的两个条件：
信道输入（信源）是离散无记忆的。
信道输入的概率分布是使I(X,Y)达到最大的分布。
C的值不是由信源的p(x)决定的,而是由p(y/x)决定的. C是信道作为信息传输通道的性能度量. 只有信道输入（信源）X 满足一定条件时，才能充分利
即p( y / x ) p(b1 , b2 ,, bN / a1 , a2 ,, a N ) p(b1 / a1 ) p(b2 / a2 ) p(bN / a N ) p(bi /ai )
i 1 N
回顾－平均互信息的性质5
性质3、性质4的推论：
信道的输入和信道本身都是离散无记忆的。
显然，C和Ct都是求平均互信息I(X;Y)的条件极大值的问题。
当输入信源概率分布p(ai) 调整好以后，C和Ct已与 p(ai)无关，
而仅仅是信道转移概率p( bj /ai ) 的函数，只与信道的统计特 性有关。所以信道容量是完全描述信道特性的参量，是信道 能够传送的最大信息量。
3. 信道容量单位
对于某特定的信道，可找到某种信源的概率分布 p(ai ) ，
使得I (X;Y )达到最大值。
C max R max I ( X ; Y )
p ( xi ) p ( xi )
（3.2.5）
说明：
由平均互信息的性质可知I (X;Y)≤H(X) ，意味着输
出端Y往往只能获得关于输入端X的部分信息。
2）输入X和输出Y有确定的对应关系，所以噪声熵
H(Y/X)=0 信道疑义度 故有 H(X/Y)=0 I(X;Y)=H(X)=H(Y)
p ( xi ) p ( xi )
由信道容量的定义有 C max I ( X ; Y ) max H ( X ) log 2 n 3）信道容量只取决于信道的输入符号数n，与信源无 关，是表征信道特性的一个参量。
2.具有扩展性能的有噪无损信道(一个输入对应多个输出)
此种情况是信道疑义度 H(X/Y)=0 a1 b1 b2 b3 b4 a2 b5 b6
I ( X ;Y ) H ( X ) H ( X / Y )
C max I ( X ;Y )
p ( ai )
max H ( X ) log 2 n
用信道传输信息的能力。
三、信道疑义度H(X/Y)
信源熵H(X) 表示在接收到输出Y以前，关于输入变 量X的先验不确定性的度量。如果信道中无干扰（噪 声），信道输出符号Y与输入符号X一一对应，那么， 接收到传送过来的符号后就消除了对发送符号的先验 不确定性。但一般信道中有干扰存在，接收到输出Y后 对发送的是什么符号仍有不确定性。那么，怎样来度 量接收到Y后关于X的不确定性呢？一般用信道疑义度 H(X/Y) 表示。
H(X /Y ) 0
p ( ai )
C max I ( X ; Y ) max H (Y ) log 2 m
无噪信道的信道容量C只决 a1 a2 a3 b2 a4 a5 b3 b1
定于信道的输入符号数n，或
输出符号数m，与信源无关， 是表征信道特性的一个参量. 这时的输入概率分布应该 是使得信道输出概率分布为 等概分布。
在这一章要回答前面两个问题，在第六章介绍第 三个问题。
什么是信道？
信道是传送信息的载体——信号所通过的通道。
信息是抽象的，信道则是具体的。比如：二人对话， 二人间的空气就是信道；打电话，电话线就是信道； 看电视，听收音机，收、发间的空间就是信道。 如：微波信道、光纤信道、电缆信道等。
信道的作用:
无记忆信道 离散消息序列信道 有记忆信道 : 平稳，有限状态 有记忆信道 一般无记忆 平稳无记忆
一、信道矩阵（信道转移概率）
设单符号离散信道的输入为 X (a , a , a ,, a ) 1 2 i n
相应的输出为 Y (b1 , b2 ,b j ,, bm ) 其信道模型如下：
二、强对称离散信道的信道容量
若单符号离散信道的输入随机变量X和输出随机变量Y取值 的集合均由n个不同符号组成，每个符号的正确传递概率为 ， 其他（n-1）个符号的错误传递概率为p/(n-1) ，则信道矩阵 p （n×n）为对称矩阵
P n n
b1 b2 B2n-1
bn H(X/Y)信道疑义度或损失熵， H(Y/X)噪声熵。凡是H(X/Y)=0的 信道称为无损信道。凡是H(Y/X)=0的信道称为无噪信道。
I ( X ; Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X )
特点： 1）输入X和输出Y符号集的元素个数相等，即n=m。
信道疑义度：表示在输出端收到输出变量Y的符号
后，对于输入端X的变量尚存在的平均不确定性（存 在疑义）。这个尚存在的不确定性是由于干扰（噪声）
引起的。如果是一一对应信道，那么接收到输出Y后，
对X的不确定性将完全消除，则信道疑义度为0。由于
一般情况下条件熵小于无条件熵，即有H(X/Y) <
H(X) 。这正说明接收到变量Y的所有符号后，关于输 入变量X的平均不确定性将减少，即总能消除一些关 于输入端X的不确定性，从而获得了一些信息。
ห้องสมุดไป่ตู้ P (b
j 1
m
j
/ ai ) 1
二、信道容量
1. 理论基础
对于固定的信道，平均互信息量 I (X;Y)是信源概率分布 p( xi ) 的上凸函数。也就是说，存在一个使某一特定信道的 平均互信息量达到极大值的信源概率分布，该极大值可以
用来表述信道传送信息的最大能量，即信道容量。
2. 信道容量的定义
在信息系统中信道主要用于传输与存储信息，而 在通信系统中则主要用于传输。
研究信道的目的
实现信息传输的有效性和可靠性
有效性：充分利用信道容量. 可靠性：通过信道编码降低误码率.
在通信系统中研究信道，主要是为了描述、度量、
分析不同类型信道，计算其容量，即极限传输能力， 并分析其特性。
通信技术研究——信号在信道中传输的过程所遵循的物理
§3.2 单符号离散信道的信道容量
本节内容
信道容量定义
几种离散无记忆信道容量的计算
离散无噪信道的信道容量
强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量
离散信道容量的一般计算方法
3.2.1 信道容量定义
单符号离散信道
信道的输入和输出都取值于离散集合，且都用一 个随机变量来表示的信道就是单符号离散信道。
规律，即传输特性。
信息论研究——信息的传输问题（假定传输特性已知）.
3.1 信道的分类与描述
3.1.1 信道的分类
根据输入/输出信号在幅度和时间上的取值是离散
或是连续来划分
幅度 时间 信道名称
离散 连续
连续 离散
离散 离散
连续 连续
离散信道（数字信道） 连续信道
模拟信道（波形信道） （理论和实用价值均很小）
互信息与信道输入符号相关性的关系
性质3: 信道的输入是离散无记忆的
即p( x ) p( a1 , a2 ,, a N ) p(a1 ) p(a2 ) p( a N ) p(ai )
i 1 N
回顾－平均互信息的性质4
互信息与信道输入符号相关性的关系
性质4: 信道是离散无记忆的
p(b1 / a1 ) p(b2 / a1 ) p(bm / a1 ) p (b / a ) p (b / a ) p (b / a ) 2 2 m 2 1 2 p(b1 / an ) p(b2 / an ) p(bm / an )