第三章信道及信道容量
合集下载
与信道容量
Department of Communication China Ji Liang University
25
第 三 章 信 道 与 信 道 容 量
③ 具有归并性能的无噪信道
这种信道如下图所示。 这种信道如下图所示。 n>m，输入 的符号集个数大于输出 的符号集个数。 的符号集个数大于输出Y的符号集个数 ，输入X的符号集个数大于输出 的符号集个数。
2012-4-6
Department of Communication China Ji Liang University
24
第 三 章 信 道 与 信 道 容 量
信道疑义度 H(X/Y)=0， I(X;Y)= H(X) -H(X/Y)= H(X) 。 ，
信道容量为： 信道容量为：
2012-4-6
2012-4-6
Department of Communication China Ji Liang University
10
第 三 章 信 道 与 信 道 容 量
b）二进制对称信道 ） （简称为 BSC信道 ） 信道
0 输入 p 1-p 0 输出
p 1 1-p 1
二进制对称信道
2012-4-6
Department of Communication China Ji Liang University
2012-4-6
Department of Communication China Ji Liang University
26
第 三 章 信 道 与 信 道 容 量
信道噪声熵 H(Y/X)=0。 信道容量为：
2012-4-6
Department of Communication China Ji Liang University
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
课件：第三章信道及其容量
第三章 信道及其容量
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
第3章信道容量
其信道容量
C max I ( X ;Y ) max H ( Y ) log m
p ( xi ) p ( xi )
达到此类信道的信道容量的概率分布是使信道输出分布为 等概分布的输入分布。
8
离散无噪信道（总结）
对于无噪信道，求信道容量C的问题，已经 从求I(X;Y)的极值问题退化为求H(Y)或H(X)的 极值问题。
H(X/Y)称为损失熵，即信道疑义度。表示信源符号通过有噪 信道传输后引起的信息量的损失。 因为H(X/Y)=H(X)-I(X;Y) 损失熵等于信源X所含有的信息量减去信道输出端接收到符号 集Y之后平均每个符号所获得的关于输入集X的信息量。 H(Y/X)称为噪声熵，反映了信道中噪声源的不确定性。 因为H(Y/X)=H(Y)-I(X;Y)
i 1 j 1 n n
p( x i ) H ni
i 1
n
H ni p( y j / x i ) log p( y j / x i ) 由 于 信 道 的 对 称 性 ， 一 每行 都 是 同 一 集 合 诸素 元的 不 同 排 列 。
其信道容量
C max I ( X ;Y ) max H ( X ) log n
p ( xi ) p ( xi )
6
3.具有归并性能的无噪信道（确定信道）
确定信道的一个输出对应着多个 互不相交的输入，如右图所示。
信道矩阵中每行中只有一非零元 素，即已知X后，Y不再有任何 不确定度。故噪声熵H(Y/X)=0
11
强对称信道的几个特性
强对称信道是对称信道的一个特例；
输入符号数与输出符号数相等； 信道中总的错误概率为p，对称地平均分配给 n-1个输出符号，n为输入符号的个数； 均匀信道中不仅各行之和为1,而且各列之和也 为1。 一般信道各列之和不一定等于1
第三章 信道和信道容量
I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平
均不确定性的消除。
可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。
第三章 信道和信道容量
关于信道容量： 研究：信道中平均每个符号所能传送的信息量，
有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) ≠ 0； 噪声熵：H(Y/X) ＝ 0， I(X;Y)＝H(Y)＝H(X)－H(X/Y) ＜H(X)
第三章 信道和信道容量
信道容量仍是最大熵问题（最大H(Y)）：
C＝max H(Y)＝log s bit/符号
P(X)
（设Y有s个符号）
不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：
r为输入符号集个数 即信道矩阵行数 准对称信道中的 行元素 第k个子矩阵 中行元素之和
第k个子矩阵 中列元素之和
第三章 信道和信道容量
例3－1：二元对称删除 信道如图，计算信道容量。
例3－2：准对称信道的信道矩阵为： P(y/x)＝ 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ
且：p＝0时，信道无干扰； P＝1/2时，信道干扰最为严重。
第三章 信道和信道容量
二、二元删除信道
难以区分原发送信号时，不硬性
判断0或1，而作删除处理。 删除信道中，p＝q时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。
1
0 1 0
p
1－p
1
第三章 信道和信道容量
通信课件信道及信道容量
基本内容
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
第三章信道容量
p
b1 an
,
p
b2 an
,,
p
bm an
信道容量的定义
信息传输率是衡量通信质量的一个重要指标，由前面 定理知：对于固定信道后，总存在某种输入概率分布p(X)， 使I（X; Y）达到最大值，定义这个最大值为信道容量，记 为C。
C max I ( X ;Y ) （比特/码符号） { p ( ai )} max H ( X ) H ( X Y ) { p ( ai )} max H (Y ) H (Y X ) { p ( ai )}
a1
b1
1 0 0
a2 ……
b2
0 1 0
0
0
1
an
bn
0
0
0
n=m
... 0 ... 0
...
0
...
1
另一种情况:
a1
b1
a2
b2
……
an-1
bn-1
an
bn
0 ... 0 0 1
0 ... 0 1 0
0
...
1
0
0
1
0
0
...
0
对于上述两种情况,X与Y一一对应,因此有
输入或输出无关
信道的分类 （根据有无记忆）
输出仅与信道当前输 入有关，与过去输入
无关
有记忆 信道
无记忆 信道
信道的分类
（根据信道的输入与输出 随机变量的个数）
单符号 信道
多符号 信道
信道的分类
（根据输入与 输出的个数）
单用户 信道
多用户 信道
（1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道：至少有一端有两个以上的用户， 双向通信
信息论与编码第三章
模
型
P<Y1=V1,Y2=V2…Yn=Vn/X=U1…X=Un>
n
Õ = p(YR = UR / X = uR )
决定DMC特点的条件概率P<yj/xi>可写成矩阵形 式
P = [ pij ]
3.2.1
转移概率矩阵
æ p( y0 / x0) p( y1 / x0)
数
ç
学 模
P
=
ç ç
p( y0 / x1)
数 即P<Y=0/X=1>=P<Y=1/X=0>=P
学
模 型
P<Y=1/X=1>=P<Y=0/X=0>=1-P
01
这种对称二进二出的
0 é P P ù 信道叫做二进制对称信
P=1
ê ëê
P
ú P ûú
道,简称BSC信道.
3.2.1
信道模型:
数 学 模
1-P
0
0
P
型
P
1
1
1-P
这种信道的输出符号仅与对应时刻输 入符号有关,与以前输入无关,故称此信道是 无记忆信道的.
3.1
信道分类：
信
道
1.有线信道和无线信道
分
类
有线信道：明线、对称电缆、同轴电
缆及
光缆等.
无线信道：地波传播、短波电离层反 射、
超短波或微波视距中继、
3.1
2．恒参信道和随参信道
信 道
恒参信道：信道的统计特性不随时间而变化.如明
分 线、对称电缆、同轴电缆、光缆、卫星中继信道
类
一般被视为恒参信道.
p0,Q - 1 ö ÷
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
1b 2b 3b 3a 2a 1a Y X 1b 2b 3a 2a 1a Y X 1b 2b 2a 1a Y X 3b 11111110.70.3第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦信道容量：()max (;)P X C I X Y @ bit/符号()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333⎧⎫⎨⎬⎩⎭第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，离散输入信道， ()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知：()()()()max{(;)}max{()(|)}(|)0max{(;)}max{()}p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==输入为等概率分布时可达到信道容量，此时信道容量p(x)C=max{H(X)}=log(2)=1 bit/符号 输入最佳概率分布：11,22⎧⎫⎨⎬⎩⎭3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i εε===-===⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦其中1,2,3,4i = 1）该信道是对称DMC 信道吗？ 2）计算该信道的信道容量；3）比较该信道与两个独立并联的二元删除信道的信道容量。
第三章信道及信道容量PPT课件
第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
信道及信道容量
P 1
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述
信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述
信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
第三章信道及信道容量
2但为有限值,即
p11
P
p2
1
p12 p22
,
p1m
p2m
pn1
pn2
pn
m
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p
0 p
0
1p p
p
P
p
1p
1
1
1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使
得 I（X；Y）达到最大。
C m ax { I(X ;Y )} (b it/符 号 ) p(x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为：
C T1 tm p(axx ){I(X;Y)}(bit/秒 )
即信道传输速率。
信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
这样，波形信道化为多维连续信道，信道转移概率密度 函数为
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。
第3章 信道与信道容量
max p(x)
H C (Y )
1 log
2
2e
2
pn(n)＝N(0, 2) 连续单符号信道
噪声是均值为零、方差为 2的加性高斯噪声
34
3.4 连续信道及其容量
连续单符号加性信道
pY (y) ＝N(0,P)，pn(n)＝N(0, 2)，y=x+n，所以 pX (x)＝N(0, S)
3
3.1 信道分类和表示参数
二进制对称信道(BSC)
P
1 p
p
p 1 p
4
3.1 信道分类和表示参数
离散无记忆信道
a1 a2
b1
p11 p12 p1m
b2 b3
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
5
3.1 信道分类和表示参数
离散输入、连续输出信道
pY ( y / ai )
31
3.3 离散序列信道及其容量
扩展信道
(1 p)2 p(1 p) p(1 p) p2
1
P
p(1 p(1
p) p)
(1 p)2 p2
p2 (1 p)2
p(1
p)
p(1 p)
p2 p(1 p) p(1 p) (1 p)2
C2 log2 4 H[(1 p)2 , p(1 p), p(1 p), p 2 ]
1 1 1 1
13
3 1
6 1
6 1
6 6 3 3
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
12
3.2 离散单个符号信道及其容量
第三章 信道与信道容量 习题解答
但与理论不矛盾因为信息速率不光与信源熵有关还与每秒发送的符号数有关该信源的两个消息是非同价代码每个码元消息的时间长度不同等概率时信源熵提高了但每秒发送的符号数下降了因此才有此结果
第三章 信道与信道容量 习题解答
1.设信源
通过一干扰信道，接收符号为
信道传递矩阵为
（1） 信源 中符号 和 分别含有的自信息量。
（4）说明如果信噪比降低，则为保持信道容量不变，必须加大信道带宽。反之加大信道带宽，则可降低对信 噪比的要求。如果信道带宽降低，则为保持信道容量不变，必须加大信号功率信噪比。反之加大信号功率信 噪比，则可降低对信道带宽的要求。
12.在一个理想通信系统中，已知信道中功率信噪比为 10分贝，为了使功率节省一半又不损失信息量，有 几种办法？请计算并讨论各自的优缺点。
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
解：已知
根据公式：
前者改善不明显，后者改善明显，故存在阀值效应。 15.设加性高斯白噪声信道中，信道带宽 3kHz，又设
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
6.有一以“点”和“划”构成的老式电报系统，“点”的长度为 30毫秒，“划”的长度为 150毫秒，“点”和“划”出现的
4
概率分别为 0.8和 0.2，试求信息速率为多少？“点”、“划”出现的概率相等时，信息速率为多少？是否“点”、“划” 出现的概率相等时信息速率一定最高？是否和理论相矛盾？为什么？ 解：
第三章 信道与信道容量 习题解答
1.设信源
通过一干扰信道，接收符号为
信道传递矩阵为
（1） 信源 中符号 和 分别含有的自信息量。
（4）说明如果信噪比降低，则为保持信道容量不变，必须加大信道带宽。反之加大信道带宽，则可降低对信 噪比的要求。如果信道带宽降低，则为保持信道容量不变，必须加大信号功率信噪比。反之加大信号功率信 噪比，则可降低对信道带宽的要求。
12.在一个理想通信系统中，已知信道中功率信噪比为 10分贝，为了使功率节省一半又不损失信息量，有 几种办法？请计算并讨论各自的优缺点。
，
将各数据代入： 解得：
如果
则
将各数据代入： 解得：
14.在理想系统中，若信道带宽与消息带宽的比为 10，当接收机输入端功率信噪比分别为 0.1和 10时，试
比较输出端功率信噪比的改善程度，并说明
与
之间是否存在阀值效应。
解：已知
根据公式：
前者改善不明显，后者改善明显，故存在阀值效应。 15.设加性高斯白噪声信道中，信道带宽 3kHz，又设
解：设将电阻按阻值分类看成概率空间 X：
，
按功耗分类看成概率空间 Y：
已知：
，
通过计算
， ，
，
得
通过测量阻值获得的关于瓦数的平均信息量：
6.有一以“点”和“划”构成的老式电报系统，“点”的长度为 30毫秒，“划”的长度为 150毫秒，“点”和“划”出现的
4
概率分别为 0.8和 0.2，试求信息速率为多少？“点”、“划”出现的概率相等时，信息速率为多少？是否“点”、“划” 出现的概率相等时信息速率一定最高？是否和理论相矛盾？为什么？ 解：
通信原理第3章信道
增大视线传播距离的其他途径 ➢ 中继通信： ➢ 卫星通信：静止卫星、 移动卫星
图3.1-5 无线电中继
➢ 平流层通信：利用位于平流层的高空平台电台代替卫星作为 基站的通信。
11
第3章 信 道
三、电离层和大气层对于传播的影响
电离层对于传播的影响
反射 散射
大气层对于传播的影响
散射 吸收
衰 减
根据应用情况不同，在光纤线路中可能设有中继器 （也可不设）。中继器有两种类型：直接中继器和间接中继器。 所谓直接中继器就是光放大器，它直接将光信号放大以补偿光 纤的传输损耗，以便延长传输距离；所谓间接中继器就是将光 信号先解调为电信号，经放大或再生处理后，再调制到光载波 上，利用光纤继续进行传输。在数字光纤信道中，为了减少失 真及防止噪声的积累，每隔一定距离需要加入再生中继器。
电离层
电离层：约60 ～ 400 km
平流层
60 km
对流层
10 km
地面
0 km
6
第3章 信 道
3.短波电离层的传播路径
短波电离层反射信道是利用地面发射的无线电波在电 离层， 或电离层与地面之间的一次反射或多次反射所形成 的信道。
离地面60~400 km的大气层称为电离层。
电离层由分子、原子、离子及自由电子组成，形成的 原因是由于太阳辐射的紫外线和X射线。 当频率范围为 3~30 MHz (波长为10-100m)的短波(或称为高频)无线电 波射入电离层时， 由于折射现象会使电波发生反射，返回 地面，从而形成短波电离层反射信道。
制 器
光
光
纤
探
线测
路
器
基
基
带
带
处 理
电 信 号
图3.1-5 无线电中继
➢ 平流层通信：利用位于平流层的高空平台电台代替卫星作为 基站的通信。
11
第3章 信 道
三、电离层和大气层对于传播的影响
电离层对于传播的影响
反射 散射
大气层对于传播的影响
散射 吸收
衰 减
根据应用情况不同，在光纤线路中可能设有中继器 （也可不设）。中继器有两种类型：直接中继器和间接中继器。 所谓直接中继器就是光放大器，它直接将光信号放大以补偿光 纤的传输损耗，以便延长传输距离；所谓间接中继器就是将光 信号先解调为电信号，经放大或再生处理后，再调制到光载波 上，利用光纤继续进行传输。在数字光纤信道中，为了减少失 真及防止噪声的积累，每隔一定距离需要加入再生中继器。
电离层
电离层：约60 ～ 400 km
平流层
60 km
对流层
10 km
地面
0 km
6
第3章 信 道
3.短波电离层的传播路径
短波电离层反射信道是利用地面发射的无线电波在电 离层， 或电离层与地面之间的一次反射或多次反射所形成 的信道。
离地面60~400 km的大气层称为电离层。
电离层由分子、原子、离子及自由电子组成，形成的 原因是由于太阳辐射的紫外线和X射线。 当频率范围为 3~30 MHz (波长为10-100m)的短波(或称为高频)无线电 波射入电离层时， 由于折射现象会使电波发生反射，返回 地面，从而形成短波电离层反射信道。
制 器
光
光
纤
探
线测
路
器
基
基
带
带
处 理
电 信 号
信息论第三章
X ,Y
p( x | y)
X ,Y
p( y | x)
H ( XY )＝ p( xy)log 1
X ,Y
p( xy)
平均互信息与各类熵之间关系的集合图（维拉图）表示： H(X|Y) = H(X) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y)
p
a2=1
1－p
1=b2
• p是单个符号传输发生错误的概率。
•（1-p）表示是无错误传输的概率。
• 转移矩阵:
0
1
0 1- p p
1
p
1 p
[例2]二元删除信道。[BEC，Binary Eliminated Channel]
解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为：
第三章 离散信道及其容量
信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。
3.1 信道的数学模型和分类
信源
干扰源
编码器
调制器
物理信道
解调器
译码器
实际信道
信宿
编码信道 等效信道
图3.1.1 数字通信系统的一般模型
3.1 信道的数学模型和分类
一、信道的分类
解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。
传递概率:
a1=0
1－p
0=b1
P(b1 | a1) P(0 | 0) 1 p p
p
P(b2 | a2 ) P(1 | 1) 1 p p
P(b1 | a2 ) P(0 | 1) p P(b2 | a1) P(1 | 0) p
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 ）有干扰无记忆信道： 每个信道输出只与当前输入信号之间有转移概率关系，而 与其它时刻的输入输出信号无关。
这种情况下，不需要矢量形式，只要分析单个符号的转 移概率p(yi/xi)即可。
①离散无记忆信道（DMC） ②二进制对称信道（BSC）
15
《信息论与编码》
①离散无记忆信道 (DMC)： 输入和输出信号的符号数大于 2但为有限值,即 ,
《信息论与编码》
第3章 信道和信道容量
1
《信息论与编码》
主要内容 3.1信道的基本概念 3.2离散单个符号信道及其容量 3.3离散序列信道及其容量 3.4连续信道及其容量 3.5信源与信道的匹配
2
《信息论与编码》
3.1 信道分类和表示参数 重点：信道矩阵
3
《信息论与编码》
信道中存在的干扰使输出信号与输入信号之间没有固定的函 数关系，只有统计依赖的关系。因此可以通过研究分析输入 输出信号的统计关系来研究信道。 一、信道的分类 1、根据用户数量分为 ① 单用户信道：只有一个输入端和一个输出端，信息单向 传输。 ② 多用户信道：输入端和输出端至少有一方存在两个以上 的用户，信息双向传输。 2、根据信道输入端和输出端的关系分为 ① 无反馈信道：输出端对输入端没有影响。 ② 反馈信道：输出信号通过一定的途径反馈到输入端，致 使输入端信号发生变化。
17
《信息论与编码》
三、离散输入、连续输出信道 信道输入符号选自一个有限的、离散的输入符号集 X∈{a1,a2,… ,an}，而信道输出Y∈{-∞，+∞},这种信道模 型就称为离散时间无记忆信道。它的特性由离散输入X、 连续输出Y以及一组条件概率密度函数 来决定。
这类信道中最重要的就是加性高斯白噪声（AWGN）信道
Y=X+G
式中，G 是一个零均值，方差为σ2的高斯随机变量。 当 X=ai给定后，Y是一个均值为ai，方差为σ2的高斯随机变量。
18
《信息论与编码》
四、波形信道
当信道输入和输出都是随机过程{x(t)}和{y(t)} 时，该信 道就称为波形信道，在实际模拟通信系统中，信道都是波 形信道。 如果波形信道为频宽受限信道，在有限的观察时间内， 输入和输出的随机过程可以化为L个时间离散，取值连续的 平稳随机序列。 这样，波形信道化为多维连续信道，信道转移概率密度 函数为
p( x) p( x)
式中假设输出信源Y的符号共有s个符号，所以等概率分布时 信源熵H（Y）最大。而且一定能找到一种输入分布使输出 符号Y达到等概分布。
36
《信息论与编码》
三、对称DMC信道
1、定义：如果转移概率矩阵P的每一行包含同样元素，则 为输入对称矩阵；如果转移概率矩阵P的每一列包含同样元 素，则为输出对称矩阵；如果输入输出都对称，则为对称 DMC信道。 例 如:
H（X/Y）
有噪无损信道
无噪有损信道
34
• 综合上述三种情况，若严格区分的话，凡损失熵等 于零的信道称为无损信道；凡噪声熵等于零的信道 称为无噪信道，而前面讨论的一一对应的无噪信道 则为无噪无损信道。 • 对于无损信道，其信息传输率R就是输入信源X输 出第个符号携带的信息量（信源熵H（X）），所 以其信道容量为
噪声分为两类：加性噪声和乘性噪声，分析较多的是加性噪声信道 ( 噪声与信号是相加的关系，通常相互独立。) 单符号加性噪声信道可以表示为 ：
x(t)是带限信号，y(t)是输出值，n(t)是加性噪声过程的一个样本函数
说 明： 条件熵Hc(Y/X)是由于噪声引起的，它等于噪声信源的熵Hc(n) 。 所以称条件熵Hc(Y/X)为噪声熵。
6
《信息论与编码》
二、离散信道的信道参数
1、基本离散信道（单符号离散信道） 输入输出信号都是取值离散的单个随机变量，可用 信道转移概率 来描述。其中
并满足：
信道转移概率：条件概率 为信道输出。
其中,ai为信道输入，bj
7
《信息论与编码》
单符号离散信道可以用图形描述如下
8
《信息论与编码》
信道矩阵的每一行之和必定等于1。
29
例：二进制对称信道
• 设p(0)=1/2时，
p(0 / 0) 1 , p(0 /1) , p(1 / 0) , p(1 /1) 1
则C I ( X ; Y ) H ( X ) H ( X / Y ) 1 (1 ) log(1 ) log (bit / 符号) 即二进制对称信道的C 1 H ( )(bit / 符号)
26
《信息论与编码》
3、信道容量C
1）理论基础：对于固定的信道，平均互信息I ( X ; Y ) 是信源概率分布P ( x ) 的上凸函数。也就是说，存在一个使 某一特定信道的平均互信息达到极大值的信源分布，该极大 值可以用来表述信道传送信息的最大能力，即信道容量。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使 得 I（X；Y）达到最大。
② 如果分析性能的理论极限，则多采用离散输入、连续输 出信道模型。
③ 如果设计和分析数字调制器和解调器的性能，则可采用 波形信道模型。 因为本书后面的内容主要讨论编码和译码，所以DMC 信道模型使用最多。
23
《信息论与编码》
作 业：
3-1
24
《信息论与编码》
3.2 离散单个符号信道及其容量
一、 几个定义
是错误传递概率,H ( )是关于的熵函数
30
《信息论与编码》
二、无干扰离散信道的信道容量
1、无噪无损信道：输入输出一一对应，信道矩阵为单位 阵．疑义度 H ( X/Y ) =0，噪声熵 H ( Y/X ) =0
31
《信息论与编码》
2、无噪有损信道（确定信道）：
H（X/Y）>0，H（Y/X）=0 信道输出端接收到某个bj后不能判定是哪个输入符号ai
二、干扰离散信道的信道容量 三、对称DMC信道 四、准对称DMC信道 五、 一般DMC信道 六、串联信道的信道容量
重点： 无干扰信道、对称信道和准对称信道的信道容量
25
《信息论与编码》
一、几个定义
1、信息传输率Ｒ：信道中平均每个符号所能传送的信息量 2、信息传输速率Ｒt：信道中单位时间平均传送的信息量, 即收信者在单位时间内接收到的信息量。单位：bit/秒
5
《信息论与编码》
5、根据信道参数与时间的关系分为 ①离散信道：输入输出信号在时间、幅度上均为离散。 ②连续信道：信号幅度连续、时间离散。 ③半离散半连续信道：输入输出信号中一个离散、一个连续。 ④波形信道：在时间和幅度上均连续，一般可以用随机过 程来表示。限时限频的随机过程可以分解为离散的随机 序列，所以波形信道可以被分解为离散信道、连续信道 和半离散半连续信道。
C max{I ( X ; Y )}(bit / 符号)
p( x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为： 1 CT max{I ( X ; Y )}(bit / 秒) t p( x) 即信道传输速率。 信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
10
《信息论与编码》
1 ）无干扰（噪声）信道：已知信道输入X就知道信道输出Y。
① 无噪无损信道： 疑义度H（X/Y）=0，噪声熵H（Y/X）=0
②/X）= 0 ③ 有噪无损信道（严格意义上，不能称为无噪声信道）：
疑义度H（X/Y）= 0，噪声熵H（Y/X）〉0
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。 一般情况下，上式不能满足，也就是连续信道任一时 刻的输出变量与以前时刻的输入输出有关，则称为连续有 记忆信道。
20
《信息论与编码》
p11 p 21 P pn1
p12 p22 pn 2
p1m p2 m pnm
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。 在实际的数字信道中，当信道特性不理想，存在码间干 扰时，输出信号不但与当前的输入信号有关，还与以前的 输入信号有关。常用的处理方法有两种： ①将记忆很强的L个符号当作矢量符号，各矢量符号之 间认为无记忆。这时会引入误差，L越大，误差越小。 ②将转移概率看作记忆长度有限的马尔科夫链的形式， 这种处理方法很复杂，通常取一阶时稍简单。
21
《信息论与编码》
加性多维连续信道中，输入矢量、输出矢量和噪 声矢量的关系表示为：
以后主要讨论加性信道，噪声源则主要是加性高 斯白噪声。
22
《信息论与编码》
五、信道模型的选取
在分析问题时选用何种信道模型完全取决于分析者的目的
① 如果感兴趣的是设计和分析编码器和译码器的性能，常 采用DMC信道模型或其简化形式BSC信道模型。
37
• 若输入符号和输出符号个数相同，都等于r,且信道矩 阵为 p p
p p P r 1 p r 1 r 1 p p r 1 p p r 1 r 1 其中p p 1
这种情况下，不需要矢量形式，只要分析单个符号的转 移概率p(yi/xi)即可。
①离散无记忆信道（DMC） ②二进制对称信道（BSC）
15
《信息论与编码》
①离散无记忆信道 (DMC)： 输入和输出信号的符号数大于 2但为有限值,即 ,
《信息论与编码》
第3章 信道和信道容量
1
《信息论与编码》
主要内容 3.1信道的基本概念 3.2离散单个符号信道及其容量 3.3离散序列信道及其容量 3.4连续信道及其容量 3.5信源与信道的匹配
2
《信息论与编码》
3.1 信道分类和表示参数 重点：信道矩阵
3
《信息论与编码》
信道中存在的干扰使输出信号与输入信号之间没有固定的函 数关系，只有统计依赖的关系。因此可以通过研究分析输入 输出信号的统计关系来研究信道。 一、信道的分类 1、根据用户数量分为 ① 单用户信道：只有一个输入端和一个输出端，信息单向 传输。 ② 多用户信道：输入端和输出端至少有一方存在两个以上 的用户，信息双向传输。 2、根据信道输入端和输出端的关系分为 ① 无反馈信道：输出端对输入端没有影响。 ② 反馈信道：输出信号通过一定的途径反馈到输入端，致 使输入端信号发生变化。
17
《信息论与编码》
三、离散输入、连续输出信道 信道输入符号选自一个有限的、离散的输入符号集 X∈{a1,a2,… ,an}，而信道输出Y∈{-∞，+∞},这种信道模 型就称为离散时间无记忆信道。它的特性由离散输入X、 连续输出Y以及一组条件概率密度函数 来决定。
这类信道中最重要的就是加性高斯白噪声（AWGN）信道
Y=X+G
式中，G 是一个零均值，方差为σ2的高斯随机变量。 当 X=ai给定后，Y是一个均值为ai，方差为σ2的高斯随机变量。
18
《信息论与编码》
四、波形信道
当信道输入和输出都是随机过程{x(t)}和{y(t)} 时，该信 道就称为波形信道，在实际模拟通信系统中，信道都是波 形信道。 如果波形信道为频宽受限信道，在有限的观察时间内， 输入和输出的随机过程可以化为L个时间离散，取值连续的 平稳随机序列。 这样，波形信道化为多维连续信道，信道转移概率密度 函数为
p( x) p( x)
式中假设输出信源Y的符号共有s个符号，所以等概率分布时 信源熵H（Y）最大。而且一定能找到一种输入分布使输出 符号Y达到等概分布。
36
《信息论与编码》
三、对称DMC信道
1、定义：如果转移概率矩阵P的每一行包含同样元素，则 为输入对称矩阵；如果转移概率矩阵P的每一列包含同样元 素，则为输出对称矩阵；如果输入输出都对称，则为对称 DMC信道。 例 如:
H（X/Y）
有噪无损信道
无噪有损信道
34
• 综合上述三种情况，若严格区分的话，凡损失熵等 于零的信道称为无损信道；凡噪声熵等于零的信道 称为无噪信道，而前面讨论的一一对应的无噪信道 则为无噪无损信道。 • 对于无损信道，其信息传输率R就是输入信源X输 出第个符号携带的信息量（信源熵H（X）），所 以其信道容量为
噪声分为两类：加性噪声和乘性噪声，分析较多的是加性噪声信道 ( 噪声与信号是相加的关系，通常相互独立。) 单符号加性噪声信道可以表示为 ：
x(t)是带限信号，y(t)是输出值，n(t)是加性噪声过程的一个样本函数
说 明： 条件熵Hc(Y/X)是由于噪声引起的，它等于噪声信源的熵Hc(n) 。 所以称条件熵Hc(Y/X)为噪声熵。
6
《信息论与编码》
二、离散信道的信道参数
1、基本离散信道（单符号离散信道） 输入输出信号都是取值离散的单个随机变量，可用 信道转移概率 来描述。其中
并满足：
信道转移概率：条件概率 为信道输出。
其中,ai为信道输入，bj
7
《信息论与编码》
单符号离散信道可以用图形描述如下
8
《信息论与编码》
信道矩阵的每一行之和必定等于1。
29
例：二进制对称信道
• 设p(0)=1/2时，
p(0 / 0) 1 , p(0 /1) , p(1 / 0) , p(1 /1) 1
则C I ( X ; Y ) H ( X ) H ( X / Y ) 1 (1 ) log(1 ) log (bit / 符号) 即二进制对称信道的C 1 H ( )(bit / 符号)
26
《信息论与编码》
3、信道容量C
1）理论基础：对于固定的信道，平均互信息I ( X ; Y ) 是信源概率分布P ( x ) 的上凸函数。也就是说，存在一个使 某一特定信道的平均互信息达到极大值的信源分布，该极大 值可以用来表述信道传送信息的最大能力，即信道容量。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使 得 I（X；Y）达到最大。
② 如果分析性能的理论极限，则多采用离散输入、连续输 出信道模型。
③ 如果设计和分析数字调制器和解调器的性能，则可采用 波形信道模型。 因为本书后面的内容主要讨论编码和译码，所以DMC 信道模型使用最多。
23
《信息论与编码》
作 业：
3-1
24
《信息论与编码》
3.2 离散单个符号信道及其容量
一、 几个定义
是错误传递概率,H ( )是关于的熵函数
30
《信息论与编码》
二、无干扰离散信道的信道容量
1、无噪无损信道：输入输出一一对应，信道矩阵为单位 阵．疑义度 H ( X/Y ) =0，噪声熵 H ( Y/X ) =0
31
《信息论与编码》
2、无噪有损信道（确定信道）：
H（X/Y）>0，H（Y/X）=0 信道输出端接收到某个bj后不能判定是哪个输入符号ai
二、干扰离散信道的信道容量 三、对称DMC信道 四、准对称DMC信道 五、 一般DMC信道 六、串联信道的信道容量
重点： 无干扰信道、对称信道和准对称信道的信道容量
25
《信息论与编码》
一、几个定义
1、信息传输率Ｒ：信道中平均每个符号所能传送的信息量 2、信息传输速率Ｒt：信道中单位时间平均传送的信息量, 即收信者在单位时间内接收到的信息量。单位：bit/秒
5
《信息论与编码》
5、根据信道参数与时间的关系分为 ①离散信道：输入输出信号在时间、幅度上均为离散。 ②连续信道：信号幅度连续、时间离散。 ③半离散半连续信道：输入输出信号中一个离散、一个连续。 ④波形信道：在时间和幅度上均连续，一般可以用随机过 程来表示。限时限频的随机过程可以分解为离散的随机 序列，所以波形信道可以被分解为离散信道、连续信道 和半离散半连续信道。
C max{I ( X ; Y )}(bit / 符号)
p( x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为： 1 CT max{I ( X ; Y )}(bit / 秒) t p( x) 即信道传输速率。 信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
10
《信息论与编码》
1 ）无干扰（噪声）信道：已知信道输入X就知道信道输出Y。
① 无噪无损信道： 疑义度H（X/Y）=0，噪声熵H（Y/X）=0
②/X）= 0 ③ 有噪无损信道（严格意义上，不能称为无噪声信道）：
疑义度H（X/Y）= 0，噪声熵H（Y/X）〉0
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。 一般情况下，上式不能满足，也就是连续信道任一时 刻的输出变量与以前时刻的输入输出有关，则称为连续有 记忆信道。
20
《信息论与编码》
p11 p 21 P pn1
p12 p22 pn 2
p1m p2 m pnm
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。 在实际的数字信道中，当信道特性不理想，存在码间干 扰时，输出信号不但与当前的输入信号有关，还与以前的 输入信号有关。常用的处理方法有两种： ①将记忆很强的L个符号当作矢量符号，各矢量符号之 间认为无记忆。这时会引入误差，L越大，误差越小。 ②将转移概率看作记忆长度有限的马尔科夫链的形式， 这种处理方法很复杂，通常取一阶时稍简单。
21
《信息论与编码》
加性多维连续信道中，输入矢量、输出矢量和噪 声矢量的关系表示为：
以后主要讨论加性信道，噪声源则主要是加性高 斯白噪声。
22
《信息论与编码》
五、信道模型的选取
在分析问题时选用何种信道模型完全取决于分析者的目的
① 如果感兴趣的是设计和分析编码器和译码器的性能，常 采用DMC信道模型或其简化形式BSC信道模型。
37
• 若输入符号和输出符号个数相同，都等于r,且信道矩 阵为 p p
p p P r 1 p r 1 r 1 p p r 1 p p r 1 r 1 其中p p 1