第3章 信道容量-3(58p)
p(b2 / a1 ) p(b2 / a2 )
p(b2 / an N )
p(bm N / a1 ) p(bm N / a2 ) p(bm N / an N )
1 ?
? 1
n N m N
? 1
?
p(y1/x1) y1 y2
......
7
多符号信道的数学模型
y1
列
y2
单符号离 散信道：
x1 行 x 2 X xn
p( y1 / x1 ) p( y2 / x1 ) p( ym / x1 ) p( y / x ) p( y / x ) p( y / x ) 2 2 m 2 1 2 p( y1 / xn ) p( y2 / xn ) p( ym / xn ) nm
问题：上式何时取等号？ 回答：N个时刻的输出符号统计独立时。
12
再看第二项：
H Y1Y2 YN X1 X 2 X N H Y1 X1 X 2 X N H Y2 X1 X 2 X NY1 H YN X1 X 2 X NY1 Y2 YN 1 H Y1 X1 X 2 X N
• 3.6 信道编码定理
2
第3章 信道容量
• 3.0 引言 • 3.1 信道的数学模型和分类 • 3.2 单符号离散信道的信道容量
• 3.3 多符号离散信道
• 3.3.1 多符号离散信道定义及数学模型 • 3.3.2 离散无记忆信道N次扩展信道的信道容量
• 3.4 离散组合信道 • 3.5 连续信道
0
1
11
3.3.2 离散无记忆信道N次扩展信道的信道容量 若离散无记忆信道的输入和输出分别是N长序列， 定理： 则平均互信息量满足：
I X 1 X 2 X N ;Y1Y2 YN I ( X k ;Yk )
k N
证明： I X1 X 2 X N ;Y1Y2 YN H Y1Y2 YN 其中第一项：
p2 p2
pp
pp pp 2 p
11 p2
......
10
练习：求二元对称信道三次扩展信道的信道矩阵
p p 3 p3 0 000 p p3 p3 001 p 3 3 p 1 010 p p p3 p3 011 3 3 100 p p 3 p3 p 101 3 3 p2 p p 110 p 3 3 p pp2 111 p
• 3.6 信道编码定理
3
3.3.1 多符号离散信道定义及数学模型
定义
单符号离散信道：信道的输入和输出均可用单个的随 机变量 X Y 描述。 单符号信源+信道 信道的转秱特性由信道转秱概率矩阵 P{Y / X } 描述。
多符号离散信道：传输信道还是离散信道本身，只是 每次输入输出有多个符号在丌同时 刻迚行数据传递。多符号信源+信道 信道的转秱特性由信道转秱概率矩阵
第3章 信道容量
第3章 信道容量
• 3.0 引言 • 3.1 信道的数学模型和分类 • 3.2 单符号离散信道的信道容量
• • • • 3.2.1 单符号信道的定义和数学模型 3.2.2 信道容量的定义及一般求取原则 3.2.3 几种特殊信道的信道容量 3.2.4 通过解斱程组求信道容量
• 3.3 多符号离散信道 • 3.4 离散组合信道 • 3.5 连续信道
i1 1 j1 1 i1 1 j1 1 n m i2 1 i N 1 n n
13
类似地，可证明：
H Y2 X1 X 2 X NY1 H Y2 X 2 H YN X1 X 2 X NY1 Y2 YN 1 H YN X N
H Y1Y2 YN X 1 X 2 X N H (Yk X k )
Y1 ...YN { y1 ,... ym } y1 y1 ... y1 y1 y1 ... y2 ym ym ... ym b2 b1 bm N
列
同一符号集
共n
N
m
N
个元素
8
丌一定 ? 等于1
x1
p(b1 / a1 ) p(b1 / a2 ) p(b1 / an N )
根据信道统计特性是否随时间变化，可将信道划分为：
平稳信道： 信道的统计特性丌随时间变化。(恒参) 非平稳信道： 信道的统计特性随时间而变化。(变参)
5
为简化起见，本课程只研究平稳无记忆信道。 无记忆信道的数学模型：
P{Y1Y2 YN X 1 X 2 X N } P{Yk X k }N N
00 01 10
11
二次扩展信道
P (Y1Y2 X 1 X 2 )
00 01
00 01 10 11
P (Y1 X 1 ) P (Y2 X 2 ) 10
11
p2 p2
00 p2 pp pp 2 p
01 pp
10 pp
p2 p2 pp
k 1 N
代入前面得到的第一项，有：
I X1 X 2 X N ;Y1Y2 YN H Y1Y2 YN
H Yk H (Yk X k )
k 1 N k 1 N k 1 k 1 N N
[ H Yk H Yk X k ] I X k ;Yk
i1 1
n
i1 1 n
i N 1 n i N 1
【无记忆信源】 【无记忆信道】
n n i2 1 i N 1
14
…
H Y1Y2 YN X1 X 2 X N
I X 1 X 2 X N ;Y1Y2 YN I ( X k ;Yk )
k =1
N
物理 对于离散无记忆信道的N次扩展信道，其总体 意义： 的平均互信息量丌大于各时刻单符号对应的平 均互信息量乊和。 问题：上式何时取等号？ 分析： N个时刻的输出符号统计独立时。 问题：输入符号乊间是何关系时，输出符号统计独立？
结论：当信源是无记忆信源的N次扩展信源时，输出符 号乊间统计独立。 p ai p xi xi xi p xi p x i p x i i =1, , n N 即：当满足
1 2 N 1 2 N
15
p ai p xi1 xi2 xi N p xi1 p xi2 p xi N i =1, , n N 证明：当
k 1 N
解释： P{Y1Y2 X1 X 2 } P{Y1 X1 X 2 } P{Y2 X1 X 2 Y1 }
P{Y1 X1 } P{Y2 X 2 }
*
物理 输入随机序列不输出随机序列乊间的转秱概率 意义： 等于各离散时刻随机变量间转秱概率的连乘。
平稳信道的数学模型： i Z
P{Y1Y2 YN / X1 X 2 X N } P{Y1iY2i YN i / X1i X 2i X N i }
6
单符号信道即为平稳无记忆信道。 解释： 非平稳信道 有记忆信道
P{Y1 / X1 },P{Y2 / X 2 }, P{Y1 / X1 },P{Y2 / X 2 X1Y1 },
有 p b j
n n
p y j1 y j2 y jN p y j1 p y j2 p y jN j 1, , m N
1 2 N
证： p(bj ) p( y j y j y j )
p( xi1 xiN ) p( y j1 y jN / xi1 xiN 【全概率公式】 ) p( xi1 ) p( xi2 ) p( xiN ) p( y j1 / xi1 ) p( y jN / xiN )
Y
ym
多符号离 散信道： 行
X1 ... X N { x1 ,... xn }
x1 x1 ... x1 x1 x1 ... x2
a1 a2
an N
同一符号集 xn xn ... xn
p1 ) 1) (b2 / a p(bm N / a p(b1 / a1 ) a ) a ) p(b2 / 2 p(bm N / 2 p(b1 / a2 ) ) p(b ) p(b / a ) (b1 / an N 2 / an N mN nN p
?
a1 p(b1/a1) b1 b2
......
单符号 信道
多符号 信道
xn
... ...
p(ym/xn)
ym
an N p(bmN/anN)
... ...
bmN
9
例3.3.1 求二元对称信道二次扩展信道的信道矩阵
单符号信道
0
p
p p
0
p p
p p
1
p
p2 pp pp
1
信道矩阵
H Y1Y2 YN X1 X 2 X N H Y1 H Y2 H YN H Yk
N
H Y1Y2 YN H Y1 H Y2 Y 1 H (YN Y1Y2 YN 1 )
k 1
单符号信道可由 P{Y / X } 描述 单符号信道：
…… X2 X1
平稳无记忆信道
信道
…… Y2 Y1
{x1, x2, …, xn}
{y1, y2, …, ym}
单符号信源+无记忆信道
合集下载
第3章信道与信道容量-PPT精品
• 信道种类
1无干扰信道
2有干扰无记忆信道
3有干扰有记忆信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
3
3.1信道分类和表示参数
二进制对称信道（BSC）
1-p 0
p
0 p
1p p
P
p
1p
1
1
1-p
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
X
+
Y
pY(y/ai)
1 e(yai)2/22
2
G
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
6
3.1信道分类和表示参数
波形信道
x(t)
y(t)
+
n(t)
pY(y/x)pY(y1,y2,yL/x1,x2,xL)
pY(y/x)pxp,yx((xx,)y)pxp,yx((xx,)n)pn(n)
p (bj/a i)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
13
3.2离散单个符号信道及其容量
对称信道容量
C＝maIx(X;Y)ma[H x(X)H(X|Y)]
p(ai)
p(ai)
ma[H x(Y)H(Y| X)]
p(ai)
maHx(Y)H(Y/X)
p(ai)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
7
3.2离散单个符号信道及其容量
信息传输率
信道在单位时间内平均传输的信息量定义为信 息传输速率
R=I(X;Y)=H(X)－H(X/Y) 比特/符号
Rt=I(X;Y)/t
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
信息论3章 信道及信道容量
全损信道： H(X|Y) = H(X) H(Y|X) = H(Y) I(X;Y) = 0 全损信道：完全独立
23
2.2 平均互信息
• 例：设信源通过一干扰信道，接收符号为Y=[y1,y2],信道传 递概率如图所示，求：
(1)信源X中事件x1和x2分别含有的自信息。 I(x1)= - logp(x1)=-log0.6≈0.737比特
y = f (x) y ≠ f (x)
¾ 信道的输入和输出一一对应，信息无损失地传输，称 为无损信道。
¾ H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ]
¾由于噪声熵等于零，因此，输出端接收的信息就等于平 均互信息：
I(X;Y) = H(X) = H(Y)
21
（2）输入输出独立信道 ( 全损信道 )
i=1 j=1
i=1 j=1
= H(X) − H(X|Y)
17
2.2 平均互信息
平均互信息：I(X;Y)=H(X)-H(X/Y) 平均互信息=X的先验不确定度-收到Y后关于X的后验不确定度
=平均不确定性消除的程度 =收到Y后获得的关于X的平均信息量 =信道传递的信息量
18
2.2 平均互信息
∑ ∑ ∑ ∑ n m
• 根据输入、输出的个数： – 单用户信道：只有一个输入端和一个输出端 – 多用户信道：至少有一端有两个以上的用户，双向通信
• 根据输入端和输出端的关联：
– 无反馈信道：输出信号对输入信号无影响、无作用
– 有反馈信道：输出信号对输入信号起作用，影响输入端
信号发生变化
4
1.1 信道的分类
•根据信道有无干扰： –有干扰信道：存在干扰或噪声（实际信道一般都有干扰） –无干扰信道：不存在干扰或噪声，或可以忽略（例，计算机和外存设 备之间的信道）
23
2.2 平均互信息
• 例：设信源通过一干扰信道，接收符号为Y=[y1,y2],信道传 递概率如图所示，求：
(1)信源X中事件x1和x2分别含有的自信息。 I(x1)= - logp(x1)=-log0.6≈0.737比特
y = f (x) y ≠ f (x)
¾ 信道的输入和输出一一对应，信息无损失地传输，称 为无损信道。
¾ H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ]
¾由于噪声熵等于零，因此，输出端接收的信息就等于平 均互信息：
I(X;Y) = H(X) = H(Y)
21
（2）输入输出独立信道 ( 全损信道 )
i=1 j=1
i=1 j=1
= H(X) − H(X|Y)
17
2.2 平均互信息
平均互信息：I(X;Y)=H(X)-H(X/Y) 平均互信息=X的先验不确定度-收到Y后关于X的后验不确定度
=平均不确定性消除的程度 =收到Y后获得的关于X的平均信息量 =信道传递的信息量
18
2.2 平均互信息
∑ ∑ ∑ ∑ n m
• 根据输入、输出的个数： – 单用户信道：只有一个输入端和一个输出端 – 多用户信道：至少有一端有两个以上的用户，双向通信
• 根据输入端和输出端的关联：
– 无反馈信道：输出信号对输入信号无影响、无作用
– 有反馈信道：输出信号对输入信号起作用，影响输入端
信号发生变化
4
1.1 信道的分类
•根据信道有无干扰： –有干扰信道：存在干扰或噪声（实际信道一般都有干扰） –无干扰信道：不存在干扰或噪声，或可以忽略（例，计算机和外存设 备之间的信道）
第三章信道容量
max
p(ai )
[
H
(Y
)
H
ni
]
log 2 n Hni
要使H (Y )达到最大值log n， 只要p(bi ) 1/ n即可， 此时求解
下列方程求出输入端的概率分布{ p(ai )}i1,2,..., n :
n
p(bj ) p(ai ) p(bj / ai ) i 1
( j 1,2,..., n)
下列方程求出输入端的概率分布{p(ai )}i1,2,3 :
1 3
p(a1) 1
p(a2 ) 1
1 3
p(a3) 1
p(a4 ) 1
1 3
p(a5 ) 1
二、强对称(均匀)离散信道的信道容量
X
a1
,
a2
,a n
n=m
Y b1, b2 ,bn
1 p
Pnn
p
n
1
p
n 1
p n 1
1 p
...... p
x1
1 0 0 0 0 0
P 0
1
1
0
0
0
22
x2
0
0
0
1 6
2 6
3 6
x3
计算该信道的信道容量。
1 y1
1/2
y2
1/2 1/6
y3 y4
2/6
y5
3/6 y6
1. 先考察平均互信息量I（X; Y）= H（X）-H（X︱Y）， 在无噪信道条件下，H（X︱Y）= 0，则平均互信息量I（ X; Y）= H（X）
p
n 1
p n 1
1 p
...... p
n 1
信息安全 第3章 信道及其容量
补充相关概念：调制，就是把数字信号转换成电话线上 传输的模拟信号；解调，即把模拟信号转换成数字信号。
将两种功能合幵在一起的讴备合称调制解调器，就是我们
通常所称的猫（Modem）。它能把计算机的数字信号翻 译成可沿普通电话线传送的脉冲信号，而这些脉冲信号又
可被线路另一端的另一个调制解调器接收，幵译成计算机
种伴随的参数，不信道的性质无关，信道矩阵本身已经隐 含了信道的输入输出的叏值数（对应于矩阵的行数和列 数），因此，信道矩阵也可以作为离散单符号信道的另一 种数学模型的最简形式。
例3-1 二迚制信道是最简单，也是最常用的信道， r=s=2时即为二迚制信道，如果信道还满趍对称性，则称 为二元对称信道（BSC，Binary Symmetrical Channel），
noise）：存在噪声戒干扰的信道，戒者同时存在两者的信道。
无干扰信道：丌存在噪声和干扰，戒者可以忽略的信道。
（7）根据信道有无记忆特性分类 有记忆信道（channel with memory）：某个时间的 输出y丌仅仅不相应时间的输入x有关，而不前后的输入、
输出相关。类似于马尔可夫信源，输出只不前面有限个输
由于信道的干扰使输入符号x在传输中収生错误，这种错
误是随机収生的，所以可以用条件概率（转秱概率）来表
示噪声的干扰：p(y|x)= P(y=bj|x=ai)=p(bj|ai)；
这一组条件概率称为信道的传递概率戒转秱概率，可以用来描述 信道干扰影响的大小。显然对于仸一给定的ai，条件概率累加满趍弻 一性，即∑p(bj| ai ) = 1。
误的概率，通常用p表示。而和是无错误传输的概率，通常用表示。
显然，这些传递概率满趍弻一性，即满趍下式：
第三章 信道容量.ppt
输入
X X1X2......X N i a ai1 i2 aiN
Y Y1Y2.....YN
i 1,2,......, nN
X K a1a2 an i1i2......iN 1,2,......, n 输出
YK b1b2 bn
X P(Y X ) Y
j b bj1 j2 bjN
§3.4 网络信息理论 §3.5 连续信道 §3.6 信道编码定理
§3.3 多符号离散信道的信道容量
§3.3.1 多符号离散信道的数学 模型
§3.3.2 离散无记忆扩展信道的信 道容量 §3.3.3 独立并联信道的信道容量
多符号离散信道
多符号信源通过离散信道传输形 成多符号离散信道。
§3.3.1 多符号离散信道的数学模型
1 n
强对称信道与对称信道比较：
强对称
对称
n=m
n与m未必相等
矩阵对称
矩阵未必对称
P=Q
行之和，列之和均 为1
P与Q未必相等 行之和为1
四、准对称信道离散信道的信道容量
若信道矩阵的行是可排列的，但列不可 排列，如果把列分成若干个不相交的子集， 且由n行和各子集的诸列构成的各个子矩阵 都是可排列的，则称相应的信道为准对称 信道。例如下面的矩阵：
§3.2 单符号离散信道的信道容量
§3.3 多符号离散信道的信道容量 §3.4 网络信息理论 §3.5 连续信道 §3.6 信道编码定理
§3.2 单符号离散信道的信道容量 §3.2.1 信道容量的定义
§3.2.2 几种特殊离散信道的容量 §3.2 .3 离散信道容量的一般计算方法
§3.2.1 信道容量的定义
p(b1) p(a1) p(a2 )
p(b2 ) (1 ) p(a2 )
第三章信道及信道容量PPT课件
第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
31第3章3132信道模型信道容量
16
信道容量的定义
定义：信道容量为平均互信息的最大值
C max{I ( X ; Y )}
p( x)
def
其单位是比特/符号或奈特/符号。
平均互信息 I (X;Y ) 是输入变量 X 概率分布 p(x) 的上凸函数。
对于一个固定的信道，总存在一种信源概率分布，使传 输每一个符号平均获得的信息量，即平均互信息 I(X;Y) 最大，而相应的概率分布 p (x) 称为最佳输入分布。
15
第3章 信道容量
3.1 信道的数学模型和分类 3.2 单符号离散信道的信道容量
3.2.1 3.2.2 3.2.3 信道容量的定义 几种特殊离散信道的信道容量 离散信道容量的一般计算方法
3.3 3.4 3.5 3.6
多符号离散信道 多用户信道 连续信道 信道编码定理
5
信道的分类４－按统计特性
根据信道的统计特性： 恒参信道：统计特性不随时间变化； 随参信道：统计特性随时间变化。
6
信道的分类５－按记忆特性
根据信道的记忆特性 无记忆信道：信道输出仅与当前的输入有关； 有记忆信道：信道输出不仅与当前输入有关， 还与过去的输入有关。
7
平均互信息
定义：原始信源熵与信道疑义度之差称为平 均互信息
Am
x
x3 x4 x5
1 1 1
y2
1 1
xn
1
ym
29
无噪信道的信道容量
在这类信道中，信道输出端接收到某个y j以后， 因而损失熵H X | Y 0。 于是，可以求出确定信道的平均互信息为 I ( X ; Y ) H (Y ) H ( X ) 其信道容量 C= max{I ( X ; Y )} max H (Y ) log m
信道容量的定义
定义：信道容量为平均互信息的最大值
C max{I ( X ; Y )}
p( x)
def
其单位是比特/符号或奈特/符号。
平均互信息 I (X;Y ) 是输入变量 X 概率分布 p(x) 的上凸函数。
对于一个固定的信道，总存在一种信源概率分布，使传 输每一个符号平均获得的信息量，即平均互信息 I(X;Y) 最大，而相应的概率分布 p (x) 称为最佳输入分布。
15
第3章 信道容量
3.1 信道的数学模型和分类 3.2 单符号离散信道的信道容量
3.2.1 3.2.2 3.2.3 信道容量的定义 几种特殊离散信道的信道容量 离散信道容量的一般计算方法
3.3 3.4 3.5 3.6
多符号离散信道 多用户信道 连续信道 信道编码定理
5
信道的分类４－按统计特性
根据信道的统计特性： 恒参信道：统计特性不随时间变化； 随参信道：统计特性随时间变化。
6
信道的分类５－按记忆特性
根据信道的记忆特性 无记忆信道：信道输出仅与当前的输入有关； 有记忆信道：信道输出不仅与当前输入有关， 还与过去的输入有关。
7
平均互信息
定义：原始信源熵与信道疑义度之差称为平 均互信息
Am
x
x3 x4 x5
1 1 1
y2
1 1
xn
1
ym
29
无噪信道的信道容量
在这类信道中，信道输出端接收到某个y j以后， 因而损失熵H X | Y 0。 于是，可以求出确定信道的平均互信息为 I ( X ; Y ) H (Y ) H ( X ) 其信道容量 C= max{I ( X ; Y )} max H (Y ) log m
信道容量第三章1
内容
3.1 信道的基本概念 3.2 单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.4 连续信道 3.5 信道编码定理
3.1 信道的基本概念
3.1.1 信道
• 信道：信息传输的通道
– 在通信中，信道按其物理组成常被分成微波信 道、光纤信道、电缆信道等。信号在这些信道 中传输的过程遵循不同的物理规律， 通信技术 必须研究信号在这些信道中传输时的特性。
,p ,p
b2 a1
b2 a2
,, p ,, p
bm a1
bm a2
概率
矩阵
p
b1 an
,
p
b2 an
,,
p
bm an
3.2.1 信道容量的定义
• 我们研究信道的目的是要讨论信道中平均每个 符号所能传送的信息量,即信道的信息传输率R
• 平均互信息I (X;Y)：
– 接收到符号Y后平均每个符号获得的关于X
• 按输入/输出的个数 – 单用户信道 只有一个输入和一个输出的信道 – 多用户信道 有多个输入和多个输出的信道
3.1.2 信道分类
• 按信道输入／输出随机变量个数的多少： – 单符号信道 输入/输出端都只用一个随机变量来表示 – 多符号信道 输入/输出端用随机变量序列或随机矢量来 表示
3.1.3 信道的数学模型
的信息量。
I(X ;Y)
ijLeabharlann p(xi ) p(y j|
xi ) log
p(y j | xi ) p(y j )
n
p( y j ) p(xi ) p( y j | xi ) i 1
• 信道的信息传输率就是平均互信息
3.2.1 信道容量的定义
• 信道容量C：
3.1 信道的基本概念 3.2 单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.4 连续信道 3.5 信道编码定理
3.1 信道的基本概念
3.1.1 信道
• 信道：信息传输的通道
– 在通信中，信道按其物理组成常被分成微波信 道、光纤信道、电缆信道等。信号在这些信道 中传输的过程遵循不同的物理规律， 通信技术 必须研究信号在这些信道中传输时的特性。
,p ,p
b2 a1
b2 a2
,, p ,, p
bm a1
bm a2
概率
矩阵
p
b1 an
,
p
b2 an
,,
p
bm an
3.2.1 信道容量的定义
• 我们研究信道的目的是要讨论信道中平均每个 符号所能传送的信息量,即信道的信息传输率R
• 平均互信息I (X;Y)：
– 接收到符号Y后平均每个符号获得的关于X
• 按输入/输出的个数 – 单用户信道 只有一个输入和一个输出的信道 – 多用户信道 有多个输入和多个输出的信道
3.1.2 信道分类
• 按信道输入／输出随机变量个数的多少： – 单符号信道 输入/输出端都只用一个随机变量来表示 – 多符号信道 输入/输出端用随机变量序列或随机矢量来 表示
3.1.3 信道的数学模型
的信息量。
I(X ;Y)
ijLeabharlann p(xi ) p(y j|
xi ) log
p(y j | xi ) p(y j )
n
p( y j ) p(xi ) p( y j | xi ) i 1
• 信道的信息传输率就是平均互信息
3.2.1 信道容量的定义
• 信道容量C：
信道容量
称为信道的信息传输率，通常用 R 表示。
有时我们所关心的是信道在单位时间内平均传输的信息量。如果
平均传输一个符号为 t 秒，则信道平均每秒钟传输的信息量为 Rt 一般称为信息传输速率。
对于固定的信道，
总存 在一种 信源（ 某种输 入概率 分布 ），使 信道平 均传输 一个符 号接收 端获得 的信息 量最大 ，也就 是说对 于每个 固
信道容量
根据信道的统计特性是否随时间变化分为：
①恒参 信道（ 平稳信 道 ）：信 道的统 计特性 不随时 间变化 。卫
星通信信道在某种意义下可以近似为恒参信道。
②随参 信道（ 非平稳 信道 ）：信 道的统 计特性 随时间 变化 。如
短波通信中，其信道可看成随参信道
信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大
图3
式中∑为所有允许的输入符号概率分布的集。
当 A 或 B 是连续集时，相应的概率应理解为概率密度，求
和号 应改为 积分 ，其他 都相仿 。 多 用户信 道容 量
多用 户信道 容量问 题要复 杂一些 。以二 址接入 信道为 例 ，
这种 信道有 两个输 入 X2∈A1和 X2∈A2，分别 与两个 信源联 结 ,发送 信息率 分别为 R1和 R2；有一 个输出 Y,用它 去
组合信道及其信道容量
前面 我们分 析了单 符号离 散信道 和离散 无记忆 信道的 扩展信 道 。实际 应用中 常常会 遇到两 个或更 多个信 道组合
在一 起使用 的情况 。例如 ，待发 送的消 息比较 多时 ，可能 要用两 个或更 多个信 道并行 发送 ，这种 组合信 道称为 并 联
信 道；有时 消息会 依次地 通过几 个信道 串联发 送 ，例如 无线电 中继信 道 ，数据 处理系 统 ，这种 组合信 道称为 级 联信