信息论基础第3章离散信道及其信道容量[71页]
合集下载
第3章_离散信道及其信道容量1
信息论基础
10
DUT
3.2 平均互信息及平均条件互信息
互信息量的性质
（2）P(ai) < P(ai|bj ) < 1，这时I(ai) > I(ai/bj)，I(ai；bj) > 0。
后验概率大于先验概率，说明收到bj后对信源是否发ai所进行判断 的正确程度，要大于ai在信源集合中的概率. 或者说收到bj后多少还能消除一些对信源是否发ai的不确定度，因 此bj获取了关于ai的信息量。 I(ai；bj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰， 但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(ai；bj) > 0，就存在着能够通信的可 能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。
log
P( x | yz ) P( y | xz ) P( xy | z ) log log P( x | z ) P( y | z ) P( x | z ) P( y | z )
P ( x | yz ) P( x | y ) P( x | yz ) log P( x) P( x) P( x | y )
这一性质清楚地说明了互信息量是描述信息流通特性
的物理量，流通量的数值当然不能大于被流通量的数 值。
某一事件的自信息量是任何其他事件所能提供的关于
该事件的最大信息量。
DUT
信息论基础
14
3.2 平均互信息及平均条件互信息
平均条件互信息
I ( x; y | z ) log
I ( x; yz ) log
互信息量的性质
1. 对称性
如果考虑信息的反向流通问题，即考虑事件ai的出现 给出关于事件bj的信息量，或者从ai中获取关于bj的信
10
DUT
3.2 平均互信息及平均条件互信息
互信息量的性质
（2）P(ai) < P(ai|bj ) < 1，这时I(ai) > I(ai/bj)，I(ai；bj) > 0。
后验概率大于先验概率，说明收到bj后对信源是否发ai所进行判断 的正确程度，要大于ai在信源集合中的概率. 或者说收到bj后多少还能消除一些对信源是否发ai的不确定度，因 此bj获取了关于ai的信息量。 I(ai；bj) 越大，这种获取就越多。 这正是实际通信时遇到的大多数情况，它对应着信道存在干扰， 但信宿仍能从信源中获取信息量。 从这里隐约可以看到，只要I(ai；bj) > 0，就存在着能够通信的可 能性，在后面的章节将会进一步讨论进行可靠通信的极限条件。
log
P( x | yz ) P( y | xz ) P( xy | z ) log log P( x | z ) P( y | z ) P( x | z ) P( y | z )
P ( x | yz ) P( x | y ) P( x | yz ) log P( x) P( x) P( x | y )
这一性质清楚地说明了互信息量是描述信息流通特性
的物理量，流通量的数值当然不能大于被流通量的数 值。
某一事件的自信息量是任何其他事件所能提供的关于
该事件的最大信息量。
DUT
信息论基础
14
3.2 平均互信息及平均条件互信息
平均条件互信息
I ( x; y | z ) log
I ( x; yz ) log
互信息量的性质
1. 对称性
如果考虑信息的反向流通问题，即考虑事件ai的出现 给出关于事件bj的信息量，或者从ai中获取关于bj的信
第三章离散信道及其信道容量
0
0 1
不是一一对应,无扰有信息损失
1
(2)有扰信道 例3:
a1
0.9
X
0.1
a2
0.2 0.8
b1
Y
b2
0.9 0.1 [P] 0.2 0.8 有扰有信息损失,干扰严重
例4:
a1
X
a2
1/2 1/2 1/2 1/2
b1
Y
b2
1/ 2 1 / 2 [P] 1/ 2 1 / 2
P yi xi P xi yi
即E{log x} ≤log{E(X)}
即E{log x} ≤log{E(X)}
I(X
;Y
)
X
Y
P(x,
y)
log
P( x)P( y) P(x, y)
log
XY
P(x,
y)
P( x)P( y) P(x, y)
log1
0
∴ I(X;Y) ≥ 0
∵ logx为∩ 型凸函数,只有当且仅当 p(x.y)=P(x)P(y),即x和Y统计独立时I(X;Y)=0
根据输入和输出信号的特点，信道可以分为： (1)离散信道。指输入和输出的随机变量的取值都 有是离散的信道。 (2)连续信道。指输入和输出的随机变量的取值都 是连续的信道。 (3)半离散半连续信道。输入变量是离散型的但相 应的输出变量是连续的信道，或者相反。 (4)波形信道。信道的输入和输出都是一些时间上 连续的随机信号。即信道输入和输出的随机变量的 取值是连续的，并且还随时间连续变化。一般用随 机过程来描述其输入和输出。
p( x1 ) 4
a2 1 4
a3 1 4
a4
1
4
1 P 1
第3章 离散信道
Y y2
ys
i 1, 2,..., r ; j 1, 2,..., s
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s) （2）
p( y
j 1
s
j
| xi ) 1
(i=1,2,…,r)
11
1.离散单符号信道的数学模型
信道传递概率可以用信道矩阵来表示：
I ( X ;Y )
i 1 j 1
n
m
p ( xi y j ) I ( xi ; y j )
i 1 j 1
n
m
p ( xi y j ) log 2
p ( xi / y j ) p ( xi )
站在输入端：I(Y;X) —发出 X 前、后关于 Y 的先验不确定 度减少的量。
I (Y ; X )
7
信道分类
按输入/输出之间的记忆性来划分： 无记忆信道：信道在某时刻的输出只与信道该时刻 的输入有关而与信道其他时刻的输入、输出无关。 有记忆信道：信道在某时刻的输出与其他时刻的输 入、输出有关。
根据信道的输入/输出是否是确定关系可分为: 有噪声信道 无噪声信道
8
3.1 信道疑义度与平均互信息量
bj I ( X ; Y )是 p ( )的 a i
27
5 平均互信息和各类熵的关系
I(X;Y)= H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY) X, Y 互相独立时
且
p ( xi | y j ) 1
i 1
r
j =1，2，…，s
18
2.信道疑义度H(X|Y)
信息论第3章 信道及信道容量
2020/3/22
信道及信道容量
22
H(Y / X) P(xi )P(yj / xi )log P(xi / yj) i1 j1
pq log q pq log q pq log q pq log q] (pq pq)log q (pq pq)log q q log q q log q H(q)
2020/3/22
信道及信道容量
I(X;Y) H(Y) H(Y / X) H(Y) I(X;Y) H(X) H(X / Y) H(X) X与Y一一对应关系时， I(X;Y) H(Y) H(X) X与Y相互独立时， I(X;Y) 0 ④严格凸函数性
➢信道固定时，I(X;Y)是信源概率分布P(X)的 严格上凸函数 ➢信源固定时，I(X;Y)是信道转移概率分布 P(Y/X)的严格下凸函数
2020/3/22
信道及信道容量
信源
编码
信道
译码
信宿
噪声
信道——传输信号的媒介，信道中通常引入噪声 狭义信道——信号的传输媒介
➢有线信道——电线、电缆、光缆 ➢无线信道——电磁空间——地波传播、天波 传播、视线传播
2020/3/22
信道及信道容量
广义信道——包括调制解调、收发转换装置的信道 调制 发转调换制信道媒介编码信收道转换 解调 ➢调制信道——连续信道 ➢编码信道——离散信道
P(ym / x1) P(ym / x2)
P(ym / xn )
信道及信道容量
m
其中，0 P(y j / xi ) 1且 P(y j / xi ) 1 i 1,2, , n j1
2020/3/22
信道及信道容量
例1
P(Y
/
X)
1
离散信道及其信道容量
（1）无反馈信道
（2）有反馈信道
第一节 信道的数学模型及分类
根据信道参数与时间的关系： （1）固定参数信道 （2）时变参数信道 根据输入输出信号的特点
（1）离散信道
（2）连续信道
（3）半离散半连续信道：
（4）波形信道 以下我们只研究无反馈、固定参数的单用户离散信道。
第一节 信道的数学模型及分类
2、离散信道的数学模型
…
…
…
…
… xn p(y1/xn) p(y2/xn)
ym
p(ym/x1) p(ym/x2)
… p(ym/xn)
第一节 信道的数学模型及分类
[例1] 二元对称信道（BSC） X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;
0
1
[P]=
0
1-p
y021由此可见一般单符号离散信道的传递概率可以用矩阵表示第一节信道的数学模型及分类第一节信道的数学模型及分类为了表述简便可以写成第一节信道的数学模型及分类1联合概率其中称为前向概率描述信道的噪声特性称为后向概率有时也把称为先验概率把称为后验概率表明输出端收到任一符号必定是输入端某一符号输入所致第二节平均互信息1信道疑义度这是收到后关于x的后验熵表示收到后关于输入符号的信息测度这个条件熵称为信道疑义度表示输出端在收到一个符号后对输入符号尚存的不确定性这是由信道干扰造成的如果没有干扰hxy0一般情括下hxy小于hx说明经过信道传输总能消除一些信源的不确定性从而获得一些信息
X
p
p
? H (Y) ? [ p log 1 ? p log 1 ] ? H (Y) ? H ( p)
p
p
第三节 平均互信息的特性 而： P( y ? 0) ? ? p ? ? p P ( y ? 1 ) ? ? p ? ? p
（2）有反馈信道
第一节 信道的数学模型及分类
根据信道参数与时间的关系： （1）固定参数信道 （2）时变参数信道 根据输入输出信号的特点
（1）离散信道
（2）连续信道
（3）半离散半连续信道：
（4）波形信道 以下我们只研究无反馈、固定参数的单用户离散信道。
第一节 信道的数学模型及分类
2、离散信道的数学模型
…
…
…
…
… xn p(y1/xn) p(y2/xn)
ym
p(ym/x1) p(ym/x2)
… p(ym/xn)
第一节 信道的数学模型及分类
[例1] 二元对称信道（BSC） X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;
0
1
[P]=
0
1-p
y021由此可见一般单符号离散信道的传递概率可以用矩阵表示第一节信道的数学模型及分类第一节信道的数学模型及分类为了表述简便可以写成第一节信道的数学模型及分类1联合概率其中称为前向概率描述信道的噪声特性称为后向概率有时也把称为先验概率把称为后验概率表明输出端收到任一符号必定是输入端某一符号输入所致第二节平均互信息1信道疑义度这是收到后关于x的后验熵表示收到后关于输入符号的信息测度这个条件熵称为信道疑义度表示输出端在收到一个符号后对输入符号尚存的不确定性这是由信道干扰造成的如果没有干扰hxy0一般情括下hxy小于hx说明经过信道传输总能消除一些信源的不确定性从而获得一些信息
X
p
p
? H (Y) ? [ p log 1 ? p log 1 ] ? H (Y) ? H ( p)
p
p
第三节 平均互信息的特性 而： P( y ? 0) ? ? p ? ? p P ( y ? 1 ) ? ? p ? ? p
信息论基础第3章离散信道及其信道容量
也就是说，通过信息处理后，一般只会增加信息的 损失，最多保持原来获得的信息，不可能比原来获得的 信息有所增加。一旦失掉了信息，用任何处理手段也不 可能再恢复丢失的信息，因此也称为信息不增性原理。
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
《信息论基础》
3.6 多符号离散信道及其信道容量
【例】求图所示的二元无记忆离散对称信道的二次 扩展信道的信道容量。
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
《信息论基础》
3.7 信源与信道的匹配
信息论3章 信道及信道容量
全损信道： H(X|Y) = H(X) H(Y|X) = H(Y) I(X;Y) = 0 全损信道：完全独立
23
2.2 平均互信息
• 例：设信源通过一干扰信道，接收符号为Y=[y1,y2],信道传 递概率如图所示，求：
(1)信源X中事件x1和x2分别含有的自信息。 I(x1)= - logp(x1)=-log0.6≈0.737比特
y = f (x) y ≠ f (x)
¾ 信道的输入和输出一一对应，信息无损失地传输，称 为无损信道。
¾ H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ]
¾由于噪声熵等于零，因此，输出端接收的信息就等于平 均互信息：
I(X;Y) = H(X) = H(Y)
21
（2）输入输出独立信道 ( 全损信道 )
i=1 j=1
i=1 j=1
= H(X) − H(X|Y)
17
2.2 平均互信息
平均互信息：I(X;Y)=H(X)-H(X/Y) 平均互信息=X的先验不确定度-收到Y后关于X的后验不确定度
=平均不确定性消除的程度 =收到Y后获得的关于X的平均信息量 =信道传递的信息量
18
2.2 平均互信息
∑ ∑ ∑ ∑ n m
• 根据输入、输出的个数： – 单用户信道：只有一个输入端和一个输出端 – 多用户信道：至少有一端有两个以上的用户，双向通信
• 根据输入端和输出端的关联：
– 无反馈信道：输出信号对输入信号无影响、无作用
– 有反馈信道：输出信号对输入信号起作用，影响输入端
信号发生变化
4
1.1 信道的分类
•根据信道有无干扰： –有干扰信道：存在干扰或噪声（实际信道一般都有干扰） –无干扰信道：不存在干扰或噪声，或可以忽略（例，计算机和外存设 备之间的信道）
23
2.2 平均互信息
• 例：设信源通过一干扰信道，接收符号为Y=[y1,y2],信道传 递概率如图所示，求：
(1)信源X中事件x1和x2分别含有的自信息。 I(x1)= - logp(x1)=-log0.6≈0.737比特
y = f (x) y ≠ f (x)
¾ 信道的输入和输出一一对应，信息无损失地传输，称 为无损信道。
¾ H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ]
¾由于噪声熵等于零，因此，输出端接收的信息就等于平 均互信息：
I(X;Y) = H(X) = H(Y)
21
（2）输入输出独立信道 ( 全损信道 )
i=1 j=1
i=1 j=1
= H(X) − H(X|Y)
17
2.2 平均互信息
平均互信息：I(X;Y)=H(X)-H(X/Y) 平均互信息=X的先验不确定度-收到Y后关于X的后验不确定度
=平均不确定性消除的程度 =收到Y后获得的关于X的平均信息量 =信道传递的信息量
18
2.2 平均互信息
∑ ∑ ∑ ∑ n m
• 根据输入、输出的个数： – 单用户信道：只有一个输入端和一个输出端 – 多用户信道：至少有一端有两个以上的用户，双向通信
• 根据输入端和输出端的关联：
– 无反馈信道：输出信号对输入信号无影响、无作用
– 有反馈信道：输出信号对输入信号起作用，影响输入端
信号发生变化
4
1.1 信道的分类
•根据信道有无干扰： –有干扰信道：存在干扰或噪声（实际信道一般都有干扰） –无干扰信道：不存在干扰或噪声，或可以忽略（例，计算机和外存设 备之间的信道）
第3章_离散信道及其信道容量2
由于 I ( X；Y ) 是输入概率分布p( x) 的∩型凸函数，所以极大值一定存在。 r p(a i ) 1 而 I ( X；Y )是r个变量 p(a1 ), p(a 2 ), , p(a r )的多元函数，并满足 i 1 所以这是一个多元函数求条件极值的问题。于是，可以运用拉格朗日乘 子法来计算这个条件极值，其求解步骤如下： I ( X；Y ) p(a i ) ①引进一个新函数
信息论与编码
第三章 离散信道及其信道容量
1
本章内容提要 3.1 信道的数学模型及分类
信息论与编码
3.2 平均互信息及平均条件互信息 3.3 平均互信息特性 3.4 信道容量及其一般计算 3.6 离散无记忆扩展信道及其信道容量 3.9 信源与信道的匹配
2
信息论与编码
1 1-p 1 0 1-p
数字信道
0
信 息 源
信源 编码器
加 密 器
信道 编码器
调 制 器
信 道 噪声
解 调 器
信道 译码器
解 密 器
信源 译码器
受 信 者
n(t)
模拟信道
S(t)
+
r(t)
3
信息论与编码
3.4 信道容量及其一般计算
Ｘ
P(b j / ai )
Ｙ
I ( X ;Y ) H ( X ) H ( X / Y )
C maxI X；Y maxH X log r
px px
比特/符号
12
信息论与编码 （2）有噪无损信道
1 2 P 0 0 1 2 0 0 0 3 5 0 0 3 10 0 0 1 10 0 0 0 1
信息论与编码
第三章 离散信道及其信道容量
1
本章内容提要 3.1 信道的数学模型及分类
信息论与编码
3.2 平均互信息及平均条件互信息 3.3 平均互信息特性 3.4 信道容量及其一般计算 3.6 离散无记忆扩展信道及其信道容量 3.9 信源与信道的匹配
2
信息论与编码
1 1-p 1 0 1-p
数字信道
0
信 息 源
信源 编码器
加 密 器
信道 编码器
调 制 器
信 道 噪声
解 调 器
信道 译码器
解 密 器
信源 译码器
受 信 者
n(t)
模拟信道
S(t)
+
r(t)
3
信息论与编码
3.4 信道容量及其一般计算
Ｘ
P(b j / ai )
Ｙ
I ( X ;Y ) H ( X ) H ( X / Y )
C maxI X；Y maxH X log r
px px
比特/符号
12
信息论与编码 （2）有噪无损信道
1 2 P 0 0 1 2 0 0 0 3 5 0 0 3 10 0 0 1 10 0 0 0 1
信息论离散信道及其容量ppt课件
4.2.5 熵、信道疑义度及平均互信息 的相互关系
H(X,Y)=H(X|Y)+H(Y)=H(Y|X)+H(X) I(X;Y)=H(X)-H(X|Y) I(X;Y)=I(Y;X) I(X;Y)=I(Y;X)≥0 I(X;X)=H(X)
;
4.3 离散无记忆扩展信道
4.2节讨论了单个符号的信道传输情况。实际上，一般离散 信道的输入和输出是一序列，因此有必要研究扩展信道。
输入无关。 有记忆信道：信道的输出不;仅与当前的输入有关，与以前
一些特殊信道
无损信道：输出可以决定输入，即知道了信道的输出符号， 能确切判断出它对应的输入符号是什么。
确定信道：输出完全由输入决定，即输入符号一旦定下来， 信道的输出是确定的。
无噪信道：既是无损信道，又是确定信道。输出能决定输 入，输入也能决定输出。现实生活中很少存在这样的信道。
pr1
pr2
prs
;
例4.2.1 二元对称信道
简称为BSC
二元：输入和输出符号集均为{0,1}
对称：1变成0和0变成1的概率相等。
a1=0
1-p
b1=0
p p
a2=1
1-p
b2=1
p(0|0)=p(1|1)=1-p，p(0|1)=p(1|0)=p
BSC的信道矩阵：P
p p
p
p
;
r
H(X|bj) p(ai|bj)logp(ai|bj)
i1
表示接收到符号bj后，仍然保留的关于X的平均
不确定性。
;
P (X ,Y)例那 P X4么p p PY .Y Y2||X X .( 14(0 40 P||X0 1 34P二) )p p X X 元( (1 0 14))删43p 除p Y Y ||X X 信102((? ?||道0 1 1132) )p p PX X 023( (1 0 P))Y | X81p p Y Y ||X X 10823((1 1 ||0 1 112132) )p p X X 023( (1 0 )) 01 1 8 01 8 1 411//1 0 2 32 21//P 32X P
信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习
![信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习](https://img.taocdn.com/s3/m/b3091d87a0116c175f0e48d8.png)
第三章离散信道及其信道容量3．1．1 信道的分类在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。
信道的分类有：按照信道输入端或输出端的个数可分为单用户信道和多用户信道。
按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。
按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。
按照信道输入／输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。
按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。
按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。
按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。
3．1．2 离散信道的数字模型1．一般离散信道(多维离散信道)一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。
其数学模型可用离散型概率空间[X，P(y|x)，Y]来描述。
其中X=(X1X2…X N)为输入信号，Y= (Y1Y2…Y N)为输出信号。
X中X i∈A={a1，a2，…，a r}，Y中Y i∈B={b1，b2，…，b s}。
又P(y|x)(x∈X，y∈Y)是信道的传递概率(转移概率)，反映输入和输出信号之间统计依赖关系，并满足概率空间[X，P(y|x)，Y]也可用图来描述。
2．基本离散信道(单符号离散信道)单符号离散信道是离散信道中最基本的信道，其信道输入/输出信号都是取值离散的单个随机变量。
数学模型是概率空间[X，P(y|x)，Y]，(或[X，P(b j|a i)，Y])，其中X∈A={a1，a2，…，a r}，Y∈B={b1，b2，…，b s)，P(y|x)=P(b j|a i)(i=1，2，…，r；j=1，2，…，s)并满足概率空间[X，P(y|x)，Y]也可用图来描述，如图3．1所示。
离散信道及其信道容量课件
离散信道的应用场景
01
02
数据通信
数字电视
03 数字电话
CHAPTER
离散信道模型
输入输出符号集
输入符号集
输出符号集
输入输出概率分布
输入概率分布
输出概率分布
转移概率
定义
转移概率表示在给定输入符号下，输出符号出现的条件概率，即$P(Y=y|X=x)$。
计算方法
根据输入输出概率分布和转移概率的定义，可以通过以下公式计算转移概率： $P(Y=y|X=x) = frac{P(X=x, Y=y)}{P(X=x)}$。
CHAPTER
离散信道容量
信道容量的定 义 01 02
单符号离散信道容量
在无记忆信道中，每个符号独立地通 过信道，信道状态与符号无关，因此 单符号离散信道容量可以通过概率计 算得出。
多符号离散信道容量
多符号离散信道容量是指多个符号在 离散有记忆信道中能够传输的最大信 息量。
多符号离散信道容量的计算方法包括 互信息法、迭代法和密度进化法等。
离散信道容量的应用
数据 传
数据压缩
错误控制编码
通信系统设计
通信协议设计
在通信系统设计中，离散信道容量提供 了关于通信系统性能的理论限制。这有 助于设计者根据这些限制优化通信协议， 提高系统的整体性能。
VS
频谱效率
频谱效率是通信系统设计的重要指标之一。 通过理解和利用离散信道容量，可以更有 效地利用频谱资源，提高频谱效率，从而 在有限的带宽内传输更多的信息。
CHAPTER
离散信道容量的计算方法
解析法
解析法是一种基于概率论和组合数学的计算离散信道容量的方法。它通 过将输入和输出符号之间的概率关系表示为数学表达式，然后求解这些 表达式来计算信道容量。
(优选)信息理论基础离散信道及其容量
且：
p
yn
|
xn
1 0
yn f xn yn f xn
两者有一一对应的关系
4.2.1 三、有无扰无记忆信道 有无扰无记忆信道的定义
p
y
|
x
py1 y2 yN
|
x1x2 xN
N
pyn | xn
n1
就是DMC。由于信道中随机噪声或者干扰的存在， 使得输入和输出之间具有统计关系
4.2.1 四、有无扰无记忆信道 有无扰有记忆信道
信息理论基础 （优选）信息理论基础离散信道及其容量
华北电力大学电子与信息工程学院翟明岳
2005-3-31
第1/103页
4.1 信道的数学模型及其分类 信道分类（按照输入输出事件的事件特性和输入输出集的特点）
离散信道（数字信道） 输入空间X和输出空间Y均为离散事件集
信道
连续信道（模拟信道） 输入空间X和输出空间Y均为连续事件集 输入离散输出连续的信道
4.1 信道的数学模型及其分类 信道分类（按照信道的记忆特性）
信道
无记忆信道
信道输出仅与当 前输入有关
离散无记忆信道 连续无记忆信道
信道输出与当前 输入和以前的输 入有关
有限记忆信道
有记忆信道
无限记忆信道
4.2 离散无记忆信道
4.2.1 离散信道的数学模型 4.2.2 单符号离散信道 4.2.3 信道的疑义度 4.2.4 平均互信息 4.2.5 各种量之间的关系
a1
输入集
a2
p11 p13
p21 p23
b1
b2
输出集
b3
4.2.2 一、单符号离散信道的定义 信道矩阵
信道输出
p11 p12 p1s
p
yn
|
xn
1 0
yn f xn yn f xn
两者有一一对应的关系
4.2.1 三、有无扰无记忆信道 有无扰无记忆信道的定义
p
y
|
x
py1 y2 yN
|
x1x2 xN
N
pyn | xn
n1
就是DMC。由于信道中随机噪声或者干扰的存在， 使得输入和输出之间具有统计关系
4.2.1 四、有无扰无记忆信道 有无扰有记忆信道
信息理论基础 （优选）信息理论基础离散信道及其容量
华北电力大学电子与信息工程学院翟明岳
2005-3-31
第1/103页
4.1 信道的数学模型及其分类 信道分类（按照输入输出事件的事件特性和输入输出集的特点）
离散信道（数字信道） 输入空间X和输出空间Y均为离散事件集
信道
连续信道（模拟信道） 输入空间X和输出空间Y均为连续事件集 输入离散输出连续的信道
4.1 信道的数学模型及其分类 信道分类（按照信道的记忆特性）
信道
无记忆信道
信道输出仅与当 前输入有关
离散无记忆信道 连续无记忆信道
信道输出与当前 输入和以前的输 入有关
有限记忆信道
有记忆信道
无限记忆信道
4.2 离散无记忆信道
4.2.1 离散信道的数学模型 4.2.2 单符号离散信道 4.2.3 信道的疑义度 4.2.4 平均互信息 4.2.5 各种量之间的关系
a1
输入集
a2
p11 p13
p21 p23
b1
b2
输出集
b3
4.2.2 一、单符号离散信道的定义 信道矩阵
信道输出
p11 p12 p1s
信息论基础离散信道及其信道容量优秀PPT
平均互信息的物理含义：
平均互信息的特性
（1）对称性：
I (X ;Y ) I (Y; X )
（2）非负性：
I(X;Y) 0
（3）极值性：
I(X;Y) H(X )
I (Y; X ) H (Y )
（4）凸函数性
平均互信息量 I (X; Y ) 是输入信源概率 分布 P(x) 的上凸函数（研究信道容量 的理论基础）。
p(xyz) 1
XY Z
p( xy)
p( xyz)
p( xz)
Z
p( xyz)
Y
p( yz)
X
p( xyz)
p(
x)
p(
xy)
p(xz)
p(
y)
Y
p(xy)
Z
p(
yz)
X
Z
p(z)
X
p(
xz)
Y
p(
yz)
定义：对于三个离散随机变量X、Y、Z， 在已知Z的条件下，X和Y之间的平均条件 互信息为：
P( y | x) 1 y
根据信道的统计特性即条件概率的不同， 离散信道又可分成如下几种情况
无干扰(无噪)信道：
y f (x)
并且
1 P( y | x) 0
, ,
y f (x) y f (x)
有噪信道：P( y / x) 不是0，1分布，称
为有噪信道
离散有干扰无记忆信道：简称DMC
3.8 串联信道的互信息和数据处理定理 3.9信源与信道的匹配
3.1 信道的数字模型及分类
在信息论中，信道中指信息传输的通道。它是 信息论中与信源并列的另一个主要研究对象。
典型例子：
实际通信中物理通道：电缆、光纤、电波传 布空间、载波线路等；
平均互信息的特性
（1）对称性：
I (X ;Y ) I (Y; X )
（2）非负性：
I(X;Y) 0
（3）极值性：
I(X;Y) H(X )
I (Y; X ) H (Y )
（4）凸函数性
平均互信息量 I (X; Y ) 是输入信源概率 分布 P(x) 的上凸函数（研究信道容量 的理论基础）。
p(xyz) 1
XY Z
p( xy)
p( xyz)
p( xz)
Z
p( xyz)
Y
p( yz)
X
p( xyz)
p(
x)
p(
xy)
p(xz)
p(
y)
Y
p(xy)
Z
p(
yz)
X
Z
p(z)
X
p(
xz)
Y
p(
yz)
定义：对于三个离散随机变量X、Y、Z， 在已知Z的条件下，X和Y之间的平均条件 互信息为：
P( y | x) 1 y
根据信道的统计特性即条件概率的不同， 离散信道又可分成如下几种情况
无干扰(无噪)信道：
y f (x)
并且
1 P( y | x) 0
, ,
y f (x) y f (x)
有噪信道：P( y / x) 不是0，1分布，称
为有噪信道
离散有干扰无记忆信道：简称DMC
3.8 串联信道的互信息和数据处理定理 3.9信源与信道的匹配
3.1 信道的数字模型及分类
在信息论中，信道中指信息传输的通道。它是 信息论中与信源并列的另一个主要研究对象。
典型例子：
实际通信中物理通道：电缆、光纤、电波传 布空间、载波线路等；
信息论基础离散无记忆信道信道容量
存储的最大信息量，即信息无差错传输的最大 速
率 ，就是信道容量问题.
12
第13页/共23页
信道容量
带宽 :信道可以不失真地传输信号的频率范围。为不同应用而设 计的
传输媒体所支持的带宽有所不同；在现代网络技术中， “带宽” 表示
信道的数据传输速率.
信道容量:信道在单位时间内可以传输的最大信号量，表示信道 的传
p
[P]=
1
p
1-p
p称为交叉 概率误差！
0
1-p 0
p
p
1
1-p
1
19
第20页/共23页
离散无记忆信道和信道容量
如果信道的输入概率分布X={w,1-w}，则
I (X ;Y ) H ( p p) H ( p)
由此可得
20
第21页/共23页
离散无记忆信道和信道容量
平均互信息对 即当
有极大值
I (X ;Y )
p(x, y) log p(x, y)
xX yY
p(x) p(y)
p(x) Q( y | x) log
xX
yY
Q(y | x) p(x)Q( y | x)
xX
15
第16页/共23页
离散无记忆信道和信道容量
通常，P(xi)称为信道的入口分布 P(yi)称为信道的出口分布 i(x;y)=logP(x,y)/P(x)P(y)为入口与
（1）有记忆信道
（2）无记忆信道
（任一时刻输出符号只统计依赖于对应时刻输入符 号的
信道）
7
第8页/共23页
离散无记忆信道
根据输入输出信号的特点，可分为
（1）离散信道
数字信道以数字 脉冲形式（离散 信号）传输数据
第三章 离散信道及其容量
3.1 信道的数学模型及分类
通常信源发送的是包含信息的消息，消息转换 成适合信道传输的信号，然后通过信道传递给接 收者。 一般认为干扰或者噪声主要从信道引入，在信 道传输时使信号错误或者失真，因此信道的输入 和输出之间一般是不确定的函数关系，而是统计 依赖关系。 因此，只要知道输入输出信号以及它们的统计 依赖关系，那么信道的全部特性就确定了。
3.1 信道的数学模型及分类
3.1.2 信道的数学模型
条件概率P(y/x)描述了输入信号和输出信号之间 统计依赖关系,反映了信道的统计特性. 信道的数学模型有几种描述方法：(1)如上图用 框图描述；(2)数学语言描述；(3)信道传递图描 述；(4)信道传递矩阵描述。
3.1 信道的数学模型及分类
无扰(无噪声) 1 无扰(无噪声)信道 信道中没有随机性的干扰或干扰很小，输出信 号y与输入信号x之间有确定的对应的关系，其信 道传递图的特点：一一对应或多对一，但不交叉。 y＝f(x)
yN
∏ P( y | x )
i =1 N i i i i yN i =1
N
∑∏ P( y | x ) ∏ P( y | xx )
i =1 N −1 i i
N
= P( yN | xN )
⇒ P( yi | x1 x2 ⋯ xN y1 y2 ⋯ yi −1 ) = P( yi | xi ) ⇒ 是离散无记忆信道
P( yN | x1x2 ...xN y1 y2 ...yN −1 ) = P( y1 y2 ...yN | x1x2 ...xN ) P( y1 y2 ...yN −1 | x1x2 ...xN )
P( y1 y2 ...yN | x1x2 ...xN ) = = ∑ P( y1 y2...yN | x1x2...xN )
信息论：第3章离散信道及其信道容量
P ( b1 | a 1 ) P ( 0 | 0 ) 1 p p P ( b 2 | a 2 ) P (1 | 1 ) 1 p p P ( b1 | a 2 ) P ( 0 | 1 ) p P ( b 2 | a 1 ) P (1 | 0 ) p
a1=0
（2）多端(多用户)信道---输入端和输出端中至少有
两个以上的用户，并且可以双向通信的信道。
5
copyright ©赵越 ise_zhaoy1@
根据信道输入端和输出端的关联：
（1）无反馈信道---信道输出端无信号反馈到输入端，
即输出端信号对输入端信号无影响、无作用；
（2）反馈信道---输出端的信号反馈到输入端，对输
（2）连续信道---输入输出的随机序列的取值都是连续 的信道； （3）半离散或半连续信道---输入序列是离散型的，但 相应的输出序列是连续的信道，或相反。 （4）波形信道---输入和输出都是一些时间上连续的随 机信号。（又称模拟信道）
7
copyright ©赵越 ise_zhaoy1@
p(x | y) p( x)
所以，平均互信息 I ( X ; Y ) 永远不会取负值。 最差的情况是平均互信息为零，即信道输出端 接收到输出符号Y后不获得任何关于输入符号X的 信息量。
28
copyright ©赵越 ise_zhaoy1@
有记忆信道。
copyright ©赵越 ise_zhaoy1@
3.1.3 单符号离散信道
单符号离散信道：
输入符号为X，取值于{a1,a2, …,ar}。
输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率， 可以用来描述信道干扰影响的大小。
a1=0
（2）多端(多用户)信道---输入端和输出端中至少有
两个以上的用户，并且可以双向通信的信道。
5
copyright ©赵越 ise_zhaoy1@
根据信道输入端和输出端的关联：
（1）无反馈信道---信道输出端无信号反馈到输入端，
即输出端信号对输入端信号无影响、无作用；
（2）反馈信道---输出端的信号反馈到输入端，对输
（2）连续信道---输入输出的随机序列的取值都是连续 的信道； （3）半离散或半连续信道---输入序列是离散型的，但 相应的输出序列是连续的信道，或相反。 （4）波形信道---输入和输出都是一些时间上连续的随 机信号。（又称模拟信道）
7
copyright ©赵越 ise_zhaoy1@
p(x | y) p( x)
所以，平均互信息 I ( X ; Y ) 永远不会取负值。 最差的情况是平均互信息为零，即信道输出端 接收到输出符号Y后不获得任何关于输入符号X的 信息量。
28
copyright ©赵越 ise_zhaoy1@
有记忆信道。
copyright ©赵越 ise_zhaoy1@
3.1.3 单符号离散信道
单符号离散信道：
输入符号为X，取值于{a1,a2, …,ar}。
输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率， 可以用来描述信道干扰影响的大小。
经典信息论基础第3章(改)
当 r → ∞ (或足够大时)，计算
δ = C (r + 1, r ) − C (r , r ) = ⎨
⎧< ε , ( 要求精度)停止运算 ⎩> ε , 继续直至 < ε ，
可进一步证明: 1> lim C ( r , r ) = lim C ( r + 1, r ) = C
r→∞ r→∞
即收敛于信道容量值,
下面，我们首先将互信息表达成概率的函数：
2006/2/8
P.9
（一） 离散单消息信道与信道容量 （续）
I ( X ;Y ) = H ( X ) − H ( X Y ) p = −∑∑ rij log i = −∑∑ q j Qij log Qij i j i j
∑q Q
j j
ij
Qij
= I (q j ; Qij )
1 − Pe = 1 − ε
0
输出
x∈{0,1 }
y∈0,1 { }
1 − Pe = 1 − ε
1
且： ⎛ X ⎞ ⎛ 0 , 1⎞ ⎜ ⎜ p ( x) ⎟ = ⎜ p , p ⎟ ⎟ ⎜ ⎟ ⎝ ⎠ ⎝ 0 1⎠
1
P ，(
⎛1 − ε , ε ⎞ ⎛ Y ⎞ ⎛ 0 , 1⎞ )=⎜ ⎜ ⎟ ⎜ ⎟ ⎟ ⎜ ⎜ ε ,1 − ε ⎟ ，q( y ) ⎟ = ⎜ q , q ⎟ ⎠ ⎝ 0 1⎠ ⎠ ⎝ ⎝
一般无记忆 平稳无记忆
Pi
0 0 qm )] + ∑ Pji log Pji j
2006/2/8
P.15
（二）强对称信道 （续）:
∑ pi Pji0 = q j =
i
1 1 ⇒ pi = . m n
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
本章内容 3.1 离散信道的分类 3.2 离散信道的数学模型 3.3 离散信道的互信息和平均互信息 3.4 信道容量的定义 3.5 单符号离散信道及其信道容量 3.6 多符号离散信道及其信道容量 3.7 信源与信道的匹配
《信息论基础》
3.1 离散信道的分类
《信息论基础》
3.2 离散信道的数学模型
I X ;Y I P ai , P bj | ai I P x, P y | x
定理 在 Py | x给定的条件下，平均互信息 I ( X ;Y ) 是概率分布
P(x) 的 型凸函数（或称上凸函数）。即
I[ P1(x) P2(x)] I[P1(x)] I[P2(x)]
因此对于每一个固定信道，一定存在某种概率分布的信源，使输 出端获得的平均信息量为最大。可见信源与信道连接时，信道传输信 息的能力不一定能得到充分利用。对于固定的信道，平均互信息的最 大值是一定的，但是在传输信息时信道能否提供其最大传输能力，则 取决于输入端的概率分布。当信道提供其最大传输能力时，相应的输 入概率分布称为最佳输入分布，此时的信源称为匹配信源。
【例】求图 5.3 所示的二元无记忆离散对称信道 的二次扩展信道的信道矩阵。
图 5.3 二元无记忆对称信道
《信息论基础》
3.3 离散随机变量的互信息和平均互信息
1、 互信息的定义 定义: 对于两个离散随机事件集 X 和 Y，事件 bj 的出现给出关于事件 ai 的
信息量，定义为事件 ai 和事件 bj 的互信息，用 I (ai ;bj ) 表示。
一、信道的信息传输率
1、信息传输率Ｒ：信道中平均每个符号所能传送的信息量。 R = I（X；Y）= H（X）- H（X/Y） 单位：bit/符号
2、信息传输速率Ｒt：信道中单位时间平均传送的信息量,即收 信者在单位时间内接收到的信息量。 单位：bit/秒
Rt
1 Ts
I(X;Y)
RB
I(X;Y)
定理 在概率分布 P(x) 给定的条件下，平均互信息
I (X ;Y ) 是条件概率 Py | x的 型凸函数。即
I[ P1(y | x) P2(y | x)] I[P1(y | x)] I[P2(y | x)]
定理 2.3 表明：当信源固定后，选择不同信道来传输同一 信源符号时，在信道的输出端获得关于信源的信息量是不同 的。信道输出端获得关于信源的信息量是信道转移概率
互信息的物理含义
互信息的性质
平均互信息
平均互信息的性质
(1) 平均互信息的对称性（交互性）
I(X;Y) I(Y; X )
(2) 平均互信息的非负性
I(X;Y) 0
当且仅当 X 和 Y 统计独立时，等式成立。 (3) 平均互信息的极值性
I(X;Y) H(X)
(4) 平均互信息 I ( X ;Y ) 的凸函数性
二、信道容量C
1）理论基础： 对于固定的信道，平均互信息 I (X ;Y )
是信源概率分布 P(x) 的上凸函数。也就是说，存在一个使
某一特定信道的平均互信息达到极大值的信源分布，该极大 值可以用来表述信道传送信息的最大能力，即信道容量。
f(q) f [p (1 )q] f ( p) (1 ) f (q)
P( y | x) 的 型凸函数。也就是说，存在一个信道使某一特
定信源经过此信道传输时，信道的平均互信息达到极小值。
【例】 设二元对称信道的输入概率空间
X P(x)01 1，而信道特性如图所示，求平均互信息。
图 2.10 固定二元对称信道的互信息
图 2.11 固定二元信源的互信息
平均互信息与各类熵之间的关系
一. 单符号离散信道的数学模型 信道的输入、输出都取值于离散符号集，且都用一个随机变量来 表示的信道称为单符号离散信道，它是最简单的离散信道。可用概率
空间{X , P(bj | ai ),Y} 来描述。
信道传递特性
a1
P(b1 | a1)
b1
a2
b2
P(bs | a1)
ar
bs
两种重要的信道： 1、 二元对称信道 BSC 2、 二元删除信道 BEC
I (ai ;bj )
I (ai )
I (ai
| bj)
log2
P(ai | bj ) P(ai )
(i 1, 2, , r; j 1, 2, , s)
可见，互信息量 I (ai ;bj ) 是已知事件 bj 后所消除的关于事件 ai 的不确
定性，即关于事件 ai 不确定性的减少量。它等于事件 ai 本身的不确定性
【例】 已知两个独立的随机变量 X、Y 的分布律如下。
X P(x)
a1 0.5
a2 0.5
,
Y P( y)
b1 0.25
b2 b3 0.25 0.5
计算 H X , H Y , H XY , H X |Y , H Y | X , I X ;Y 。
《信息论基础》
3.4 信道容量的定义
I (ai ) 减去已知事件 bj 后对 ai 仍然存在的不确定性 I (ai | bj ) ，实际就是事件
bj 出现给出关于事件 ai 的信息量。
【例】 甲在一个16 16 的方格棋盘上随意放一枚棋
子，在乙看来棋子放入哪一个位置是不确定的。如果甲 告知乙棋子放入棋盘的行号，这时乙获得了多少信息 量？
《信息论基础》
第3章 离散信道及其信道容量
通信系统的基本功能是实现信息的传递，信道是信息 传递的通道，是信号传输的媒质。一般而言，信源发出的 消息，必须以适合于信道传输的信号形式经过信道的传输， 才能被信宿接收。
从信源的角度看，信源发出的每个符号承载的平均信 息量由信源熵来定量描述；而从信宿的角度看，信宿收到 的每个符号平均能提供多少信息量由平均互信息来定量描 述。在信息论中，信道问题主要研究在什么条件下，信道 能够可靠传输的信息量最大，即信道容量问题。
RB H (X ) H (X / Y ) Ht (X ) Ht (X / Y )
其中， RB为每秒钟传送的符号数，即码元传输速率。
Ts为传送一个符号所需的平均时间。
Ht (X ) RB H (X ) 表示单位时间信源输出的信息量。
Ht (X / Y ) RB H (X / Y )表示单位时间信道损失的信息量。