《信息论第三章》PPT课件

2. 有噪无损信道
a1
1/2 1/2
b1 b2
a2
1
a3 1/31/6
b3 b4 b5
1/2 b6
信道转移矩阵的每一列有且仅有一个非零元素
H(X |Y) 0
H (Y | X ) 0
I( X;Y ) H ( X ) H ( X | Y ) H ( X )
C max I( X;Y ) max H ( X ) log n
7
信道的数学模型和分类
• 按输入和输出的数目分类
单用户信道：输入和输出都只有一个的单向通信 信道。
多用户信道：输入和输出中至少有一端有两个以 上的用户，且可以进行双向通信。
8
信道的数学模型和分类
• 按信道的统计特性与时间的关系分类
固定参数（恒参）信道：信道的统计特性不随时间变化。 时变参数（随参）信道：信道的统计特性随时间变化。
18
p( x)
p( x)
特殊DMC的信道容量
3. 无噪有损信道
)
p(b2 a2 ) ...
...... ......
p(bm a2 ) ...
,
m
p(bj ai ) 1,
j1
i 1,2,..., n
10
p(b1 an ) p(b2 an ) ...... p(bm an )
离散无记忆信道的信道容量
研究目标：了解输出端能从输入端得到多少信息？即如 何将信道所能传递的信息定量化？
9
离散无记忆信道的信道容量
单符号无记忆离散信道的信道容量 数学模型：
{X , p( y x),Y }
或
X
p( y x)
Y
{a1 , a2 ,...,an }
{b1 , b2 ,..., bm }
p(b1 a1 ) p(b2 a1 ) ...... p(bm a1 )
P
p(b1 a2 ...
I( x ai ;Y ) C, 当pi 0
I( x ai ;Y ) C, 当pi 0
m
其中I( x ai ;Y )＝ p(b j ai ) log n
p(b j ai )
j 1
p(ai ) p(b j ai )
i 1
为a i 与Y的 互 信 息 ，C为 信 道 容 量 。
14
离散无记忆信道的信道容量
6
信道的数学模型和分类
• 按信道转移概率分布函数的特点分类
有记忆信道：输出 Y不仅与当前的输入 X 有关，而与前面的输入有关。 无记忆信道：输出 Y 仅与当前的输入 X 有关，
而且与前面的输入无关。
N
p(y | x ) p( y1 y2 yN | x1 x2 xN ) p( yi | xi ) i 1
例3.3
0X 1 取输入分布
2
15
1Y 0
1 0
1 2 1 2
P
1
2 0
1
2 1
1
1
{ p(0), p(1), p(2)} {1 ,0, 1} 22
离散无记忆信道的信道容量
I( x
0;Y )
2 j 1
p(b j
0) log
p(b j 0) p(b j )
log 2
I( x 2;Y ) log 2
2
而I( x 1;Y )
j 1
I( x 0;Y ) I( x
p(b j
1) log
p(b j 1) p(b j )
0
2;Y ) log 2, p(0)
p(2)
1
0
2
I( x 1;Y ) log 2,
p(1) 0
所以由定理3.1得， 最佳分布
16
C 1
{1 ,0, 1} 22
特殊DMC的信道容量
求信道容量：找到最佳分布，使互信息达到最大值。
11 （最佳分布：达到信道容量时的信源分布。）
离散无记忆信道的信道容量
数学上 I( X;Y )对p( x)而言是上凸函数，求信道容量问题 是约束极值问题，即
max I( X;Y )
p( x) n
p(ai )
1
(1)
i1
p(ai ) 0 i 1,2,..., n (2)
数学表示：互信息 I(X;Y) I(X;Y) = H(X) - H(X|Y) = H(Y ) - H(Y|X)
分析：p(y|x) 给定，I(X;Y) 随输入分布p(x)变化而变化。
调整该分布可使互信息达到最大值，即给出了信 道所能传递的最大信息量。定义该最大值为给定
信道的信道容量，用C 表示：
C max I( X;Y ) p( x)
3
信道的数学模型和分类
• 狭义信道：电传播介质（电缆，自由空间） 通信设备（信息经过的通道）
• 广义信道：测量、观察设备（示波器） 存储、记忆设备（磁带，光盘，书 信等）
4
信道的数学模型和分类
信源
编码器
输 入 X
信道
干扰源
译码器
输 出 Y
输入输出关系：转移概率 p(y|x) 信道描述：1. 输入集合
2. 输出集合 3. 输入输出的转移概率分布 研究目标：从信道的输出了解信道的输入
信宿
5
信道的数学模型和分类
• 按信道输入出符号分类 输入、输出空间＝状态集合＋时间集合
离散信道（数字信道）：输入输出空间为离散。连 续信道：状态集合连续，时间集合
离散。
( X ,Y取值集合) (T )
模拟信道（波形信道）：输入输出空间为连续。
1. 无噪无损信道
a1
1
b1
a2
1
b2
an
1
bn
信道转移矩阵为单位矩阵，即P I
H(X |Y) 0
H (Y | X ) 0
I( X;Y ) H( X ) H( X | Y ) H( X )
C max I( X;Y ) max H ( X ) log n
p( x)
p( x)
17
特殊DMC的信道容量
第三章 信道与信道容量
1
本章主要内容
▪ 信道的数学模型和分类 ▪ 离散无记忆信道的信道容量 ▪ 信源与信道的匹配 ▪ 信道的组合 ▪ 连续信道的信道容量
2
信道的数学模型和分类
信道概念——通信系统的组成部分，传递和 存储信息的通道或媒质,包括 空间传输和时间传输。
• 空间传输:各种物理通道---电缆、光缆、空间等。 • 时间传输:指将信息保存，然后在以后读取。
12
离散无记忆信道的信道容量
C max I( X;Y ) p( x) 说明： ▪ C 客观反映信道的传输能力，只与信道特性有关，而与信源无关，表示每个符号可 能传输的最大信息量。 ▪ 可以通过编码改变信源的分布使互信息达到最大值。
13
离散无记忆信道的信道容量Байду номын сангаас
定理3.1：对于信道矩阵为 P 的离散无记忆信道，其输入分布 p(x) 能使互信息 I(X;Y)达到最大值（信道容量）的充要条件是