离散信道容量PPT课件

后不定度的差
I (ai ; b j ) I (aib j ) I (aib j )
log 1 log 1
p(ai ) p(bj )
p(aibj )
log p(aib j ) (i 1,2, , n; j 1,2, , m) p(ai ) p(b j )
8
第8页/共81页
4.1.2 互信息量及其性质
一、互信息量的定义3
通信前
发送
接收
“ 输 入 端 出 现 ai和 输 出 端 出 现 b j” 的 概 率
p(aib j ) p(ai ) p(b j )
先验不定度（联合自信息量）
I (aib j ) log
1 p(ai ) p(bj )
6
第6页/共81页
4.1.2 互信息量及其性质
一、互信息量的定义3
1-H(q)

0.5
1p
当信道固定时，q为一个固定常数，平均互信息是信源分布的 上凸函数，最大只为1-H(q)。图示曲线表明，对于固定信道，输 入符号X的概率分布不同时，在接收端平均每个符号所获得的信 息量就不同。当输入符号为等概率分布时，平均互信息量为最大 值，接收每个符号所获得的信息量最大。信道容量的理论基础 27
4.1 互信息和平均互信息
4.1.1单符号离散信道的数学模型
信宿Y的数学模型为
Y
P(Y
)
b1 , p (b1 ),
b2, p(b2
, ), ,
b j, p (b j
, ), ,
bm p(bm
)
m
0 p(b j ) 1, p(b j ) 1 j 1
1
第1页/共81页
4.1 互信息和平均互信息
二、互信息量的性质
1 对称性
I (ai;bj ) I (bj; ai )
2 当X和Y相互独立时，互信息为0
p(aibj ) p(ai ) p(bj )
（I ai ; b j）
log
p(aibj ) p(ai ) p(bj )
=log1=0
9
第9页/共81页
4.1.2 互信息量及其性质
二、互信息量的性质
(晴 1, 2
),
a2
(阴), 1, 4
a3
(雨), 1, 8
a
4
(雪 1
8
)
“今天不是晴天”作为收到的信息b1，计算b1 与各天气之间的互信息量。
4
第4页/共81页
4.1.2 互信息量及其性质
一、互信息量的定义2 将互信息表达式展开得：
I ( a i ; b j ) lo g p ( a i ) lo g p ( a i b j )
i1 j1
含义：收到Y后关于X尚存的平均不确定性。
性质： 0 H(X |Y) H X
12
第12页/共81页
4.1.2 互信息量及其性质
二、平均互信息量的定义
平均互信息
互信息量在联合概率空间P(XY) 统计平均。
平均交互信息量；交互熵
nm
I ( X ; Y ) E [ I (ai ; b j )]
4 凸函数性
P( y 0) pq (1 p)q pq pq 而：
P( y 1) pq pq
H (Y ) ( pq pq) log 1 pq pq
( pq pq) log 1 H ( pq pq)
所以：
pq pq
I(X ;Y ) H( pq pq) H(q)
I(X;Y)
29
第29页/共81页
总结：各种熵之间的关系
H(X) ,H(Y) －信源熵，无条件熵 H(X/Y) －疑义度，损失熵 H(Y/X) －噪声熵 H(XY)－联合熵 I(X;Y)－平均互信息量，交互熵
30
第30页/共81页
总结
名称
符号
关系
图示
无 条
H(X)
件
熵
H (Y )
H(X) H(X /Y) H(X /Y) I(X;Y)
四、平均互信息量的性质
1 非负性 I ( X ;Y ) 0
说明：信道每传递一条消息，总能提供一定的信 息量。
➢ 注：I (ai;bj )可正可负 p(ai / bj ) p(ai ) I (ai;bj ) >0,正常通信 p(ai / bj ) p(ai ) I (ai ;bj ) =0,通信中断 p(ai / bj ) p(ai ) I (ai ;bj ) <0,通信受干扰
(a)
X
系统1
Y
系统2
Z
(b)
X
系统1
Y
Z
16
第16页/共81页
4.1.2 互信息量及其性质
练习： 有两个硬币，一个正常硬币（一面是国徽，
一面是面值），另一个是不正常的硬币（两面都 是面值）。现随机抽取一次硬币，抛掷两次。问 出现面值的次数对于硬币的 识别能提供多少信息量？
17
第17页/共81页
4.1.2 互信息量及其性质
3 互信息量可为正值或负值
p(ai / bj ) p(ai )
互信息量为正， bj使ai的不确定度减小， 上例中，“今天不是晴天”
p(ai / bj ) p(ai ) 为0，二者相互独立，“今天我很高兴”
p(ai / bj ) p(ai )
为负， bj没有使ai的不确定度减小， “今天有风”。
p(ai bj ) 后验概率
一、定义1：我们将从bj中获取有关ai的信息量称为
互信息量
I (ai ; b j )
log
p(ai b j ) p(ai )
3
第3页/共81页
4.1.2 互信息量及其性质
一、互信息量的定义 继续讨论第二章的例题，即某地二月份天气构成
的信源为
X P(
X
)
a1
的互信息量为219输入端出现和输出端出现的概率发送接收412一互信息量的定义3一互信息量的定义3发送接收412通信后这样通信后流经信道的信息量等于通信前后不定度的差412一互信息量的定义310412二互信息量的性质对称性当x和y相互独立时互信息为0pabpapbloglog1011412二互信息量的性质的不确定度减小上例中今天不是晴天为0二者相互独立今天我很高兴的不确定度减小今天有风
X
Y
条
H (Y / X ) H (XY) H (X )
件 熵
H (Y / X )
H (Y ) I (X ;Y )
X
Y
联
H ( XY) H ( X ) H (Y / X )
合
熵 H(XY) H(YX)
H (Y ) H ( X / Y ) H ( X ) H (Y ) I ( X ;Y ) H ( X / Y ) H (Y / X ) I ( X ;Y )
4.1.1单符号离散信道的数学模型
公式法 信道模型的表示方法 图示法
矩阵法
2
第2页/共81页
4.1 互信息和平均互信息
4.1.2 互信息量及其性质
根据前面的信道的数学模型： ➢ 如果信道是理想的，发出ai收到ai则所获得的信息
量＝ ai的不确定度＝I(ai)； ➢ 如果信道不理想，发出ai收到bj,由bj推测ai的概率，
四、平均互信息量的性质
4 凸函数性
1 I ( X ;Y )是 信 源 p (ai )的
2
I
(
X
;Y
)是
p(b
j
ai
)的
23
第23页/共81页
4.1.2 互信息量及其性质
4 凸函数性
定理1 对于固定的信道，平均互信息I(X;Y)是信源概 率分布p(x)的上凸函数
这就是说，对于一定的信道转移概率分布p(y|x)，总可以
第27页/共81页
4.1.2 互信息量及其性质
4 凸函数性
q
0( p) q
0
X
q
Y
1( p)
q
1
I(X;Y) H(p)
0
I (X ;Y ) H ( pq pq) H (q)
0.5
1q
当信源固定后，p为一个固定常数，改变信道特性q可获得
不同的平均互信息I(X;Y)。当q=1/2时，I(X;Y)=0,即在信道
X
Y
交
I(X;Y) H(X ) H(X /Y)
X
Y
互
H (Y ) H (Y / X )
熵 I (X ;Y ) I (Y; X )
18
第18页/共81页
4.1.2 互信息量及其性质
四、平均互信息量的性质
2 极值性
I ( X ;Y ) H ( X ) I (Y ; X ) H (Y )
1
X
I
、
(X ;Y)
Y一一
H(X
对应
)
H
(
X
Y
)
p
(
ai
b
j
)
1 0
i j i j
H(X Y) 0
I(X ;Y ) H (X )
19
第19页/共81页
找到某一个先验概率分布的信源X，使平均交互信息量I(X;Y)
达到相应的最大值Imax，这时称这个信源为该信道的匹配信 源。可以说，不同的信道转移概率对应不同的Imax。
信源
信道
信宿
噪声 通信系统的简化模型
24
第24页/共81页
4.1.2 互信息量及其性质
4 凸函数性
定理2 对于固定的信源，平均互信息I(X;Y)信道传递概 率分布p(y|x)的下凸函数
通信后
发送
接收
输入输出端的联合概率
p(aib j ) p(ai ) p(b j ai ) p(b j ) p(ai b j )
后验不定度
I (aib j ) log
1 p(aibj )
7
第7页/共81页
4.1.2 互信息量及其性质
一、互信息量的定义3 这样，通信后流经信道的信息量，等于通信前
H ( X ) H (XY) H (Y / X )
H (Y ) H (Y / X ) H (Y / X ) I (X ;Y )
H (Y ) H (XY) H (X / Y )
X
Y
X
Y
条 件 熵
H(X /Y)
H (X / Y ) H (XY) H (Y ) H(X ) I(X;Y)
I (ai ) I (ai bj )
同样道理，我们可以定义ai对bj 的互信息量为
I (b j ; ai ) log
p(b j ai ) p(b j )
I (b j ) I (b j
ai )
(i 1,2, , n; j 1,2, , m)
(2.1.9)
5
第5页/共81页
4.1.2 互信息量及其性质
I (X ;Y ) H(Y ) H (Y / X )
H
(Y
)
X
P(x) Y
P(
y
/
x)
log
P(
1 y/
x)
H (Y ) X
H (Y ) [q
P(x)[q log 1 q q
log 1 q log 1 ]
log 1 ] q
H (Y
)
H
(q)
q
q
26
第26页/共81页
4.1.2 互信息量及其性质
这就是说，对于一个已知先验概率为p的离散信源，总可以 找到某一个转移概率分布的信道q，使平均互信息量达到相应 的最小值Imin。
信源
信道
信宿
噪声 通信系统的简化模型
25
第25页/共81页
4.1.2 互信息量及其性质
4 凸函数性—例题
q
0( p) q
0
例：对于二元对称信道
X
q
Y
1( p)
q
1
如果信源分布X={p,1-p}，则
14
第14页/共81页
4.1.2 互信息量及其性质
二、平均互信息量的定义
平均交互信息量与几个测度函数辨析
➢ I ( X ;Y ) 和 I (ai;bj )
➢ I(X ;Y ) 和 H (X )
相同点：统计平均 不同点：提供与获得
15
第15页/共81页
4.1.2 互信息量及其性质
三、条件互信息和平均条件互信息 给定X、Y、Z三个离散概论空间，其连接关系为：
10
第10页/共81页
4.1.3 平均互信息量及其性质
一、信道疑义度
I (ai ;bj ) 研究信源中各个消息之间的关系
11
第11页/共81页
4.1.2 互信息量及其性质
一、信道疑义度
equivocation
信道疑义度：H(X | Y ) E[I(ai | bj )] n
m
p(aibj )I (ai | bj )
4.1.2 互信息量及其性质
四、平均互信息量的性质
3 对称性 I ( X ; Y ) I (Y ; X )
说明：从X中提取关于Y的信息量与由Y中提取到 X的信息量是相同的，是信息流通的总体测度。
21
第21页/共81页
4.1.2 互信息量及其性质
四、平均互信息量的性质
22
第22页/共81页
4.1.2 互信息量及其性质
输出端获得的信息最小，这意味着信源的信息全部损失在信道
中，这是一种最差的信道，其噪声最大。信息率失真理论的基
础。
28
第28页/共81页
4.1.2 互信息量及其性质
四、平均互信息量的性质
5 数据处理定理 Ⅰ
X p1 (b j ai ) Y
Ⅱ
p2 (b j ai ) Z
假定Y条件下X、Z相互独立 I ( X ; Z ) I (Y ; Z ) I ( X ; Z ) I ( X ; Y ) 多次处理信息量将减少。
p(aib j )I (ai ; b j )
i 1 j 1
n i 1
m j 1
p(aibj ) log
p(ai bj ) p(ai )
13
第13页/共81页
4.1.2 互信息量及其性质
二、平均互信息量的定义 计算时可用公式：
I(X ;Y ) H ( X ) H ( X Y )
H (Y ) H (Y X ) H ( X ) H (Y ) H ( XY )
4.1.2 互信息量及其性质
四、平均互信息量的性质
2 极值性 2 X、Y相互独立
p( ai bj ) p(ai )
I(X
n
;Y
)
H
(X
)
H
(X
n
mY
)
p(ai ) log p(ai )
p(aibj ) log p(ai )
i 1
i 1 j 1
H (X ) H (X ) 0
20
第20页/共81页