信息论第四章
合集下载
近代信息论-第四章-1
F(0)=1 F(1)=0
F(0)=1 F(1)=1
问题
选择怎样的译码规则，才是最佳的？
平均错误译码概率
发a ，收到b ，正好译回 a , F (b ) = a
i j i j i
正确译码
i
发a ，收到b ，译码不为a , F (b ) ≠ a
i j i j
错误译码
j
正确译码的概率 错误译码的概率
p p
s
给定信道，采用最大后验概率准则，为使 最小误码率减小，则只能改变信源分布； 给定信源，为使最小误码率减小，可改变 信道的统计特征。
最大似然准则
p (a )
i
先验分布概率
p ai | b j
(
)
后验分布概率 转移概率，似然函数
p b j |a
(
i
)
由贝叶斯公式
( )( ) p (a *|b ) = p (b ) p (a ) p (b | a ) p (a | b ) = p (b )
译码规则
信道，输入等概
0 3/4 3/4 1 1 1/4 1/4 0 当译码规则为： 收到0，译为0 收到1，译为1， 当译码规则为： 收到0，译为1 收到1，译为0， 可见， 可见，译码规则与通信 的可靠性之间关系大。 的可靠性之间关系大。 Pe =3/4
Pe =1/4
译码规则
a a
⋮
1 2
P(Y|X) X
j e
最大后验概率准则（MAP） 最大后验概率准则（MAP）
最大后验概率准则（MAP） 最大后验概率准则（MAP）
对应的最小的误码率：
s e j =1 j j
p = ∑ p(b )[1 − p(a* |b )] = ∑ p(b )− ∑ p(b )p(a* |b )
信息论-第四章
2018/10/30 4
§4.2 离散无记忆信道
例4.2.1（p89）二元对称信道BSC是离散无记忆恒参信道。
0 0.1 0.1 1 1 0.9 0.9 0
当N＝1时，p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1 当N=2时， p(00/00)=p(11/11)= p(0/0) p(0/0)= 0.9*0.9=0.81 P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9 =0.09 P(11/00)=p(00/11)=0.1*0.1=0.01
1 w( y ) q( x) p( y | x) K x 0 1 K
K 1
p( y | x)
x 0
K 1
p(0 | x)，
x 0
2018/10/30 15
K 1
K 1 1 K 即w( y )与y无关。w( y )＝ , 此时 p ( y | x)＝ 。 J J x 0
5
2018/10/30
§4.2 离散无记忆信道
一、有关DMC的容量定理（所说的DMC都是离散无记忆平 稳信道） 设 DMC在某个时刻输入随机变量为X，输出随机变量为Y。 信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。 X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。 以下的结论是我们已知的。
§4.2 离散无记忆信道
定义4.2.6(p92) 若DMC的转移概率矩阵P的列的全体可 分成若干个列子集，每个列子集所对应的P的子阵都 满足以下两条性质： （1）任一行是第一行的置换， （2）任一列是第一列的置换。 则称信道为准对称信道。 （显然，准对称信道关于输入是对称的。特别若列子 集只有一个，即转移概率矩阵P本身的任一行是第一 行的置换，任一列是第一列的置换，则称信道为对 称信道。 ）
§4.2 离散无记忆信道
例4.2.1（p89）二元对称信道BSC是离散无记忆恒参信道。
0 0.1 0.1 1 1 0.9 0.9 0
当N＝1时，p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1 当N=2时， p(00/00)=p(11/11)= p(0/0) p(0/0)= 0.9*0.9=0.81 P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9 =0.09 P(11/00)=p(00/11)=0.1*0.1=0.01
1 w( y ) q( x) p( y | x) K x 0 1 K
K 1
p( y | x)
x 0
K 1
p(0 | x)，
x 0
2018/10/30 15
K 1
K 1 1 K 即w( y )与y无关。w( y )＝ , 此时 p ( y | x)＝ 。 J J x 0
5
2018/10/30
§4.2 离散无记忆信道
一、有关DMC的容量定理（所说的DMC都是离散无记忆平 稳信道） 设 DMC在某个时刻输入随机变量为X，输出随机变量为Y。 信道响应特性为转移概率矩阵 [p(y|x)，x∈{0, 1, …, K-1}，y∈{0, 1, …, J-1}]， 它是一个K×J阶矩阵（其中p(y|x)=P(Y=y|X=x)）。 X的概率分布为{x, q(x), x∈{0, 1, …, K-1}}。 Y的概率分布为{y, w(y), y∈{0, 1, …, J-1}}。 以下的结论是我们已知的。
§4.2 离散无记忆信道
定义4.2.6(p92) 若DMC的转移概率矩阵P的列的全体可 分成若干个列子集，每个列子集所对应的P的子阵都 满足以下两条性质： （1）任一行是第一行的置换， （2）任一列是第一列的置换。 则称信道为准对称信道。 （显然，准对称信道关于输入是对称的。特别若列子 集只有一个，即转移概率矩阵P本身的任一行是第一 行的置换，任一列是第一列的置换，则称信道为对 称信道。 ）
信息论第4章(波形信源和波形信道)ppt课件
05-06学年上 2 .
4.1波形信源的统计特性和离散化
随机变量 X
随机矢量X(X1X2 XN)
随机过程{ x ( t ) }
05-06学年上 3 .
表4.1
消息(信号) 消息(信号)取 取值的集合 值时刻的集合
信源种类
离散
离散
离散信源(Discrete source)/ 数字信源(Digital source)
假定连续信源 X 的概率密度 函数p(x)如右 图所示。我们 把取值区间分 割成 n 个等宽 的小区间。X 处于第 i 区间 的概率为
05-06学年上
Pi Pa(i1)xai
ai
7.
a(i1)p(x)dxp(xi)
这样，连续变量 X 就可用取值为 xi 的离 散变量 Xn 来近似。连续信源 X 被量化成 离散信源。
lo2gae
05-06学年上 18 .
4.3具有最大熵的连续信源
离散信源的最大熵问题：离散信源的各 符号为等概率分布时，信息熵有最大值 （最大离散熵定理）。
H(p1, p2,
,
pr
)
H1r,
1, r
r
条件是 pi 1 i1
,1rlogr
05-06学年上 19 .
在什么条件下，连续信源的熵最大？
最大熵为：
N
h(X)log (bi ai)比特 /自由度 i1
05-06学年上 23 .
平均功率受限条件下信源的最大熵 （方差受限）
定理：若一个信源输出信号的平均功率被 限定为P，则其输出信号幅度的概率密度 分布是高斯分布时，信源具有最大熵。
最大熵为：
h (X ) 1 lo 2 e gP 或 h (X ) 1 lo 2 e g 2
4.1波形信源的统计特性和离散化
随机变量 X
随机矢量X(X1X2 XN)
随机过程{ x ( t ) }
05-06学年上 3 .
表4.1
消息(信号) 消息(信号)取 取值的集合 值时刻的集合
信源种类
离散
离散
离散信源(Discrete source)/ 数字信源(Digital source)
假定连续信源 X 的概率密度 函数p(x)如右 图所示。我们 把取值区间分 割成 n 个等宽 的小区间。X 处于第 i 区间 的概率为
05-06学年上
Pi Pa(i1)xai
ai
7.
a(i1)p(x)dxp(xi)
这样，连续变量 X 就可用取值为 xi 的离 散变量 Xn 来近似。连续信源 X 被量化成 离散信源。
lo2gae
05-06学年上 18 .
4.3具有最大熵的连续信源
离散信源的最大熵问题：离散信源的各 符号为等概率分布时，信息熵有最大值 （最大离散熵定理）。
H(p1, p2,
,
pr
)
H1r,
1, r
r
条件是 pi 1 i1
,1rlogr
05-06学年上 19 .
在什么条件下，连续信源的熵最大？
最大熵为：
N
h(X)log (bi ai)比特 /自由度 i1
05-06学年上 23 .
平均功率受限条件下信源的最大熵 （方差受限）
定理：若一个信源输出信号的平均功率被 限定为P，则其输出信号幅度的概率密度 分布是高斯分布时，信源具有最大熵。
最大熵为：
h (X ) 1 lo 2 e gP 或 h (X ) 1 lo 2 e g 2
信息论基础2015-第四章
K 1
K , J k 0 j 0,1,, J 1
对称离散无记忆信道（II）
若一个信道既关于输入对称，又关于输出对称，即P中每一行都是第 一行的一个置换，每一列都是第一列的一个置换，则该信道是对称的 对一个信道的转移概率矩阵P按列划分，得到若干子信道，若划分出 的所有子信道均是对称的，则称该信道是准对称的 0.8 0.1 0.1 0.1 1 0.1 0.8 0 1 2
K 1 J ({Qk }) I ( X l;Y ) I ( X k ;Y ) Ql Qk Qk l 0 K 1 J 1 p( j | k ) I ( X k ;Y ) Ql p( j | l ) K 1 l 0 j 0 Qi p( j | i ) i 0 I ( X k ;Y ) (1 )
K–1
二进制删除信道（BEC）
1–p–q 0 q E q
0 Q0 = Q1 = 0.5
p p
1
C I X 0; Y I X 1; Y
1 p q log 1 p q q p q log p log 1 q / 2 1 q / 2 q
幅度离散，时间离散信道；
幅度连续，时间离散信道；
幅度连续，时间连续信道； 幅度离散，时间连续信道。
按输入/输出之间的记忆性
有记忆信道 无记忆信道
按其输入/输出信号的关系的确定性：
确定信道
随机信道
信道的抽象模型
输入/输出统计关系 输入量X （随机过程） 信道 输出量Y （随机过程）
H (Y ) H (Y1Y2 Yn ) H (Y1 ) H (Y2 | Y1 ) H (Y3 | Y1Y2 ) H (Yn | Y1Y2 Yn1 )
信息论4第4章
12
4.1.2 平均失真
xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量, 限失真时的失真值只能用数学期望表示 将失真函数的数学期望称为平均失真：
第 四 章 信 息 率 失 真 函 数
D
i
p(a ) p(b
i j
j
| ai )d (ai , b j )
失真函数d(xi,yj)：
d(0,2)＝d(1,2)= 0.5
西北大学信息学院
d (a1 , b1 ) d (a1 , bm ) d d (an , b1 ) d (an , bm )
d 1 0 0.5
10
失真函数
第 四 章
失真函数形式可以根据需要任意选取,最常用的有:
没有失真 产生失真
失真函数定义为：
0 d ( xi , y j )
西北大学信息学院
xi y j 0 xi y j
9
失真函数
将所有的d(xi,yj)排列起来,用矩阵表示为:
第 四 章 失真矩阵
信 息 率 失 例1：设信源符号序列为X={0,1},接收端收到符号序 列为Y= {0,1,2},规定失真函数为 真 失真矩阵 函 d(0,0)＝d(1,1)= 0 数 0 1 0.5 d(0,1)＝d(1,0)= 1
适于 离散 信源
西北大学信息学院
11
第 四 章 信 息 率 失 真 函 数
汉明失真矩阵
0 1 d 1 1 0 1 1 1 0
对于二元对称信源(m=n),X={0,1},Y={0,1},汉明失 真矩阵:
d
西北大学信息学院
0 1 1 0
4.1.2 平均失真
xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量, 限失真时的失真值只能用数学期望表示 将失真函数的数学期望称为平均失真：
第 四 章 信 息 率 失 真 函 数
D
i
p(a ) p(b
i j
j
| ai )d (ai , b j )
失真函数d(xi,yj)：
d(0,2)＝d(1,2)= 0.5
西北大学信息学院
d (a1 , b1 ) d (a1 , bm ) d d (an , b1 ) d (an , bm )
d 1 0 0.5
10
失真函数
第 四 章
失真函数形式可以根据需要任意选取,最常用的有:
没有失真 产生失真
失真函数定义为：
0 d ( xi , y j )
西北大学信息学院
xi y j 0 xi y j
9
失真函数
将所有的d(xi,yj)排列起来,用矩阵表示为:
第 四 章 失真矩阵
信 息 率 失 例1：设信源符号序列为X={0,1},接收端收到符号序 列为Y= {0,1,2},规定失真函数为 真 失真矩阵 函 d(0,0)＝d(1,1)= 0 数 0 1 0.5 d(0,1)＝d(1,0)= 1
适于 离散 信源
西北大学信息学院
11
第 四 章 信 息 率 失 真 函 数
汉明失真矩阵
0 1 d 1 1 0 1 1 1 0
对于二元对称信源(m=n),X={0,1},Y={0,1},汉明失 真矩阵:
d
西北大学信息学院
0 1 1 0
北工大信息论第四章 信道及信道容量
数学模型：{X , p( yn | xn ),Y}
如果有 p(yn j | xn i) p(ym j | xm i) ，则信道为平稳
的离散无记忆信道DMC。
二.单符号离散无记忆信道
1.定义:
输入符号X，x取值于A {a1, a2 ,, ar } 输出符号Y，y取值于B {b1, b2 ,, bs} {X , p(bj | ai ),Y}
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4: 求二元无记忆对称信道的二次扩展信
道。
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
当ω=1/2 时，I (X ห้องสมุดไป่ตู้Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定, 即 ω是一个常数时,可 得到I(X;Y)是信道传递概率p的下凸 函数。
当p=0.5时, I(X;Y)=0, 在接收端未 获得信息量。
信息论与编码第四章课后习题答案
p( x2 | x1 ) = p ( x 2 ) p( x3 | x1 x 2 ) = p ( x3 ) …… p( x N | x1 x2 L x N −1 ) = p( x N ) 即 p( x1 x 2 ) = p ( x1 ) p( x 2 ) p( x1 x 2 x3 ) = p ( x1 ) p( x 2 ) p ( x3 ) …… p( x1 x 2 L x N ) = p ( x1 ) p( x2 )L p( x N ) 【4.8】设连续随机变量 X ，已知 X ≥ 0 ，其平均值受限，即数学期望为 A ，试求 在此条件下获得的最大熵的最佳分布，并求出最大熵。 解： 给定条件如下：
2 2 x1 + x2 2
− ∞ < x1 , x2 < ∞
求随机变量 Y1 = X 1 + X 2 的概率密度函数，并计算变量 Y 的熵 h(Y ) 。 解： 1 − p( x1 x 2 ) = e 2π
2 2 x1 + x2 2
1 − 21 = e 2π
x2
1 − 22 e = p( x1 ) p ( x 2 ) 2π
0 = − log λ + log et ln t 1 − log e ∫ dt
= − log λ + log e = log （2） e λ
h( X ) = − ∫ p ( x ) log p ( x)dx ∞ 1 1 −λ x −λ x = −∫ λe log λe dx −∞ 2 2 ∞ 1 = − ∫ λe −λx log λe −λx dx 0 2 ∞ ∞ 1 = − ∫ λe −λx log dx − ∫ λe −λx log λe −λx dx 0 0 2 e = log 2 + log λ 2e = log λ 注： （2）题直接借用了（1）的结论。
信息论第四章习题解答
四 解 (1) 要能纠一位错，监督位数 r 必须满足 2r ? n ? 1,
章
由 n = 6 ? r 可求得满足该条件的最小的 r 为 r = 4 .
抗
故需构造 (10, 6 ) 码。
干
(2) 可以构造出多种 (10, 6 ) 码，下面仅给出其中的一种。
扰
111100 1000
二 元
监督阵 [H ] =
二
元 编
当
d
为偶数时，可以纠正
??? d
2
2 ?? 位错误， ?
码
且发现 ?? d - 2 ?? ? 1 位错误。
?2?
4
习题解答
第 4.4 试计算 ( 8, 7 ) 奇偶校验码的漏检概率和编码效率，
四
已知码元的错误概率为 Pe = 10- 4 .
章 解 (1) 奇偶校验码不能发现偶数位错误，其漏检概率为：
码
(5) 系统码和非系统码 (略)。
(P 175)
19
习题解答
第 4.13 已知 (7, 4) 循环码的生成多项式为 g( x) = x3 ? x2 ? 1,
四
当收到一循环码字为 0010011 时，根据校验子判断有
章
无错误？哪一位错了？
抗 解 (1) 求校验子 干 扰 二 元 编 码
c0 位错 c1 位错 c2 位错 c3 位错 c4 位错 c5 位错 c6 位错
00000，11101，11110，11000，10100。
编
码
2
习题解答
第 4.2 求 000000、110110、011101、101010 四码字的汉明距离，
四
并据此拟出校正错误用的译码表。
信息论课件CHAPTER4
由于
h( X
)
h( X
/Y
)
p( xy) log
p( x / y)dxdy p( x)
p( xy)(1
p( x) )dxdy p(x | y)
0
仅当X、Y独立时等式成立。
4.1.5 连续随机变量集合差熵的性质(续) ——连续熵与离散熵的类似性
3. 可加性 设N维高斯随机矢量集合 XΝ X1X2 X N ,很容易证明
4.1.1 连续随机变量的离散化
一个连续随机变量的离散化过程大致如下：
若给定连续随机变量集合X 的概率分布F(x) P{X x} 或 概率密度p(x) ；再给定一个由实数集合到有限或可数集 合的划分 P ，使得
P {Si, i 1, 2, }，其中Si 表示离散区间，i Si 为实数集合，
主要是高斯信源的差熵；然后介绍连续信 源最大熵定理；最后介绍连续集合之间的 平均互信息、离散集合与连续集合的平均 互信息。
§4.1 连续随机变量集合的熵
本节主要内容：
1.连续随机变量的离散化 2.连续随机变量集的熵 3.连续随机变量集的条件熵 4.连续随机变量集的联合熵 5.连续随机变量集合差熵的性质 6.连续随机变量集合的信息散度
4.1.5 连续随机变量集合差熵的性质 ——连续熵与离散熵的类似性
1. 连续熵与离散熵计算表达式类似。通过比较可见，由计算 离散熵到计算连续熵，不过是将离散概率变成概率密度， 将离散求和变成积分。
2. 熵的不增性。连续熵同样满足熵的不增原理，即
h( X ) h( X / Y )
(4.1.15)
i
p(xi )x log p(xi ) p(xi )x log x （4.1.5）
信息论讲义-第四章(10讲)
信息理论基础第10讲北京航空航天大学201教研室陈杰2006-11-274.3离散无记忆扩展信道一、无记忆Ｎ次扩展信道定义：假设离散信道［X, p (y|x ), Y ］,输入符号集合:A ={a 1,a 2,……,a r }输出符号集合:B ={b 1,b 2, ……,b s } X 取值于Ａ，Ｙ取值于Ｂ．将输入，输出Ｎ次扩展得其中,Ｘi 取值于Ａ，Ｙi 取值于Ｂ，i =1,2,……Ｎ12()N X X X =X "12()N YY Y =Y "信道ＸＹp (y|x )2006-11-274.３离散无记忆扩展信道二、无记忆Ｎ次扩展信道其数学模型如下：若则称为Ｎ次无记忆扩展信道。
信道NX X X ……21NY Y Y ……211212(|)N N p y y y x x x ……12121(|)(|)(|)NN N i i i p p y y y x x x p y x ===∏y x ""[,(|),]N N N N X p y x Y2006-11-27三、离散无记忆信道数学模型信道输入序列取值信道输出序列取值信道转移概率信道X YNX X X X (21)Y Y Y Y ……=2112,N x x x x =……A x i ∈12,N y y y y =……B y i ∈1(|)(|)Ni i i p y x p y x ==∏{,(|),}i ip y x X Y 离散无记忆信道2006-11-27离散信道的数学模型可表示为定义若离散信道对任意N 长的输入、输出序列有称为离散无记忆信道，简记为DMC 。
数学模型为{,(|),}p y x X Y 1(|)(|)Ni i i p y x p y x ==∏{,(|),}i i p y x X Y2006-11-27(1) 对于DMC 信道，每个输出符号仅与当时的输入符号有关，与前后输入符号无关。
(2) 对任意n 和m ，，，若离散无记忆信道还满足则称此信道为平稳信道的或恒参信道。
信息论第四章习题解答
（1）输入 ，即二元变量：输出 是连续的，用检测器输出 如下：
，则
，则
解：设改造的离散信道如下图所示：（一般连续改造成离散在信道容量上总要吃亏！）
这是标准的正态函数。
同理，另外三个信道特征也是可以同样推出。
因此，离散信道的条件概率矩阵（信道数字特征）就为：
因为这是一个二元对称信道，所以改造后的离散信道的信道容量CD为：
（2）
可见提高信扰比可以降低对频带的需求。Q.E.D.
5.9有 个相互独立的高斯信道，各具有频带 和噪声功率谱 ，容许输入功率为 ，求下列条件下的总容量：
（1） ，设 =常量，与 无关， 已给。
（2） ，设 =常量，与 无关。
（3）上述两式同时满足，设 =常量，与 无关。
解：(1).设：
即：按频带均分功率可以获得最大信道容量。
（3）“和”信道（图5.12（c））
输入 的集合是各 的集合的和，即 ；输出 的集合是各 的集合的和，求这“和”信道 的容量 ，并证明
（4）若用一般离散无记忆信道代替上面的二元对称信道。试写出上面（1）、（2）、（3）三种情况下的表达式。
5.3信道输入集 上定义费用函数 ，称ቤተ መጻሕፍቲ ባይዱ是平均费用，称 受平均费用 制约的信道容量为信道费用函数 ，试求下列诸信道的 ？
（1）
0
1
2
0
1
0
0
1
0
2
0
， ，
（2）
0
1
0
0
1
0
， ，
（3） ，
5.4有一全可抹信道如下图所示：
⑴.求信道容量。
⑵.当 时,求以下各随机量间的自互信息：
和 ,并加以解释。
，则
，则
解：设改造的离散信道如下图所示：（一般连续改造成离散在信道容量上总要吃亏！）
这是标准的正态函数。
同理，另外三个信道特征也是可以同样推出。
因此，离散信道的条件概率矩阵（信道数字特征）就为：
因为这是一个二元对称信道，所以改造后的离散信道的信道容量CD为：
（2）
可见提高信扰比可以降低对频带的需求。Q.E.D.
5.9有 个相互独立的高斯信道，各具有频带 和噪声功率谱 ，容许输入功率为 ，求下列条件下的总容量：
（1） ，设 =常量，与 无关， 已给。
（2） ，设 =常量，与 无关。
（3）上述两式同时满足，设 =常量，与 无关。
解：(1).设：
即：按频带均分功率可以获得最大信道容量。
（3）“和”信道（图5.12（c））
输入 的集合是各 的集合的和，即 ；输出 的集合是各 的集合的和，求这“和”信道 的容量 ，并证明
（4）若用一般离散无记忆信道代替上面的二元对称信道。试写出上面（1）、（2）、（3）三种情况下的表达式。
5.3信道输入集 上定义费用函数 ，称ቤተ መጻሕፍቲ ባይዱ是平均费用，称 受平均费用 制约的信道容量为信道费用函数 ，试求下列诸信道的 ？
（1）
0
1
2
0
1
0
0
1
0
2
0
， ，
（2）
0
1
0
0
1
0
， ，
（3） ，
5.4有一全可抹信道如下图所示：
⑴.求信道容量。
⑵.当 时,求以下各随机量间的自互信息：
和 ,并加以解释。
(信息论、编码及应用)第4章连续信源与连续信道
应用
连续信源的编码定理是信息论中最重 要的定理之一，它为信源编码提供了 理论依据和指导，广泛应用于数据压 缩、图像处理等领域。
02
连续信道
定义与特性
定义
连续信道是一种能够传输连续信号的通信通道，例如音频、 视频信号等。
特性
连续信道具有带宽限制、噪声干扰、信号衰减等特性，这些 特性会影响信号传输的质量和可靠性。
利用统计学习方法，如自适应滤 波、神经网络等，对信源和信道 进行学习和优化，实现动态匹配。
编码技术
采用适当的编码技术，如差分编 码、增量编码等，对信源进行编 码，使其更适应信道的传输特性。
匹配的优化策略
01
02
03
能效优先
在保证信息传输质量的前 提下，优先考虑能效，通 过优化信源和信道的参数， 降低能耗。
例如，在移动通信网络中，语音信号通常采用码分多址（CDMA）或长期演进（LTE） 等技术进行传输。这些技术能够提供较高的数据传输速率和较低的误码率，从而保 证语音信号的清晰度和可懂度。
图像信号传
图像信号传输是连续信源与连续信道的另一个重要应用领域。在电视广播、视频会议和在线教育等应用中，图像信号需要通 过连续信道进行传输。由于图像信号的数据量较大，因此需要采用高效的压缩编码技术来减小传输数据量，同时还需要保证 图像质量。
输速率，同时保证信息的可靠传输。
03
匹配理论的发展历程
随着信息论的不断发展，匹配理论也在不断完善，从早期的经典匹配理
论到现代的统计匹配理论，为连续信源与连续信道的匹配提供了更精确
的指导。
匹配的实现方法
参数调整
根据信源和信道的特性，调整相 关参数，如信源的压缩比、信道 的调制方式等，以实现匹配。
连续信源的编码定理是信息论中最重 要的定理之一，它为信源编码提供了 理论依据和指导，广泛应用于数据压 缩、图像处理等领域。
02
连续信道
定义与特性
定义
连续信道是一种能够传输连续信号的通信通道，例如音频、 视频信号等。
特性
连续信道具有带宽限制、噪声干扰、信号衰减等特性，这些 特性会影响信号传输的质量和可靠性。
利用统计学习方法，如自适应滤 波、神经网络等，对信源和信道 进行学习和优化，实现动态匹配。
编码技术
采用适当的编码技术，如差分编 码、增量编码等，对信源进行编 码，使其更适应信道的传输特性。
匹配的优化策略
01
02
03
能效优先
在保证信息传输质量的前 提下，优先考虑能效，通 过优化信源和信道的参数， 降低能耗。
例如，在移动通信网络中，语音信号通常采用码分多址（CDMA）或长期演进（LTE） 等技术进行传输。这些技术能够提供较高的数据传输速率和较低的误码率，从而保 证语音信号的清晰度和可懂度。
图像信号传
图像信号传输是连续信源与连续信道的另一个重要应用领域。在电视广播、视频会议和在线教育等应用中，图像信号需要通 过连续信道进行传输。由于图像信号的数据量较大，因此需要采用高效的压缩编码技术来减小传输数据量，同时还需要保证 图像质量。
输速率，同时保证信息的可靠传输。
03
匹配理论的发展历程
随着信息论的不断发展，匹配理论也在不断完善，从早期的经典匹配理
论到现代的统计匹配理论，为连续信源与连续信道的匹配提供了更精确
的指导。
匹配的实现方法
参数调整
根据信源和信道的特性，调整相 关参数，如信源的压缩比、信道 的调制方式等，以实现匹配。
信息论第四章
1 = 2 bit 4 1 I ( x4 ) = − log = 3 bit 8 I ( x2 ) = − log
2-7 (2)消息序列自信息量： (2)消息序列自信息量： I (x i ) = − log p(x i ) 消息序列自信息量 该序列中0出现的次数为14次 13次 12次 该序列中0出现的次数为14次，1为13次，2为12次， 14 因此该消息序列的自信息量为： 3为6次，因此该消息序列的自信息量为：
1− ε I (a1, b1) = log = log 2(1 − ε ) 1/ 2
p(b2 /a1 ) I(a1;b2)= I(b2;a1) = log p(b2 )
P(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+ P(b2/a2)P(a2) =1/2* ε ＋(1-ε)*(1/2) =1/2
I (a 2, b 2) = log
ε
1/ 2
= log 2ε
2-17
1 H ( X) = −3 ×10 log = 3 ×105 × 7 = 2.1×106 bit 128
5
1 H (Y) = −1000 log = 13288 bit 10000
1 − N log = 2.1×106 10000
2-4
问题分析： 问题分析：平均信息量的求法
根据定义 H（X）= （ ）
∑ p( x ) log p( x )
i i i
得：随意取出一球时，所需要的信息量为 随意取出一球时， （1） ） P（红）= P（白）=1/2 （ （
1 1 1 1 H（X）= − log 2 − log 2 （ ） 2 2 2 2 = 1比特 比特
信息论 第4章(哈夫曼编码和游程编码)
我们介绍的哈夫曼编码方法是对具有多个 独立消息的信源进行二进制编码,如果编码符 号（码元）不是二进制的0和1,而是D进制，同 样可以按照哈夫曼编码的方法来完成：只要将 哈夫曼编码树由二叉树换成D叉树,每次合并的 节点由两个改为D个,分配码元时,从左到右将0 到D－1依次分配给各个路段,最后从根节点到 各个叶节点（消息）读出编码结果即可.
游程编码的基本原理
很多信源产生的消息有一定相关性,往往 连续多次输出同样的消息,同一个消息连续输 出的个数称为游程(Run-Length).我们只需要 输出一个消息的样本和对应重复次数,就完全 可以恢复原来的消息系列.原始消息系列经过 这种方式编码后,就成为一个个编码单元(如下 图),其中标识码是一个能够和消息码区分的特 殊符号.
文件传真压缩方法具体流程
主要利用终止码和形成码(见书本P43-44), 一般A4的纸每行的像素为1728,具体编码规则 如下: （1）当游程长度小于64时，直接用一个对应 的终止码表示。 （2）当游程长度在64到1728之间时，用一个 形成码加一个终止码表示。 例如:白游程为662时用640形成码(白)加22终 止码(白)表示,即:01100111 0000011. 黑游程为256时用256形成码(黑)加0终止码(黑) 表示,即:000001011011 0000110111.
哈夫曼（Huffman） （3）哈夫曼（Huffman）编码
哈夫曼编码：将信源中的各个消息按概率排序， 不断将概率最小的两个消息进行合并，直到合 并为一个整体，然后根据合并的过程分配码字， 得到各个消息的编码。 该方法简单明了，并且可以保证最终的编 码方案一定是最优编码方案。
哈夫曼（Huffman） 哈夫曼（Huffman）编码的例子
香农编码的例子
游程编码的基本原理
很多信源产生的消息有一定相关性,往往 连续多次输出同样的消息,同一个消息连续输 出的个数称为游程(Run-Length).我们只需要 输出一个消息的样本和对应重复次数,就完全 可以恢复原来的消息系列.原始消息系列经过 这种方式编码后,就成为一个个编码单元(如下 图),其中标识码是一个能够和消息码区分的特 殊符号.
文件传真压缩方法具体流程
主要利用终止码和形成码(见书本P43-44), 一般A4的纸每行的像素为1728,具体编码规则 如下: （1）当游程长度小于64时，直接用一个对应 的终止码表示。 （2）当游程长度在64到1728之间时，用一个 形成码加一个终止码表示。 例如:白游程为662时用640形成码(白)加22终 止码(白)表示,即:01100111 0000011. 黑游程为256时用256形成码(黑)加0终止码(黑) 表示,即:000001011011 0000110111.
哈夫曼（Huffman） （3）哈夫曼（Huffman）编码
哈夫曼编码：将信源中的各个消息按概率排序， 不断将概率最小的两个消息进行合并，直到合 并为一个整体，然后根据合并的过程分配码字， 得到各个消息的编码。 该方法简单明了，并且可以保证最终的编 码方案一定是最优编码方案。
哈夫曼（Huffman） 哈夫曼（Huffman）编码的例子
香农编码的例子
信息论--第四章第五节 变长码 第六节 变长信源编码定理
4.5 变长码
即时码
唯一可译码成为即时码的充要条件：
一个唯一可译码成为即时码的充要条件是其中任何一个
码字都不是其他码字的前缀。
所有的码 非奇异码 唯一可译码 即时码
4.5 变长码
即时码的构造方法
用树图法可以方便地构造即时码。树中每个中间节
点都伸出1至r个树枝，将所有的码字都安排在终端
节点上就可以得到即时码。
H H (S )
从而
LN H lim N N log r
4.6变长信源编码定理
对一般离散信源，无失真信源编码定理证 明
S S1S2 S N
H (S) H (S) LN 1 log r log r
H (S) LN H (S) 1 N log r N N log r N
H (S ) L logr 0
p(si ) log p( si ) p( si )li log r
i 1 i 1 q q
p( si ) log p( si ) p( si ) log r
i 1 i 1
q
q
li
4.6变长信源编码定理
紧致码平均码长界限定理证明
4.5 变长码
2. 变长唯一可译码判别方法（续）
例5.4 ： C a c ad F1 d bb F2 eb cde F3 de F4 b F5 ad bcde
abb
bad deb bbcde 结论：F5中包含了C中的元素，因此该变长码不是唯一可译码。 问题： 判断 C={1,10,100,1000}是否是唯一可译码？
信道传信率
H (S ) H (S ) log r R H (S ) L log r
第四章 信息论基础 习题及解答
第四章 习题解答4-1、某一信源以概率1/2、1/4、1/8、1/16、1/32和1/32产生6种不同的符号1x 、2x 、3x 、4x 、5x 和6x ，每个符号出现是独立的，符号速率为1000（符号）/秒。
（1）请计算每个符号所含的信息量；（2）求信源的熵；（3）求单位时间内输出的平均信息量。
解：（1）按定义，各符号所含的信息量分别为()()()12121log log 12I x p x bit =-=-= ()()()22221log log 24I x p x bit =-=-= ()()()32321log log 38I x p x bit =-=-= ()()()42421log log 416I x p x bit =-=-= ()()()52521log log 532I x p x bit =-=-= ()()()62621log log 532I x p x bit =-=-=（2）信源的熵()()()()521222222log 111111111111log log log log log log 22448816163232323211345516168555025228163232323216i i i H X p x p x ==-=------++++=+++++===∑比特符号（3）单位时间内输出的平均信息量()()2510001562.516S I H X R ==⨯=比特4-2 一个离散信号源每毫秒发出4种符号中的一个，各相互独立符号出现的概率分别为0.4、0.3、0.2和0.1，求该信号源的平均信息量与信息速率。
解：信号源的平均信息量，即熵为：()()()()5212222log 0.4log 0.40.4log 0.40.4log 0.40.4log 0.41.864i i i H X p x p x ==-=----=∑比特 因为符号速率R S ＝1/10－3＝103，信息速率R b()()31.86410b S R H X R ==⨯比特秒4-3 设有4个消息符号，其出现的概率分别是1/8、1/8、1/4和1/2，各消息符号的出现是相对独立的，求该符号集的平均信息量。
信息论第四章
Y
Y
1 P[F(bj)bj] p (a ib j)P [F (b j)b j]
Y
X ,Y
Y
p(aibj) P [a*bj]
P(aibj)
X,Y
Y
X,Ya*
① 按列计算平均错误概率 求联合概率矩阵 [P(ai)P(bj|ai)] 中每列除去 F(bj)=a* 所对应 的 P(a*bj) 以外所有元素之和。再对上述结果求和。
为使 P(e / bj )最小，就应选择 P(F(bj)/bj)为最大，即选 择译码函数 F(bj)a* 并使之满足条件：
P ( a * /b j) P ( a i/b j) a i a *
收到一个符号以后译成具有最大 后验概率的那个输入符号。
这种译码准则称为“最大后验概率准则”或“最小错误 概率准则”。
如果在扩展信道的输入端把8个可能作为消息的二元序列都作
为消息，M＝8，则每个消息携带的平均信息量就是3比特，
而传递一个消息所得的符号数仍为三个二元码符号，则R就提
高到 1（比特／码符号）。这时的信道如下图所示。
发送消息
接受消息
这时只能规定接收端8个输出符号序列j与i 一一对应。这样， 只要符号序列中有一个码元符号发生错误就会变成其他所用 的码字，造成译码错误。只有符号序列中每个符号都不发生 错误才能正确传输。所以得到正确传输概率为
若采用前边讲到的译码函数A，则平均错误率为：
P E ' 1 3 Y , X a * P ( b / a ) 1 3 [ ( 0 . 3 0 . 2 ) ( 0 . 3 0 . 3 ) ( 0 . 2 0 . 5 ) ] 0 . 6
若输入不等概分布，其概率分布为：
P (a 1 ) 1 4 ,P (a 2 ) 1 4 ,P (a 3 ) 1 2
信息论第4章
第四章抽象代数基础自古以来，许多数学家都在探讨数学的“本质”。
为使庞大的数学知识变得简而精，数学家们经常依据数学各领域间潜在的共性，提出统一数学各部分的新观点、新方法。
1872年，德国数学家克莱因提出了用“群”的观点来统一当时杂乱的各种几何学（欧氏几何、非欧几何包括黎曼几何和罗氏几何等）；1883年，美国数学家毕尔霍夫提出“格”的概念，以统一代数系统的各种理论和方法；十九世纪末二十世纪初出现了公理化运动，以公理系统作为数学统一的基础。
1938年法国布尔巴基学派不但继承了公理化运动的成果，而且提出数学公理结构的概念，以非常抽象的方式叙述全部数学，把数学的核心部分在结构这一概念下统一成一个整体。
他们认为整个数学学科的宏伟大厦可以99建立在丝毫不求助于直观的彻底公理化基础上。
他们从集合论出发，对全部数学分支给予完备的公理化，认为最普遍、最基本的数学结构有三类：代数结构、顺序结构、拓扑结构。
而群结构是最基本的代数结构之一。
我们所要介绍的抽象代数也叫近世代数，就是研究代数结构（或代数系统）的一门学科。
抽象代数有许多分支，除了线性代数外，还有群论、环论、域论、格论、布尔代数、李代数等等。
这些分支都先后在其他科学领域中找到了用场。
布尔代数后来在线路设计、自动化系统、电子计算机设计方面得到了广泛应用。
线性代数、群、环、域，特别是有限域的理论，看起来很抽象，然而在编码问题中却找到了具体的应用，起着重要的作用。
因此，要学习编码理论，必须首先学习抽100101 象代数的有关知识。
下面我们就把抽象代数的几个基本概念作一个很粗浅的介绍。
第一节 代数结构——群、环、域一. 集合1. 集合的基本概念集合：在一定范围内的讨论对象组成的整体。
元素：组成一个集合的各个个体，叫做这个集合的元素。
子集：设两个集合A 和B ，若A 中的每个元素又都是B 中的元素，则称A 为B 的子集，记为：真子集：若 ，且B 中至少有一个元素不属于A ，则称A 为B 的真子集，记为：AB B A ⊇⊆或,A B ⊇A B B A ⊃⊂或,102 空集：不含任何元素的集合，用Φ表示。
信息论基础-第4章信息论基础1
研究目的——信息传输系统最优化
1.可靠性高 使信源发出的消息经过信道传输后，尽可能准确地、 不失真地再现在接收端。
2.有效性高 经济效果好，用尽可能短的时间和尽可能少的设备来 传送一定数量的信息。
往往提高可靠性和提高有效性是矛盾的。
3. 保密性 隐蔽和保护通信系统中传送的消息，使它只能被授
权接收者获取，而不能被未授权者接收和理解。
★信息论研究的对象、目的和内容
研究对象——通信系统模型
信 源 消息 编码器 信号 信 道
干扰
噪声源
译码器 消息 信 宿
1. 信息源：简称信源 信源是产生消息和消息队列的源。如电视直播厅，广 播室，人等等。
特点：信源输出的消息是随机的、不确定的，但有一 定的规律性。
2. 编码器：
编码器是把消息变换成信号的措施，编码器输出的 是适合信道传输的信号。
定理4.2.5 熵函数 H X 是概率 px1, px2 ,..., pxN
的型凸函数。
定理4.2.6 当离散信源X取等概分布时，其熵 H X 取最大值。
max
H px1 ,
px2
,...,
pxN
H
1 N
,
1 Ng 1 log 1
i1 N
N
N
即：当信源取等概分布时，具有最大的不确定性。
(1) f ( p应i ) 是先验概率 的P(x单i ) 调递减函数，
即
P(x1)时 P,(x2 )
f [P(x1)] f [P(x2)]
(2) 当 P(xi )时,1
f ( pi ) 0
(3) 当 P(xi )时 0, f ( pi )
(4) 两个独立事件的联合信息量应等于它们分
信息论ppt第四章
如图所示，信源在某时刻处于某一状态 si ， 当它发出一个符号xim1 后，所处的状态就变了， 转移到状态 s j,因此,信源输出的符号序列X1 X 2 X m X m1 变换成信源状态序列S1S2 SmSm1 ，于是一个讨论 信源输出符号不确定性的问题变成讨论信源状态 转换的问题。
作业：1. 证明 2. 有一无记忆信源的符号集为{0，1}，已知信源的 概率空间为 1 X 0 P 1 / 4 3 / 4 ， (1)求信源熵； (2)求由m个“0”和(100-m)个“1”构成的某一特定序 列的自信息量的表达式； (3)计算由100个符号构成的符号序列的熵。
并设发出的符号只与前一个符号有关，其关联程 度由条件概率 p(a j | ai ) 给出，如下所示：
， 求：(1)此信源每发出一条消息提供的平均信息 量 H(X ) ； (2)此信源的平均符号熵 H2 ( X ) (3)此信源的极限熵 H 。
7 / 9 2 / 9 0 1/ 8 3/ 4 1/ 8 2 / 11 9 / 11 0
实际信源分类如下：
离散无记忆信源 记忆长度无限 平稳信源 离散平稳信源 离散有记忆信源 记忆长度有限 随机过程：波形信源 (马尔科夫信源) 连续平稳信源 非平稳信源
第二节
离散离 散单符号信源，它是最简单、最基本的信 源，是组成实际信源的基本单元，用一个 离散型随机变量表示。 信源所有可能输出的消息和消息所对应 的概率共同组成的二元序 [ X , P( X )] 对称为信 源的概率空间。
X X x1 , X x2 , X xi , X xq P( X ) p( x ), p( x ), p( x ), p( x ) 2 i q 1
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(4) 由于I（X;Y）是非负函数，而R（D） 是在约束条件下的I（X;Y）的
最小值，所以R（D）也是一个非负函数，它的下限值是零。取满足R （D）＝0的所有D中最小的，定义为R（D）定义域的上限Dmax,, 即 Dmax是满足R（D）＝0的所有平均失真D中的最小值 Dmax 。因此可以得到R（D）的定义域为D［0,Dmax］。
n m n m
D p( xi , y j )d ( xi , y j ) p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1 i 1 j 1
说明:
(1) 由于xi和yj都是随机变量，所以失真函数d(xi,yj)也是
随机变量，限失真时的失真值，只能用它的数学期望或
第4章
限失真信源编码
第一节 平均失真和信息率失真函数
第二节 离散信源和连续信源的R（D）计
第三节 限失真信源编码定理 第四节 常用信源编码方法简介
算
1
2013-8-13
本章主要研究问题:
1. 如何理解限失真信源编码? 2. 如何定义失真函数?
3. 如何定义信息率失真函数?
4. 如何描述限失真编码定理?
o, xi y j d(xj,yj)= ( xi , y j ) 1, 其它
11 2013-8-13
误码失真函数：
(2)最常用的失真函数及其适用性
均方失真函数,绝对失真函数, 相对失真函数适
用于连续信源 ; 误码失真适用于离散信源。
(3)失真函数困难性比较
均方失真和绝对失真只与(xi-yj)有关，而不是 分别与xi 及yj 有关，在数学处理上比较方便；相对 失真与主观特性比较匹配，因为主观感觉往往与客
观量的对数成正比，但在数学处理中就要困难得多
12 2013-8-13
离散矢量信源符号失真函数定义为：
如果假定离散矢量信源符号为矢量序列X＝ {x1x2…xi…xn}，其中L长符号序列xi=[xi1xi2…xiL]，经信 道传输后，接收端收到矢量序列Y={y1y2…yj…ym}，其中 L长符号序列yj=[yj1yj2…yjL ]则失真函数定义为
个量来表示，即失真函数d(xi,yi),以衡量用yj代 替xi所引起的失真程度。
6ቤተ መጻሕፍቲ ባይዱ
2013-8-13
一般失真函数定义为
0, d ( xi , y j ) a ,
xi y j a0 xi y j
7
2013-8-13
如何定义失真矩阵?
将所有的失真函数 d(xi,yj)，i=1,2,…,n；j
1 d L ( xi , y j ) d ( xik , y jk ) L k 1
式中d(xik,yjk)是信源输出第i个L长符号xi中的第k个符号 xik，接收端收到第j个L长符号yj中的第k个符号yjk的失真 函数。
13 2013-8-13
L
4.1.2 平均失真
1.
离散随机变量平均失真定义
4.1.1 失真函数
如何定义失真函数 ? 假如某一信源X输出一个随机序列 X=x1,x2,…,xn经信道传输后变成Y=y1,y2,…,ym。 如果 xi=yi. i=1,2,…,n，j=1,2,…,m (4-1-1) 则认为没有失真。
5
2013-8-13
如果xj≠yj，就产生了失真。失真的大小，用一
统计平均值，因此将失真函数的数学期望称为平均失真 。
14 2013-8-13
(2) p（xi,yj）是联合分布；p（xi）是信源符号概 率分布；p（yj ／xi）是转移概率分布；d（xi,yj ），是离散随机变量的失真函数.
(3)平均失真D是对给定信源分布p（xi）在给定转 移概率分布为p（yj／xi）的信道中传输时的失真 的总体量度。
DD
的前提下，使信息率尽可能小。
18 2013-8-13
2. 什么叫 D 允许信道（也称为 对于连续的情况,
D 允许的试验信道）?
D允许信道定义为
PD p ( y / x) : D D
19
2013-8-13
3. 对于离散无记忆信道,
D允许信道（也称为 D
允许的试
验信道）
PD p( y j / xi ) : D D i 1, 2,, n; j 1, 2,, m
说明:
Dk是第k个符号的平均失真。
17 2013-8-13
4.1.3 信息率失真函数R（D）
1. 信息率失真函数R（D）问题产生? 对于信息容量为C的信道传输信息传输率为R的信 源时，如果R＞C，就必须对信源压缩，使其压缩后信
息传输率R’小于信道容量C，但同时要保证压缩所引
入的失真不超过预先规定的限度。信息压缩问题就是 对于给定的信源，在满足平均失真
＝1,2,…,m排列起来，用矩阵表示为
d ( x1 , y1 ) d ( x1 , y m ) d d ( x n , y1 ) d ( x n , y m )
8 2013-8-13
例4-1-1
设信源符号序列为X＝{ 0,1}，接收端收到符号序 列为Y＝{ 0,1,2}，规定失真函数为 d(0,0)＝d(1,1)=0 d(0,1)=d(1,0)=1 d(0,2)=d(1,2)=0.5 求：失真矩阵d ?
R( D) min p( xi ) p( y j / xi ) log
pij pD ' i 1 j 1
21
n
m
p( y j / xi ) p( y j )
2013-8-13
22
2013-8-13
23
2013-8-13
例4－1－2
已知, 编码器输入的概率分布为: p（x）＝{0.5，0.5}， 信道矩阵分别为:
27 2013-8-13
由信源概率分布可求出信源熵为
H( 1 1 ... ) log 2n比特/符号 2n 2n
如果对信源进行不失真编码，平均每个符号至少需要
log2n个二进制码元。现在假定允许有一定的失真，假设失 真限度为D=1/2。也就是说，当收到100个符号时，允许其 中有50个以下的差错。这时信源的信息率能减少到多少呢？ 每个符号平均码长能压缩到什么程度呢？试想采用下面的编
26 2013-8-13
例4-1-3
设信源的符号表为A＝{a1，a2，…，a2n}，概
率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函
数规定为
1 i j d ( ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失真为 1，试研究在一定编码条件下信息压缩的程度。
1 码方案：
a a1 , a2 a2 ,..., an an , an1 an , an2 an ,..., a2 n an
用信道模型表示，如图4-1-1所示。 按照上述关于失真函数的规定，求得平均失真D为
D p(ai ) p(a j / ai )d (ai , a j )
因此当改变pij时，I(pij)有一极小值。
25
2013-8-13
由互信息的表达式
I(X;Y)=H(Y)-H(Y/X)= H(X)-H(X/Y) 可理解为信源发出的信息量H(X)与在噪声干扰条件下消失 的信息量之差。应当注意，在这里讨论的是有关信源的问题， 一般不考虑噪声的影响。而是由于信息的存储和传输时需要去 掉冗余，或者从某些需要出发认为可将一些次要成分去掉。也 就是说，对信源的原始信息在允许的失真限度内进行了压缩。 由于这种压缩损失了一定的信息，造成一定的失真。把这种失 真等效成由噪声而造成的信息损失，看成一个等效噪声信道（ 又称试验信道），因此信息率失真函数的意义是：对于给定信 源，在平均失真不超过失真限度D的条件下，信息率容许压缩 的最小值。此时的信道转移概率pij实际上指得是一种限失真信 源编码方法。下面通过对一个信源处理的例子，进一步研究信 息率失真函数的物理意义。
对应于无失真情况，相当于无噪声信道， 此时信道传输的
信息量等于信源熵
(3) 对于连续信源来说，由于其信源熵只有相对意义，而 真正的熵为∞，当D=0时相当于严格无噪声信道，通过 无噪声信道的熵是不变的，所以 R（Dmin ）＝R（0）＝Hc（x）＝ ∞
31 2013-8-13
因为实际信道总是有干扰的，其容量有限，要无失真 地传送这种连续信息是不可能的。当允许有一定失真时， R（D）将为有限值，传送才是可能的。
9
2013-8-13
解：失真矩阵为
0 1 0.5 d 1 0 0.5
10 2013-8-13
说明:
(1) 最常用的失真函数 均方失真函数： 绝对失真函数： 相对失真函数： d(xi,yj)=(xi-yj)2 d(xi,yj)= xi y j d(xi,yj)= xi y j / xi
29 2013-8-13
4.1.4 信息率失真函数的性质
1．如何确定R（D）函数的定义域?
R（D）函数的定义域 D ［0，Dmax］
30
2013-8-13
说明:
(1) 由于D是非负实数d（x,y）的数学期望，因此D也是非负的 实数，非负实数的下界是零, 所以D的下界是零. (2) R（Dmin ）＝ R（0）＝H（X）
1 2 n 1
由以上结果可知，经压缩编码后，信源需要传输的信息 率由原来的log2n，压缩到log2n-[(n+1)/2]log(n+1).这是采 用上述压缩编码方法的结果，所以付出的 代价是容忍了1/2 的平均失真。如果选取压缩更为有利的编码方案，压缩的效 果可能会更好。但一旦达到最小互信息这个极限值，就是 R(D）的数值（此处D=1/2）.如果超过这个极限值，那么失 真度就要超过失真限度。如果需要压缩的信息率更大，则可 容忍的平均失真就要更大。
最小值，所以R（D）也是一个非负函数，它的下限值是零。取满足R （D）＝0的所有D中最小的，定义为R（D）定义域的上限Dmax,, 即 Dmax是满足R（D）＝0的所有平均失真D中的最小值 Dmax 。因此可以得到R（D）的定义域为D［0,Dmax］。
n m n m
D p( xi , y j )d ( xi , y j ) p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1 i 1 j 1
说明:
(1) 由于xi和yj都是随机变量，所以失真函数d(xi,yj)也是
随机变量，限失真时的失真值，只能用它的数学期望或
第4章
限失真信源编码
第一节 平均失真和信息率失真函数
第二节 离散信源和连续信源的R（D）计
第三节 限失真信源编码定理 第四节 常用信源编码方法简介
算
1
2013-8-13
本章主要研究问题:
1. 如何理解限失真信源编码? 2. 如何定义失真函数?
3. 如何定义信息率失真函数?
4. 如何描述限失真编码定理?
o, xi y j d(xj,yj)= ( xi , y j ) 1, 其它
11 2013-8-13
误码失真函数：
(2)最常用的失真函数及其适用性
均方失真函数,绝对失真函数, 相对失真函数适
用于连续信源 ; 误码失真适用于离散信源。
(3)失真函数困难性比较
均方失真和绝对失真只与(xi-yj)有关，而不是 分别与xi 及yj 有关，在数学处理上比较方便；相对 失真与主观特性比较匹配，因为主观感觉往往与客
观量的对数成正比，但在数学处理中就要困难得多
12 2013-8-13
离散矢量信源符号失真函数定义为：
如果假定离散矢量信源符号为矢量序列X＝ {x1x2…xi…xn}，其中L长符号序列xi=[xi1xi2…xiL]，经信 道传输后，接收端收到矢量序列Y={y1y2…yj…ym}，其中 L长符号序列yj=[yj1yj2…yjL ]则失真函数定义为
个量来表示，即失真函数d(xi,yi),以衡量用yj代 替xi所引起的失真程度。
6ቤተ መጻሕፍቲ ባይዱ
2013-8-13
一般失真函数定义为
0, d ( xi , y j ) a ,
xi y j a0 xi y j
7
2013-8-13
如何定义失真矩阵?
将所有的失真函数 d(xi,yj)，i=1,2,…,n；j
1 d L ( xi , y j ) d ( xik , y jk ) L k 1
式中d(xik,yjk)是信源输出第i个L长符号xi中的第k个符号 xik，接收端收到第j个L长符号yj中的第k个符号yjk的失真 函数。
13 2013-8-13
L
4.1.2 平均失真
1.
离散随机变量平均失真定义
4.1.1 失真函数
如何定义失真函数 ? 假如某一信源X输出一个随机序列 X=x1,x2,…,xn经信道传输后变成Y=y1,y2,…,ym。 如果 xi=yi. i=1,2,…,n，j=1,2,…,m (4-1-1) 则认为没有失真。
5
2013-8-13
如果xj≠yj，就产生了失真。失真的大小，用一
统计平均值，因此将失真函数的数学期望称为平均失真 。
14 2013-8-13
(2) p（xi,yj）是联合分布；p（xi）是信源符号概 率分布；p（yj ／xi）是转移概率分布；d（xi,yj ），是离散随机变量的失真函数.
(3)平均失真D是对给定信源分布p（xi）在给定转 移概率分布为p（yj／xi）的信道中传输时的失真 的总体量度。
DD
的前提下，使信息率尽可能小。
18 2013-8-13
2. 什么叫 D 允许信道（也称为 对于连续的情况,
D 允许的试验信道）?
D允许信道定义为
PD p ( y / x) : D D
19
2013-8-13
3. 对于离散无记忆信道,
D允许信道（也称为 D
允许的试
验信道）
PD p( y j / xi ) : D D i 1, 2,, n; j 1, 2,, m
说明:
Dk是第k个符号的平均失真。
17 2013-8-13
4.1.3 信息率失真函数R（D）
1. 信息率失真函数R（D）问题产生? 对于信息容量为C的信道传输信息传输率为R的信 源时，如果R＞C，就必须对信源压缩，使其压缩后信
息传输率R’小于信道容量C，但同时要保证压缩所引
入的失真不超过预先规定的限度。信息压缩问题就是 对于给定的信源，在满足平均失真
＝1,2,…,m排列起来，用矩阵表示为
d ( x1 , y1 ) d ( x1 , y m ) d d ( x n , y1 ) d ( x n , y m )
8 2013-8-13
例4-1-1
设信源符号序列为X＝{ 0,1}，接收端收到符号序 列为Y＝{ 0,1,2}，规定失真函数为 d(0,0)＝d(1,1)=0 d(0,1)=d(1,0)=1 d(0,2)=d(1,2)=0.5 求：失真矩阵d ?
R( D) min p( xi ) p( y j / xi ) log
pij pD ' i 1 j 1
21
n
m
p( y j / xi ) p( y j )
2013-8-13
22
2013-8-13
23
2013-8-13
例4－1－2
已知, 编码器输入的概率分布为: p（x）＝{0.5，0.5}， 信道矩阵分别为:
27 2013-8-13
由信源概率分布可求出信源熵为
H( 1 1 ... ) log 2n比特/符号 2n 2n
如果对信源进行不失真编码，平均每个符号至少需要
log2n个二进制码元。现在假定允许有一定的失真，假设失 真限度为D=1/2。也就是说，当收到100个符号时，允许其 中有50个以下的差错。这时信源的信息率能减少到多少呢？ 每个符号平均码长能压缩到什么程度呢？试想采用下面的编
26 2013-8-13
例4-1-3
设信源的符号表为A＝{a1，a2，…，a2n}，概
率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函
数规定为
1 i j d ( ai , a j ) 0 i j
即符号不发生差错时失真为0，一旦出错，失真为 1，试研究在一定编码条件下信息压缩的程度。
1 码方案：
a a1 , a2 a2 ,..., an an , an1 an , an2 an ,..., a2 n an
用信道模型表示，如图4-1-1所示。 按照上述关于失真函数的规定，求得平均失真D为
D p(ai ) p(a j / ai )d (ai , a j )
因此当改变pij时，I(pij)有一极小值。
25
2013-8-13
由互信息的表达式
I(X;Y)=H(Y)-H(Y/X)= H(X)-H(X/Y) 可理解为信源发出的信息量H(X)与在噪声干扰条件下消失 的信息量之差。应当注意，在这里讨论的是有关信源的问题， 一般不考虑噪声的影响。而是由于信息的存储和传输时需要去 掉冗余，或者从某些需要出发认为可将一些次要成分去掉。也 就是说，对信源的原始信息在允许的失真限度内进行了压缩。 由于这种压缩损失了一定的信息，造成一定的失真。把这种失 真等效成由噪声而造成的信息损失，看成一个等效噪声信道（ 又称试验信道），因此信息率失真函数的意义是：对于给定信 源，在平均失真不超过失真限度D的条件下，信息率容许压缩 的最小值。此时的信道转移概率pij实际上指得是一种限失真信 源编码方法。下面通过对一个信源处理的例子，进一步研究信 息率失真函数的物理意义。
对应于无失真情况，相当于无噪声信道， 此时信道传输的
信息量等于信源熵
(3) 对于连续信源来说，由于其信源熵只有相对意义，而 真正的熵为∞，当D=0时相当于严格无噪声信道，通过 无噪声信道的熵是不变的，所以 R（Dmin ）＝R（0）＝Hc（x）＝ ∞
31 2013-8-13
因为实际信道总是有干扰的，其容量有限，要无失真 地传送这种连续信息是不可能的。当允许有一定失真时， R（D）将为有限值，传送才是可能的。
9
2013-8-13
解：失真矩阵为
0 1 0.5 d 1 0 0.5
10 2013-8-13
说明:
(1) 最常用的失真函数 均方失真函数： 绝对失真函数： 相对失真函数： d(xi,yj)=(xi-yj)2 d(xi,yj)= xi y j d(xi,yj)= xi y j / xi
29 2013-8-13
4.1.4 信息率失真函数的性质
1．如何确定R（D）函数的定义域?
R（D）函数的定义域 D ［0，Dmax］
30
2013-8-13
说明:
(1) 由于D是非负实数d（x,y）的数学期望，因此D也是非负的 实数，非负实数的下界是零, 所以D的下界是零. (2) R（Dmin ）＝ R（0）＝H（X）
1 2 n 1
由以上结果可知，经压缩编码后，信源需要传输的信息 率由原来的log2n，压缩到log2n-[(n+1)/2]log(n+1).这是采 用上述压缩编码方法的结果，所以付出的 代价是容忍了1/2 的平均失真。如果选取压缩更为有利的编码方案，压缩的效 果可能会更好。但一旦达到最小互信息这个极限值，就是 R(D）的数值（此处D=1/2）.如果超过这个极限值，那么失 真度就要超过失真限度。如果需要压缩的信息率更大，则可 容忍的平均失真就要更大。