信息率失真函数

平均失真 ：
描述某个信源在某一试验信道传输下的 失真大小,它对信源和信道进行了统计平 均,是从总体上描述整个系统的失真
8
3、L长序列编码平均失真
❖ 如X编长l…果 码 符假 后 号Xn,定 序}输,其离 列出中散y符j=L信[号长y源j1序符y输j2列号…入Y序y=符j列L{Y]号x1iY序=2[…列xi1YXxil＝2……{YXxmi1L}X],,其经2…中信L源
❖ 离散无记忆信源
13
例2 已知编码器输入的概率分布为p(x)={0.5 ,0.5} 信道矩阵 求互信息
14
若编码器输入的概率分布不变仍为p(x)={0.5 ,0.5} 但信道矩阵 求互信息
• 可见当p(x)一定时,I (X,Y)随信道矩阵p(yj|xi)而变。 • 因为p(x)分布一定时,信道受干扰不同所能传递的
信道容量：
信息率失真函数：
16
信道容量和信息率失真函数的区别
2、反映的事物不同
• 信道容量：
– 假定信道固定的前提下,选择一种试验信源使信息 传输率最大。
– 它所反映的是信道传输信息的能力,是信道可靠传 送的最大信息传输率。
• 一旦找到了信道容量,它就与信源不再有关,而是信
道特性的参量,随信道特性的变化而变化
6
4.11、.2单平符号均离失散信真源的平均失真
❖ x是i和随y机j都变是量随,有机限变失量真,所时以的失信真源函（数总d(体xi,）yj)失也 真值只能用数学期望表示
❖ 将失真函数的数学期望称为平均失真：
7
2、两者的区别平均失真
失真函数d(xi,yj)： 描述了某个信源符号通过传输后失真的 大小
信息量是不同的。 • 当p(x)一定时,I (X,Y)是关于p(yj|xi)的下凸函数。 • 因此当改变p(yj|xi)时,I (X,Y)有一极小值。
15
信道容量和信息率失真函数的区别
1、计算不同
平均互信息I(X;Y)：
信源的概率分布p(xi)的上凸函数。 信道传递概率p(yj|xi)的下凸函数。
❖ 失真函数定义为
• 平均失真
9
1、4.保1.真3度信准测息率失真函数R(D)
❖ 若平均失真度 不大于我们所允许的失真,即
则称此为保真度准则
• 当信源p(xi)给定,单个符号失真度d(xi,yj) 给定时, 选择不同的试验信道p(yj|xi), 相当于不同的编码 方法,其所得的平均失真度不同。
10
• 若从接收端来着,就是在满足保真度准则下,寻找 再现信源消息所必须获得的最低平均信息量。 即在满足保真度准则的条件下，接受端Y需要获 得发送端 X的最小信息量
12
4、信信息率息失率真函失数真的求函法数： R(D)
❖ PD是所有满足保真度准则的试验信道集合,因 而可以在集合PD中寻找某一个信道pij,使I (X,Y) 取极小值。
Y a1
a2
P 1/2n 1/2n
…… an …… (1+n)/2n
21
压缩
4.1.4 信息率失真函数的性质
内容
4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算
1
4.1 平均失真和 信息率失真函数
2
4.11、.1失失真函真数函的定数义
❖ 假如某一信源X,输出样值xi , xi∈{a1,a2,…an},经信道传 输后变成yj , yj ∈{b1, b2,…bm},如果:
xi ＝ yj
• 不同的信道其信道容量不同。
17
信道容量和信息率失真函数的区别
• 信息率失真函数：
– 假定信源给定的情况下,用户可以容忍的失真度内 再现信源消息所必须获得的最小平均信息量。
– 它反映的是信源可以压缩的程度,是在满足一定失 真度要求下信源可压缩的最低值。
• 一旦找到信息率失真函数,就与选择的试验信道不再 有关,而只是信源特性的参量
• 现在假定允许有一定失真,假设失真限度为D=1/2 设想采用下面的编码方案：
a1→a1， a2→a2， …an→an
20
an+1→an ,an+2→ an ,…a2n→ an
平均失真
• 由该信道模型图4-3(P75)看出,它是一个无噪有损信
道，且满足保真准则 D D ，噪声熵H(Y|X)=0
• 而信宿Y的概率分布为
2、D失信真息允率许的失实真验函信道数R(D)
-满足保真度准则的试验信道。 ❖ 满成足 了一个信道条集件合的所有转移概率分布pij ,构
• PD：
– 所有D失真允许的试验信道组成的一个集合。
11
3、信息信率息失真率函失数R真(D函)：数R(D)
在限定失真为D的条件下，信源输出的最小 信息速率。
• 在信源给定后,我们希望在满足一定失真的情况 下,使信源必须传输给收信者的最小信息量。
• 不同的信源其R(D)不同。
18
信道容量和信息率失真函数的区别
3、目息量最大，以提高 通信的正确性
研究信息率失真函数
– 解决在已知信源和允许失真度D的条件下,使信源
必须传送给信宿的信息率最小。即用尽可能少的
码符传送尽可能多的信源消息,以提高通信的有效
没有失真
xi ≠ yj
产生失真
❖ 失真函数的含义:
即失真函数d(xi,yj),此函数衡量用yj代替xi所引起的失真 程度。即失真的大小。
❖ 失真函数定义为：
3
2、失真矩阵 失真函数
❖ 将所有的d(xi,yj)排列起来,用矩阵表示为:
失真矩阵
• 例1：设信源符号序列为X={0,1},接收端收到符
号序列为Y= {0,1,2},规定失真函数为
失真矩阵
d(0,0)＝d(1,1)= 0
d(0,1)＝d(1,0)= 1
d(0,2)＝d(1,2)= 0.5
4
失真函数
3、失真函数的形式：（常用的）
• 均方失真: • 绝对失真: • 相对失真:
适于连 续适信于源离
散信源
• 误码失真:
5
4、汉明失真矩失阵（真也函是数一种误码失真）：
• 对于二元对称信源X={0,1},Y={0,1},汉明失真矩 阵（二元误码失真）:
性。
19
❖ 例1：设信源的符号表为A={al,a2,…,a2n},概率 分布为p(ai)=1/2n,i=1,2…2n,失真函数规定为
• 即不发生差错时失真为0,出错失真为1 • 研究在一定编码条件下信息压缩的程度。
• 信源熵
• 如果对信源进行不失真编码,平均每个符号至少需 要log2n个二进制码元。