信息论与编码自学报告09266

《信息论与编码》课程自学报告

题目：《信息论与编码》自学报告

学号：

姓名：

任课教师：黄素娟

联系方式：

二零17年 1月 10日

第一部分 阐述“第四章 信息率失真函数”主要内容 1、基本概念

失真函数与平均失真度 平均失真度

在离散情况下，信源X ＝{a1,a2,…ar} ，其概率分布p(x)＝[p(a1),p(a2),…,p(ar)] ，信宿Y ＝ {b1,b2,…bs} 。若已知试验信道的传递概率为p(bj/ai)时，则平均失真度为：

1

1

()(,)()(/)(,)

r s

i

j

i i j XY

i j D p ab d a b p a p b

a d a

b ===

=∑∑∑

凡满足保真度准则---平均失真度D D0的试验信通称D 失真许可的试验信道。 失真函数

假如某一信源X ，输出样值为xi ，xi {a1,…an}，经过有失真的信源编码器，输出Y ，样值为yj ，yj {b1,…bm}。如果xi ＝yj ，则认为没有失真；如果xi yj ，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi ，yj)，以衡量用yj 代替xi 所引

起的失真程度。一般失真函数定义为

最常用的失真函数

前三种失真函数适用于连续信源，后一种适用于离散信源。

信息率失真函数的定义

互信息取决于信源分布和信道转移概率分布。当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值。在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即

单位：bit/信源符号

对于离散无记忆信源，R(D)函数可写成

p(ai)，i ＝1，2，…，n 是信源符号概率分布；

p(bj/ai)，i ＝1，2，…，n ，j ＝1，2，…，m 是转移概率分布； p(bj)，j ＝1，2，…，m 是接收端收到符号概率分布。 信息率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系

信息率失真函数的性质 1、R(D)函数的定义域和值域 R(D)的定义域为

min max

0D D D ≤≤≤

{}min ()min (,)y

x

D p x d x y = ∑max min ()(,)y

x

D p x d x y ⎧⎫

= ⎨⎬⎩

⎭∑

允许失真度D 的下限可以是零，这是不允许任何失真的情况。 2、R(D)是关于平均失真度D 的下凸函数

设为任意两个平均失真，

01a ≤≤，则有：

1212[(1)]()(1)()

R aD a D aR D a R D +-≤+-

3、R(D) 是min max (,)D D 区间上的连续和严格单调递减函数。

)(U H

max

min

离散信源的信息率失真函数

离散信源信息率失真函数的参量表达式

(1)

(/)0

j i p b a ≥(2)

1

(/)1,(1,...,)

m

j

i j p b

a i n ==-∑(3)

11

()(/)(,)n m

i

j

i i j i j p a p b

a d a

b D

===∑∑(4)

1

(;)(/)(5)

m

i j i j I X Y p b a sD

μ=Φ=--∑

()()()(,)exp[(,)]

(4.3.16)

i j i i j i j i

j

D s p a p b d a b sd a b λ=∑∑

1

()()()log (4.3.17)

n

i i

i R s sD s p a λ==+∑

二元及等概率离散信源的信息率失真函数 设二元信源

[]{}{}

1,0输出符号集1,0输入符号集000失真矩阵为21

1，所以21，其中1)(212121==∈==∈>⎥

⎦

⎤

⎢⎣⎡=≥-≤⎭

⎬⎫⎩⎨

⎧-=⎥⎦

⎤⎢⎣⎡y y Y x x X D p p p p x x x p X i ααα

11

1

(/)

(,)()(/)log

()(/)

n

m

j i i j i r

i j i

j

i i p b a I X Y p a p b a p a p b

a ====∑∑∑

计算率失真函数R (D )

对于这种简单信源，可从D (S )解出S 与D 的显式表达式。

()()()()()()()()()()()()⎪⎪⎪⎪⎪⎩

⎪⎪⎪

⎪

⎪⎨⎧-----=---=---=---=⎪

⎪⎪⎪⎩

⎪⎪⎪⎪⎨

⎧---=

-

-=

⎪⎪⎪⎩

⎪⎪⎪

⎨⎧

--=

-=-

=

-

=

+=

αααα

ααααα

αα

αα

α

αααααααλαλα

α

α

α

αD D D D D D D D D D S S S p p x y p p p D x y p p p D x y p p p x y p D

D p y p D D

p y p p

D p D

D

D S D D e e e S D 2122

122212

112

1211

1111)/(11)/(11)/(11)/(21)1()(21)(1111ln

11)(

p

p

S p D D D R D D p H R D D H p H D p p p p D D D D D R -=

======⎪

⎪⎭

⎫

⎝⎛-=⎪⎪⎭

⎫

⎝⎛-+----⎪⎪⎭⎫ ⎝⎛--=

1ln

1,0

)(,)()0(,0压缩的信息率。

定失真而可能熵，第二项是因容忍一上式右边第一项是信源)(1ln )1ln()1(ln 1ln ln )(max max max max α

ααααααα

二元等概率离散信源的率失真函数

当上述二元信源呈等概率分布时，上面式子分别退化为

⎪⎪⎪

⎩

⎪⎪⎪⎨

⎧===--=⎪

⎪⎪⎪⎩

⎪⎪

⎪⎪⎨

⎧=-=--

=-=-=

=

==)

(21)(2

1

2121)()1(221

11)1(22112

1min 12112

12max y p y p D D

y p D

D D

D

D D D j ααλααλααλα