信息论与编码自学报告09266

《信息论与编码》课程自学报告

题目：《信息论与编码》自学报告

学号：

姓名：

任课教师：黄素娟

联系方式：

二零17年 1月 10日

第一部分 阐述“第四章 信息率失真函数”主要内容 1、基本概念

失真函数与平均失真度 平均失真度

在离散情况下，信源X ＝{a1,a2,…ar} ，其概率分布p(x)＝[p(a1),p(a2),…,p(ar)] ，信宿Y ＝ {b1,b2,…bs} 。若已知试验信道的传递概率为p(bj/ai)时，则平均失真度为：

1

1

()(,)()(/)(,)

r s

i

j

i i j XY

i j D p ab d a b p a p b

a d a

b ===

=∑∑∑

凡满足保真度准则---平均失真度D D0的试验信通称D 失真许可的试验信道。 失真函数

假如某一信源X ，输出样值为xi ，xi {a1,…an}，经过有失真的信源编码器，输出Y ，样值为yj ，yj {b1,…bm}。如果xi ＝yj ，则认为没有失真；如果xi yj ，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi ，yj)，以衡量用yj 代替xi 所引

起的失真程度。一般失真函数定义为

最常用的失真函数

前三种失真函数适用于连续信源，后一种适用于离散信源。

信息率失真函数的定义

互信息取决于信源分布和信道转移概率分布。当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值。在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即

单位：bit/信源符号

对于离散无记忆信源，R(D)函数可写成

p(ai)，i ＝1，2，…，n 是信源符号概率分布；

p(bj/ai)，i ＝1，2，…，n ，j ＝1，2，…，m 是转移概率分布； p(bj)，j ＝1，2，…，m 是接收端收到符号概率分布。 信息率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系

信息率失真函数的性质 1、R(D)函数的定义域和值域 R(D)的定义域为

min max

0D D D ≤≤≤

{}min ()min (,)y

x

D p x d x y = ∑max min ()(,)y

x

D p x d x y ??

= ???

?∑

允许失真度D 的下限可以是零，这是不允许任何失真的情况。 2、R(D)是关于平均失真度D 的下凸函数

设为任意两个平均失真，

01a ≤≤，则有：

1212[(1)]()(1)()

R aD a D aR D a R D +-≤+-

3、R(D) 是min max (,)D D 区间上的连续和严格单调递减函数。

)(U H

max

min

离散信源的信息率失真函数

离散信源信息率失真函数的参量表达式

(1)

(/)0

j i p b a ≥(2)

1

(/)1,(1,...,)

m

j

i j p b

a i n ==-∑(3)

11

()(/)(,)n m

i

j

i i j i j p a p b

a d a

b D

===∑∑(4)

1

(;)(/)(5)

m

i j i j I X Y p b a sD

μ=Φ=--∑

()()()(,)exp[(,)]

(4.3.16)

i j i i j i j i

j

D s p a p b d a b sd a b λ=∑∑

1

()()()log (4.3.17)

n

i i

i R s sD s p a λ==+∑

二元及等概率离散信源的信息率失真函数 设二元信源

[]{}{}

1,0输出符号集1,0输入符号集000失真矩阵为21

1，所以21，其中1)(212121==∈==∈>?

?

?

???=≥-≤?

????

?-=??

????y y Y x x X D p p p p x x x p X i ααα

11

1

(/)

(,)()(/)log

()(/)

n

m

j i i j i r

i j i

j

i i p b a I X Y p a p b a p a p b

a ====∑∑∑

计算率失真函数R (D )

对于这种简单信源，可从D (S )解出S 与D 的显式表达式。

()()()()()()()()()()()()??????

???

?

???-----=---=---=---=?

????

?????

?---=

-

-=

????

???

??

--=

-=-

=

-

=

+=

αααα

ααααα

αα

αα

α

αααααααλαλα

α

α

α

αD D D D D D D D D D S S S p p x y p p p D x y p p p D x y p p p x y p D

D p y p D D

p y p p

D p D

D

D S D D e e e S D 2122

122212

112

1211

1111)/(11)/(11)/(11)/(21)1()(21)(1111ln

11)(

p

p

S p D D D R D D p H R D D H p H D p p p p D D D D D R -=

======?

??

?

??-=???

?

??-+----???? ??--=

1ln

1,0

)(,)()0(,0压缩的信息率。

定失真而可能熵，第二项是因容忍一上式右边第一项是信源)(1ln )1ln()1(ln 1ln ln )(max max max max α

ααααααα

二元等概率离散信源的率失真函数

当上述二元信源呈等概率分布时，上面式子分别退化为

???

?

????

?===--=?

????

??

???

?=-=--

=-=-=

=

==)

(21)(2

1

2121)()1(221

11)1(22112

1min 12112

12max y p y p D D

y p D

D D

D

D D D j ααλααλααλα

()()()()()()()()()()()())

(2ln )()/(1111)/()

/(11)/(11)/(11)/(1122121122

122

1

211222

12121221

11α

ααααααααααααααααα

αD

H D R x y p D x y p x y p D D x y p D

D x y p D p x y p D D

D D D

D D D D D -=??????

????

???-=-----===---==---=

-=---=

3保真度准则下的信源编码定理

定理 (保真度准则下的信源编码定理，香农第三定理)

设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度D 。对于任意 D 0,0≥>ε，以及任意长的码长k ，一定存在一

种信源编码C ，其码字个数为[()]

2+≥k R D M ε使编码后码的平均失真度

≤D D 。

定理的含义是：只要码长k 足够长，总可以找到一种信源编码，使编码后的信息传输率略大于(直至无限逼近)率失真函数R(D)，而码的平均失真度不大于给定的允许失真度，即：D D ≤

由于R(D)为给定D 前提下信源编码可能达到的传信率的下限， 所以香农第三定理说明了：达到此下限的最佳信源编码是存在的。 第二部分 信源编码或信道编码典型案例的实现方案 信源编码典型案例的实现方案--霍夫曼编码的matlab 实现

1.编码原理

霍夫曼（Huffman）编码算法是满足前缀条件的平均二进制码长最短的编-源输出符号，而将较短的编码码字分配给较大概率的信源输出。算法是：在信源符号集合中，首先将两个最小概率的信源输出合并为新的输出，其概率是两个相应输出符号概率之和。这一过程重复下去，直到只剩下一个合并输出为止，这个最后的合并输出符号的概率为1。这样就得到了一张树图，从树根开始，将编码符号1 和0 分配在同一节点的任意两分支上，这一分配过程重复直到树叶。从树根到树叶途经支路上的编码最后就构成了一组异前置码，就是霍夫曼编码输出。

2.编码步骤

（1）、码树形成过程：将信源概率按照从小到大顺序排序并建立相应的位置索引。然后按上述规则进行信源合并，再对信源进行排序并建立新的位置索引，直到合并结束。在这一过程中每一次都把排序后的信源概率存入矩阵G中，位置索引存入矩阵Index中。这样，由排序之后的概率矩阵 G以及索引矩阵Index就可以恢复原概率矩阵P了，从而保证了回溯过程能够进行下去。

（2）、码树回溯过程：在码树上分配编码码字并最终得到Huffman 编码。从索引矩阵M 的末行开始回溯。

(1) 在Index 的末行2元素位置填入0和1。

(2) 根据该行索引1 位置指示，将索引1 位置的编码（‘1’）填入上一行的第一、第二元素位置，并在它们之后分别添加‘0’和‘1’。

(3) 将索引不为‘1’的位置的编码值（‘0’）填入上一行的相应位置（第3 列）。

(4) 以Index的倒数第二行开始向上，重复步骤(1) ～ (3)，直到计算至Index的首行为止。

3．程序代码

%取得信源概率矩阵,并进行合法性判断

clear;

P=input('请输入信源概率向量P=');

N=length(P);

for component=1:1:N

if(P(component)<0)

error('信源概率不能小于0');

end

end

if((sum(P)-1)>

error('信源概率之和必须为1');

end

%建立各概率符号的位置索引矩阵Index,利于编码后从树根进行回溯,从而得出对应的编码

Q=P

Index=zeros(N-1,N); %初始化Index

for i=1:N-1

[Q,L]=sort(Q);

Index(i,:)=[L(1:N-i+1),zeros(1,i-1)];

G(i,:)=Q;

Q=[Q(1)+Q(2),Q(3:N),1]; %将Q中概率最小的两个元素合并，元素不足的地方补1

end

%根据以上建立的Index矩阵，进行回溯，获取信源编码

for i=1:N-1

Char(i,:)=blanks(N*N);%初始化一个由空格符组成的字符矩阵N*N,用于存放编码

end

%从码树的树根向树叶回溯，即从G矩阵的最后一行按与Index中的索引位置的对应关系向其第一行进行编码

Char(N-1,N)='0';%G中的N-1行即最后一行第一个元素赋为0，存到Char中N-1行的N列位置

Char(N-1,2*N)='1';%G中的N-1行即最后一行第二个元素赋为1，存到Char中N-1行的2*N列位置

%以下从G的倒数第二行开始向前编码

for i=2:N-1

Char(N-i,1:N-1)=Char(N-i+1,N*(find(Index(N-i+1,:)==1)) -(N-2):N*(find(Index(N-i+1,:)==1)));

%将Index后一行中索引为1的编码码字填入到当前行的第一个编码位置

Char(N-i,N)='0'; %然后在当前行的第一个编码位置末尾填入'0'

Char(N-i,N+1:2*N-1)=Char(N-i,1:N-1); %将G后一行中索引为

1的编码码字填入到当前行的第二个编码位置

Char(N-i,2*N)='1'; %然后在当前行的第二个编码位置末尾填入'1'

for j=1:i-1

%内循环作用：将Index后一行中索引不为1处的编码按照左右顺序填入当前行的第3个位置开始的地方,最后计算到Index的首行为止

Char(N-i,(j+1)*N+1:(j+2)*N)=Char(N-i+1,N*(find(Index(N-i+1, :)==j+1)-1)+1:N*find(Index(N-i+1,:)==j+1));

end

end

%Char中第一行的编码结果就是所需的Huffman 编码输出，通过Index中第一行索引将编码对应到相应概率的信源符号上。

for i=1:N

Result(i,1:N)=Char(1,N*(find(Index(1,:)==i)-1)+1:find(Index (1,:)==i)*N);

end