实验三 无失真信源编码

实验三 无失真信源编码

一、[实验目的]

1、理解香农第一定理指出平均码长与信源之间的关系；

2、加深理解香农编码具有的重要的理论意义。

3、掌握霍夫曼编码的原理；

4、掌握霍夫曼编码的方法和步骤；

二、[实验环境]

windows XP,MATLAB 7

三、[实验原理]

香农第一定理：

设离散无记忆信源为

12 (1)

(2)....()S s s sq

P p s p s p sq ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 熵为H(S)，其N 次扩展信源为 12 (1)

(2)....()N q S p p p q P αααααα⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 熵为H(S N )。码符号集X=（x1,x2,…,xr ）。先对信源N S 进行编码，总可以

找到一种编码方法，构成惟一可以码，使S 中每个信源符号所需的平均码长满足： 1N L H S H S N N +>≥（）（）logr logr

当N →∞时 lim ()N r N L H S N

→∞= N L 是平均码长 1

()N

q N i i i L p αλ==∑ i λ是i α对应的码字长度

四、[实验内容]

1、根据实验原理，设计shannon 编码方法，在给定

条件下，实现香农编码并算出编码效率。

S

P s1 s2 s3 s4 s5 s6 s7

0.01 0.17 0.19 0.10 0.15 0.18 0.2

=

2、在给定离散无记忆信源

条件下，实现二进制霍夫曼编码，求最后得到的码字并算出编码效率。

五、[实验过程]

每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法；

某一离散信源概率分布：p=[1/2,1/4,1/8,1/16,1/16] 求信源的熵，并对该信源

进行二元哈夫曼编码，得到码字和平均码长以及编码效率。

Matlab 程序：

function [h,l]=huffman(p)

p=[1/2 1/4 1/8 1/16 1/16];

if length(find(p<0))~=0,

error('Not a prob.vector,there is negative component')

end

if abs (sum(p)-1)>10e-10

error('Input is not a prob.vector,the sun of the components is not

equal to 1')

end

n=length(p);

q=p;

m=zeros(n-1,n);

for i=1:n-1

[q,l]=sort(q);

m(i,:)=[l(1:n-i+1),zeros(1,i-1)];

q=[q(1)+q(2),q(3:n),1];

end

for i=1:n-1

c(i,:)=blanks(n*n);

S

P s1 s2 s3 s4 1/8 5/16 7/16 1/8 =

end

c(n-1,n)='0';

c(n-1,2*n)='1';

for i=2:n-1

c(n-i,1:n-1)=c(n-i+1,n*(find(m(n-i+1,:)==1))...

-(n-2):n*(find(m(n-i+1,:)==1)));

c(n-i,n)='0';

c(n-i,n+1:2*n-1)=c(n-i,1:n-1);

c(n-i,2*n)='1';

for j=1:i-1

c(n-i,(j+1)*n+1:(j+2)*n)=c(n-i+1,... n*(find(m(n-i+1,:)==j+1)-1)+1:n*find(m(n-i+1,:)==j+1));

end;

end

for i=1:n

h(i,1:n)=c(1,n*(find(m(1,:)==i)-1)+1:find(m(1,:)==i)*n);

l1(i)=length(find(abs(h(i,:))~=32));

end

l=sum(p.*l1)

运行结果为：l =

1.8750

ans =

1

01

001

0000

0001

六、[实验总结]