信息论报告

联合信源各种熵的计算
一、摘要：
在人类社会中，人与人之间要经常互通情报，交换消息，从一般意义上讲这就是通信。

因此传递信息就是通信的根本目的。

信源需要传递的事情一般是属于随机事件，也就是其状态是随机的。

源熵是信息论中用来衡量信源信息量有序化程度的一个概念。

信源熵值与信源有序化程度成反比；有序度越高，信源熵值越低，反之亦成立。

信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）。

本文主要研究了联合信源的各种伤的计算。

关键词：
条件熵 非条件熵 共熵 联合信源
二、问题分析：
由这两个信源构成了联合信源的各种概率空间：
联合概率空间——{,()}i j XY p x y
条件概率空间——{/,(/)}j i Y X p y x ，{/,(/)}i j X Y p x y
以下分别对二元联合信源的共熵，条件熵，非条件熵和最大熵进行求解。

1、二元联合信源的共熵：
共熵反映的是每当两个信源同时发送一对消息时，所提供的平均信息量。

二元联合信源的共熵（或联合熵）的定义：
,,1
()()log
()log ()()i j i j i j i j
i j
i j H XY p x y p x y p x y p x y ==-∑∑
2、二元联合信源的条件熵：
(1).X 给定的情况下Y 的条件熵：
,,1(/)()log
()log (/)(/)
i j i j j i i j
i j
j i H Y X p x y p x y p y x p y x ==-∑∑
条件熵H(X/Y)所反映的是信源X 给定的条件下，信源Y 所提供的平均信息量。

(2).Y 给定的情况下X 的条件熵：
,,1
(/)()log
()log (/)(/)i j i j i j i j
i j
i j H X Y p x y p x y p x y p x y ==-∑∑
条件熵H(Y/X)所反映的是信源Y 给定的条件下，信源X 所提供的平均信息量。

3、最大熵：
当X,Y 相互独立时，()()()()MAX H XY H X H Y H XY =+-- 三。

、程序代码：
%---------输入先验概率 转移矩阵
fprintf('\n 请输入先验概率P_x 和状态转移概率P_y_x\n'); eps=1e-8;
P_x=input('P_x=')+eps; %+eps 是为了防止概率为0使，对数无意义 P_y_x=input('P_y_x=')+eps;
if (min(P_x(:))<0 | max(P_x(:)>1))|(min(P_y_x(:))<0|max(P_x(:)>1)) error('The data shoud be any numbers between 0 and 1.'); end ; eps=1e-10;
if min(sum(P_y_x')-1)<eps | (sum(P_x)-1)<eps error('The sum of rows should be 1.'); end ;
P_xx=P_x'*ones(size(P_x,1),size(P_y_x,2));
P_xy=P_xx.*P_y_x; % x y 联合概率 fprintf('-----------------------------'); fprintf('\nx y 的联合概率 P_xy=\n'); disp(P_xy);
P_y=sum(P_xy); % y 的概率 fprintf('-----------------------------'); fprintf('\ny 的概率 P_y=\n');
disp(P_y);
P_yy=ones(size(P_xy,1),size(P_y,1))*P_y;
P_x_y=P_xy./P_yy; % x y后验概率
fprintf('-----------------------------');
fprintf('\nx y后验概率 P_x_y=\n');
disp(P_x_y);
%输出各类信息熵
H_x=-sum(P_x.*log2(P_x));
H_y=-sum(P_y.*log2(P_y));
H_y_x=-sum(sum(P_xy.*log2(P_y_x)));
H_xy=-sum(sum(P_xy.*log2(P_xy)));
Hmaxxy=-sum(P_x.*log2(P_x))-sum(P_y.*log2(P_y));
fprintf('-----------------------------');
fprintf('\n x 信息熵 H_x=\n');
disp(H_x); % x 信息熵
fprintf('-----------------------------');
fprintf('\n y 信息熵 H_y=\n');
disp(H_y); % y 信息熵
fprintf('-----------------------------');
fprintf('\n y/x 条件熵 H_x_y=\n');
disp(H_y_x); % y/x 条件熵
fprintf('-----------------------------');
fprintf('\n x y联合熵 H_xy=\n');
disp(H_xy); % x y联合熵
fprintf('-----------------------------');
fprintf('\n xy最大熵 Hmaxxy=\n');
disp(Hmaxxy); % 最大熵
fprintf('Compute done !');
四、实例验证：
例：
有两个信源X,Y，已知概率分布如下表，求联合信源的共熵和条件熵以及最大熵：
通过计算可得结果：
无条件熵：
1
()()log
1.461()()
1
()()log 1.997()
()i i
i j j
j H X p x bit p x H Y p y bit p y =≈=≈∑∑
条件熵：
,1(/)()log
1.956()(/)
i j i j
j i H Y X p x y bit p y x =≈∑
,1
(/)()log
1.420()(/)
i j i j
i j H X Y p x y bit p x y ==∑
最大熵：
()()()() 3.458()MAX H XY H X H Y H XY bit =+--=
联合熵：
,1
()()log
3.417()()
i j i j
i j H XY p x y bit p x y ==∑
接下来对上题应用代码验证结果：
由代码结果与计算结果相一致，所以该程序可行。

五、实验总结
通过本次实验，我对于二元联合信源熵有了进一步的理解。

在查资料和编代码的过程中，我也遇到过很多的障碍。

但是最终通过和同学的讨论以及思考解决了障碍。

我认为这对于我来说是一个很好的锻炼，提高了我的自主学习和拓展的能力。

实验结果基本与事实相一致，但是也有一定的瑕疵。

我相信对于信息论的学习我不会止步于期末考试。

在以后的学习中，我相信这门课程给我带来的知识将给我带来更多的收获。