《信息论与编码》实验讲义新1

实验一、计算二阶马尔可夫信源的熵
一、实验目的
1．掌握MATLAB 的矩阵运算功能和图表功能。

2．掌握二阶马尔可夫信源熵的求解方法。

二、实验条件
计算机一台，MATLAB 仿真软件。

三、实验内容
（1）MATLAB 的应用（请参阅相关书籍） （2）实验主要内容
已知信源的转移矩阵P ⎡⎢⎢⎢⎢⎣0.80＝0.50
0.200.50 00.5
00.2 00.500.8⎤⎥⎥⎥⎥
⎦，
1）利用Matlab 强大的矩阵运算功能计算二阶马尔可夫信源的平稳分布概率。

2） 在Matlab 环境下，编程计算该二阶马尔可夫信源的熵。

（3）实验原理
对于时齐、遍历的马尔可夫链，已知
P 为信源的转移矩阵，p p P p p ⎡⎢⎢⎢⎢
⎣11213141
＝ p p p p 12223242 p p p p 13233343 p p p p ⎤
⎥⎥⎥
⎥⎦14243444，()j p S 为稳态概率，
()j j p S W =，且W P W ∙=
则信源熵为
1()(/)j
m j j S H H p S H X S ∞+=∑＝
其中(/)(/)log (/)j i j i j H X S p x S p x S ∑＝－，
如11111121213131414(/)log log log log )H X S p p p p p p p p +++＝－（
四、实验要求及分析
（1）进一步熟悉MATLAB 的矩阵运算功能。

（2）按照书上p15页、p34页例题进行理论分析，并与所做实验进行对比。

实验二、绘制二进制熵函数曲线
一、实验目的
1．掌握二进制符号熵的计算；
2．掌握MATLAB的应用；
3．掌握Matlab绘图函数；
4．掌握、理解熵函数表达式及其性质
二、实验条件
计算机一台，MATLAB仿真软件。

三、实验内容
（1）MATLAB的应用（请参阅相关书籍）
（2）打开MATLAB，在命令窗口中输入eidt，弹出编辑窗口，如图1：
图1 MATLAB的编辑窗口
（3）输入源程序：
clear;
x=0.001:0.001:0.999
y=-x.*log2(x)-(1-x).*log2(1-x);
plot(x,y);
grid on
（4）保存文件为entropy.m；
（5）单击Debug菜单下的Run，或直接按F5执行；
（6）执行后的结果图2：
四、实验分析
（1）熵函数是一个严格上凸函数
（2）熵的极大值，二进符号的熵在p(x1)=p(x2)=0.5取得极大值
（3）调调整p(x1)的取值步长，重画该曲线
图2 二进制符号熵函数图
实验三、一般信道容量计算
一、实验目的
1．熟悉工作环境及Matlab 软件 2．理解平均互信息量表达式及其性质 3．理解信道容量的含义
二、 实验原理
1.平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性之差，是互信息量的统计平均
:
()()()()()()
;/;/=-=-I X Y H X H X Y I Y X H Y H Y X
2.离散信道的数学模型
离散信道的数学模型一般如图1所示。

图中输入和输出信号用随机矢量表示，输入信号为X= (X1, X2,…, XN)，输出信号为Y= (Y1, Y2,…, YN)；每个随机变量Xi 和Yi 又分别取值于符号集A={a1, a2, …, ar}和B={b1, b2, …, bs}，其中r 不一定等于s ；条件概率P(y|x) 描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。

21N 21N
∑=1
)|(x y P
图1离散信道模型
二元对称信道
这是很重要的一种特殊信道（简记为BSC ），。

它的输入符号X 取值于{0,1}，输出符号Y 取值于{0,1}，r=s=2， a1=b1=0，a2=b2=1，传递概率为
p p P a b P =-==1)0|0()|(11, p p P a b P =-==1)1|1()|(22
p P a b P ==)1|0()|(21, p P a b P ==)0|1()|(12
其中，)0|1(P 表示信道输入符号为0而接收到的符号为1的概率，)1|0(P 表示信道输入符号为1而接受到的符号为0的概率，它们都是单个符号传输发生错误的概率，通常用p 表示。

而)0|0(P 和)1|1(P 是无错误传输的概率，通常用p p =-1表示。

X 1-p Y
01=a 10b =
p
p
12=a 21b =
二元对称信道
用矩阵来表示，即得二元对称信道的传递矩阵为
⎥⎦⎤
-⎢⎣⎡-p p p
p 111100 依此类推，一般离散单符号信道的传递概率可用以下形式的矩阵来表示，即
b1 b2 … bs
⎥
⎥⎥
⎥⎦
⎤⎢
⎢⎢⎢⎣⎡)|()|()|()|()
|()|()|()|()|(212222
11121121
r s r r s s r
a b P a b P a b P a b P a b P a b P a b P a b P a b P a a a
并满足式
∑==s
j
i j a b P 1
1)|( （r i ,,2,1 =）。

为了表述简便，记ij i j p a b P =)|(，信道的传递矩阵表示为
⎥
⎥
⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=rs r r s s p p p p p p p p p P
1
1
22221
11211
而且满足
0>j i p ⎩⎨⎧是列的标号是行的标号
j i
平均互信息
平均互信息表示接收到输出符号后平均每个符号获得的关于输入变量X 的信
息量，也表示输入与输出两个随机变量之间的统计约束程度。

∑∑-=
XY
X
y x P xy P x P x P Y X I )
|(1
log )()(1log )();(
∑
∑
-=
XY
XY
y x P xy P x P xy P )
|(1log
)()
(1
log )(
∑
=
XY x P y x P xy P )()|(log
)(
∑=
XY
y P x P xy P xy P )()()
(log )(
∑
=
XY y P x y P xy P )
()
|(log
)( 其中X 是输入随机变量，Y 是输出随机变量。

平均互信息是互信息（即接收到输出符号y 后输入符号x 获得的信息量）的统计平均值，所以永远不会取负值。

最差情况是平均互信息为零，也就是在信道输出端接收到输出符号Y 后不获得任何关于输入符号X 的信息量。

对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。

()
max {(;)}
P x C I X Y =
相应的输入概率分布称为最佳输入分布。

三、实验内容
1．绘制平均互信息量图形
对于二元对称信道的输入概率空间为0,1(),1ωωω⎡⎤⎡⎤
=⎢⎥⎢⎥
=-⎣⎦⎣⎦X P x 平均互信息：
根据：1
()()(|)1===∑r
j i j i i P b P a P b a
所以：
(;)()(/)
=-I X Y H Y H Y X 1()()(/)log
(/)
=-∑∑X
Y
H Y P x P y x P y x 11()()[log
log ]=-+∑X
H Y P x p p p p
11
()[log
log ]()()=-+=-H Y p p H Y H p p p
2
1(0)()(0|)(0)(0|0)(1)(0|1)ωω====+=+∑i i i P y P a P a P P P P p p
2
1
(1)()(0|)(0)(1|0)(1)(1|1)ωω====+=+∑i i i P y P a P a P P P P p p
1111
(;)()()()log ()log [log log ]
()()()
ωωωωωωωωωω=-=+++-+++=+-I X Y H Y H p p p p p p p p p p p p p
H p p H p 请绘制当
,ωp 从0到1之间变化时的平均互信息熵曲线
2. 信道容量图形
一个信道是一个二进制输入，二进制输出的信道，输入和输出字母表{0,1}==X Y ，且该信道特性由发送1码和0码的两个错误转移概率(0|1)=P e 和(0|1)0=P 来表征。

绘出当
0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1=e 时的平均互信息(;)I X Y 和(1)==p P X 间的
函数关系。

确定每种情况下的信道容量。

四、实验报告要求
你能从实验图形中了解它的一些什么性质？。