信息论实验
信息论与编码实验报告
信息论与编码实验报告信息论与编码实验报告实验一：英文文本信息量的计算一、实验目的及要求a）实验目的1、通过本实验熟悉Matlab 软件编程环境2、编写M 文件实现对英文文本信息量的统计，掌握信息量、信源熵的计算方法b）实验要求1、了解matlab 中M 文件的编辑、调试过程2、编写程序实现对给定英文文本信息量的统计3、英文文本中字母不区分大小写，考虑空格的信息量，但不考虑标点符号的信息量4、建议英文文本采用txt 格式二、实验步骤及运行结果记录a）实验步骤1、查找各个英文字母及空格出现的频率2、在Matlab 中读取给定的英文文章3、计算英文文章的长度4、统计在该文章中各个字母及空格出现的次数并放入数组N 中5、计算各个字母和空格的信息量及整篇文章的信息量6、计算信源熵b）实验结果sumI = +003；H = 三、程序流程图四、程序清单，并注释每条语句五、实验小结通过本次实验熟悉了Matlab 软件编程环境和一些函数的功能及使用，掌握了信息量、信源熵的计算方法。
1 附一：开始读取英文文章计算文章的长度嵌套的for 循环语句假判断是否符合循环条件真if 否elseif 判断字是否为大写母输入相应的频率否elseif 判断是否为小写字母计算各个字母、空格及整篇文章的信息量是判断是否为小写字母是计算信源熵是放入数组N 中对应的位置放入数组N 中对应的位置放入数组N 中对应的位置结束附二: wenzhang=textread(‘实验一：english ‘,’\’); M=size(wenzhang); row=M(1,1); line=M(1,2); N=zeros(1,27); for i=1:row for j=1:line %读取英文文章%文章的长度ifdouble(wenzhang(i,j))>96&&double(wenz hang(i,j))double(wenzhang(i,j))>64&&double(wenz hang(i,j))N(1,double(wenzhang(i,j))-64)=N(1,doubl e(wenzhang(i,j))-64)+1; elseif double(wenzhang(i,j))==32N(1,27)=N(1,27)+1; end end end %统计各字母和空格出现的个数并存入N数组中。
信息论与编码技术》实验教案
信息论与编码技术实验教案第一章：信息论基础1.1 信息的概念与度量介绍信息的基本概念，信息源的随机性，信息的不确定性。
讲解信息的度量方法，如香农熵、相对熵等。
1.2 信道模型与容量介绍信道的概念，信道的传输特性，信道的噪声模型。
讲解信道的容量及其计算方法，如单符号信道、多符号信道等。
第二章：信源编码与压缩2.1 信源编码的基本概念介绍信源编码的定义、目的和方法。
讲解信源编码的基本原理，如冗余度、平均冗余度等。
2.2 压缩算法与性能评价介绍无损压缩算法，如霍夫曼编码、算术编码等。
讲解有损压缩算法，如JPEG、MP3等。
分析各种压缩算法的性能评价指标，如压缩比、重建误差等。
第三章：信道编码与错误控制3.1 信道编码的基本概念介绍信道编码的定义、目的和方法。
讲解信道编码的基本原理，如纠错码、检错码等。
3.2 常见信道编码技术介绍常用的信道编码技术，如卷积码、汉明码、奇偶校验等。
分析各种信道编码技术的性能，如误码率、编码效率等。
第四章：数字基带传输4.1 数字基带信号与基带传输介绍数字基带信号的概念，数字基带信号的传输特性。
讲解数字基带信号的传输方法，如无编码调制、编码调制等。
4.2 基带传输系统的性能分析分析基带传输系统的性能指标，如误码率、传输速率等。
讲解基带传输系统的优化方法，如滤波器设计、信号调制等。
第五章：信号检测与接收5.1 信号检测的基本概念介绍信号检测的定义、目的和方法。
讲解信号检测的基本原理，如最大后验概率准则、贝叶斯准则等。
5.2 信号接收与性能分析分析信号接收的方法，如同步接收、异步接收等。
讲解信号接收性能的评价指标，如信噪比、误码率等。
第六章：卷积编码与Viterbi算法6.1 卷积编码的基本原理介绍卷积编码的定义、结构及其多项式。
讲解卷积编码的编码过程，包括初始状态、状态转移和输出计算。
6.2 Viterbi算法及其应用介绍Viterbi算法的原理，算法的基本步骤和性能。
讲解Viterbi算法在卷积编码解码中的应用，包括路径度量和状态估计。
信息论与编码技术实验报告
《信息论与编码技术》实验报告实验一：请根据公式-plogp ，说明小概率事件和大概率事件对熵的贡献。
解：先做图，然后分析。
将公式写为)(log )(2p p p f -=对它编写计算和画图程序如下：p=0:0.01:1;x=-p.*log2(p);plot(p,x);从图中曲线看出，小概率事件和大概率事件的情况下，熵值都很低，贡献很小，在概率为0.5附近时熵值最大，故此时对熵的贡献最大。
实验二：请对a 、b 、c 霍夫曼编码，它们的概率是0.6、0.3、0.1。
并以此对符号串ababaacbaa 编码和译码。
解：编码步骤分为：事件排序，符号编码，信源编码，信道编码。
MATLAB 程序：clc;a=0.3;b=0.3;c=0.4; %%%霍夫曼编码A=[a,b,c];A=fliplr(sort(A)); %%%降序排序if (a==b)&(a>c), %%实现了当a,b,c 其中两概率相同时的编码，及3值均不同时的编码 u='a';x=a;v='b';y=b;w='c';z=c;elseif (a==b)&(a<c),u='c';x=c;v='a';y=a;w='b';z=b;elseif (c==b)&(c>a),u='b';x=b;v='c';y=c;w='a';z=a;elseif (c==b)&(c<a),u='a';x=a;v='b';y=b;w='c';z=c;elseif(a==c)&(a>b),u='a',x=a;v='c',y=c;w='b',z=b;elseif(a==c)&(a<b),u='b';x=b;v='a';y=a;w='c';z=c;elseif A(1,1)==a,u='a';x=a;elseif A(1,1)==b,u='b';x=b;elseif A(1,1)==c,u='c';x=c;endif A(1,2)==a,v='a';y=a;elseif A(1,2)==b,v='b';y=b;elseif A(1,2)==c,v='c';y=c;endif A(1,3)==a,w='a';z=a;elseif A(1,3)==b,w='b';z=b;elseif A(1,3)==c,w='c';z=c;endend %%%x，y，z按从大到小顺序存放a，b，c的值，u,v,w存对应字母if x>=(y+z),U='0';V(1)='0';V(2)='1';W(1)='1';W(2)='1';else U='1';V(1)='0';V(2)='0';W(1)='1';W(2)='0';enddisp('霍夫曼编码结果：')if u=='a',a=fliplr(U),elseif u=='b',b=fliplr(U),else c=fliplr(U),end if v=='a',a=fliplr(V),elseif v=='b',b=fliplr(V),else c=fliplr(V),end if w=='a',a=fliplr(W),elseif w=='b',b=fliplr(W),else c=fliplr(W),end %%%编码步骤为：信源编码，信道编码disp('信源符号序列：')s='ababaacbaa' %%%信源编码q=[];for i=s;if i=='a',d=a;elseif i=='b';d=b;else d=c;end;q=[q,d];endm=[]; %%%符号变数字for i=q;m=[m,str2num(i)];endP=[1,1,1,0;0,1,1,1;1,1,0,1];G=[eye(3),P];%%%信道编码%%%接下来的for循环在程序中多次使用，此处作用是将已编码组m每3个1组放入mk中进行运算之后存入Ck数组中，每次mk中运算结束之后清空，再进行下一组运算，而信道编码结果数组C则由C=[C,Ck]存入每组7个码。
信息论与编码技术》实验教案
信息论与编码技术实验教案第一章：信息论基础1.1 实验目的1. 了解信息的基本概念及其度量方法；2. 掌握信息的熵、冗余度和信道容量等基本概念。
1.2 实验原理1. 信息的基本概念：信息、消息、信源等；2. 信息的度量：平均信息量、熵、冗余度等；3. 信道容量和编码定理。
1.3 实验设备与材料1. 计算机及投影仪；2. 相关实验软件。
1.4 实验步骤1. 讲解信息的基本概念及其度量方法；2. 分析实际例子，演示信息的熵、冗余度和信道容量的计算过程；3. 让学生通过实验软件进行相关计算和分析。
1.5 思考与讨论1. 信息量与消息长度的关系；2. 信道容量在实际通信系统中的应用。
第二章：数字基带编码2.1 实验目的1. 掌握数字基带编码的基本原理；2. 学会使用相关软件进行数字基带编码的仿真。
2.2 实验原理1. 数字基带编码的定义和分类；2. 常用数字基带编码方法：NRZ、RZ、曼彻斯特编码等；3. 数字基带编码的性能评估：误码率、带宽利用率等。
2.3 实验设备与材料1. 计算机及投影仪；2. 相关实验软件。
2.4 实验步骤1. 讲解数字基带编码的基本原理和方法；2. 演示常用数字基带编码的仿真效果；3. 让学生通过实验软件进行数字基带编码的仿真实验。
2.5 思考与讨论1. 数字基带编码的优缺点；2. 如何在实际通信系统中选择合适的基带编码方法。
第三章：信道编码与误码控制3.1 实验目的1. 了解信道编码的基本原理；2. 掌握常见的信道编码方法；3. 学会使用相关软件进行信道编码的仿真。
3.2 实验原理1. 信道编码的定义和作用；2. 常用信道编码方法：卷积编码、汉明编码、里德-所罗门编码等；3. 误码控制原理：检错、纠错等。
3.3 实验设备与材料1. 计算机及投影仪；2. 相关实验软件。
3.4 实验步骤1. 讲解信道编码的基本原理和方法；2. 演示常用信道编码的仿真效果；3. 让学生通过实验软件进行信道编码的仿真实验。
《信息论与编码技术》实验教案
技术选型
根据实际需求选择合适的差错控制编码技术， 包括线性分组码、卷积码等。
实现与测试
通过编程实现所选差错控制编码技术的编码和解码过程，并进行测试和性能分 析。
04
现代编码技术实验
Turbo码编译码原理及性能评估
Turbo码基本原理
介绍Turbo码的结构、编码原理、迭代译码原理等基本概念。
编译码算法实现
《信息论与编码技术》实验教案
目录
• 课程介绍与实验目标 • 信息论基础实验 • 编码技术基础实验 • 现代编码技术实验 • 信息论与编码技术应用案例分析 • 课程总结与展望
01
课程介绍与实验目标
信息论与编码技术课程概述
课程背景
信息论与编码技术是通信工程、 电子工程等专业的核心课程，主 要研究信息的传输、存储和处理 过程中的基本理论和方法。
2. 根据概率分布生成模拟信源序列；
03
离散信源及其数学模型
3. 计算信源熵、平均符号长度等参数；
4. 分析实验结果，理解信源熵的物理 意义。
信道容量与编码定理验证
实验目的
理解信道容量的概念、计算方法和物理意义，验证香农编码定理的正确性。
实验内容
设计并实现一个信道模拟器，通过输入不同的信道参数和编码方案，计算并输出信道容量、误码率等关键参数。
数据存储系统中纠删码技术应用
纠删码基本原理
阐述纠删码的基本概念、原理及其在数据存储系统中的应用价值。
常用纠删码技术
介绍常用的纠删码技术，如Reed-Solomon码、LDPC码等，并分 析其性能特点。
纠删码技术应用实践
通过实验，将纠删码技术应用于数据存储系统中，评估其对系统可 靠性、数据恢复能力等方面的提升效果。
信息论实验报告1--信息熵的计算
~
fori=1:5
forj=1:4
sum=sum+A(i,j);
end
A(i,:)=A(i,:)/sum;
，
sum=0;
end
y=A;
求H（x|y）：
functiony=H_x_y(A)
"
sum=0;
fori=1:4
forj=1:5
sum=sum+A(j,i);
end
\
A(:,i)=A(:,i)/sum;
实验
总结
日
本次实验的收获、体会、经验、问题和教训：
\
1、信息熵计算Matlab源码
求H（x）：
function[a,b]=H_x(A)
sum =0;
B=zeros(5,1);
;
hx=0;%求H（x）的熵
fori=1:5%i代表行
forj=1:4%j代表列
sum=sum+A(i,j);
end
…
hx=hx-sum*log2(sum);
求H（x|y），H（y|x）
A=[ 0 0 0; 0 0;0 0;0 0 ;0 0 0];
H_x_y(A)
ans =
0 0 0
0 0
0 0
0 0
0 0 0
H_y_x(A)
ans =
0 0 0
0 0
0 0
0 0
0 0 0
教师
评语
成绩
辽宁工程技术大学上机实验报告
(
实验名称
信息熵的相关计算
院系
/
姓名
—
实验
）
目的
简述本次实验目的：
1、理解信息熵的概念
信息论实验报告
一、实验目的1. 理解信息论的基本概念和原理；2. 掌握信息熵、条件熵、互信息等基本概念的计算方法；3. 学会使用 MATLAB 进行信息论实验，并分析实验结果；4. 提高编程能力和数据分析能力。
二、实验原理信息论是一门研究信息传输、处理和存储的学科，其核心是信息熵。
信息熵是衡量信息不确定性的度量，表示信息中所包含的平均信息量。
信息熵的计算公式如下：H(X) = -Σ p(x) log2(p(x))其中，H(X) 表示随机变量 X 的熵，p(x) 表示 X 取值为 x 的概率。
条件熵是衡量在已知另一个随机变量 Y 的条件下，随机变量 X 的不确定性。
条件熵的计算公式如下：H(X|Y) = -Σ p(x,y) log2(p(x|y))其中，H(X|Y) 表示在 Y 已知的条件下 X 的熵，p(x,y) 表示 X 和 Y 同时取值为x 和 y 的概率，p(x|y) 表示在 Y 已知的情况下 X 取值为 x 的条件概率。
互信息是衡量两个随机变量之间相互依赖程度的度量。
互信息的计算公式如下：I(X;Y) = H(X) - H(X|Y)其中，I(X;Y) 表示随机变量 X 和 Y 之间的互信息。
三、实验内容1. 使用 MATLAB 编写程序，计算给定信源的概率分布，并计算其熵；2. 使用 MATLAB 编写程序，计算给定两个随机变量的联合概率分布，并计算其条件熵和互信息；3. 分析实验结果，验证信息熵、条件熵和互信息之间的关系。
四、实验步骤1. 输入信源的概率分布，使用 MATLAB 计算 H(X)；2. 输入两个随机变量的联合概率分布，使用 MATLAB 计算 H(X,Y)、H(X|Y) 和I(X;Y)；3. 分析实验结果，比较 H(X)、H(X|Y) 和 I(X;Y) 之间的关系。
五、实验结果与分析1. 信源概率分布及其熵输入信源的概率分布为：p(x) = [0.2, 0.3, 0.5]计算得到：H(X) = -0.2 log2(0.2) - 0.3 log2(0.3) - 0.5 log2(0.5) ≈ 1.5852. 两个随机变量的联合概率分布及其条件熵和互信息输入两个随机变量的联合概率分布为：p(x,y) = [0.1, 0.2, 0.3, 0.4]计算得到：H(X,Y) = -0.1 log2(0.1) - 0.2 log2(0.2) - 0.3 log2(0.3) - 0.4log2(0.4) ≈ 2.097H(X|Y) = -0.1 log2(0.1) - 0.2 log2(0.2) - 0.3 log2(0.3) - 0.4log2(0.4) ≈ 1.585I(X;Y) = H(X) - H(X|Y) ≈ 0.512分析实验结果，可以发现：（1）信息熵 H(X) 表示信源中包含的平均信息量，当信源概率分布越均匀时，信息熵越大；（2）条件熵 H(X|Y) 表示在已知随机变量 Y 的条件下，随机变量 X 的不确定性，当 X 和 Y 之间的依赖程度越高时，条件熵越小；（3）互信息 I(X;Y) 表示随机变量 X 和 Y 之间的相互依赖程度，当 X 和 Y 之间的依赖程度越高时，互信息越大。
信息论与编码实验报告
实验一：计算离散信源的熵一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程；三、实验内容:1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。
3、将程序在计算机上仿真实现，验证程序的正确性并完成习题。
四、求解：1、习题：A 地天气预报构成的信源空间为：()⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6/14/14/13/1x p X 大雨小雨多云晴 B 地信源空间为：17(),88Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨晴 求各种天气的自信息量和此两个信源的熵。
2、程序代码：p1=[1/3,1/4,1/4,1/6];p2=[7/8,1/8];H1=0.0;H2=0.0;I=[];J=[];for i=1:4H1=H1+p1(i)*log2(1/p1(i));I(i)=log2(1/p1(i));enddisp('自信息I分别为：');Idisp('信息熵H1为：');H1for j=1:2H2=H2+p2(j)*log2(1/p2(j));J(j)=log2(1/p2(j));enddisp('自信息J分别为');Jdisp('信息熵H2为：');H23、运行结果：自信息量I分别为：I = 1.5850 2.0000 2.0000 2.5850信源熵H1为：H1 = 1.9591自信息量J分别为：J =0.1926 3.0000信源熵H2为：H2 =0.54364、分析：答案是：I =1.5850 2.0000 2.0000 2.5850 J =0.1926 3.0000H1 =1.9591； H2 =0.5436实验2：信道容量一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程；三、实验内容:1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。
信息论与编码实验二
实验二 离散信道及其容量一、实验目的1、理解离散信道容量的内涵； 2、掌握求二元对称信道（BSC ）互信息量和容量的设计方法； 3、 掌握二元扩展信道的设计方法并会求其平均互信息量。
二、实验原理若某信道输入的是N 维序列x ，其概率分布为q(x),输出是N 维序列y,则平均互信息量记为I(X;Y)，该信道的信道容量C 定义为()max (X;Y)q x C I =。
三、实验内容1、给定BSC 信道，信源概率空间为信道矩阵 0.990.010.010.99P ⎡⎤=⎢⎥⎣⎦求该信道的I(X;Y)和容量，画出I(X;Y)和ω、C 和p 的关系曲线。
2 、编写一M 脚本文件t03.m ，实现如下功能：在任意输入一信道矩阵P 后，能够判断是否离散对称信道，若是，求出信道容量C 。
3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为XP ０ １ 0.6 0.4= XPx ０ １ ２ 0.3 0.5 0.2=求： 平均互信息量；4、 对题(1)求其二次扩展信道的平均互信息I(X;Y)。
四、程序设计与算法描述1)设计思路1、信道容量()max (X;Y)q x C I 因此要求给定信道的信道容量，只要知道该信道的最大互信息量，即求信道容量就是求信道互信息量的过程。
程序代码：clear all,clc;w=0.6;w1=1-w;p=0.01;X=[0 1];P =[0.6 0.4];p1=1-p;save data1 p p1;I_XY=(w*p1+w1*p)*log2(1/(w*p1+w1*p))+(w*p+w1*p1)*log2(1/(w*p+w1*p1))-(p*log2(1/p)+p 1*log2(1/p1));C=1-(p*log2(1/p)+p1*log2(1/p1));fprintf('互信息量:%6.3f\n 信道容量:%6.3f',I_XY,C);p=eps:0.001:1-eps;p1=1-p;C=1-(p.*log2(1./p)+p1.*log2(1./p1));subplot(1,2,1),plot(p,C),xlabel('p'),ylabel('C');load data1;w=eps:0.001:1-eps;w1=1-w;I_XY=(w.*p1+w1.*p).*log2(1./(w.*p1+w1.*p))+(w.*p+w1.*p1).*log2(1./(w.*p+w1.*p1))-(p .*log2(1./p)+p1.*log2(1./p1));subplot(1,2,2),plot(w,I_XY)xlabel('w'),ylabel('I_XY');0.1 0.3 0 0.6 0.3 0.5 0.2 0 0.1 0.7 0.1 0.1P=实验结果：2、离散对称信道：当离散准对称信道划分的子集只有一个时，信道关于输入和输出对称。
信息论与编码实验报告
信息论与编码实验报告一、实验目的信息论与编码是一门涉及信息的度量、传输和处理的学科，通过实验，旨在深入理解信息论的基本概念和编码原理，掌握常见的编码方法及其性能评估，提高对信息处理和通信系统的分析与设计能力。
二、实验原理（一）信息论基础信息熵是信息论中用于度量信息量的重要概念。
对于一个离散随机变量 X，其概率分布为 P(X) ＝｛p(x1)， p(x2)，， p(xn)｝，则信息熵H(X) 的定义为：H(X) ＝∑p(xi)log2(p(xi)）。
（二）编码原理1、无失真信源编码：通过去除信源中的冗余信息，实现用尽可能少的比特数来表示信源符号，常见的方法有香农编码、哈夫曼编码等。
2、有噪信道编码：为了提高信息在有噪声信道中传输的可靠性，通过添加冗余信息进行纠错编码，如线性分组码、卷积码等。
三、实验内容及步骤（一）信息熵的计算1、生成一个离散信源，例如信源符号集为{A, B, C, D}，对应的概率分布为{02, 03, 01, 04}。
2、根据信息熵的定义，使用编程语言计算该信源的信息熵。
（二）香农编码1、按照香农编码的步骤，首先计算信源符号的概率，并根据概率计算每个符号的编码长度。
2、确定编码值，生成香农编码表。
（三）哈夫曼编码1、构建哈夫曼树，根据信源符号的概率确定树的结构。
2、为每个信源符号分配编码，生成哈夫曼编码表。
（四）线性分组码1、选择一种线性分组码，如（7, 4）汉明码。
2、生成编码矩阵，对输入信息进行编码。
3、在接收端进行纠错译码。
四、实验结果与分析（一）信息熵计算结果对于上述生成的离散信源，计算得到的信息熵约为 184 比特/符号。
这表明该信源存在一定的不确定性，需要一定的信息量来准确描述。
（二）香农编码结果香农编码表如下：｜信源符号|概率|编码长度|编码值|｜｜｜｜｜｜A|02|232|00|｜B|03|174|10|｜C|01|332|110|｜D|04|132|111|香农编码的平均码长较长，编码效率相对较低。
信息论实验信息熵函数的计算
信息论实验信息熵函数的计算信息熵是信息论中的一个重要概念，用于度量信息的不确定性或者随机性。
它可以描述信息源的平均信息量，也可以用于衡量编码的效率。
本文将介绍信息熵的计算方法，并通过实例来说明如何计算信息熵。
首先，我们需要了解如何计算一个离散概率分布的信息熵。
对于一个离散概率分布，它可以由一个概率密度函数来描述，其中每个事件的概率都是非负的，并且所有事件的概率之和为1、令p(x)表示事件x的概率，则该分布的信息熵H(X)可以通过以下公式计算：H(X) = -∑ [p(x) * log₂(p(x))]其中，∑表示对所有事件求和。
log₂表示以2为底的对数函数。
该公式的物理意义是，对于每个事件x，我们将其概率p(x)与以2为底的对数计算结果相乘，并将所有结果相加，得到的值即为信息熵。
为了更好地理解信息熵的计算过程，我们可以通过一个实例来进行展示。
假设有一个硬币的抛掷实验，在该实验中，正面向上和反面向上的概率分别为p(正)=1/2和p(反)=1/2、则该实验的信息熵可以使用以下公式进行计算：H(硬币实验) = -[1/2 * log₂(1/2) + 1/2 * log₂(1/2)]首先，我们需要计算log₂(1/2)的值。
根据对数的定义，我们可以将此式化简为：H(硬币实验)=-[1/2*(-1)+1/2*(-1)]=-(-1/2+1/2)=-0正如我们所期望的，在这个实验中，硬币是确定性的，即每次抛掷都会出现正面或反面。
因此，硬币实验的信息熵为0，意味着在该实验中我们不需要任何信息来描述结果。
接下来，我们来计算一个更复杂的实例，假设有一组骰子的抛掷实验，其中每个面出现的概率分别为p(1)=1/6，p(2)=1/6，p(3)=1/6，p(4)=1/6，p(5)=1/6，p(6)=1/6、我们可以使用以上公式计算该实验的信息熵：H(骰子实验) = -[1/6 * log₂(1/6) + 1/6 * log₂(1/6) + 1/6 *log₂(1/6) + 1/6 * log₂(1/6) + 1/6 * log₂(1/6) + 1/6 * log₂(1/6)]首先，我们需要计算log₂(1/6)的值。
信息论与编码实验指导书
没实验一 绘制二进熵函数曲线（2个学时）一、实验目的：1. 掌握Excel 的数据填充、公式运算和图表制作2. 掌握Matlab 绘图函数3. 掌握、理解熵函数表达式及其性质 二、实验要求：1. 提前预习实验，认真阅读实验原理以及相应的参考书。
2. 在实验报告中给出二进制熵函数曲线图 三、实验原理：1. Excel 的图表功能2. 信源熵的概念及性质()()[]()[]())(1)(1 .log )( .)( 1log 1log )(log )()(10 , 110)(21Q H P H Q P H b nX H a p H p p p p x p x p X H p p p x x X P X ii i λλλλ-+≥-+≤=--+-=-=≤≤⎩⎨⎧⎭⎬⎫-===⎥⎦⎤⎢⎣⎡∑四、实验内容：用Excel 或Matlab 软件制作二进熵函数曲线。
具体步骤如下：1、启动Excel 应用程序。
2、准备一组数据p 。
在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。
3、取定对数底c ，在B 列计算H(x) ,注意对p=0与p=1两处，在B 列对应位置直接输入0。
Excel 中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。
选用c=2,则应用函数LOG(x,2)。
在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2) 双击B2的填充柄，即可完成H(p)的计算。
4、使用Excel 的图表向导，图表类型选“XY 散点图”，子图表类型选“无数据点平滑散点图”，数据区域用计算出的H(p)数据所在列范围，即$B$1:$B$101。
在“系列”中输入X值(即p值)范围，即$A$1:$A$101。
最新《信息论基础》实验报告-实验1
最新《信息论基础》实验报告-实验1实验目的：1. 理解信息论的基本概念，包括信息熵、互信息和编码理论。
2. 通过实验掌握香农信息熵的计算方法。
3. 学习并实践简单的数据压缩技术。
实验内容：1. 数据集准备：选择一段英文文本作为实验数据集，统计各字符出现频率。
2. 信息熵计算：根据字符频率计算整个数据集的香农信息熵。
3. 编码设计：设计一种基于频率的霍夫曼编码方案，为数据集中的每个字符分配一个唯一的二进制编码。
4. 压缩与解压缩：使用设计的霍夫曼编码对原始文本进行压缩，并验证解压缩后能否恢复原始文本。
5. 性能评估：比较压缩前后的数据大小，计算压缩率，并分析压缩效果。
实验步骤：1. 从文本文件中读取数据，统计每个字符的出现次数。
2. 利用统计数据计算字符的相对频率，并转换为概率分布。
3. 应用香农公式计算整个数据集的熵值。
4. 根据字符频率构建霍夫曼树，并为每个字符生成编码。
5. 将原始文本转换为编码序列，并记录压缩后的数据大小。
6. 实现解压缩算法，将编码序列还原为原始文本。
7. 分析压缩前后的数据大小差异，并计算压缩率。
实验结果：1. 原始文本大小：[原始文本大小]2. 压缩后大小：[压缩后大小]3. 压缩率：[压缩率计算结果]4. 霍夫曼编码表：[字符与编码的对应表]实验讨论：- 分析影响压缩效果的因素，如字符集大小、字符频率分布等。
- 讨论在实际应用中，如何优化编码方案以提高压缩效率。
- 探讨信息论在数据压缩之外的其他应用领域。
实验结论：通过本次实验，我们成功地应用了信息论的基本原理，通过霍夫曼编码技术对文本数据进行了有效压缩。
实验结果表明，基于字符频率的霍夫曼编码能够显著减少数据的存储空间，验证了信息论在数据压缩领域的有效性和实用性。
信息论实验报告实验1
信息论实验报告一实验一1、实验内容（1）英文信源由26个英文字母和1个空格组成，假定字符从中等概选取，那么一条100个字符的信息提供的信息量为多少？（2）若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。
2、设计思路及步骤I=log2P iH(X)=∑−P i log2Pii26个字母和一个空格，因等概选取可以先求得其中一个字符的信息量，通过扩展实现计算100个字符的信息量。
对于第二问，可以将字符分为三组，又因每组字符的概率相等，因此可以求出每组每一个字符的概率。
通过信息熵的定义可以求出结果。
3、程序代码及调试过程4、出现的问题及解决方法（1）没有看清题目要求，漏掉空格（2）是否可以将三组字符看作整体5、结果及说明通过实验结果可以看出100个字符的信息量，以及字符信源熵。
比较H2与H3可以看出，并不可以简单的将三组数据看作整体。
6、实验总结本实验通过计算多字符的信息量与分组信息熵，让我们加深了信息论中有关信息量与信息熵的概念与定义，同时也让我们熟悉了matlab的基本操作。
实验二1、实验内容绘制二进制信源熵函数曲线。
2、设计思路及步骤根据信源熵的定义以及公式计算出熵，通过matlab的矩阵运算计算出熵数组，然后通过plot函数画出图像。
3、程序代码及调试过程4、出现的问题及解决方法矩阵乘法出错，，需要使用matlab中的点乘5、结果及说明信源熵的图像为凸形曲线，熵在信源等概分布时取最大值，先增大再减小。
6、实验总结本实验通过对信源熵的作图让我们熟悉了matlab中图像生成函数，以及矩阵运算。
实验三，四1、实验内容求信源的熵和其二次、三次扩展信源的熵。
离散二维平稳信源的概率空间：求：(a)信源符号之间无依赖性时，信源X的信息熵H(X)；(b)信源符号有依赖性时的条件熵H(X2｜X1)；(c)联合熵H(X1X2)；(d)根据以上三者之间的关系，验证结果的正确性。
信息论实验3汉明码
实验三、汉明码一、汉明编码步骤：公式：码长：n=2^m-1信息位数：k=2^m-m-1监督位数：r=n-k=m最小码距：d=31、当给定m后，可由以上公式得到汉明码的一致校验矩阵H2、然后根据一致校验矩阵与生成矩阵之间的部分转置关系得到生成矩阵G3、再由信源矩阵与生成矩阵的乘积得到汉明编码二、汉明码的解码：由生成矩阵或一致校验矩阵与码字之间的乘积为零矩阵可得出监督码元与信息码元之间的模二加关系，然后根据所得的关系，用计算伴随式进行译码。
然后确定错误图样并加以纠正。
三、汉明码编解码流程图如图（1）四、仿真程序：clear all %初始化clc[h,g,n,k]=hammgen(3); %产生H和G矩阵for i=1:2^k %for j=k:-1:1if rem(i-1,2^(-j+k+1))>=2^(-j+k)u(i,j)=1;elseu(i,j)=0;endendendc=rem(u*g,2) %产生（7,4）汉明码本d=min(sum((c(2:2^k,:)))) %计算最小码距h %输出监督矩阵g %输出生成矩阵运行结果如下：c =0 0 0 0 0 0 01 0 1 0 0 0 1 1 1 1 0 0 1 0 0 1 0 0 0 1 10 1 1 0 1 0 01 1 0 0 1 0 1 1 0 0 0 1 1 00 0 1 0 1 1 11 1 0 1 0 0 0 0 1 1 1 0 0 10 0 1 1 0 1 01 0 0 1 0 1 1 1 0 1 1 1 0 0 0 0 0 1 1 0 10 1 0 1 1 1 01 1 1 1 1 1 1d =3h =1 0 0 1 0 1 1 0 1 0 1 1 1 00 0 1 0 1 1 1g =1 1 0 1 0 0 00 1 1 0 1 0 01 1 1 0 0 1 0 1 0 1 0 0 0 1图（1）五、汉明码的性能及优缺点：汉明码是一种完备码，是能够就政党恶错误的线性分组码。
《信息论与编码技术》实验教案
《信息论与编码技术》实验教案一、实验目的1. 理解信息论基本概念，如信息量、信道容量等。
2. 掌握编码技术的基本原理，如Hamming 编码、卷积编码等。
3. 学会使用仿真工具进行信息论与编码技术的实验。
二、实验原理1. 信息论基本概念：信息量、信道容量、误码率等。
2. 编码技术原理：Hamming 编码、卷积编码、解码算法等。
3. 仿真工具的使用：调用相关函数，设置参数，观察实验结果。
三、实验内容1. 实验一：信息量计算与信道容量分析利用仿真工具随机比特序列，计算信息量。
改变信道参数，分析信道容量变化。
2. 实验二：Hamming 编码与解码编写Hamming 编码器和解码器，进行编码和解码操作。
分析误码率与编码位数的关系。
3. 实验三：卷积编码与解码编写卷积编码器和解码器，进行编码和解码操作。
分析误码率与卷积编码器参数的关系。
4. 实验四：不同编码方案性能比较分别使用Hamming 编码和卷积编码对相同长度比特序列进行编码。
比较两种编码方案的误码率和信息传输效率。
5. 实验五：信息论与编码技术在实际应用中的案例分析分析数字通信系统中信息论与编码技术的应用。
了解信息论与编码技术在无线通信、图像传输等领域的应用。
四、实验步骤1. 实验一：信息量计算与信道容量分析随机比特序列，计算信息量。
设置信道参数，观察信道容量变化。
2. 实验二：Hamming 编码与解码编写Hamming 编码器和解码器，进行编码和解码操作。
改变编码位数，分析误码率变化。
3. 实验三：卷积编码与解码编写卷积编码器和解码器，进行编码和解码操作。
改变卷积编码器参数，分析误码率变化。
4. 实验四：不同编码方案性能比较使用Hamming 编码和卷积编码对相同长度比特序列进行编码。
比较两种编码方案的误码率和信息传输效率。
5. 实验五：信息论与编码技术在实际应用中的案例分析分析数字通信系统中信息论与编码技术的应用案例。
了解信息论与编码技术在无线通信、图像传输等领域的应用。
《信息论与编码技术》实验教案
《信息论与编码技术》实验教案一、实验目的与要求1. 实验目的（1）理解信息论的基本概念和原理；（2）掌握信息编码的基本方法和技术；（3）培养动手实践能力和团队协作精神。
2. 实验要求（1）熟悉信息论与编码技术的基本理论；（2）具备一定的编程能力；（3）遵守实验纪律，按时完成实验任务。
二、实验内容与步骤1. 实验内容（1）信息熵的计算；（2）信源编码；（3）信道编码；（4）误码率分析；（5）编码技术的应用。
2. 实验步骤（1）实验讲解：了解实验目的、原理和实验设备；（2）信源熵的计算：根据给定的信源符号概率计算信源熵；（3）信源编码：采用香农编码和哈夫曼编码对信源进行编码；（4）信道编码：选择一种信道编码方案（如卷积编码或汉明编码），对编码后的数据进行信道编码；（5）误码率分析：通过模拟传输过程，分析不同编码方案下的误码率性能；（6）编码技术的应用：探讨编码技术在实际通信系统中的应用。
三、实验原理与方法1. 信息熵的计算信息熵是衡量信源不确定性的一种度量，采用香农熵公式计算。
2. 信源编码香农编码和哈夫曼编码是无损压缩编码方法，通过为符号分配唯一的编码，减少传输过程中的冗余信息。
3. 信道编码卷积编码和汉明编码是有损压缩编码方法，通过增加冗余信息，提高传输过程中的可靠性。
4. 误码率分析通过模拟传输过程，比较不同编码方案下的误码率性能。
5. 编码技术的应用探讨编码技术在实际通信系统中的应用，如数字通信、无线通信等。
四、实验器材与软件1. 实验器材（1）计算机；（2）实验箱；（3）调试器；（4）示波器。
2. 实验软件（1）编程语言软件（如C/C++、Python等）；（2）仿真软件（如MATLAB、Multisim等）。
五、实验结果与评价1. 实验结果（1）完成信源熵的计算；（2）得到信源编码和信道编码的代码；（3）通过模拟传输过程，得到不同编码方案下的误码率性能；（4）分析编码技术在实际通信系统中的应用。
信息论实验一实验报告范文
信息论实验一实验报告范文一、简要总结信源的熵、信道容量的物理意义，概念:信源熵的物理意义：指信源中的各个符号的平均不确定性；熵是信源符号的平均信息量，是信源符号的平均不确定度。
信道容量概念：在信道可以传输的基本前提下，对信源的一切可能的概率分布而言，信道能够传输的最大（接收）熵速率称为信道容量。
意义：求出了某个信道的信道容量，也就找到了信源的最佳概率分布。
从而指导人们改造信源，使之最大可能地利用信道的传输能力。
二、写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图。
离散信源熵的计算步骤：q1Hr某Elogrpailograip(ai)i1信道容量的计算步骤：CI某;Ybit/符号ma某P某实现离散信源熵的计算流程图：输入P(ai)H(某)=0,i=1H（某）=H（某）+P(a1)logr(1/a1)i“”实现离散信道容量计算的程序流程图：输入p(某i)p(0)(某i)p(yj/某i)aie某pp(yj/某i)lnp(某i)p(yj/某i)jiC1n1,nlnp(某i)aiiC2n1,nlnma某aiiC1n1,nC2n1,n是CC1n1,n结束p(某i)p(某i)aip(某i)aii否三、实现离散信源熵、离散信道容量计算的matlab源程序：离散信源的熵（借助习题2.16）和离散信道容量（借助习题3.6）分析习题2.16的matlab程序：Clearall;%清除所有变量P某=[0.70.3];P=0;%输入信源概率，P某=p（某）H某=-P某某log2(P 某’)%计算信源的熵H（某）Py某=[0.90.2;0.10.8];p某=[0.70.3;0.70.3];%Py某为条件概率P某y=Py某.某p某;fori=1:2 h某某(i,1)=-P某y(I,:)某log2(P某y(i,:)’);P=P+h某某(i,1);%计算H（某^2）endh2某=P/2%计算H2（某）程序运行结果：H某=0.8813H2某=0.7131习题3.6的matlab程序：clearall;%清除所有变量a=0;p=[2/31/3;1/32/3];%信道矩阵Pfori=1:2,a=a+p(1,i)某log2(p(1,i));endC=log2(2)+a%计算对称离散信道的信道容量Cfori=1:2,p1(i)=1/2;endp1%最佳输入概率分布程序运行结果C=0.0817p1=0.50000.50004、讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验报告桂林理工大学信息科学与工程学院Matlab基础：1、变量不需指定类型，拿来就用；变量区分大小写2、向量定义： x=[1/2, 1/4, 1/4](行向量); y=(0:360)*pi/180; 向量的转置x’（列向量）3、 .* ./ .^运算，逐个元素进行运算。
例x1=[1/2, 1/4, 1/4], x2=[2, 4,4]，则x1*x2没定义；x1*x2’有定义（=3）；x1.*x2有定义（逐元素相乘=[1,1,1]）4、变量值显示：如果一行的后面没有分号，则显示出该行的变量结果。
如a=3 显示出a=3。
5、画图命令plot(x,y); x（向量）是一系列坐标， y（向量）是一系列值。
6、求和：sum(), 求积分：求微分：符号微分diff(f)——求f对自由变量的一阶微分diff(f,v)——求f对符号变量v的一阶微分diff(f,v,n)——求f对符号变量v求n阶微分符号积分int(f,v) ——求表达式f的对符号变量v的不定积分int(f,v,a,b) ——求表达式f的对符号变量v的在(a,b)范围内定积分7 M函数文件的基本结构函数文件由function语句引导，其基本结构为：function 输出形参表=函数名(输入形参表)注释说明部分函数体语句说明：(1)关于函数文件名: 函数文件名与函数名也可以不相同。
当两者不同时，MATLAB将忽略函数名而确认函数文件名，因此调用时使用函数文件名。
(2)关于注释说明部分。
注释说明包括三部分内容：①紧随函数文件引导行之后以%开头的第一注释行。
②第一注释行及之后连续的注释行。
③与在线帮助文本相隔一空行的注释行。
(3)关于return语句。
执行到该语句就结束函数的执行，程序流程转至调用该函数的位置。
通常，在函数文件中也可不使用return语句，这时在被调函数执行完成后自动返回。
8显示图形1、%plot函数绘制结果t= 0:pi/100:2*pi; %定义数据点y = sin(t);plot(t,y) %显示图形grid on %显示网格xlabel('t'); %显示x轴的变量ylabel('sin(t)'); %显示y轴的变量2、%plot 函数中x-y 副的使用 t = 0:pi/100:2*pi; y = sin(t); plot(t,y) grid ony2 = sin(t-0.25); y3 = sin(t-0.5); plot(t,y,t,y2,t,y3)实验一：计算离散信源的熵一、实验设备: 1、计算机2、软件：Matlab 二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程； 三、实验内容:1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。
3、掌握二元离散信源的最大信息量与概率的关系。
4、将程序在计算机上仿真实现，验证程序的正确性并完成习题。
四、实验报告要求简要总结离散信源的特点及离散信源平均信息量的计算,写出习题的MATLAB 实现语句。
信息论基础： 自信息的计算公式21()log aI a p = Matlab 实现：I=log2(1/p) 或I=-log2(p) 熵（平均自信息）的计算公式22111()log log qqi i i i i i H x p p p p ====-∑∑Matlab 实现：HX=sum(-x.*log2(x))；或者h=h-x(i)*log2(x(i));习题：1. 甲地天气预报构成的信源空间为：1111(),,,8482X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨云 大雨晴 乙地信源空间为：17(),88Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦小雨晴 求此两个信源的熵。
求各种天气的自信息量。
案：() 1.75;()0.5436H X H Y ==代码：x=[1/2,1/4,1/8,1/8] y=[7/8,1/8]HX=sum(-x.*log2(x)) HY=sum(-y.*log2(y)) IX=-log2(x)IY=-log2(y)2、某信息源的符号集由A 、B 、C 、D 、E 组成，设每一符号独立出现，其出现的概率分别为，1/4，1/8，1/8，3/16，5/16，试求该信源符号的平均信息量。
（答案：H(X) = 2.2272bit/符号）解：由公式22111()log log qqi i i i i i H x p p p p ====-∑∑得：222221*********()log log log log log 2.227244888816161616H X =-----=（比特/符号）3、设有四个消息分别以概率1/4，1/8，1/8，1/2传送，每一消息的出现是相互独立的。
试计算其平均信息量。
（答案：H(X) =1.75bit/符号）解：由公式22111()log log qqi i i i i i H x p p p p ====-∑∑得：222211111111()l o g l o g l o g l o g 1.7544888822H X =----= 4. 设一个二元信源（只有0和1两种符号）其概率空间为：(),1X p x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦0 1 编程画出H 与p 的关系，并说明当P 呈什么分布时，平均信息量达到最大值。
（说明：H=-p.*log2(p)-(1-p).log2(1-p);）解：平均信息量：()()()()11log log q i i i i H X E p a p a p a =⎡⎤⎛⎫==-⎢⎥ ⎪ ⎪⎢⎥⎝⎭⎣⎦∑所以有：()()()()()1122log log H X p a p a p a p a =+⎡⎤⎣⎦即二元信源的平均信息量：()()()22log 1log 1H X p p p p =⨯+--⎡⎤⎣⎦当p 取值于[0，1] 时H(X)是上凸函数，等概率出现时，信源的熵有最大值，等于1比特信息量实验二：验证熵的可加性与强可加性1. 【例2.6】有一离散无记忆信源123111(),,244a a a X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦验证二次扩展信源2X 的熵等于离散信源X 的熵的2倍，即2()2()H X H X = 代码：x=[1/2,1/4,1/4];hx=sum(x.*log2(1./x))x2=[1/4,1/16,1/16,1/16,1/8,1/8,1/8,1/16,1/8,1/16]hx2=sum(x2.*log2(1./x2))答案：2() 1.5;() 3.0H X H X ==2. 验证两个统计独立的信源,X Y ，验证：()()()H XY H X H Y =+其中：123111(),,244a a a X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦123111(),,333b b b Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦解：由22111()log log qqi i i i i i H X p p p p ===-=-∑∑可得：信源X 的信息熵为：222111111()log log log 1.5/224444H X =---=（比特符号）信源Y 的信息熵为：222111111()log log log 1.585/333333H Y =---=（比特符号）XY 的联合熵为：()()()3311log 3.085/i j i j i j H XY p a b p a b ===-=∑∑（比特符号）()()() 3.085/H XY H X H Y =+=（比特符号）由此可验证：()()()H XY H X H Y =+3、条件熵的计算与熵的强可加性验证离散二维平稳信源，满足：12121()()(|)H X X H X H X X =+ 某一离散二维平稳信源0121141(),,3694X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦12X X 其联合概率分布12()p X X 为：编程计算： 1) 联合熵12()H X X 2) 条件熵21(|)H X X3) 验证：12121()()(|)H X X H X H X X =+ 解：信源X 的信息熵为：()()()311log 1.5426/i i i H X p a p a ==-=∑（比特符号）计算条件熵为：()()()3321|11|log 0.8717/i j i j i j H X X p a a p a a ===-=∑∑（比特两个符号）联合熵为：()()()331211log 2.4144/i j i j i j H X X p a a p a a ===-=∑∑（比特两个符号）()()()12121|=1.5426+0.8717=2.4143/H X X H X H X X =+（比特两个符号）由此可验证：()()()12121|H X X H X H X X =+实验三：离散信道的平均互信息的计算1. 【习题3.1】 设信源12()0.6,0.4X x x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦通过一干扰信道，接收到符号为12[,]Y y y =，其信道矩阵为：516631,44P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦1) 求信源X 中事件1x 和2x 分别含有的自信息；2) 收到消息(1,2)j y j =后，获得的关于(1,2)i x i =的信息量； 3) 求信源X 和输出变量Y 的信息熵； 4) 信道疑义度(|)H X Y 和噪声熵(|)H Y X ； 5) 接收到消息Y 后获得的平均互信息；代码：x=[0.6,0.4];p=[5/6,1/6;3/4,1/4]; Ix1=log2(1./(x(1,1))) Ix2=log2(1./(x(1,2)))pxy=[x(1,1)*p(1,:);x(1,2)*p(2,:)];py=[x*p(:,1),x*p(:,2)];px_y=[pxy(:,1)/py(1,1),pxy(:,2)/py(1,2)]; I=log2(p./[py;py])Hx=sum(x.*log2(1./x))Hy=sum(py.*log2(1./py))Hx_y=sum(sum(pxy.*log2(1./px_y))) Hy_x=sum(sum(pxy.*log2(1./p)))Ixy=sum(sum(pxy.*log2(p./[py;py])))答案：12111221221.()0.737() 1.32192.(;)0.0589,(;)0.263,(;)0.0931,(;)0.32193.()0.971,()0.72194.(|)0.9635(|)0.71455.(;)0.0074I x I x I x y I x y I x y I x y H X H Y H X Y H Y X I X Y ====-=-======2. 二元信道的互信息与信源分布的关系 有二元信源：01()1X p x ωω⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎣⎦有二元信道，其传递矩阵为：11p p P p p -⎡⎤=⎢⎥-⎣⎦， 其中0.2p =，即传递矩阵0.80.20.20.8P ⎡⎤=⎢⎥⎣⎦ 编程实现下面题目：1) 画出平均互信息(;)I X Y 随信源分布ω的关系曲线，并求出最大平均互信息。