信息理论与编码实验指导书(DOC)
信息论与编码实验指导书
信息理论与编码实验教学指导书(试用教材)电子信息工程系2019年4月实验1.1 汉明码的编译码实验板实验一、实验目的1． 学习汉明码编译码的基本概念； 2． 掌握汉明码的编译码方法； 3． 验证汉明码的纠错能力。
二、实验仪器1． RZ9681实验平台 2． 实验模块： ● 主控模块● 信道编码与频带调制模块-A4 ● 频带解调与信道译码模块-A5 3． 100M 双通道示波器 4． 信号连接线 5． PC 机（二次开发）三、实验原理3.1汉明编译码介绍汉明码（Hamming Code ）是一个可以有多个校验位，具有检测并纠正一位错误代码的纠错码，所以它也仅用于信道特性比较好的环境中，如以太局域网中，因为如果信道特性不好的情况下，出现的错误通常不是一位。
汉明码的检错、纠错基本思想是将有效信息按某种规律分成若干组，每组安排一个校验位进行奇偶性测试，然后产生多位检测信息，并从中得出具体的出错位置，最后通过对错误位取反（也是原来是1就变成0，原来是0就变成1）来将其纠正。
3.2汉明编译码原理汉明码编码采用()4,7汉明码，信息位数4=k ，监督位数3=-=k n r ，可以纠一位错码，生成矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1101000101010001100101110001G ，编码情况见表 1。
表 1()4,7 Hamming 编码表汉明码译码计算校正子[]321,,S S S S =,其中24561a a a a S ⊕⊕⊕= 13562a a a a S ⊕⊕⊕= 03463a a a a S ⊕⊕⊕=校正子S 的值决定了接收码元中是否有错码，并且指出错码的位置，见表2。
表2 错码位置示意3.3 举例说明信息位10013456=a a a a ，根据表 1()4,7 Hamming 编码表，编码为1001100，如果在信道传输的过程中产生一位误码，编码接收时变为1101100，我们计算校正子：124561=⊕⊕⊕=a a a a S 113562=⊕⊕⊕=a a a a S 003463=⊕⊕⊕=a a a a S校正子110=S ，查找表2 错码位置示意，5a 产生误码，则译码输出信息位1001。
信息论与编码实验指导书
《信息论与编码》实验指导书前言当前，信息论与编码已经成为电子信息类专业高年级学生必修的专业基础课。
尽管各个院校开设课程名称有所不同，但都是以香农信息论为核心内容的。
这是一门理论性和系统性很强的课程。
涉及多个学科，需要广泛数学知识。
为了能透彻掌握信息论基本概念和分析方法，做实验进行实践练习是不可缺少的环节。
通过综合性、验证性实验，可以加深对理论和概念的理解，增强分析和解决实际问题的能力。
为此，河北工业大学信息学院编写了《信息论与编码实验指导书》，由于可供参考的实验指导书有限，本书的不妥和错误之处，恳请读者予以批评指正。
马杰2008年2月目录实验一信息熵与图像熵计算--------------------------------------- 1实验二 Huffman 编码实验------------------------------------------ 6实验三算术编码实验------------------------------------------------ 11 实验四 CRC校验编码实验------------------------------------------17实验一信息熵与图像熵计算（2学时）一、实验目的1．复习MATLAB的基本命令，熟悉MATLAB下的基本函数。
2．复习信息熵基本定义, 能够自学图像熵定义和基本概念。
二、实验内容1．能够写出MATLAB源代码，求信源的信息熵。
2．根据图像熵基本知识，综合设计出MATLAB程序，求出给定图像的图像熵。
三、实验仪器、设备1．计算机－系统最低配置 256M内存、P4 CPU。
2．Matlab仿真软件－ 7.0 / 7.1 / 2006a 等版本Matlab软件。
四、实验原理1． MATLAB中数据类型、矩阵运算、图像文件输入与输出知识复习。
2．利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。
自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。
信息与编码理论实验指导书
实验一 信道容量的迭代算法一、 实验目的1、掌握信道容量的概念。
2、了解迭代法计算信道容量的流程。
3、熟悉Matlab 程序的设计和调试方法。
二、 实验要求1、学习Matlab 软件编程和调试方法；2、输入：任意一个信道转移概率矩阵。
包括信源符号个数、信宿符号个数、信道转移概率，在程序运行时从键盘输入；3、输出：输入的信道矩阵、信道容量C 。
三、 算法描述1. 初始化信源分布),,,,,(21)0(r i p p p p p ⋅⋅⋅⋅⋅⋅= （一般初始化为均匀分布），置迭代计数器0=k ,设信道容量相对误差门限为,0,>δδ可设-∞=)0(C ； 2. r i p pp p i k i ij k i ij k ji ,,2,1)()()(⋅⋅⋅==∑ϕ；s j ,,1⋅⋅⋅= 3. r i p p p i j k ji ij j k ji ij k i ,,1ln exp ln exp )()()1(⋅⋅⋅=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡=∑∑∑+ϕϕ 4. ⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧⎥⎦⎤⎢⎣⎡=∑∑+i j k ji ij k p C )()1(ln exp ln ϕ 5. 如果,)1()()1(δ≤-++k k k C C C 转向76. 置迭代序号k k →+1，转向27. 输出)1(+k i p 和)1(+k C 的结果8. 停止四、 实验报告内容1、画出信道容量迭代算法流程图；2、给出实验结果的截图（输入信道矩阵和信道容量计算结果）；3、对各种情况的实验结果进行分析和检验。
附：实验用Matlab 源程序。
（如果使用了非给定源程序）实验报告提交：电子文档（邮箱：yangxiaoping2004@ ）实验过程：结果出来时，请实验老师检查并做记录（1个结果即可）。
实验二 唯一可译码判决准则一、 实验目的1、了解唯一可译码的概念。
2、掌握唯一可译码判决准则。
3、掌握Matlab 程序调试方法。
《信息论与编码技术》实验教案
技术选型
根据实际需求选择合适的差错控制编码技术， 包括线性分组码、卷积码等。
实现与测试
通过编程实现所选差错控制编码技术的编码和解码过程，并进行测试和性能分 析。
04
现代编码技术实验
Turbo码编译码原理及性能评估
Turbo码基本原理
介绍Turbo码的结构、编码原理、迭代译码原理等基本概念。
编译码算法实现
《信息论与编码技术》实验教案
目录
• 课程介绍与实验目标 • 信息论基础实验 • 编码技术基础实验 • 现代编码技术实验 • 信息论与编码技术应用案例分析 • 课程总结与展望
01
课程介绍与实验目标
信息论与编码技术课程概述
课程背景
信息论与编码技术是通信工程、 电子工程等专业的核心课程，主 要研究信息的传输、存储和处理 过程中的基本理论和方法。
2. 根据概率分布生成模拟信源序列；
03
离散信源及其数学模型
3. 计算信源熵、平均符号长度等参数；
4. 分析实验结果，理解信源熵的物理 意义。
信道容量与编码定理验证
实验目的
理解信道容量的概念、计算方法和物理意义，验证香农编码定理的正确性。
实验内容
设计并实现一个信道模拟器，通过输入不同的信道参数和编码方案，计算并输出信道容量、误码率等关键参数。
数据存储系统中纠删码技术应用
纠删码基本原理
阐述纠删码的基本概念、原理及其在数据存储系统中的应用价值。
常用纠删码技术
介绍常用的纠删码技术，如Reed-Solomon码、LDPC码等，并分 析其性能特点。
纠删码技术应用实践
通过实验，将纠删码技术应用于数据存储系统中，评估其对系统可 靠性、数据恢复能力等方面的提升效果。
《信息理论与编码》课程设计指导书
《信息理论与编码》课程设计指导书指导教师：设计专业及班级：设计时间：一、设计的作用、目的《信息论与编码》是一门理论与实践密切结合的课程,课程设计是其实践性教学环节之一，同时也是对课堂所学理论知识的巩固和补充。
其主要目的是加深对理论知识的理解，掌握查阅有关资料的技能，提高实践技能，培养独立分析问题、解决问题及实际应用的能力。
通过完成具体编码算法的程序设计和调试工作，提高编程能力，深刻理解信源编码、信道编译码的基本思想和目的，掌握编码的基本原理与编码过程，增强逻辑思维能力，培养和提高自学能力以及综合运用所学理论知识去分析解决实际问题的能力，逐步熟悉开展科学实践的程序和方法。
二、设计任务及要求题目一：二进制哈夫曼编码的分析与MATLAB实现1．理解无失真信源编码的理论基础，掌握无失真信源编码的基本方法；2．根据哈夫曼编码算法，考虑一个有多种可能符号（各种符号发生的概率不同）的信源，得到哈夫曼编码和码树；3．掌握哈夫曼编码的优缺点；4．能够使用MATLAB或其他语言进行编程，编写的函数要有通用性，要理解每个函数的具体意义和适用范围，对主要函数的功能和参数做详细说明，要求程序输出显示所有的码字，平均码长，编码效率。
题目二：线性分组码编码的分析与MATLAB实现1．理解信道编码的理论基础，掌握信道编码的基本方法；2．掌握生成矩阵和一致校验矩阵的作用和求解方法；3．针对线性分组码分析其纠错能力，并能够对线性分组码进行译码；4．能够使用MATLAB或其他语言进行编程，实现编码及纠错，编写的函数要有通用性。
题目三：费诺编码的分析与实现1．理解无失真信源编码的理论基础，掌握无失真信源编码的基本方法；2．根据费诺编码算法，考虑一个有多种可能符号（各种符号发生的概率不同）的信源，得到费诺编码；3．掌握费诺编码的优缺点；4．能够使用MATLAB或其他语言进行编程，编写的函数要有通用性，要理解每个函数的具体意义和适用范围，对主要函数的功能和参数做详细说明。
信息论与编码实验指导书
《信息论与编码》实验指导书网络与通信工程学院2014年6月目录实验一绘制信源熵函数曲线 (3)实验二哈夫曼编解码 (6)实验三离散信道容量 (10)1实验一绘制信源熵函数曲线（2学时）一、实验目的1.掌握离散信源熵的原理和计算方法。
2.熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。
3.理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。
二、实验原理1.离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。
离散信源只能产生有限种符号。
假定X是一个离散随机变量，即它的取值范围R={x1，x2，x3，…}是有限或可数的。
设第i个变量x i发生的概率为p i=P{X=x i}。
则：定义一个随机事件的自信息量I（x i）为其对应的随机变量x i出现概率对数的负值。
即：I（x i）= -log2p(x i)定义随机事件X的平均不确定度H（X）为离散随机变量x i出现概率的数学期望，即：∑∑-==i ii ii ixpxpxIxpXH)(log)()()()(2单位为比特/符号或比特/符号序列。
平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H（X）称为信源X的信源熵。
必须注意一下几点：a)某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。
b)信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给与信息者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。
c) 熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。
或者说获得这么大的信息量后，信源不确定度就被消除了。
《信息论与编码技术》实验教案
《信息论与编码技术》实验教案第一章：信息论基础1.1 信息的概念与度量介绍信息的基本概念，理解信息的含义学习信息熵的计算方法，掌握信息熵在通信系统中的应用1.2 信源与信道模型学习信源的数学模型，理解信源的随机性和统计特性学习信道的数学模型，了解信道的传输特性第二章：信源编码2.1 信源编码的基本概念理解信源编码的目的和意义学习信源编码的基本原理和方法2.2 常用信源编码技术学习霍夫曼编码、算术编码等常用信源编码技术掌握编码算法的实现和应用第三章：信道编码3.1 信道编码的基本概念理解信道编码的目的和意义学习信道编码的基本原理和方法3.2 常用信道编码技术学习卷积编码、汉明编码等常用信道编码技术掌握编码算法的实现和应用第四章：误码控制与编码技术4.1 误码产生的原因与类型了解通信系统中误码的产生原因和类型学习误码的检测与纠正方法4.2 错误控制编码技术学习自动重传请求（ARQ）、前向纠错（FEC）等错误控制编码技术掌握编码算法的实现和应用第五章：信息加密与安全5.1 信息加密的基本概念理解信息加密的目的和意义学习信息加密的基本原理和方法5.2 常用加密技术学习对称加密、非对称加密等常用加密技术掌握加密算法的实现和应用第六章：数据压缩技术6.1 数据压缩的基本概念理解数据压缩的目的和意义学习数据压缩的基本原理和方法6.2 常用数据压缩技术学习霍夫曼编码、LZ77、LZ78等常用数据压缩技术掌握压缩算法的实现和应用第七章：数字信号传输7.1 数字信号传输的基本概念理解数字信号传输的目的和意义学习数字信号传输的基本原理和方法7.2 数字信号传输技术学习基带传输、频带传输等数字信号传输技术掌握传输算法的实现和应用第八章：调制与解调技术8.1 调制与解调的基本概念理解调制与解调的目的和意义学习调制与解调的基本原理和方法8.2 常用调制与解调技术学习幅度调制、频率调制、相位调制等常用调制技术掌握调制与解调算法的实现和应用第九章：无线通信与编码技术9.1 无线通信的基本概念理解无线通信的目的和意义学习无线通信的基本原理和方法9.2 无线通信编码技术学习扩频技术、多址技术等无线通信编码技术掌握编码算法的实现和应用强调实验的重要性和在实际应用中的作用10.2 拓展学习推荐相关的学习材料和参考书籍鼓励学生探索新技术和发展趋势，提高学生的学习兴趣和动力重点和难点解析重点环节一：信息的概念与度量信息熵的计算方法是理解信息论的核心，需要重点掌握。
信息理论与编码实验指导书
信息理论与编码实验指导书《信息理论与编码》实验指导书武汉理工大学教材中心2009年7月实验一绘制二进熵函数曲线一、实验目的1.熟悉 Matlab 工作环境及工具箱；2.掌握 Matlab 绘图函数；3.理解熵函数表达式及其性质。
二、实验内容实验内容与要求内容：用 Matlab 软件绘制二进熵函数曲线。
要求：1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理；3. 独立完成实验，认真做好实验记录；4. 实验结束后，认真填写实验报告。
知识要点1. 信源熵的概念及其性质。
参照教材及参考书。
2. 二进熵公式：????X??x1?0????x2?1??P(X)???????p????????1?p?,????0?p?1 ????H(X)??? p(xi)logp(xi)???[plogp?(1?p)log(1?p)]??H(p)i注意：虽然理论上定义 0 · log0 = 0 ，但是，在实际运算时，对数函数 logx 的变量 x 不能取 0 值，而应设置一个系统默认的最小值 eps 。
三、实验总结1、绘制二进熵函数曲线，观察曲线形状。
2、结合熵函数的性质，分析二进熵函数曲线的特点。
四、思考与提高1、绘制三元熵函数曲线，观察曲线形状。
2、结合熵函数的性质，分析三元熵函数曲线的特点。
p=0.00001:0.00001:0.99999; h=-p.*log2(p)-(1-p).*log(1-p); plot(p,h); title('二进熵函数曲线'); ylabel('H(p,1-p)');p=linspace(eps,1-eps,100); q=linspace(eps,1-eps,100);[P,Q]=meshgrid(p,q); P_Q=P+Q; for n=1:100 for m=1:100 if P_Q(n,m)>=1Q(n,m)=nan; end end endH=-P.*log2(P)-Q.*log2(Q)-(1-P-Q).*log2(1-P-Q); mesh(P,Q,H);title('三维熵函数图像');实验二一般信道容量迭代算法一、实验目的1、熟悉 Matlab 工作环境及工具箱；2、掌握一般信道容量迭代算法的原理。
信息论与编码实验指导书
没实验一 绘制二进熵函数曲线（2个学时）一、实验目的：1. 掌握Excel 的数据填充、公式运算和图表制作2. 掌握Matlab 绘图函数3. 掌握、理解熵函数表达式及其性质 二、实验要求：1. 提前预习实验，认真阅读实验原理以及相应的参考书。
2. 在实验报告中给出二进制熵函数曲线图 三、实验原理：1. Excel 的图表功能2. 信源熵的概念及性质()()[]()[]())(1)(1 .log )( .)( 1log 1log )(log )()(10 , 110)(21Q H P H Q P H b nX H a p H p p p p x p x p X H p p p x x X P X ii i λλλλ-+≥-+≤=--+-=-=≤≤⎩⎨⎧⎭⎬⎫-===⎥⎦⎤⎢⎣⎡∑四、实验内容：用Excel 或Matlab 软件制作二进熵函数曲线。
具体步骤如下：1、启动Excel 应用程序。
2、准备一组数据p 。
在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。
3、取定对数底c ，在B 列计算H(x) ,注意对p=0与p=1两处，在B 列对应位置直接输入0。
Excel 中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。
选用c=2,则应用函数LOG(x,2)。
在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2) 双击B2的填充柄，即可完成H(p)的计算。
4、使用Excel 的图表向导，图表类型选“XY 散点图”，子图表类型选“无数据点平滑散点图”，数据区域用计算出的H(p)数据所在列范围，即$B$1:$B$101。
在“系列”中输入X值(即p值)范围，即$A$1:$A$101。
《信息论与编码技术》实验教案
《信息论与编码技术》实验教案一、实验目的1. 理解信息论基本概念，如信息量、信道容量等。
2. 掌握编码技术的基本原理，如Hamming 编码、卷积编码等。
3. 学会使用仿真工具进行信息论与编码技术的实验。
二、实验原理1. 信息论基本概念：信息量、信道容量、误码率等。
2. 编码技术原理：Hamming 编码、卷积编码、解码算法等。
3. 仿真工具的使用：调用相关函数，设置参数，观察实验结果。
三、实验内容1. 实验一：信息量计算与信道容量分析利用仿真工具随机比特序列，计算信息量。
改变信道参数，分析信道容量变化。
2. 实验二：Hamming 编码与解码编写Hamming 编码器和解码器，进行编码和解码操作。
分析误码率与编码位数的关系。
3. 实验三：卷积编码与解码编写卷积编码器和解码器，进行编码和解码操作。
分析误码率与卷积编码器参数的关系。
4. 实验四：不同编码方案性能比较分别使用Hamming 编码和卷积编码对相同长度比特序列进行编码。
比较两种编码方案的误码率和信息传输效率。
5. 实验五：信息论与编码技术在实际应用中的案例分析分析数字通信系统中信息论与编码技术的应用。
了解信息论与编码技术在无线通信、图像传输等领域的应用。
四、实验步骤1. 实验一：信息量计算与信道容量分析随机比特序列，计算信息量。
设置信道参数，观察信道容量变化。
2. 实验二：Hamming 编码与解码编写Hamming 编码器和解码器，进行编码和解码操作。
改变编码位数，分析误码率变化。
3. 实验三：卷积编码与解码编写卷积编码器和解码器，进行编码和解码操作。
改变卷积编码器参数，分析误码率变化。
4. 实验四：不同编码方案性能比较使用Hamming 编码和卷积编码对相同长度比特序列进行编码。
比较两种编码方案的误码率和信息传输效率。
5. 实验五：信息论与编码技术在实际应用中的案例分析分析数字通信系统中信息论与编码技术的应用案例。
了解信息论与编码技术在无线通信、图像传输等领域的应用。
信息论与编码实验报告(DOC)
计算机与信息学院信息论与编码实验报告专业班级学生姓名及学号周伟康20112910 课程教学班号任课教师苏兆品实验指导教师实验地点2013 ~ 2014 学年第一学期信息论与编码课程设计目录一．课程设计目的 (2)二．课程设计要求 (2)三．课程设计描述 (2)四．程序结构 (2)五．算法及部分源码 (3)六．用例测试 (9)七．总结 (20)一．课程设计目的通过编程实现，在理解掌握的基础上进一步扩展课授的几种无失真信源编码算法。
以实践检验理论。
二．课程设计要求1.对一灰度图像进行游程编码的设计实现（将Huffman与游程结合）。
2.试对任意的数字序列（如学号、电话号码）进行自适应算术编码。
3.围绕设计题目查阅资料，掌握编码的基本原理。
4.按设计要求和编码原理进行算法的设计，算法的设计应满足正确性、可读性、健壮性、高效率等要求。
5.在此基础上，可以进行扩展三．课程设计描述本次设计实现内容：1.对任意的信源符号序列进行N元Huffman编码/译码。
2.对任意的信源符号序列进行N元Fano 编码/译码。
3.对任意的信源符号序列进行N元Elias 编码/译码。
4.对像素矩阵进行游程与上述编码方式结合的编码/译码。
5.数字串的自适应算数编码/译码。
6.对任意给定译码规则的译码和判断其是否为即时码。
输入数据从键盘或磁盘文件读入，运算结果显示到屏幕或保存到文件。
编写可视化图形交互界面。
本次设计程序用Java实现，由本人独立完成。
四．程序结构本次设计采用MVC设计模式：控制包下为文件读写线程执行包下是执行主类模式包分编码译码两部分Item：封装每个码元符号信息和操作AnlysisModel：信源序列统计分析模型其他如右图顾名思义视图包也分编码译码两部分MainFrame：主框架界面编码下：算数编码面板分组码编码面板译码下：算数译码面板分组码译码面板五． 算法及部分源码a) N 元Huffman 编码：算法：1) 将每个信源符号加入优先队列Heap 。
《信息论与编码技术》实验教案
《信息论与编码技术》实验教案一、实验目的与要求1. 实验目的（1）理解信息论的基本概念和原理；（2）掌握信息编码的基本方法和技术；（3）培养动手实践能力和团队协作精神。
2. 实验要求（1）熟悉信息论与编码技术的基本理论；（2）具备一定的编程能力；（3）遵守实验纪律，按时完成实验任务。
二、实验内容与步骤1. 实验内容（1）信息熵的计算；（2）信源编码；（3）信道编码；（4）误码率分析；（5）编码技术的应用。
2. 实验步骤（1）实验讲解：了解实验目的、原理和实验设备；（2）信源熵的计算：根据给定的信源符号概率计算信源熵；（3）信源编码：采用香农编码和哈夫曼编码对信源进行编码；（4）信道编码：选择一种信道编码方案（如卷积编码或汉明编码），对编码后的数据进行信道编码；（5）误码率分析：通过模拟传输过程，分析不同编码方案下的误码率性能；（6）编码技术的应用：探讨编码技术在实际通信系统中的应用。
三、实验原理与方法1. 信息熵的计算信息熵是衡量信源不确定性的一种度量，采用香农熵公式计算。
2. 信源编码香农编码和哈夫曼编码是无损压缩编码方法，通过为符号分配唯一的编码，减少传输过程中的冗余信息。
3. 信道编码卷积编码和汉明编码是有损压缩编码方法，通过增加冗余信息，提高传输过程中的可靠性。
4. 误码率分析通过模拟传输过程，比较不同编码方案下的误码率性能。
5. 编码技术的应用探讨编码技术在实际通信系统中的应用，如数字通信、无线通信等。
四、实验器材与软件1. 实验器材（1）计算机；（2）实验箱；（3）调试器；（4）示波器。
2. 实验软件（1）编程语言软件（如C/C++、Python等）；（2）仿真软件（如MATLAB、Multisim等）。
五、实验结果与评价1. 实验结果（1）完成信源熵的计算；（2）得到信源编码和信道编码的代码；（3）通过模拟传输过程，得到不同编码方案下的误码率性能；（4）分析编码技术在实际通信系统中的应用。
信息论实验指导书
信息理论与编码实验指导书电子与电气工程学院罗晓琴编实验要求1、实验前认真阅读实验指导书的内容，并完成预习任务。
2、复习Matlab的相关知识，完成仿真。
3、要熟悉本次实验的任务。
4、实验过程中要认真记录实验结果，仿真结果需经指导教师审阅。
5、实验后每位同学要独立完成实验报告的内容。
目录实验一离散信源的自信息量和熵 (3)实验二最大离散熵定理 (6)实验三费诺编码 (9)实验四霍夫曼编码 (13)实验五香农编码 (16)实验一：计算离散信源的自信息量和熵一、实验目的1、熟悉离散信源的特点。
2、学习Matlab 仿真离散信源的方法。
3、学习离散信源自信息量和信源熵的计算方法。
4、熟悉 Matlab 编程。
二、实验设备 1、计算机2、软件：Matlab 三、实验原理本实验主要完成信源概率分布的自信息量以及信源熵的计算。
计算公式如下：一个字符它所携带的信息量是和该字符出现的概率有关，概率可以表征自信息量的大小自信息的计算公式为：21()log aI a p = 自信息量有两个含义：第一、当事件发生前，表示该事件发生的不确定性； 第二、当事件发生后，标是该事件所提供的信息量． 自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e 为底，单位为奈特，以10为底，单位为哈特。
在通信系统中，通常取比特为单位，底数2略去不写。
由于自信息I(a)是一个随机变量，不能用来表征整个信源的不确定度。
所以我们用平均自信息量来表征整个信源的不确定度。
平均自信息量就是信源输出所有消息的自信息的数学期望，又称为信息熵、信源熵，简称熵。
熵（平均自信息）的计算公式为：22111()log log qqi i i i i iH x p p p p ====-∑∑信息熵H （x ）是对信源的平均不确定性的描述。
它从平均意义上来表征信源的总体信息测度。
对于某特定的信源，其信息熵是一个确定的数值。
信息熵具有如下三种物理意义。
第一，信息熵H （x ）是表示信源输出后，每个消息或符号所提供的平均信息量。
《信息论与编码技术》实验教案
《信息论与编码技术》实验教案第一章：绪论1.1 课程背景介绍信息论与编码技术的起源、发展及应用领域，强调其在现代通信技术中的重要性。
1.2 实验目的使学生了解信息论与编码技术的基本概念，掌握信息论的基本计算方法，培养学生对信息编码的实际操作能力。
1.3 实验要求学生需预习相关理论课程，了解信息论的基本原理，掌握编码技术的基本概念。
第二章：信息论基本概念与计算2.1 信息量计算利用公式计算信息的熵、条件熵、联合熵等，通过实例使学生了解信息量的计算方法。
2.2 信道编码介绍常用的信道编码技术，如Hamming 码、奇偶校验码等，通过实际例子使学生了解编码的原理及应用。
2.3 误码率计算介绍误码率的定义及计算方法，使学生能够评估编码技术的性能。
第三章：数字基带传输3.1 数字基带信号介绍数字基带信号的分类、特点，使学生了解不同基带信号的传输特性。
3.2 基带传输系统分析基带传输系统的组成，了解系统中的主要噪声及影响因素。
3.3 基带传输仿真利用软件对数字基带传输系统进行仿真，使学生了解实际传输过程中的信号波形及误码情况。
第四章：信号检测与解码4.1 信号检测原理介绍信号检测的基本原理，如最大后验概率检测、最小距离检测等。
4.2 解码方法介绍解码的基本方法，如硬判决解码、软判决解码等，使学生了解不同解码方法的优缺点。
4.3 解码仿真利用软件对信号进行解码，分析不同解码方法对系统性能的影响。
第五章：实验总结与分析5.1 实验报告5.2 课程讨论组织学生进行课程讨论，分享实验心得，提高学生对信息论与编码技术的理解和应用能力。
5.3 课后作业布置课后作业，巩固实验内容，提高学生的实际操作能力。
第六章：实验一：信息熵的计算6.1 实验目的理解信息熵的概念，学习如何计算信息熵。
6.2 实验原理介绍信息熵的数学表达式和计算方法。
6.3 实验步骤1. 设置一组数据。
2. 计算信息熵。
3. 分析结果。
6.4 实验注意事项确保数据的准确性和计算的正确性。
《信息论与编码技术》实验教案-10页文档资料
教案2019 ～ 2019 学年第 1 学期《信息论与编码技术》实验教案教学院（部）电气与电子信息工程学院教研室电子信息教研室授课班级 07 电信本、08电信专授课教师艾青职称职务助教教材名称《信息论-基础理论与应用》2010 年 10 月 1 日实验二、信源编译码一、实验目的1、掌握标量量化的基本使用方法。
2、掌握预测量化的基本使用方法。
3、掌握Huffman编码的仿真方法。
4、通过信源编译码，理解香农第一定理。
二、实验主要仪器与设备1、微机三、实验原理大多数信源（比如语音、图像）最开始都是模拟信号，为了将信源输出数字化，信源必须量化为确定数目的级数。
量化方案可划分为标量量化和矢量量化两种。
在标量量化中每个信源输出都分别被量化，标量量化可进一步分为均匀量化和非均匀量化。
在均匀量化中量化区域是等长的；在非均匀量化中量化区域可以是不等长的。
矢量量化是对信源输出组合进行整体量化。
在MATLAB通信工具箱中提供了两种信源编译码的方法：标量量化和预测量化。
1、标量量化①信源编码中的μ律或A律压扩计算函数compand( )格式：out=compand(in, param, V, method)功能：实现值μ律或A律压扩，其中param为μ，V为峰值。
压扩方式由method指定。
②产生量化索引和量化输出值的函数quantiz( )格式：indx=quantiz(sig, partition)功能：根据判断向量partition，对输入信号sig产生量化索引indx，indx的长度与sig矢量的长度相同。
③采用训练序列和Lloyd算法优化标量算法的函数lloyds( )格式：[parition, codebook]=lloyds(training_set, ini_codebook) 功能：用训练集矢量training_set优化标量量化参数partition 和码本codebook。
ini_codebook是码本codebook的初始值。
信息论与编码技术实验指导书
2、写出程序代码， 3、写出在调试过程中出现的问题 ， 4、对实验的结果进行分析。
实验六 模p信道编码实验 一 实验目的:掌握通过计算机实现模p信道编码 二实验要求: 对于给定的消息序列,按照模p信道编码的方法进行 计算机实现. 三实验原理 在实际生活中，有时侯“1”和“I”很相似。 p=37(符号的个数） 数字“0”-“9”和字母“A”-“Z”和空格 共37种符号。 “0” 0 “1” 1 ¨ “A” 10 “B” 11 设有某消息的符号序列为X=X1X2X3X4, 用下表的方式来求它们的和及累加和，然后加上 适当的监督元，使累加和是模37的倍数。 消息符号
型如下图：
在给定信源概率分布条件下， 各种熵的求解方法如下： 1） 信源熵 2） 条件熵
3） 联合熵
4） 交互熵 5） 信道容量 ◼一般离散信道容量对计算步骤总结如下：
4、 实验设备：计算机 c++ 五、实验报告要求 1、 画出程序设计的流程图， 2、 写出程序代码， 3、 写出在调试过程中出现的问题 ， 4、 对实验的结果进行分析。
和 累加和 X1 X1 X1 X2 X1+X2 2*X1+X2 X3 X1+X2+X3 3*X1+2*X2+X3 X4 X1+X2+X3+X4 4*X1+3*X2+2*X3+X4
ψ X1+X2+X3+X4+ψ 5*X1+4*X2+3*X3+2*X4+ψ 四实验设备 计算机 c++ 五实验报告 1、画出程序设计的流程图， 2、写出程序代码， 3、写出在调试过程中出现的问题 ， 实验目的：通过该实验，掌握通过计算机实验信息量 和信道容量的计算方法 2、 实验要求：对一个离散的无记忆信源，给定信源的输 入概率分布，给定一个信道特性，计算各种信息量和 熵，并计算信道容量。 3、 实验原理：
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息理论与编码》实验指导书武汉理工大学教材中心2009年7月实验一 绘制二进熵函数曲线一、实验目的1.熟悉 Matlab 工作环境及工具箱；2.掌握 Matlab 绘图函数；3.理解熵函数表达式及其性质。
二、实验内容实验内容与要求内容：用 Matlab 软件绘制二进熵函数曲线。
要求：1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理；3. 独立完成实验，认真做好实验记录；4. 实验结束后，认真填写实验报告。
知识要点1. 信源熵的概念及其性质。
参照教材及参考书。
2. 二进熵公式：1201,01()1x x X p P X p p = = ⎧⎫⎡⎤= ≤≤⎨⎬⎢⎥ -⎣⎦⎩⎭()()log ()[log (1)log(1)]()i i i H X p x p x p p p p H p =- =-+-- =∑注意：虽然理论上定义 0 · log0 = 0 ，但是，在实际运算时，对数函数 logx 的变量 x 不能取 0 值，而应设置一个系统默认的最小值 eps 。
三、实验总结1、绘制二进熵函数曲线，观察曲线形状。
2、结合熵函数的性质，分析二进熵函数曲线的特点。
四、思考与提高1、绘制三元熵函数曲线，观察曲线形状。
2、结合熵函数的性质，分析三元熵函数曲线的特点。
p=0.00001:0.00001:0.99999;h=-p.*log2(p)-(1-p).*log(1-p);plot(p,h);title('二进熵函数曲线');ylabel('H(p,1-p)');p=linspace(eps,1-eps,100);q=linspace(eps,1-eps,100);[P,Q]=meshgrid(p,q);P_Q=P+Q;for n=1:100for m=1:100if P_Q(n,m)>=1Q(n,m)=nan;endendendH=-P.*log2(P)-Q.*log2(Q)-(1-P-Q).*log2(1-P-Q);mesh(P,Q,H);title('三维熵函数图像');实验二一般信道容量迭代算法一、实验目的1、熟悉Matlab 工作环境及工具箱；2、掌握一般信道容量迭代算法的原理。
二、实验内容实验内容与要求内容：用Matlab 软件编程实现一般信道容量迭代算法。
要求：1、提前预习实验，认真阅读相应的参考书，熟悉实验原理；2、遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理；3、独立完成实验，认真做好实验记录；4、实验结束后，认真填写实验报告。
知识要点:：1、一般信道容量迭代算法的原理。
参照教材及参考书。
2、程序流程图如下：其中：（1）（2）实验提示：1、设定不同的信道（对称信道、非对称信道），计算最佳输入分布，分析计算结果的异同。
2、设定不同的迭代精度，分析其对计算结果的影响。
三、实验总结1、信道的性质与最佳输入分布的关系。
2、迭代精度对计算结果的影响。
四、思考与提高1、编制一般信道容量迭代算法的通用程序，适应不同的信道特性。
2、优化程序，提高运算速度。
实验三二进制霍夫曼编码一、实验目的1、熟悉Matlab 工作环境及工具箱；2、掌握霍夫曼编码的基本步骤；3、利用MATLAB实现霍夫曼编码。
二、实验内容实验内容与要求内容：用Matlab 软件编程实现二进制霍夫曼编码。
要求：1、提前预习实验，认真阅读相应的参考书，熟悉实验原理；2、遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理；3、独立完成实验，认真做好实验记录；4、实验结束后，认真填写实验报告。
知识要点：1、霍夫曼编码的基本原理。
参照教材及参考书。
2、二进制霍夫曼编码方法。
基本原理：变长编码不要求所有码字长度相同，对不同概率的信源符号或序列，可赋予不同长度的码字。
变长编码力求平均码长最小，此时编码效率最高，信源的冗余得到最大程度的压缩。
1）几种常用变长编码方法：霍夫曼编码费若编码香农编码。
2）霍夫曼编码：二进制霍夫曼编码r进制霍夫曼编码符号序列的霍夫曼编码。
3）二进制霍夫曼编码的编码过程：将信源中n个符号按概率分布的大小，以递减次序排列起来；用0和1码分别分配给概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个新符号，并用这两个最小概率之和作为新符号的概率，从而得到只包含n-1个符号的新信源，称为其缩减信源；把缩减信源的符号仍按概率大小以递减次序排列，再将最后两个概率最小的符号合并成一个新符号，并分别用0和1码表示，这样又形成一个新缩减信源；依次继续下去，直到缩减信源最后只剩两个符号为止。
再将最后两个新符号分别用0和1 码符号表示。
最后这两个符号的概率之和为1，然后从最后一级缩减信源开始，依编码路径右后向前返回，就得到各信源符号所对应得码符号序列，即对应得码字。
r进制霍夫曼编码由二进制霍夫曼编码可推广到r进制霍夫曼编码，只是每次求缩减信源时，改求r个最小概率之和，即将r个概率最小符号缩减为一个新符号，直到概率之和为1。
但要注意，即缩减过程中可能到最后没有r个符号。
为达次目的，可给信源添加几个概率为零的符号。
符号序列的霍夫曼编码对信源编码除了对信源符号编码以外，也可对信源符号序列编码，一般来说，对序列编码比对单个符号更为有效。
实验提示：1、取得信源概率分布，并进行合法性判断；2、对信源概率分布进行降序排列；x=fliplr(sort(x))3、建立空的编码表—构造一个零矩阵；B=zeros(n,n-1)4、将信源概率分布及以后产生的缩减序列放入矩阵的某一列；5、利用得到的编码矩阵获得各元素的编码结果并输出。
三、实验总结1、变长编码和定长编码的优缺点。
2、二进制霍夫曼编码的特点。
四、思考与提高比较各种无失真信源编码算法的优缺点。
实验四线性分组码的信道编码和译码一、实验目的1、熟悉Matlab 工作环境及工具箱；2、掌握线性分组码的编码、译码原理以及纠错原理。
二、实验内容实验内容与要求内容：用Matlab 软件编程实现线性分组码的信道编码和译码。
要求：1、提前预习实验，认真阅读相应的参考书，熟悉实验原理；2、遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理；3、独立完成实验，认真做好实验记录；4、实验结束后，认真填写实验报告。
知识要点：1、线性分组码的编码、译码原理。
参照教材及参考书。
2、线性分组码的设计。
基本原理：首先，将信息序列分成K个符号一组，然后，在信息组中加入一些校验码元，组成N长码字，由此得到（N，K）分组码。
（N，K）分组码中任一码字的码长为N，所含的信息位数目为K，校验位数目为r=N－K，且码中任意两个码字的和仍为码字。
例如，对于（5，2）分组码，N=5，K=2，其编码函数f 为由编码函数可知：c ( 码字 )= m( 信息矩阵 ) G （生成矩阵）其中，生成矩阵当生成矩阵G 确定后，编码的问题就解决了。
又由编码函数的后 3 个方程可以确定校验方程，对应的矩阵形式为或，式中，H 称为一致性校验矩阵。
一致性校验矩阵如下：H 与G 的关系：，。
纠错译码时，若发送码字为 c ，则接收序列为y ，校正子S=y*=e* 。
因此，可以得到译码c=y e( 模 2 和) 。
其中，e称为差错图样。
S是传输是否出错的标志，称为伴随式。
(5,2) 线性分组码的最小汉明距离为d min=3，能够检出2 位错误或纠正1 位错误。
线性分组码的信道编码和译码流程图：图 1 线性分组码信道编码流程图图 2 线性分组码信道译码流程图实验提示：1、线性分组码中生成矩阵、校验矩阵、伴随式之间的关系。
2、在计算矩阵时，注意位操作运算。
三、实验总结1、根据不同的线性分组码，观察生成矩阵和校验矩阵的特性。
2、根据不同的线性分组码，分析检错和纠错能力。
四、思考与提高1、编制线性分组码的信道编码和译码的通用程序，适应不同的生成矩阵和校验矩阵。
2、优化程序，提高运算速度。
实验五分组乘积Turbo码动态迭代译码算法一、实验目的1.熟悉Matlab 工作环境及工具箱；2.掌握分组乘积Turbo码的编码、译码原理。
二、实验内容实验内容与要求内容：用Matlab编程实现分组乘积Turbo码动态迭代译码仿真、并试着对其算法提出优化方法。
要求：1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理；3. 独立完成实验，认真做好实验记录；4. 实验结束后，认真填写实验报告。
知识要点1. 分组乘积Turbo码（简称TPC码）是一类将分组码进行串行级联，并采用分组交织器构成的级联码，是一种构造十分简单的纠错码，它是香农信息理论提出后第一个在非零码率时可以实现无误码传输的纠错编码。
采用迭代译码方法，可发挥该码的良好性能，并特别适合于高速硬件译码。
2. TPC码的编码结构在乘积码中，分量码一般采用线性分组码，其结构简单，易于实现。
乘积码的编码过程可以分为三个步骤：（1）将信息元填入一个m2行m1列的矩阵；（2）对矩阵的每一行用一个（n1，m1）系统分组码k1进行编码，得到一个m2行n1列的矩阵；（3）对这个矩阵的每一列用一个（n2，m2）系统分组码k2进行编码，最终得到一个n2行n1列的矩阵。
这样得到的纠错码是一个（n1*n2，m1*m2）分组码，所以称为乘积码。
3. TPC码的译码算法Chase算法是一种找码字D 的低复杂度的次优算法。
4.TPC码的迭代译码在迭代过程中行译码和列译码交替进行，相互之间提供外信息，每进行一次行译码或列译码可以看作半次迭代。
注意：增加迭代次数可以提高TPC码的纠错性能，但是当迭代达到一定限度以后，译码性能就呈现出饱和的趋势。
三、实验总结1、分组乘积Turbo码动态迭代译码分析、仿真。
2、针对相应算法提出改进意见。
四、思考与提高1、当使用不同收敛率的两组参数，比较其迭代的次数，并分析那种参数可以起到改善译码性能的目的。
实验六MIMO系统信道容量分析一、实验目的1.熟悉Matlab 工作环境及工具箱；2.掌握Matlab 绘图函数；3.理解MIMO系统信道容量的分析方法。
二、实验内容实验内容与要求内容：用Matlab 软件实现对一些典型MIMO系统信道容量进行仿真。
要求：1. 提前预习实验，认真阅读教材及相应的参考书，熟悉实验原理；2. 遵守实验室规定，实验过程中服从实验室管理人员和实验指导老师的管理；3. 独立完成实验，认真做好实验记录；4. 实验结束后，认真填写实验报告。
知识要点1. MIMO ：多输入多输出无线通信系统。
提高通信系统的容量和频谱利用率，是新一代移动通信系统采用的关键技术。