信息论实验

三个定理之——限失真信源编码定理
限失真信源编码定理（香农第三定理）是有损压缩 编码的理论基础，其内容是：对任何失真测度D，只要
码字足够长，总可找到一种编码，使得当信源编码的
码率> R（D）时，码的平均失真< D；反之，如果信源 编码的码率 < R（D），就不存在平均失真 < D的编码。 可以简述为： 其中，R为信源编码码率，R（D）称为信息率失真函 数，是满足失真准则（平均失真 D）下，每信源符号 所需最小编码比特数。
三个定理之——无失真编码定理
无失真信源编码定理，也称香农第一定理， 是信源压缩编码的理论基础，其内容是:如果信 源编码码率（编码后传送信源符号所需比特数） 不小于信源的熵，就存在无失真编码，反之，不 存在无失真编码。可以简述为：
R H 存在无失真信源编码
其中，R为信源编码码率，H为信源的熵。
信息论实验
林雪红 xhlin@bupt.edu.cn
信息论概述
香农信息论的内容可用一句话概括为： “一个概念，三个定理”，就是信息熵概 念和三个编码定理。
Page 2
一个概念——信息熵
香农将信源限制为具有某一先验概率的随机 过程，对信息进行量度是信息论的首要问题。香 农定义了信息熵作为信源所含信息的量度，是信 息论中最重要的概念。
0和1等概分布 0和1的概率分布为0.2和0.8


当N不同时，比较出现的次数/N与概率之间的关系
实验内容二、马尔科夫随机数

马尔可夫信源由离散无记忆信源和一个有限状态机 组成。离散无记忆信源产生已知概率分布的独立随 机数，有限状态机是根据状态转移概率，在已知状 态和独立随机数的情况下产生输出函数。

产生[0,1]随机数U确定新的状态 将符号转移矩阵A用cumsum函数转换成累积矩阵，如 [0.1 0.2 0.7]的矩阵转换为[0.1 0.3 1] 则随机变量U的值确定概率区间，小于0.1为a，0.1~0.3 之间为b，0.3~1之间为c 根据输出符号确定所得状态。
产生已知状态转移概率的马尔可夫信源序列。 例如：一个二阶马尔可夫链，符号集A={0，1}，转 移概率分别 p ( 0 | 00 ) p (1 | 11 ) 0 . 8 ，

p (1 | 00 ) p ( 0 | 11 ) 0 . 2 p ( 0 | 01 ) p ( 0 | 10 ) p (1 | 01 ) p (1 | 10 ) 0 . 5
验证状态的平稳分布 进入平稳状态的时间

实验内容三
产生Rayleigh分布并和理论分布比较 Function ray=rayleigh(sigma，N) u1=rand(1,N); ray=sqrt(-2*sigma*sigma*log(u1));

三个定理之——有噪信道编码定理
有噪信道编码定理（香农第二定理）是信 道编码的理论基础，其Leabharlann Baidu容是：如果信息传 输速率小于信道容量，则总可找到一种编码 方式使得当编码序列足够长时传输差错任意 小，反之不存在使差错任意小的编码。可以 简述为：
R C 存在译码差错任意小的编码
其中，R为信息传输速率，也称信道编码码率， C为信道容量。
实验内容
实验一 随机信号的产生 实验二 熵和平均互信息的性质 实验三 定长码信源编码定理 实验四 Huffman编码-变长码信源编码定理的验证 实验五 离散信道容量 实验六 最佳译码准则 实验七 注水定理验证 实验八 PCM与ADPCM语音压缩编码

参考书
田宝玉 杨洁等. 信息论基础. 人民邮电出版社, 2011. 别志松，别红霞。信息与通信系统仿真。 通信系统仿真原理与无线应用

考核
总评成绩——每个实验分数的累加 实验分数

上课成绩 实验报告

实验一 随机信号的产生
随机信号的产生

目的
熟悉Matlab的使用 掌握随机数的产生方法


内容


独立离散信源的产生 马尔可夫信源的产生 连续信源的产生
随机性仿真

蒙特卡洛仿真：在随机性仿真中，要确定某个重要 的性能指标，最基本的仿真方法是给系统输入大量 的数字符号，并计算接收机输出端出差错的符号数 目
MATLAB随机数的产生
函数名 rand() 备注 产生（0,1）之间的随机数
randint() randsrc()
randn()

产生等概分布的随机整数 产生给定概率分布的随机整数
产生均值为0, 方差为1的正态分布的随机数
注：呈现随机数特性，但实质是伪随机数
实验内容一、 独立离散信源的产生

产生N长的二进制序列