[VIP专享]实验一 离散信源及其信息测度
第二章 离散信源及其信息测度讲解
空间称为信源空间。
6
单消息（符号）信源－－离散信源
特点：这些信源可能输出的消息数是有限的或可数的，
而且每次只输出其中一个消息。因此，可以用一维离散
型随机变量X来描述这个信源输出的消息。这个随机变 量X的样本空间就是符号集A；而X的概率分布就是各消 息出现的先验概率，信源的概率空间必定是一个完备集。
一般情况下，信源在不同时刻发出的符号之间是相互依赖 的。也就是信源输出的平稳随机序列X中，各随机变量Xi之 间是有依赖的。例如，在汉字组成的中文序列中，只有根 据中文的语法、习惯用语、修辞制约和表达实际意义的制 约所构成的中文序列才是有意义的中文句子或文章。所以， 在汉字序列中前后文字的出现是有依赖的，不能认为是彼 此不相关的。其他如英文，德文等自然语言都是如此。这 种信源称为有记忆信源。
X P(x)
a1, a2 ,aq
P(a1
),
P(a2
),
P(aq
)
重点掌握： 形式，每个 符号的含义
例：对于二进制数据/数字信源：U={0,1}，则
有
UP
u0
0, p0 ,
u1 p1
1
当p0
p1
1 2
0 ,1 1,1
• 离散信源的信息熵性质：
什么是信息熵； 九大性质
• 几种具体信源：
离散平稳信源 马尔可夫信源
3
信源特性与分类
信源的统计特性
• 1）什么是信源？
信源是信息的来源，实际通信中常见的信源有：语音、文字、 图像、数据…。在信息论中，信源是产生消息（符号）、消 息（符号）序列以及连续消息的来源，数学上，信源是产生
信息论与编码实验一离散信源信息量的计算
信息论与编码实验一离散信源信息量的计算【实用版】目录一、信息论与编码实验一概述二、离散信源的定义与分类三、离散信源信息量的计算方法四、实验过程及结果分析五、总结正文一、信息论与编码实验一概述信息论与编码实验一是一门关于信息论的基本概念和方法的实验课程。
信息论是研究信息传输、存储、处理和控制的科学，其目的是为了提高通信系统的效率和可靠性。
实验一的主要目的是让学生了解离散信源的定义、性质和计算方法，并掌握如何使用 Matlab 软件进行离散信源信息量的计算。
二、离散信源的定义与分类离散信源是指其输出信号为离散信号的信源，常见的离散信源有伯努利信源、马尔可夫信源等。
根据信源的性质和特点，离散信源可以分为离散无记忆信源和离散有记忆信源。
离散无记忆信源是指信源的输出信号只与当前输入信号有关，而与过去的输入信号无关；离散有记忆信源是指信源的输出信号与过去的输入信号有关。
三、离散信源信息量的计算方法离散信源的信息量是指信源输出的符号所包含的信息量，通常用比特（bit）来表示。
离散信源的信息量的计算方法主要有两种：一种是基于概率的计算方法，另一种是基于熵的计算方法。
基于概率的计算方法是通过计算信源输出符号的概率来计算信息量；基于熵的计算方法是通过计算信源的熵来计算信息量。
熵是信息论中用于度量信息量的一个重要概念，它表示信息的不确定性。
四、实验过程及结果分析在实验过程中，学生需要首先了解离散信源的定义和性质，然后通过Matlab 软件计算离散信源的熵，并根据熵的计算结果分析信源的信息量。
在实验中，学生需要编写 Matlab 程序，计算离散信源的熵，并绘制熵的图像。
通过实验，学生可以加深对离散信源的理解和掌握离散信源信息量的计算方法。
五、总结信息论与编码实验一是一门关于信息论的基本概念和方法的实验课程。
通过实验，学生可以了解离散信源的定义和性质，掌握离散信源信息量的计算方法，并熟练使用 Matlab 软件进行离散信源信息量的计算。
信息论：第2章离散信源及其信息测度
Copyright ©赵越 ise_zhaoy1@
概率
概率是事件发生可能性的数量指标。 即在多次重复后，某结果出现的比率。 1、古典型概率
定义1 若试验结果一共有n个基本事件组成，且这些事 件的出现具有相同的可能性，且事件A由其中某m个基 本事件组成，则事件A的概率为
有利于A的基本事件数 m P(A) ＝ 试验的基本事件总数 n
联合概率p(xiyj) ——X 取值xi ,Y 取值yj同时成立的概率
条件概率p(yj/xi)——X 取值xi 条件下,Y 取值yj的概率 条件概率p(xi/yj)——Y 取值yj条件下,X取值xi的概率
15
Copyright ©赵越 ise_zhaoy1@
无条件概率、条件概率、联合概率满足下 面一些性质和关系：
信源分类有多种方法，根据信源输出的消息在时间和 取值上是离散或连续进行分类：
时间（空间) 取值 离散 离散 信源种类 离散信源 （数字信 源） 举例 文字、数据、 离散化图象 数学描述 离散随机变量序列
离散
连续
跳远比赛的结果、 连续随机变量序列 连续信号 语音信号抽样以 后 波形信源 （模拟信 源） 语音、音乐、热 噪声、图形、图 象 不常见 信源的分类
23
Copyright ©赵越 ise_zhaoy1@
例：掷一个六面均匀的骰子，每次出现朝上一面
的点数是随机的，以朝上一面的点数作为随机实 验的结果，并把实验结果看作一个信源的输出， 试建立数学模型。
24
Copyright ©赵越 ise_zhaoy1@
A：{1，2，3，4，5，6}——样本(状态)空间 离散随机变量X P：{p(X=1)=1/6，p(X=2)=1/6，…， p(X=6)= 1/6} 信源的数学模型：
信息论与编码基础第2章离散信源及其信息测度
故：
P1(Xi) = P2 (Xi)= ···= PN (Xi)
N
P( X ) P( X1, X 2, , X N ) P( X i ) i 1
2.1 信源的数学模型及分类
15
设各随机变量 Xi 取自同样符号集 A={a1, a2, …, aq}，则：
N
P( X i ) P(ai1 , ai2 ,..., aiN ) P(aik ), ik {1, 2,..., q} k 1
... ...
aq P(aq )
q
P(ai ) 1
i 1
称事件ai发生所含有的信息量为 ai 的自信息量。定义为：
I (ai )
f [P(ai )] logr
1 P(ai )
logr
P(ai )
2.2 离散信源的信息熵
24
I(ai)代表两种含义：(1) 当事件ai 发生以前，表示事件ai 发生 的不确定性；(2) 当事件ai 发生以后，表示事件ai 所提供的信 息量。
1
信息论与编码基础
第二章 离散信源及其信息测度
第二章 离散信源及其信息测度
2
消息是信息的载荷者。对信息的研究，要从消息开始。 信源是产生消息或消息序列的源头。我们并不关心信源的内
部结构，不关心消息的产生原因和过程，而研究信源各种可 能的输出，以及输出各种可能消息的不确定性。 对收信者而言，在收到消息之前，对于信源发送什么消息是 不可预知的、随机的。因此可以用随机变量和随机过程来描 述信源输出的消息，或者说用一个概率空间来描述信源。 不同的信源输出不同类型的消息。可以根据消息不同的随机 性质来对信源进行分类。
qN
qN N
k 1
P(i ) P(aik ) 1
信息论基础第2章离散信源及其信息度量
第2章 离散信源及其信息度量
本章内容
2.1 离散信源的分类 2.2 离散信源的统计特性 2.3 离散随机变量的信息度量 2.4 离散信源的N次扩展信源 2.5 离散平稳信源 2.6 马尔可夫信源 2.7 离散信源的相关性和剩余度
《信息论基础》
2.1 离散信源的分类
离散信源的分类
按照离散信源输出的是一个消息符号还是消息符 号序列，可分为单符号离散信源和多符号离散信 源。
,
q2 pn
,
qm ) pn
n
m
其中， pi 1, qj pn 。
i1
j 1
可见，由于划分而产生的不确定性而导致熵的增加量为
pnHm (
q1 pn
,
q2 pn
, qm pn
)
6、上凸性
熵函数 H (p) 是概率矢量 p ( p1, p2 ,
pq ) 的严格∩型凸函数
（ 或 称 上 凸 函 数 ）。 即 对 任 意 概 率 矢 量 p1 ( p1, p2 , pq ) 和
成 H ( p1) 或 H ( p2 ) 。
和自信息相似，信息熵 H ( X ) 有两种物理含义：
① 信源输出前，信源的信息熵表示信源的平均 不确定度。
② 信源输出后，信源的信息熵表示信源输出一 个离散消息符号所提供的平均信息量。如果信道无噪 声干扰，信宿获得的平均信息量就等于信源的平均信 息量，即信息熵。需要注意的是，若信道中存在噪声， 信宿获得的平均信息量不再是信息熵，而是 2.5 节介 绍的平均互信息。
联合熵 H (XY ) 的物理含义表示联合离散符号集 XY 上
的每个元素对平均提供的信息量或平均不确定性。 单位为“bit/符号对”。 需要注意的是，两个随机变量 X 和 Y 既可以表示两个
实验一离散信源及其信息测度
预备知识一、矩阵处理1）在MATLAB中矩阵的创建应遵循以下基本常规：矩阵元素应用方括号（[]）括住；每行内的元素间用逗号（,）或空格隔开；行与行之间用分号（;）或回车键隔开；元素可以是数值或表达式。
2）矩阵赋值若A=[1 2 3; 4 5 6; 7 8 9;10 11 12]若A=[1 2 3; 4 5 6; 7 8 9;10 11 12]，选出前3行构成矩阵B，B=A(1：3，:)选出前2列构成矩阵C，C=A(:，1:2)3）矩阵删除在MATLAB中可以对数组中的单个元素、子矩阵和所有元素进行删除操作，删除就是将其赋值为空矩阵（用[]表示）。
若将A的2,3行去除，则A([2,3],:)=[]4）矩阵变换A' %矩阵A的转置A(:) %矩阵A按列展开形成一维数组5）矩阵运算点运算两个矩阵之间的点运算是按照数组运算规则计算，矩阵的对应元素直接运算。
要求参加运算的矩阵大小必须相同。
有“.*”、“./”和“.\”三种运算符。
乘法运算两个矩阵的维数相容时（A的列数等于B的行数），可以进行A乘B的乘法运算。
二、M文件if语句最简单的选择结构语句，其基本格式为：if 表达式语句组end说明：表达式多为关系或逻辑表达式。
如果表达式为真（非零），就执行if和end之间的语句组，然后再执行end之后的语句；如果表达式为假（零），就直接执行end之后的语句。
for语句for语句为计数循环语句，在许多情况下，循环条件是有规律变化的，通常把循环条件初值、终值和变化步长放在循环语句的开头，这种形式就是for语句的循环结构。
for循环的一般形式是：for 循环变量名=表达式1：表达式2：表达式3语句体end说明：其中表达式1的值是循环变量的初值，表达式2的值是循环步长，表达式3的值是循环变量的终值。
初值、步长和终值可以取整数、小数、正数和负数，步长可以缺省，缺省值为1。
continue语句continue语句用于控制for循环或while循环跳过某些执行语句，当出现continue 语句时，则跳过循环体中所有剩余的语句，继续下一次循环，即结束本次循环。
第3讲——离散信源的数学模型及其信息测度
p(a a ) log p(a
i j i 0 j 0
2
2
j
| ai ) 0.872 bits
而信源X的信息熵为
H ( X1)
p(a ) log p(a ) 1.543
i i i 0
2
bits
比较
H 2 ( X) H (X1 )
符号之间存在关联性
H (X 2 X1 ) H (X1 )
离散平稳信源特点
（1）条件熵H (XL|X1X2·· L-1) 随L的增加非递增 ·X （2）L给定时, H L(X)≥ H (XL|X1X2·· L-1) ·X （3）平均符号熵HL(X)随L的增加非递增
lim lim （4） H ( X ) L H L ( X) L H ( X L | X 1 X 2 X L 1 )
冗余度
log 2 n H0 ( X ) H1 ( X ) H 2 ( X ) H ( X )
表明信源的记忆长度越长，熵就越小；即信源符号的 相关性越强，所提供的平均信息量就越小。 为了定量地描述信源的有效性，定义: 相对率
H ( X ) H0 ( X )
冗余度 1 1
p( xi / y j ) p( xi ) p( xi y j ) p( xi ) p( y j ) p( y j / xi ) p( y j )
I ( X ; Y ) p( xi y j ) log
i 1 j 1 n m
I ( X ; Y ) p( xi y j ) log
H (X2 ) log2 4 2 bit – 即用2比特才能表示该事件。 • 信源的符号熵
H 2 ( X) 1 H ( X 2 ) 1 bit 2
信息论 基础理论与应用第三版(傅祖芸)第2章 离散信源及其信息测度
2）离散无记忆平稳信源
离散平稳信源的特例，信源发出的符号都相互统计独立，即各随机变 量Xi (i＝1,2,…,N)之间统计独立。
性质：
独立－>P(X)= P(X1, X2, …,XN)= P1(X1) · P2(X2)· · · PN(XN) 平稳－>P1(Xi) = P2(Xi)=· · ·= PN(Xi) = P(Xi)
5）m阶马尔可夫信源（非平稳信源）
不同时刻发出的符号间的依赖关系
P(xi | xi2 xi1xi1 xi2 xim x1 ) P(xi | xi1xi2 xim ) (i 1,2, , N )
记忆信源的记忆长度为m+1时，称这种有记忆信源为m 阶马尔可夫信源。
若上述条件概率与时间起点 i 无关，信源输出的符号序 列可看成为时齐马尔可夫链，则此信源称为时齐马尔可 夫信源。
乙地天气预报的信源空间的信息熵为:
H (Y ) 7 log 7 1 log 1 log 1 7 log 7 0.544(bit / 符号)
8 88 8
88
讨论：甲地极端情况
X 晴 阴 大雨 小雨
极端情况1：晴天概率＝1
P(x)
1
0
0
0
H(X ) 1 log1 0 log 0 0 log 0 0 log 0
4）有记忆信源
信源在不同时刻发出的符号之间是相互依赖的，即信源输出 的随机序列X中，各随机变量Xi之间相互依赖。
须使用随机矢量的联合概率分布和条件概率分布来说明它们 之间的关联关系。
例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、 修辞制约和表达实际意义的制约所构成的中文序列才是有意义 的中文句子或文章。所以，在汉字序列中前后文字的出现是有 依赖的，是彼此相关的。
第2章离散信源及其信息测度
X
P
(a, b) p(x)
p(x) 0，
b
p(x)dx 1
a
2.1 信源的数学模型及分类
2.1.2 信源输出的消息用随机矢量描述
实际信源每次输出的消息是按一定概率选取的 符号序列，可以看做是时间上或者空间的随机矢 量。用N维随机矢量X=(X1,X2,…,XN)表示，又称 为随机序列。
主要内容
2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.4 离散无记忆信源的扩展信源 2.5 离散平稳信源 2.6 信源剩余度
2.1 信源的数学模型及分类
通信过程是从信源开始的，信源发送的是消息 或消息序列，通信系统中传递的是消息，消息中 包含信息。因此，通过研究消息来研究信源。
若随机矢量的各维概率分布都与时间起点无关， 这样的信源称为平稳信源。
每个随机变量Xi都是离散取值且其可能取值是 有限的，这样的信源称为离散平稳信源。
每个随机变量Xi都是连续取值的连续型随机变 量，则为连续平稳信源。
2.1 信源的数学模型及分类
若信源先后发出的各个符号彼此统计独立，则：
P(X ) P(X1X 2 X N ) P(X1)P(X 2)P(X N )
小与信源的符号数及其概率分布有关。
用概率矢量P来表示概率分布，H(P)为熵函数。
P (P(a1), P(a2), , P(aq )) ( p1, p2, , pq )
2.1 信源的数学模型及分类
则信源X所输出的随机矢量X所描述的信源称 为离散无记忆信源X的N次扩展信源
若信源在不同时刻发出的符号之间是相互依赖 的，这种信源为有记忆信源。
通常符号之间的依赖关系（记忆长度）是有限 的，若记忆长度为m+1,则称这种有记忆信源为 m阶马尔可夫信源。
第二章 离散信源及其信息测度_01
I [ P2 ( x)] I [ P 3 ( x)]
第三次测量只需在2个灯泡中进行。图2.2中假设第二次测量的结果是不 通，也就知损坏的灯泡在最左边二个之一。这样，第三次测量如图2.2所示， 通过第三次测量完全消除了不确定性，能获知哪个灯泡是坏了的。第三次 测量后已不存在不确定性了，因此，尚存在的不确定性等于零。 第三次测量获得的信息量： I [ P ( x)] 0 I [ P ( x)]
a2 ... aq X a1 P( x) P(a ) P(a ) ... P(a ) 2 q 1
我们称由信源空间 X , P( x) 描述的信源 X 为离散无记忆信源。这信源在 不同时刻发出的符号之间是无依赖的，彼此统计独立的。
2.1 信源的数学模型及分类
a2 p2
... ...
xq pn
p
i 1
q
i
1
集合X中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。 例：投硬币、书信文字、计算机的代码、 电报符号、阿拉伯数字码等。
2.1 信源的数学模型及分类
—— 信源输出的消息用随机变量描述
连续信源（连续平稳信源、连续非平稳信源）
按照信源符号之间的关系： 无记忆信源
发出单个符号的无记忆信源
发出符号序列的无记忆信源 有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源
2.1 信源的数学模型及分类
—— 信源输出的消息用随机变量描述
有些信源可能输出的消息数是有限的或可数的，而且 每次只输出其中一个消息。例如，扔一颗质地均匀的，研 究其下落后，朝上一面的点数。每次试验结果必然是1点、 2点、3点、4点、5点、6点中的某一个面朝上。这种信源 输出消息是“朝上的面是1点”、“朝上的面是2 点”、......、“朝上的面是6点”等六个不同的消息。 每次试验只出现一种消息，出现哪一种消息是随机的，但 必定是出现这六个消息集中的某一个信息，不可能出现这 个集合以外的什么消息。这六个不同的消息构成两两互不 相容的基本事件集合，用符号ai , i 1,...,6 来表示这些消息， , a6 } 。由大 得这信源的样本空间为符号集 A : {a1 , a2 , a3 , a4 , a5 。 量试验结果证明，各消息都是等概率出现的，都等于1 6 。
第2章_离散信源及信息测度2
H P H ( p1 , p2 , , p N ) pi log pi
i 1
N
非负性
H P 0
该性质是很显然的。因为随机变量X的所有取值的概率分布满足0 log p i 0，而 p i log p i 0 ， <pi<1，当取对数的底大于1时，
三者反映的内容及可能产生的影响大相径庭，但它们的信息熵是相
同的，即表示这三个信源总的统计特性是相同的。所以熵表征信源 总的统计特征，总体的平均不确定性。这也说明了所定义的熵有它 的局限性，它不能描述事件本身的具体含意和主观价值等，仅考虑 了语法信息，而未涉及语义信息和语用信息。
DUT
信息论基础
6
q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信 息熵才能达到最大值。
DUT
信息论基础
14
2.3 信息熵的基本性质
上凸性 定义2.1 n维欧氏空间的子空间K，如果对于子空间K中任意二个矢量
x 1 和 x 2 ，它们的线性组合矢量 x x 1 (1 ) x 2 仍在子空间K内， 且 0 1，则我们定义子空间K是凸状的，称K为凸域。
i 1 j 1 q m i 1 j 1 q
p ai p b j / ai log p ai p ai b j log p b j / ai
m i 1 j 1 q i 1 j 1
p ai log p ai p b j / ai H Y / X
12
2.3 信息熵的基本性质
例2.7 运用熵函数的递增性，计算熵函数 解: 根据熵函数的递增性，可得
1 1 1 1 H , , , 3 3 6 6
2.3第二章-离散信源及其信息测度
•
其中q=nN，每个符号 i是对应于某一个由 个xi组成的序列 每个符号a 是对应于某一个由N个 其中 ai的概率 i)是对应的 个xi组成的序列的概率 的概率p(a 是对应的 是对应的N个
∑ p(a ) = 1
i
因为信源是无记忆的， 因为信源是无记忆的，所以消息序列
ai = xi1 xi2 ⋯ xiN 的概率为 p ( ai ) = p ( xi1 ) p ( xi2 ) ⋯ p ( xiN ), i1 , i2 , ⋯ , iN ∈ {1, 2, ⋯ n}
上式共有N项 上式共有 项，考察其中第一项
∑ p(a ) log
i X
N
1 2 p ( xi1 )
= ∑ p( xi1 ) p( xi2 ) … p( xiN ) log 2
XN n n n
1 p ( xi1 )
= ∑∑ … ∑ p( xi1 ) p ( xi2 ) … p ( xiN ) log 2
X=X1X2X3…XN
信源在不同时刻的随机变量X 的概率分布P(Xi)和 信源在不同时刻的随机变量 i和Xi+r的概率分布 和 P(Xi+r)一般来说是不相同的，即随机变量的统计特性随 一般来说是不相同的， 一般来说是不相同的 着时间的推移而有所变化。 着时间的推移而有所变化。
第2章_离散信源及信息测度1
(2.1)
DUT
N
P ( x
i
) 1
信息论基础
(2.2)
i 1
18
2.2 离散信源的信息熵
度量信息的基本思路
考虑一个单符号离散信源，它的输出被传送给对此感兴趣的一方。 设x1为最大可能的输出，xN为最小可能的输出。
例如，假设信源输出代表天气情况，x1为晴或多云天气，xN为冰 雹或其它强对流天气。 哪个输出包含更多的信息，x1还是xN？ 直观地，传递xN 给出了更多的信息。
DUT
信息论基础
25
2.2 离散信源的信息熵
因此，信源又可以看作是具有一定概率分布的某一符号集合
DUT
信息论基础
17
2.2 离散信源的信息熵
单符号离散信源
定义2.2
若信源的输出是随机事件X，其出现概率为P(X),，则它们所构成的集合，称 为信源的概率空间或简称为信源空间。
信源空间通常用如下方式来描述：
x1 , x2 , , xi , , xN X: [X P] : P(X) : P( x1 ), P( x2 ), , P( xi ), , P( x N )
若信源中事件xi的出现所带来的信息量用I(xi)来表示 并称之为事件xi的自信息量， 则概率为p(xi)的信源输出xi所包含的信息量I(xi)必须
满足以下几个条件：
DUT
信息论基础
21
2.2 离散信源的信息熵
度量信息的基本思路 1. 信源输出xi所包含的信息量仅依赖于它的概率，而与它的取值无关。 2. I (xi)是P(xi)的连续函数。 3. I (xi)是P(xi)的减函数，即： 如果P(xi) > P(xj)，则I(xi) < I(xj)。 极限情况，若P(xi) = 0, 则 I(xi) → ∞； 若 P(xi) = 1, 则I(xi) = 0。 4.若两个单符号离散信源（符号集合X, Y ）统计独立, 则X中出现xi、Y 中出现yj的联合信息量 I (xi ,yj) = I (x i) + I (yj)
实验一 离散信源及其信息测度
信息论与编码实验报告实验一离散信源及其信息测度专业班级学号姓名成绩实验一 离散信源及其信息测度一、[实验目的]离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空间来描述。
本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解。
二、[实验环境]windows XP,MATLAB三、[实验原理]信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下 1()[()]()log ()qi i i H X E I xi p x p x ===-∑信源熵是信源的统计平均不确定性的描述，是概率函数()p x 的函数。
四、[实验内容]1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取，那么每条信息提供的信息量为多少？若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。
2、二进制通信系统使用0、1,由于存在失真，传输会产生误码，用符号表示下列事件：u0:一个0发出；u1:一个1发出；v0:一个0收到；v1:一个1收到；给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2。
求：(a)已知发出一个0，求收到符号后得到的信息量；(b)已知发出的符号，求收到符号后得到的信息量；五、[实验过程]每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法；1)设计思路1、每字符从26 个英文字母和1 个空格中等概选取，一共100 个字符，那么可以组成27^100 条消息，每条消息出现的概率是1/（27^100），由自信息量公式可得每条消息的自信息量。
程序代码：clear all,clc;H1=log2(27^100)程序结果：H1 =475.48882、求出各种条件概率，将其代入信息量公式计算信息量。
程序代码：p_u0=1/2;p_v0_u0=3/4;p_v0_u1=1/2;p_v1_u0=1-p_v0_u0;H_V_u0=p_v0_u0*log2(p_v0_u0)-p_v1_u0*log2(p_v1_u0)p_u1=1-p_u0;p_v1_u1=1-p_v0_u1;p_u0v0=p_v0_u0*p_u0;p_u0v1=p_v1_u0*p_u0;p_u1v0=p_v0_u1*p_u1;p_u1v1=p_v1_u1*p_u1;H_V_U=-p_u0v0*log2(p_v0_u0)-p_u0v1*log2(p_v1_u0)-p_u1v0*log2(p_v0_u1) -p_u1v1*log2(p_v1_u1)程序结果：H_V_u0 =0.1887H_V_U =0.90562)实验中出现的问题及解决方法；实验中遇到的问题有很多，如各种概率空间的计算，弄混，概念不清楚，公式不熟悉，对信息论的定理概念及意义不理解，不能灵活运用。
信息论与编码实验一离散信源信息量的计算
信息论与编码实验一离散信源信息量的计算摘要：I.引言- 信息论与编码实验一的主题- 离散信源信息量的计算的重要性II.离散信源的定义- 离散信源的定义- 离散信源的特点III.信息量的计算- 信息量的定义- 离散信源信息量的计算方法- 计算实例IV.信息熵的定义- 信息熵的定义- 信息熵的性质- 计算实例V.编码与解码- 编码的过程- 解码的过程- 编码与解码的实例VI.总结- 离散信源信息量的计算的重要性- 对信息论与编码实验一的回顾正文：I.引言信息论与编码是通信工程中的重要内容，它旨在研究如何在传输过程中有效地传输信息。
在信息论与编码实验一中，我们主要关注离散信源的信息量的计算。
离散信源是我们日常生活中最常见的信源类型，例如文字、声音、图像等。
因此，了解离散信源信息量的计算方法对于理解和应用信息论与编码理论具有重要意义。
II.离散信源的定义离散信源是指信息以离散的方式存在的信源。
离散信源的特点是信息符号是离散的、不连续的，且每个符号的出现是相互独立的。
离散信源可以分为无记忆离散信源和有记忆离散信源。
无记忆离散信源是指信源发出的每个符号的概率分布与过去符号无关，而有记忆离散信源则与过去符号有关。
III.信息量的计算信息量是衡量信息的一个重要指标，它表示了接收者在接收到符号后所获得的信息。
对于离散信源，信息量的计算公式为：I(X) = -∑P(x) * log2(P(x))，其中X 表示离散信源，P(x) 表示符号x 出现的概率。
通过计算信息量，我们可以了解信源的信息程度，从而为后续的编码和解码提供依据。
IV.信息熵的定义信息熵是信息论中的一个重要概念，它表示了信源的平均信息量。
信息熵的定义为：H(X) = -∑P(x) * log2(P(x))，其中X 表示离散信源，P(x) 表示符号x 出现的概率。
信息熵具有以下性质：1）信息熵是信息量的期望；2）信息熵的值是有限的，且在0 到比特数之间；3）当信源的每个符号出现的概率相同时，信息熵最大。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
%求每条信息提供的信息量 H1=log2(27^100) %test1.2 %事件：u0:一个0 发出；u1:一个1 发出； v0:一个0 收到；v1:一个1 收到； %给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2 p_u0=1/2; p_v0_u0=3/4; p_v0_u1=1/2; p_v1_u0=1-p_v0_u0; %(a)已知发出一个0，求收到符号后得到的信息量； H_V_u0=p_v0_u0*log2(p_v0_u0)-p_v1_u0*log2(p_v1_u0); %(b)已知发出的符号，求收到符号后得到的信息量 p_u1=1-p_u0; p_v1_u1=1-p_v0_u1; p_u0v0=p_v0_u0*p_u0; p_u0v1=p_v1_u0*p_u0; p_u1v0=p_v0_u1*p_u1; p_u1v1=p_v1_u1*p_u1; H_V_U=-p_u0v0*log2(p_v0_u0)-p_u0v1*log2(p_v1_u0)-p_u1v0*log2(p_v0_u1)-p_u1v1*l og2(p_v1_u1) %test1.3 c=[0.3,0.7]; [y1,y2,y3]=t05(c) %信源的熵和其二次、三次扩展信源的熵 %test1.4 P_X1X2=[1/4 1/18 0;1/18 1/3 1/18;0 1/18 7/36];%联合分布 %(a)认为信源符号之间无依赖性时，信源X 的信息熵H(X)； P_X=sum(P_X1X2); H_X=sum(-P_X.*log2(P_X)); fprintf('X 的信源熵： H_X=%6.3f\n',H_X); %(b)认为有依赖性时的条件熵H（X2｜X1）; P_X1_X2=[P_X1X2(:,1)/P_X(1),P_X1X2(:,2)/P_X(2),P_X1X2(:,3)/P_X(3)];%条件矩阵 P_X1_X2(find(P_X1_X2==0))=1;%将0 换为1 H_X1_X2=sum(-P_X1X2.*log2(P_X1_X2)); fprintf('X 的条件熵： \n H_X1_X2=%6.3f\n',H_X1_X2); %(c)联合熵H(X1X2) P_X1X2(find(P_X1X2==0))=1;%将0 换为1 H_X1X2=sum(-P_X1X2.*log2(P_X1X2)); fprintf('X 的联合熵： \n H_X1X2=%6.3f\n',H_X1X2); %test1.5 %有两个二元随机变量X 和Y,同时定义另一随机变量Z=X*Y，试求： % a、熵H(X),H(Z),H(X,Z)和H(X,Y,Z); % b、条件熵H(X|Y),H(Y|X,Z); % c、互信息I(X;Y),I(X;Y|Z);
实验一 离散信源及其信息测度
一、[实验目的] 离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率
空间来描述。本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵 的概念的理解。 二、[实验环境]
windows XP,MATLAB 三、[实验原理]
信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下
Y
X
0
1
0
1/8
3/8
13Biblioteka 81/8同时定义另一随机变量 Z=X*Y，试求：
a、熵 H(X),H(Z),H(X,Z)和 H(X,Y,Z);
b、条件熵 H(X|Y),H(X|Z),H(Y|X,Z);
43m1m“-”J520Gm01m24“492k-Z(1)g2L3-”3060@k%3-g“/1”7mD2%BJ/Tg0d1-ZP318¬-A_2"o70)Xc0?y258z6n”217 NE)
四、[实验内容] 1、有条 100 字符英文信息，假定其中每字符从 26 个英文字母和 1 个空格中等 概选取，那么每条信息提供的信息量为多少？若将 27 个字符分为三类，9 个出 现概率占 2/7,13 个出现概率占 4/7，5 个出现占 1/7，而每类中符号出现等概， 求该字符信源的信息熵。 2、二进制通信系统使用 0、1,由于存在失真，传输会产生误码，用符号表示 下列事件：u0:一个 0 发出；u1:一个 1 发出；v0:一个 0 收到；v1:一个 1 收到； 给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2。求：(a)已知发出一 个 0，求收到符号后得到的信息量；(b)已知发出的符号，求收到符号后得到的 信息量； 3、给定离散无记忆信源 X，其概率空间为
4、某离散二维平稳信源的概率空间：
X1X2 P
=
00 01 02 10 11 12 20 21 22 1/4 1/18 0 1/18 1/3 1/18 0 1/18 7/36
设发出的符号只与前一个符号有关。求：(a)认为信源符号之间无依赖性时， 信源 X 的信息熵 H(X)；(b)认为有依赖性时的条件熵 H（X2｜X1）;(c)联合熵 H(X1X2);(d)根据以上三者之间的关系，验证结果的正确性。 5、有两个二元随机变量 X 和 Y，它们的联合概率分布函数如下表：
X P
0 0.7
1 0.3
求该信源的熵和其二次、三次扩展信源的熵。(编写一 M 函数文件：
function [H_X1,H_X2,H_X3]=t03(X1,P1) %t03 求信源和其二次、三次扩展信源的熵
%输入为 X1,P1,分别为信源符号和概率阵
%输出为原离散信源的熵 H_X1 和二次、三次扩展信源的熵 H_X2、H_X3
q
H ( X ) E[I (xi)] p(xi ) log p(xi ) i 1
信源熵是信源的统计平均不确定性的描述，是概率函数 p(x ) 的函数。
43m1m“-”J520Gm01m24“492k-Z(1)g2L3-”3060@k%3-g“/1”7mD2%BJ/Tg0d1-ZP318¬-A_2"o70)Xc0?y258z6n”217 NE)
c、互信息 I(X;Y),I(X;Z),I(X;Y|Z);
五、[实验过程]
每个实验项目包括：1)设计思路 2)实验中出现的问题及解决方法；
1)设计思路
1、每字符从26 个英文字母和1 个空格中等概选取，一共100 个字符，那么可以 组成27^100 条消息，每条消息出现的概率是1/（27^100），由自信息量公式可 得每条消息的自信息量。 2、求出各种条件概率，将其代入信息量公式计算信息量。 3、离散无记忆信源X 熵，可将其概率代入信息熵的计算公式得到，二次，三次 扩展信源，可先求出其概率空间。 4.由离散二维平稳信源的概率空间，及信息熵，条件熵，联合熵的公式，可得到 我们要的结果。 5、计算各种情况的概率，X 的概率，Y 的概率，Z=XY 联合概率等，然后代入公 式求解。 6、程序代码：