实验一 绘制二进制熵函数曲线
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验一 绘制二进制熵函数曲线
一、实验目的
熟悉工作环境及工具箱 掌握绘图函数的运用 理解熵函数表达式及其性质 掌握利用MATLAB对信源熵的求解
二、实验原理
熵
自信息量是针对信源的单个符号而言的，而符号是随
机发生的，因此单个符号的不确定性不足于代表信源 的不确定性性质，为此，可对所有符号的自信息量进
MATLAB函数说明
eps：极小值，避免0概率事件 meshgrid：语法[X,Y] = meshgrid(x,y) 将矢量x
和y规定的区域变换为数组X和Y，X和Y可用 于计算自变量函数或绘制3维网格/表面。X的 各行均为矢量x；Y的各列均为矢量y。
nan：无效值 mesh：绘制网格曲面
熵函数是非负函数、上凸函数，并且等概率时达到最大值。
计算任意多个符号信源的熵
MATLAB函数说明
sum(A)：求数组A的元素之和
length(X)：求矢量X的长度 log2(X)：计算以2为底X的对数 error：显示错误信息
定义函数
function H=entropy(p) % 该函数用来计算包含任意多个符号的信源熵 %
绘制三元信源的熵
三元信源
X x1x2 x3 P p p 1 p p x 1 2 1 2
三元信源的熵为
H ( p1, p2 ,1 p1 p2 ) p1 log p1 p2 log p2 (1 p1 p2 )log(1 p1 p2 )
行统计平均，从而得到平均不确定性。
熵的表示
1 H ( X ) H ( p1 , p2 ,..., pk ) pk I ( xk ) pk log pk k 1 k 1
K
K
注意的问题
熵是自信息量的统计平均，因此单位与自信息量的单
位相同，与熵公式中所用对数的底有关： bit/符号、nat/符号、dit/符号、r进制单位/符号。
非负性
H ( p1, p2,..., pk ) H ( p) 0
强可加性
H ( p1q11 ,..., p1q1 j ,..., pk qk1 ,..., pk qkj ) H ( p1 , p2 ,..., pk ) pk H (qk1 , qk 2 ,..., qkj )
二元信源的熵为
Байду номын сангаас
H ( p,1 p) p log p (1 p)log(1 p)
Matlab程序
p=0.00001:0.001:0.99999; h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h); title('二进熵函数曲线'); ylabel('H(p,1-p)')
特殊公式
某个pk=0时，0log0=0 ( lim x log x 0
x 0
)
在熵的定义中忽略零概率事件。
离散熵的性质
对称性
H ( p1, p2 ,..., pk ) H ( pm(1) , pm(2) ,..., pm( k ) )
可扩展性
H ( p1 , p2 ,..., p k ) H ( p1 ,..., pi ,0, pi 1,..., pk )
p为DMS的概率分布，行向量
例1 满足完备性
p=[0.1 0.2 0.3 0.4] h=entropy(p) 运行结果
例2 不满足完备性
p=[0.2 0.19 0.18 0.17 0.16 0.17]
h=entropy(p) 运行结果
四、实验报告要求
简述实验目的；
简述实验原理；
分别绘制二元信源和三元信源的熵。 通过图形分析他们的特点。
H(p1,p2,…,pk)是上凸函数。
极值性
1 1 H ( p1 , p2 ,..., pk ) H ( ,..., ) log K K K
三、实验内容
用 Matlab 软件绘制二进熵函数曲线。
二元信源
X x1 x2 P( X ) p1 p ,0 p 1
k 1 K
可加性
H ( p1q1,..., p1q j ,..., pk q1,..., pk q j ) H ( p1, p2 ,..., pk ) H (q1, q2 ,..., qk )
渐化性
p1 p2 H ( p1 , p2 ,..., pk ) H ( p1 p2 , p3..., pk ) ( p1 p2 ) H ( , ) p1 p2 p1 p2 凸状性
一、实验目的
熟悉工作环境及工具箱 掌握绘图函数的运用 理解熵函数表达式及其性质 掌握利用MATLAB对信源熵的求解
二、实验原理
熵
自信息量是针对信源的单个符号而言的，而符号是随
机发生的，因此单个符号的不确定性不足于代表信源 的不确定性性质，为此，可对所有符号的自信息量进
MATLAB函数说明
eps：极小值，避免0概率事件 meshgrid：语法[X,Y] = meshgrid(x,y) 将矢量x
和y规定的区域变换为数组X和Y，X和Y可用 于计算自变量函数或绘制3维网格/表面。X的 各行均为矢量x；Y的各列均为矢量y。
nan：无效值 mesh：绘制网格曲面
熵函数是非负函数、上凸函数，并且等概率时达到最大值。
计算任意多个符号信源的熵
MATLAB函数说明
sum(A)：求数组A的元素之和
length(X)：求矢量X的长度 log2(X)：计算以2为底X的对数 error：显示错误信息
定义函数
function H=entropy(p) % 该函数用来计算包含任意多个符号的信源熵 %
绘制三元信源的熵
三元信源
X x1x2 x3 P p p 1 p p x 1 2 1 2
三元信源的熵为
H ( p1, p2 ,1 p1 p2 ) p1 log p1 p2 log p2 (1 p1 p2 )log(1 p1 p2 )
行统计平均，从而得到平均不确定性。
熵的表示
1 H ( X ) H ( p1 , p2 ,..., pk ) pk I ( xk ) pk log pk k 1 k 1
K
K
注意的问题
熵是自信息量的统计平均，因此单位与自信息量的单
位相同，与熵公式中所用对数的底有关： bit/符号、nat/符号、dit/符号、r进制单位/符号。
非负性
H ( p1, p2,..., pk ) H ( p) 0
强可加性
H ( p1q11 ,..., p1q1 j ,..., pk qk1 ,..., pk qkj ) H ( p1 , p2 ,..., pk ) pk H (qk1 , qk 2 ,..., qkj )
二元信源的熵为
Байду номын сангаас
H ( p,1 p) p log p (1 p)log(1 p)
Matlab程序
p=0.00001:0.001:0.99999; h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h); title('二进熵函数曲线'); ylabel('H(p,1-p)')
特殊公式
某个pk=0时，0log0=0 ( lim x log x 0
x 0
)
在熵的定义中忽略零概率事件。
离散熵的性质
对称性
H ( p1, p2 ,..., pk ) H ( pm(1) , pm(2) ,..., pm( k ) )
可扩展性
H ( p1 , p2 ,..., p k ) H ( p1 ,..., pi ,0, pi 1,..., pk )
p为DMS的概率分布，行向量
例1 满足完备性
p=[0.1 0.2 0.3 0.4] h=entropy(p) 运行结果
例2 不满足完备性
p=[0.2 0.19 0.18 0.17 0.16 0.17]
h=entropy(p) 运行结果
四、实验报告要求
简述实验目的；
简述实验原理；
分别绘制二元信源和三元信源的熵。 通过图形分析他们的特点。
H(p1,p2,…,pk)是上凸函数。
极值性
1 1 H ( p1 , p2 ,..., pk ) H ( ,..., ) log K K K
三、实验内容
用 Matlab 软件绘制二进熵函数曲线。
二元信源
X x1 x2 P( X ) p1 p ,0 p 1
k 1 K
可加性
H ( p1q1,..., p1q j ,..., pk q1,..., pk q j ) H ( p1, p2 ,..., pk ) H (q1, q2 ,..., qk )
渐化性
p1 p2 H ( p1 , p2 ,..., pk ) H ( p1 p2 , p3..., pk ) ( p1 p2 ) H ( , ) p1 p2 p1 p2 凸状性