IT_02_离散熵

信息论的基本概念
• 信息
对事物运动状态或存在方式的 般描述。 对事物运动状态或存在方式的一般描述。
• 概率信息
对事物运动状态或存在方式的不确定性描述。
离散熵
• 熵的定义
X a1 ai a N P p p p i N 1
离散熵
•
H(X|Y)H(X)，H(Y|X)H(Y) H( Y | X＝xi ) ? H( Y )
离散熵
• 联合熵与条件熵
– 熵、联合熵、条件熵之间的关系： • H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)
•
H(X|Y)H(X)，H(Y|X)H(Y) H(XY)H(X) )+H(Y)
离散熵
• 熵的定义
– 熵的单位
通信与信息中最常用的是以2为底，这时单位为比特(bit)； 理论推导中用以e为底较方便，这时单位为奈特(Nat)； 工程上用以10为底较方便，这时单位为哈特莱(Hart)。 它们之间可以引用对数换底公式进行互换。 1 bit = 0.693 Nat = 0.301 Hart H X 1 Nat=1.443 Nat=1 443 bit H r X 1Hart=3.322 bit log 2 r
•
离散熵
• 联合熵与条件熵
– 熵、联合熵、条件熵之间的关系： • 若X与Y统计独立，则： H(Y|X)= ) H(Y) ，H(X|Y)= ) H(X) H(XY)=H(X)+H(Y)
离散熵
• 联合熵与条件熵
– 熵、联合熵、条件熵之间的关系： • 若X与Y统计独立，则： H(Y|X)= ) H(Y) ，H(X|Y)= ) H(X) H(XY)=H(X)+H(Y) • 若X与Y有确定的函数关系，则： H(Y|X | ) )=0 （X完全确定Y） H(X|Y)=0 （Y完全确定X） H(XY)=H(X)=H(Y)
H ( p1 p N ) C pi log pi
i 1
N
其中C为常数
离散熵
• 熵的定义
X a1 ai a N P p p p i N 1
H X H p1 pN E log pi pi log pi
H X 1 X 2 X N H X 1 H X 2 H X N
H X 1 X 2 X N H X1 H X 2 H X N
离散熵
• 联合熵与条件熵
– 熵、联合熵、条件熵之间的关系：
H X1 X 2 X N H X i X1 X 2 X i 1
离散熵
• 熵的定义
X a1 ai a N P p p p i N 1
H X H p1 pN E log pi pi log pi
i 1
N
熵是不确定性的量度； 熵是从平均意义上表征总体信息测度的一个量。
离散熵
• 联合熵与条件熵
– 条件熵 随机变量X和Y的条件熵定义为：
H Y X p x, y log p y | x
X ,Y
p x p y | x log p y | x
X ,Y
p x p y | x log p y | x p x H Y X x
X ,Y X ,Y
条件熵又称为平均条件自信息。
离散熵
• 联合熵与条件熵
– 条件熵 随机变量X和Y的条件熵定义为：
H Y X p x , y log p y | x H X Y p x , y log p x | y
X ,Y X ,Y
要注意条件熵 是用联合概率p(x,y)进行加权平均， 而不是条件概率p(x|y) 或p(y|x) 。
离散熵
• 联合熵与条件熵
– 熵、联合熵、条件熵之间的关系：
H X 1 X 2 X N H X 1 H X 2 X 1 H X i X 1 X 2 X i 1 H X i 若N个变量相互独立，则 个变量相互独立 则 H X N X 1 X 2 X N 1
– 熵、联合熵、条件熵之间的关系： • H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) • 若X与Y统计独立，则 统计独立 则H(XY)= ) H(X)+H(Y) • H(X|Y)H(X)，H(Y|X)H(Y) • H(XY)H(X)+H(Y)
离散熵
• 联合熵与条件熵
– 熵、联合熵、条件熵之间的关系： • H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)
离散熵
• 联合熵与条件熵
– 熵、联合熵、条件熵之间的关系： • H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) • H(X|Y)H(X)，H(Y|X)H(Y) • H(XY)H(X)+H(Y)
离散熵
• 联合熵与条件熵
– 熵、联合熵、条件熵之间的关系： • H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) • H(X|Y)H(X)，H(Y|X)H(Y) • H(XY)H(X)+H(Y) 可推广到N元随机变量 元随机变量（ X1，X2，…， … XN ）
离散熵
• 熵的定义
X a1 ai a N P p p p i N 1
H X H p1 pN E log pi pi log pi
i 1
N
熵的单位取决于对数的底。 熵的单位取决于对数的底
离散熵
• 联合熵与条件熵
– 熵、联合熵、条件熵之间的关系： • H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) 熵的强可加性
离散熵
• 联合熵与条件熵
– 熵、联合熵、条件熵之间的关系： • H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)
•
H(X|Y)H(X)，H(Y|X)H(Y)
离散熵
• 香农指出，存在这样的不确定性的度量，它是概率分布的 函数，且该函数满足以下三个先验条件： （1）连续性条件： ）连续性条件 f(p1,p2,…, pn)应是pi的连续函数； 的连续函数 （2）等概时为单调函数：f(1/n,1/n,…,1/n)=g(n)应是n的增 函数； （3）可加性条件：当随机变量的取值不是通过一次试验 而是若干次试验才最后得到时，随机变量在各次试验中的 不确定性应该可加，且其和始终与通过一次试验取得的不 确定程度相同，即： f(p1,p2,…,pn)=f((p1+p2+…+ + +pk), ) pk+1,…,pn) + (p1+p2+…+pk) f(p1’,p2’,…,pk’) 其中pk’= pk / (p1+p2+…+ + +pk)
离散熵
• 熵的性质
– 非负性：熵函数的值为非负实数。 – 上凸性：熵函数是概率分布的上凸函数。 – 极值性：熵函数的极值在等概分布时达到。 极值性 熵函数的极值在等概分布时达到
离散熵
• 联合熵与条件熵
– 联合熵 随机变量X和Y的联合分布为p(x,y)， 则这两个随机变量的联合熵定义为： 则这两个随机变量的联合熵定义为
离散熵
• 香农指出，存在这样的不确定性的度量，它是概率分布的 函数，且该函数满足以下三个先验条件： （1）连续性条件： ）连续性条件 f(p1,p2,…, pn)应是pi的连续函数； 的连续函数 （2）等概时为单调函数：f(1/n,1/n,…,1/n)=g(n)应是n的增函 数； （3）可加性条件：即： f(p1,p2,…,pn)= ) f((p1+p2+…+ + +pk), ) pk+1,…,pn) + (p1+p2+…+pk) f(p1’,p2’,…,pk’) 其中pk’= pk / (p1+p2+…+pk) • 香农证明，当函数满足这三个条件时，其形式唯一：
H XY p x , y log p x , y
X ,Y
联合熵又称为平均联合自信息。
离散熵
• 联合熵与条件熵
– 条件熵 随机变量X和Y的条件熵定义为：
H Y X p x , y log p y | x H X Y p x , y log p x | y
X X Y
离散熵
• 联合熵与条件熵
– 条件熵 随机变量X和Y的条件熵定义为：
H Y X p x , y log p y | x H X Y p x , y log p x | y
X ,Y X ,Y
可以证明 条件熵具有非负性 。
离散熵
• 联合熵与条件熵
离散熵
• 联合熵与条件熵
– 熵、联合熵、条件熵之间的关系： • H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)
•
H(X|Y)H(X)，H(Y|X)H(Y) 条件熵≤无条件熵
离散熵
• 联合熵与条件熵
– 熵、联合熵、条件熵之间的关系： • H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)
离散熵
• 熵的定义
– 熵的单位
• 比特是抽象的信息度量单位（二进制单位/符号）， • 与计算机中的“比特”含义有所不同，二元数字， 与计算机中的 比特 含义有所不同，二元数字， • 两者之间的关系为： 每个二元数字能提供的最大平均信息量为1比特。