TH2012-L13(第五章、第六章)(20120523)_621101385

第五章最大熵原理最小鉴别信息原理

1.非适定性问题

2.最大熵与最小鉴别信息原理

§2.1 最大熵原理

§2.2 最小鉴别信息原理

§2.3 两原理之间的关系

§2.4 合理性

2012-5-221

2012-5-22

2

传感器网络自定位问题

条件：给出了一个网络中若干节点之间的测距信

息, 能否唯一的恢复网络中每个节点的空间座

标？

在传感器自定位问题中，上述条件是不够的。

1.非适定性问题

科学研究

(1) 一般步骤

¾系统的参数化：定性——定量

¾建立模型：前向建模，反向建模

——正问题（前向建模）：发现物理规律，根据系统的输入参

数，预测系统的输出。

——逆问题（反向建模）：根据可得到的观察值（输出值）推

断系统参数及输入。

(2) 面临的问题

¾过定：所给出的条件过多

¾欠定：条件不够，数据不足、不确定或不准确2012-5-223

(3) 非适定性问题（病态问题）

由欠定导致解不存在、不唯一或不稳定（不连续）其中之一的问题。

涉及存在性、唯一性、稳定性

(4) 非适定性问题的求解

¾思路

综合理论知识，先验知识和实验数据三方面，给出一种可能解集的概率分布。

¾解的存在性与唯一性：

——存在性：解集非空

——唯一性：有关解的可能集被唯一确定

2012-5-224

线性系统正问题、反问题的形式化表述

A：系统传递函数

X :系统输入

Y :系统输出

正问题：已知X、A，求Y

反问题：已知Y，求X、A；已知Y、A，求X 2012-5-225

2012-5-226

过定问题求解

[][])

(Y X ˆA Y X ˆA min J min X

ˆ)(A ,m Y X A ,Y AX H

X ˆX ˆ声的数据分析等应用实验的数据拟合、有噪，使即求可用最小二乘法求解，。

列满秩设对于过定问题，有维列向量。

为维列向量，为矩阵，为已知−−==>×=n rank n m n n m

2012-5-227

欠定问题的求解

？

问题：准确性？倾向性给出合理的解。

个可行解，然后参考的解，有求。

对于欠定问题，有维列向量。

为维列向量，为矩阵，为已知Y A 0AX m Y X A ,Y AX rank n n m n n m −=<×=

2012-5-2282. 最大熵与最小鉴别信息原理

§2.1 最大熵原理(1957年E .T . Jaynes 提出)——离散情况

(1) 问题：设某随机变量X ，而概率分布未知，

已知其与若干函数的期望：

求合理的分布估值。

(2) 原理及其意义

¾原理：取概率分布的熵为目标函数

()k q a 1,2,,m M

=L 1()()log ()

K

k k k H X q a q a ==−∑m K k k m k C a f a

q =∑=1)()(

2012-5-229

在约束条件

下的解

¾意义：最客观，普遍适用

¾验证：最大熵光学图象恢复、谱估计理论中的最大熵谱分

析法。

()ˆ()max ()k k q a q a Arg H X =1()1K

k k q a ==∑1()(),K k m k m k q a f a C ==∑1,2,,m M

=L

2012-5-2210(3) 求解：

做Lagrange 辅助函数

取得111()()1()()K M K k m k m k m k m k F H X q a q a f a C βλ===⎛⎞⎛⎞=−−−−⎜⎟⎜⎟⎝⎠⎝⎠∑∑∑01ˆ()exp ()M k m m k m q

a f a λλ=⎡⎤=−−⎢⎥⎣⎦

∑11log ()()0

()M

k m m k m k F

q a f a q a ∂βλ∂==−−−−=∑称为最大熵分布。解出。所得到的个约束条件

可由则其中)(ˆ1),....,3,1,0(,10k m a q

M M m +=+=λβλ

2012-5-22

11

（4）最大熵分布定理

)

1(]

)()[()(ˆln )()(ˆln )())(ˆ),(()(ˆln )()(ˆ)(ln )()(ˆ)(ˆ)

(ln )()(ln )()()()(],)(exp[)(ˆ1

1

1

1

1111

1∑∑∑∑∑∑∑∑∑==∗

=∗=∗∗

==∗∗

∗=∗

∗

=∗

∗

∗=−−−=−≤−−=−−=−=−=−−=∗K

k M

m k m m o k K

k k k K

k k k k k K

k K

k k k k k

k K

k k k k k K

k k k q k M

m k m m o k a f a q a q a q a q

a q a q a q I a q

a q a q a q a q a q a q a q a q a q a q X H a q X H a f a q

λλλλ满足约束条件，即

证明：设达到最大值。

将使件时，定理：满足上述约束条