最小平方误差准则函数..

y1d y2 d . ynd
b1 b 2 . B . . b n
其中 Yi yi1, yi 2 ,..., yid 是d维规范化增广样本向 量，Y为 n d 矩阵，n为样本个数，d为特征数。
6 4 8 Y TY 8 18 11 6 11 14

131 4 23 2 5 1 1 T Y Y 23 2 5 1 9 1 2 5

5 4 13 12 3 4 7 12 1 T T Y Y Y Y 1 2 1 6 1 2 1 6 1 3 0 1 3 0
令 J A 0 取极小，得
T
Y YA Y B
T
这里。我们将解 YA B的问题转化为Y T YA Y T B的问 题。这里Y T Y 是一个 d d 方阵，一般是非奇异的，故 可以有唯一解 此处 Y Y T Y


A Y Y 1
T
YT
Y B Y B 称为Y的伪逆，A为MSE解。
最小平方误差准则函数 （MSE, Minimum Squared-Error）
准备知识
模式识别：是指利用计算机自动地或有少量人为干 预的方法把待识别模式加以分类，即划分到模式类 中去。 统计模式识别方法：又称决策论方法，采用特征向 量表示模式。以样本在特征空间中的具体数值为基 础。 线性判别函数是在特征提取完成之后，在特征空间 对模式进行分类的方法之一。它既是统计模式识别 中的一个重要的基本方法，也是研究统计模式识别 方法的基础。
T
i = 1,2,......,C
Y 1, x1, x2 ,..., xn , Ai (wi 0 , wi1, wi 2 ,...,win )T 这里 Y称为增广特征向量（n +1维），A称 为广义权向量，如此则有：
gi x Ai Y
T
最小平方误差准则函数背景
既然方程组的数量、维数和形式已定，则判别 函数的设计就是确定函数的各系数，也就是线性方 程的各权值。 感知准则函数、梯度下降法、固定增量算法、 最小平方误差准则函数等都是求取线性方程的各权 值的方法。 但是无论感知准则函数和梯度下降法，还是固 定增量算法，都只适用于线性可分情况。但实际中 往往无法确定样本集是否线性可分。因此希望找到 一种方法能够对两种情况都适用。既对线性可分问 题可以找到将全部样本正确分类的解权向量，又对 线性不可分问题能够找到一个使误差平方和极小的 解权向量。满足这样要求的准则函数就是最小平方 误差准则函数。

例：设有两类的二维点：
w1 : 1,2 , 2,0 ,
T T
w2 : 3,wenku.baidu.com , 2,3
T
T
T
试求伪逆解及判决边界。 解：增广规范化样本为
y1 1,1,2 , y2 1,2,0 , y3 1,3,1 , y4 1,2,3
T T
T
1 2 1 1 2 0 , Y 1 3 1 1 2 3

取 B 1,1,1,1 得到解 A Y
T

T B 11 3, 4 3, 2 3
A y A 1, x1 , x2
T T
T
1 11 4 x1 2 x2 3
1 T
MSE解具有的优越特性
由MSE的解可知，解A依赖于向量B的值，可以 证明，若 Yi w1 ，选取bi n n1 ，反之 bi n n2 在线性可分情况下，MSE解与Fisher线性判别函数 等价。若选取全部 bi 1i 1,2,......,n 当 n ，MSE解与贝叶斯决策解之间的均方误 差达到极小，即MSE解得到的判别函数以最小均 方误差逼近贝叶斯判别函数。因此MSE解通常具 有比较优越的性能（这里的n为总的样本数，n1是 属于w1类的样本数，n2是属于w2类的样本数）。

YA B
其系数矩阵Y及常向量B为
Y T 1 y11 T Y2 y21 . . . . T yn1 Yn y12 y22 . yn 2 . . . . . . . . . . . .
T
1 A Y B 假如Y是非奇异矩阵，则我们可以得到解 但在大多数情况下样本数n总是大于维数d，方程 个数多于未知数，这是一个矛盾方程组，通常没 有精确解存在。但我们可以定义一个误差向量
e YA B
并定义平方误差准则函数
J A e
2
YA B
2
AT Yi bi

如何得到线性判别函数？
对一个判别函数来说，应该被确定的有两个 内容：其一为方程的形式，其二为方程所带的系 数。对于线性判别函数来说，方程的形式为线性 的，方程的维数为特征向量的维数，方程组的数 量决定于待判别对象的类数。
gi x wi1x1 wi 2 x2 ...... win xn wi 0

平方误差准则函数及其伪逆解
对于一个具有n个学习样本的两类问题，希望找 到一个权向量A，使得 AT Yi 0， i = 1,2,......,n 得到满足，将上述不等式改成等式的形式 T i = 1,2,......,n A Yi bi 0 其中bi是任意给定的正常数，将上式写为联立方 程组的形式即为：
i 1
n


2
然后找一个使 J A 极小化的A作为问题的解，这就 是矛盾方程组的最小二乘近似解，也称为伪逆解 或MSE解， J A 称为MSE准则函数。
用解析法求伪逆解
准则函数对A求导得:
n i 1
J A 2 A Yi bi Yi 2Y
T


T
YA B