模式识别之二次和线性分类器

一. 两类问题的二次和线性分类器
对于似然比检验的决策规则：
• 当各类的类条件密度是高斯分布时， • mi和Ki为均值向量和协方差矩阵。
• 这时似然比为
定义
，-2倍自然对数,则:
• 上式是二次分类器。计算x到各类均值mi的 Mahalanobis距离，然后和阈值 相比较，决定x属于第一或第二类。
• 上述例子是通信理论中信号检测的一个经典 例子。
• 假定有Nc种已知信号要检测。令x(t)表示接 收到的信号，mk(t)是已知的信号，k=1，2， …，Nc 。当mk(t)发送时，加入了白噪声w(t) ，
即：
• 白噪声w(t)是零均值、等方差、不相关的信
号（随机过程）。即在任意时刻ti，w(ti)的
• 当x落到决策边界的某一侧时，就把它分到 相应的类。也可以把上述二次分类器用到非 高斯分布的密度函数，但这时不能保证错误 率最小。（但所确定的边界是和二阶统计矩 （均值、方差）最相匹配的。）
• 任何具有（※※）式的分类器都叫作二次分 类器。只有A、b、c是由高斯密度函数确定 时，才叫高斯分类器。
• 在前面的h(x)= xTAx+bTx+c中，如果两类的 协方差矩阵相等，K1= K2= K，则矩阵A=0， 这时决策规则为：
式中
• 这时的决策边界就退化为线性决策边界（超 平面），相应的分类器为线性分类器。
二. 判别函数和多类分类器
1. 判别函数
• 当模式有
类，这时的最小错误率的
决策规则可以表示为：
均值为0，方差为 ，且当
时，
。
• 如果随机向量x和mk是由相应的时间函数取 样而成，即
• 这是一个相关分类器（内积分类器）的模式 识别问题。
• 假定|mk|2相等，即所有的信号具有相等的 能量。
• 把接收到的信号和已知信号作相关mkTx，然 后选择相关最大的。作相关时通常通过一个 “匹配滤波器”来实现。
• 例1：两维时的二次分类器的决策边界 假定两类模式都是高斯分布的，参数为：
求
的分类边界，并画出其曲线
。
• 解：
假定T=0，h(x)=T=0化为：
，是一双曲线 。
• 当先验概率相等时，最小错误率决策规则选 择密度函数大的。
• 由于第二类在x2方向上的方差大于类1的，这 样密度函数p(x|ω2)在x2方向上将有较广的延 伸。使得在左边R2区域内有p(x|ω2) > p(x|ω1) ，尽管这些点比较靠近类1的均值点。
匹配滤波器1 匹配滤波器2
┇
匹配滤波器Nc
选择最大 的输出
若
（※）
式中
•
称为判别函数（discriminant function
）。它表示决策规则。
• 由贝叶斯公式，
和
等价。即把
用在（※）式中时，决
策结果和
是一样的。
• 当先验概率相等时，p(x|ωk)也是一组等价的 判别函数。
• 一般地，若 下面定义的 ：
是任意一组判别函数，则 也是一组等价的判别函数
• a>0,b是常数。（也可以是x的函数，但不 能是k的函数。）
• 由于自然对数是单调增的，所以可以定义 下面等价的判别函数：
（※）
• 这是二次判别函数。当所有类的先验概率相
等时，可以省略
。
• 前面已经证明，当两类的协方差矩阵相等时 ，二次分类器退化为线性分类器。多类时也 是如此。
•当
时，（※）式化为：
• 上式中，由于第一项和第四项对所有的类都 是相同的，所以等价的一组判别函数为：
• 上式是x的线性函数。
（※※）
• 下面考虑一些特定情况，说明二次和线性分 类器的应用。
• 以下假定各类的先验概率都相等。
• 例2：最小距离分类器。假定各类的先验概率
相等，而且各类
，
即x的各个分量不相关，且各类等方差。
解：这时的判别函数化为（P22（※）式 ）：
• 后两项对所有类是共同的，可以省略。分母 中的 也可以去掉，因而有等价的判别函数 ：
• 这时的决策规则的含义ቤተ መጻሕፍቲ ባይዱ：x离哪类的均值 最近，就把它分到哪类。
• 例3 ：内积分类器（相关分类器）
假定
。利用线性判别函数
有
• 若进一步假定每类的均值的模相等，即|mk| 相等，它们分布在半径为|mk|的一个超球面 上，且由于假定先验概率也相等，因此，等 价的判别函数为：
• 即将测量向量x和每类的均值mk作内积（或称 相关），然后选择值最大的，作为它的类。
• 即使我们得到了密度函数，有时用似然比检 验的方法也很难计算，需要大量的时间和空 间。
• 因此我们有时考虑更简便易行的分类器设计 方法。用二次、线性、分段线性分类器。即 先规定分类器的数学形式，然后在适当的准 则下，来确定这些参数。
• 这一节先分析在什么条件下贝叶斯分类器变 成二次和线性分类器，然后讨论当这些条件 不满足时，如何设计“性能好”的参数分类器 。
模式识别之二次和线性 分类器
2020年4月28日星期二
• 这一节的目的（概念）有两个：
▪ 在一定的分布和条件下（如正态、等协方 差矩阵），贝叶斯决策可以导致二次或线 性分类器。
▪ 虽然贝叶斯决策（似然比检验）在错误率 或风险上是最优的，但必须知道类条件密 度。在大多数应用场合，类条件密度函数 是从有限的样本中估计的。后面我们将讲 一些密度函数估计的方法。但密度函数的 估计本身是一件复杂工作（其难度不低于 分类）并且需要大量样本。
• 在一维时，马氏距离 用方差标准化的一般距离。
• 展开h(x)式，有
，即比较 （※※）
• 式中
• 决策边界h(x)=T是二次曲面（超曲面）：超 椭球面、超双曲面、超抛物面、超平面等， 或它们组合的形式。
• （为了确定二次曲面的形状，首先要消掉x的各分
量相乘的项，可采用旋转坐标系的方法，把坐标轴 旋转到A（※※）的特征向量的方向。曲面的几何 形状由A的特征值决定。如果A的特征值全部是正 的，则是超椭球面；如果特征值有些正，有些负， 则是超双曲面；如果有些特征值是0，则是超抛物 面。）
• 同样，若f是单调增函数，则 •
它和 也是等价的判别函数。
• 这些性质可以使我们从一组判别函数推导出 另外的判别函数，以便计算上更加简单，或 者意义更清楚，便于理解。
2. 多类的二次和线性分类器 • 当每类都是正态分布，其均值和协方差矩 阵分别为mk和Kk时，这时的最小错误率决 策规则的判别函数为：