支持向量机分类问题
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
支持向量机分类问题
许喆平 任俊星 张国兵 崔如心 刘瑞博
故障诊断（分类）：
某机型地面定检加力状态下发动机数据
U
1 2 3 4 5 6 7 8 9 进口总温 4 15 6 25 4.744 18 14 40 6 低压转子 转速 83 99 97 72 96.7 78 93 89.5 84 高压转子 转速 86 100 98.5 73 98.7 78.5 97 87.5 86.5 尾喷口 指示值 82 89 76.8 83 77.6 84 80 89 76 滑油压力 2.8 3.8 2.68 2.6 2.76 2.8 2.9 3.56 2.6 发动机机 发动机 匣振动值 状态 10 10 9.42 22 6.27 23 25 25 50 故障 故障 正常 故障 正常 故障 故障 故障 故障
“机（machine）” 算法
“支持向量”
训练集中的某些训练 点的输入向量
支持向量机：
数据挖掘的一种方法 旨在解决两类问题：
分类问题
y
回归问题
x 0
分类问题：
min
w,b
s.t.
1 2 || w || 2 yi ((w ⋅ xi ) + b) ≥ 1, i = 1,..., l
min
α
l 1 l l ∑∑ yi y jα iα j ( xi ⋅ x j ) − ∑ α j 2 i =1 j =1 j =1
图像信息隐藏的分类：
0.2 0K 4K -0.1 0 0K 8K
0
-0.2 -0.2 -0.4 -0.3 -0.6 -0.4 0 25 50 75 0 25 50 75
支持向量机：
给定数据 如何分类？ 如何分类？
机器学习
支持向量机
支持向量机：
支持向量机 （Support Vector Machine,SVM）
谢谢！！！
s.t.
∑ yα
i =1 i
l
i
=0 i = 1,..., l
0 ≤ α i ≤C
f ( x) = sgn(∑ yiα i* K ( xi , x j ) + b* )
i =1
l
二次规划问题如何求解？
0 x1
序列最小最优化（SMO）算法：
基本思想：迭代 基本方法：每次迭代只调整2个变量，固定 其他变量，得到这两个变量 的 最优化值。 选择变量方法：选择不满足分类条件（KKT 条件）的 停止条件：全部满足分类条件（KKT条件）
2 || w ||
0 X 1
非线性问题：
x −x i j K ( xi , x j ) = exp − σ2
x2
引入核函数
min
α
2ห้องสมุดไป่ตู้
K ( xi ⋅ x j ) = (φ ( xi ) ⋅ φ ( x j ))
l 1 l l ∑∑ yi y jαiα j K ( xi ⋅ x j ) − ∑ α j 2 i =1 j =1 j =1
最优化问题
s.t.
∑ yα
i =1 i
l
i
=0 i = 1,..., l
αi ≥ 0
近线性可分：
引入松弛变量： ξ i ≥ 0
X2
min
w,b,ξ
st. .
l 1 || w||2 +C∑ξi 2 i=1 yi ((w⋅ xi ) + b) +ξi ≥1, i =1,..., l
w
l2
l l1
ξi ≥ 0, i =1,..., l
许喆平 任俊星 张国兵 崔如心 刘瑞博
故障诊断（分类）：
某机型地面定检加力状态下发动机数据
U
1 2 3 4 5 6 7 8 9 进口总温 4 15 6 25 4.744 18 14 40 6 低压转子 转速 83 99 97 72 96.7 78 93 89.5 84 高压转子 转速 86 100 98.5 73 98.7 78.5 97 87.5 86.5 尾喷口 指示值 82 89 76.8 83 77.6 84 80 89 76 滑油压力 2.8 3.8 2.68 2.6 2.76 2.8 2.9 3.56 2.6 发动机机 发动机 匣振动值 状态 10 10 9.42 22 6.27 23 25 25 50 故障 故障 正常 故障 正常 故障 故障 故障 故障
“机（machine）” 算法
“支持向量”
训练集中的某些训练 点的输入向量
支持向量机：
数据挖掘的一种方法 旨在解决两类问题：
分类问题
y
回归问题
x 0
分类问题：
min
w,b
s.t.
1 2 || w || 2 yi ((w ⋅ xi ) + b) ≥ 1, i = 1,..., l
min
α
l 1 l l ∑∑ yi y jα iα j ( xi ⋅ x j ) − ∑ α j 2 i =1 j =1 j =1
图像信息隐藏的分类：
0.2 0K 4K -0.1 0 0K 8K
0
-0.2 -0.2 -0.4 -0.3 -0.6 -0.4 0 25 50 75 0 25 50 75
支持向量机：
给定数据 如何分类？ 如何分类？
机器学习
支持向量机
支持向量机：
支持向量机 （Support Vector Machine,SVM）
谢谢！！！
s.t.
∑ yα
i =1 i
l
i
=0 i = 1,..., l
0 ≤ α i ≤C
f ( x) = sgn(∑ yiα i* K ( xi , x j ) + b* )
i =1
l
二次规划问题如何求解？
0 x1
序列最小最优化（SMO）算法：
基本思想：迭代 基本方法：每次迭代只调整2个变量，固定 其他变量，得到这两个变量 的 最优化值。 选择变量方法：选择不满足分类条件（KKT 条件）的 停止条件：全部满足分类条件（KKT条件）
2 || w ||
0 X 1
非线性问题：
x −x i j K ( xi , x j ) = exp − σ2
x2
引入核函数
min
α
2ห้องสมุดไป่ตู้
K ( xi ⋅ x j ) = (φ ( xi ) ⋅ φ ( x j ))
l 1 l l ∑∑ yi y jαiα j K ( xi ⋅ x j ) − ∑ α j 2 i =1 j =1 j =1
最优化问题
s.t.
∑ yα
i =1 i
l
i
=0 i = 1,..., l
αi ≥ 0
近线性可分：
引入松弛变量： ξ i ≥ 0
X2
min
w,b,ξ
st. .
l 1 || w||2 +C∑ξi 2 i=1 yi ((w⋅ xi ) + b) +ξi ≥1, i =1,..., l
w
l2
l l1
ξi ≥ 0, i =1,..., l