SVM支持向量机题目

机器学习课程作业（1）

提交截止日期：2017年10月10日周二

1. 一个优化问题的原问题（Prime Problem ）与对偶问题（Dual Problem ）定义如下： 原问题

Minimize: ()f ω

Subject to: ()0,1,2,...,i g i K ω≤=

()0,1,2,...,i h i M ω==

对偶问题

定义

()()()()()()()11,,K M

T T i i i i i i L f g h f g h ωαβωαωβωωαωβω===++=++∑∑

对偶问题为：

Maximize: ()(),inf ,,L ωθαβωαβ=

Subject to:

0,1,2,...,i i K α≥= (a) 证明：如果*ω是原问题的解，*α，*β是对偶问题的解，则有：()()***,f ωθαβ≥

(b) 证明 (强对偶定理)：如果()g A b ωω=+,()h C d ωω=+，且()f

ω为凸函数，即对任意1ω和2ω，有()()()()()121211f f f λωλωλωλω+-≤+-, 则有：()()***

,f ωθαβ=

2. 求下列原问题的对偶问题

(a) (1l and 2l -norm SVM Classification) : Minimize: 221211

12N N i i i i C C ωδδ==++∑∑ Subject to: 0,1,2,...,i i N δ≥=

()1T i i i y x b ωϕδ⎡⎤+≥-⎣⎦

(b) (SVM regression): Minimize: ()()2221211

12N N i i i i i i C C ωδζδζ==++++∑∑ Subject to: (),1,2,...,T i i i x b y i N ωϕεδ+-≤+=

(),1,2,...,T i i i y x b i N ωϕεζ--≤+= 0i δ≥, 0i ζ≥

(c) (Kernel Ridge Regression): Minimize: 221

12N i i C ωδ=+∑ Subject to: (),1,2,...,T i i i y x i N ωϕδ-==

(d) (Entropy Maximization Problem):

Minimize: ()1log N

i i

i x x =∑ Subject to: T x b ω≤

11N i i x

==∑

3. 如图所示，平面上有N 个点12{,,...,}N x x x ，求一个半径最小的圆，使之能包含这些点。

图1. 平面上N 个点，求最小的圆包含这些点。

(a) 写出这个优化问题的数学表达式。 (b) 写出(a)的对偶问题。

(c) 编写程序求解这个问题（选做）