支持向量机方法在量化投资分析中的应用(一)

可记分类超平面分别到两类点的最近距离记为 d 和 d ，分类间隔 margin 定 义为 d d d 。 三、非线性支持向量分类机
对于非线性可分问题，在输入空间不能实现线性分离，可以通过如下过程完 成分类问题的求解。
非线性映射������
非线性分类
对应于
求分 解类 线超 性平
线 性面分
1
，利用
MATLAB
作图，得到图形
Poly
核函数特性曲线
图如图 4 所示：
图 4 Poly 核函数特性曲线图
利用 MATLAB 对特性进行调试，从测试结果中可以看出在输入数据与测试 数据距离不断加大的情况下 Poly 核函数的值变化平缓。由此可知，Poly 核函数 在输入值不同，且变化范围较大时，仍然对数据存在较强的影响，也就是说多项 式核函数的泛化能力较强。
yi 1, 1 ，寻找一个决策函数 g(x) ，使得分类法则为 f (x) sgn(g(x)) 。这个决
策函数称为分类器，寻找决策函数 g(x) 的方法称为分类学习机 (SVC)。 当 g(x) 为线性函数时，由 f (x) sgn(g(x)) 确定的分类法则称为线性分类学
习机，当 g(x) 为非线性函数时，则称为非线性学习机。

l i 1
i

1 2
l i 1
l
i yi j y j K (xi , xi )
j 1
于是，软间隔问题的对偶问题变为
相应决策函数为
max1,,l
l i 1
i

1 2
l i 1
l
i j yi y j K (xi , xi )
j 1
l
s.t.
i yi 0
参考文献 [1] Vapnik V., Golowich S.E. , Smola A. Support Vector Method for Function Approximation, Regression Estimation, and Signal Processing[J]. Advances in Neural Information Processing Systems, 1970, 9:281-287. [2] 丁鹏. 量化投资与对冲基金入门[M]. 电子工业出版社,2014.14-17.
支持向量机方法在量化投资分析中的应用（一）
摘要：期货市场价格和趋势非线性可分的特性导致我们对其进行量化分析的难度 相对增大，耗时加长，而支持向量机（SVM）方法利用映射能讲低维非线性可分 问题转换为高维线性可分问题，简化数据模型复杂度，降低分析时的难度，缩短 分析所需时间。本文对 SVM 方法及其重要组成部分核函数中的多项式核函数进 行介绍。
i 1
0 i i C, i 1,,l
l
g x : w x b i yiK xi , x b i1
(2-14) (2-15) (2-16)
(2-17)
(2-18) (2-19)
四、全局函数——多项式（Poly）核函数
核函数作为 SVM 方法的重要组成部分，其学习能力直接影响 SVM 方法性 能。
新的目标函数：
min w,b,1,l
1 2
2
l
w C i
i 1
s.t. yi wT xi b , i 1,,l
i 0, i 1,,l
其中 C 0 为常数，设 i ,i 0 ，于是，
L 1 2
（一）统计学习理论——函数集的 VC 维
VC 维是统计学习理论的核心概念之一，直观意义是：对一个指示函数集， 如果存在样本数为 m 的样本集，能够通过决策函数集里的函数按照所有可能的 2m 种形式分为两类，则称函数集能把 m 个样本打散。
函数集能够打散的点越多，即 VC 维越大，说明函数集的表达分辨能力越强， 学习容量大，学习模型复杂，因此 VC 维有限是学习过程一致的充要条件。
在原约束中引入松弛变量 i ， i 1,,l ，示意图如图 3。
H+ margin
1 ������������������ + ������ = 0 ������+ = ������
ξ5
ξ1
ξ2
ξ4
ξ3
H-1
ξ6 ������− =
1 ������
图 3 非线性可分支持向量机
为了控制 值的范围，避免得到超大解，在目标函数中对加入惩罚系数得到
l
l
w 2 C i i yi
i1
i1
wT
xi
b
l
1 i ii i1
对各变量做相应偏微分得：
L
b

l
i yi
i 1

0
L
w

w

l i 1
i
yi xi


0
L i
C
i
i
0
求解，并代入原 Langrange 函数，得
的线性分类，则上节的对偶问题变为
max1,,l
l i 1
i

1 2
l i 1
l
i j yi y jT
j 1
xi

xj
l
s.t. i yi 0
i 1
i 0, i 1,,l
(2-12)
只涉及样本变换到空间ℋ的内积 T xi xj 。相应地，决策函数变为
学习模型的实际风险由经验风险和置信范围组成：
（1）经验风险（训练误差）
Remp (w)

1 l
l i1
L( yi ,
f
(xi , ))
（2）置信范围
R( ) Re m p(
)
n( m
)
（二）结构风险最小化（SRM）
把函数集 S f (x,), 分解为一个函数子集序列 S1 S2 Sk S ，
一、支持向量机方法理论概述
支持向量机（SVM）基于统计学习理论和结构风险最小化原理 通过映射 将低维空间中无法做线性区分的问题映射到高维空间中，变为在新空间上线性可 分。并且其映射不要求我们清楚每一步映射如何实现，只需要知道其映射函数（在 SVM 中即核函数）即可，所以有效地降低了问题的复杂度，也可以避免过拟合 等问题。基于此，SVM 在许多非线性问题上有很大的优势，如人脸识别、手写 字体以及证券、期货、期权市场走势的预测等。由于证券、期货等市场会受到国 家政策、公司投资运营情况等的影响，因此市场走势的预测有较大难度，投资者 如果对趋势没有良好的认识，会导致收益很低甚至亏损。利用 SVM 方法对市场 的动向进行趋势预测，对于投资者投资效益和投资选择有很大的实际意义。
l
g x : w x b i yiT xi x b i1
(2-13)
其中， T xi x 只需要我们注意其函数的内积即可。
实际应用中存在的插值点会导致不能利用直线对样本进行良好的分类，致使
超平面无法实现其作用，所以需要对原分类基础上的支持向量机模型进行改进，
全局核函数在样本整体特性的提取上有较大优势，但是与局部核函数相比， 其插值能力较弱，多项式核函数时典型的全局核函数，下面针对 Poly 核函数特 性进行分析。
对 Poly 核参数 q 分别取集合1, 2,3, 4 中不同值，取 1, r 1，根据核函数
K

xi
,
xj
;q


xiT
x
j
q
假设两个类的训练集可以通过一个超平面分开x : f (x) 0 x ' 0，若此
超平面可以将两个类分开而没有错误，则称其为可分超平面，其中能将两样本正 确分开且间隔最大的平面最优，且区分出的两样本的所在平面平行于超平面时两 平行面之间的距离称为分类间隔。
图 1 支持向量机分类示意图 数据来源：横华国际研发中心
二、支持向量机理论
SVM 理论起初主要是为了解决数据分类问题，也就是寻找一个能将所有样 本正确分类的平面或线，将样本数据分为两类或多类，目前应用最多的是分为两 类的问题。其基本思想是：
设 有 两 个 类 ， 训 练 集 为 T x1, y1 x 2,y 2 xN ,yN ， 其 中 xi Rd ，
L

1 2

l i 1
i
yi
xi
T
l
i yi
i1
xi


C
l
i

i 1

l
i

yi

l
i
yi

xi

T


xi


b
1

i


来自百度文库
l
ii
i1 i1


i1
使各个子集能按照 VC 维的大小排列，然后在每一个子集中寻找最小经验风险， 选择最小经验风险与置信范围之和的最小的子集，就可以达到期望风险的最小， 这个子集中使经验风险最小的函数就是待求的最优函数。
在 SRM 原则下分类器的设计过程主要包括以下两方面任务： （1）模型选择：选择一个适当的函数子集，使之相对而言有最优分类能力； （2）参数估计：从子集中选择一个判别函数使经验风险最小
图 2 非线性分类问题求解过程
假设非线性映射为 能将样本集 xii , yi xi Rd ; yi 1,1, i 1, ,l 映射
到ℋ中，表示为 x x ，此时考虑样本集
xi , yi xi Rd ; yi 1,1, i 1, ,l