一种基于RS-LSSVM的经济景气指数预测模型
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
[7] lssvm） 最早是由 Suykens， Vandewalle 等人提出的， 是标准
SVM 的一种扩展。因其待选参数少、 计算复杂性低、 求解速 度快及其理论上的突出优势， 被广泛应用到很多领域。 根据 LS-SVM 理论， 非线性预测的决策函数定义为： （1） f ( x) = wT ϕ( x) + b 其中 w 是 l 维输入空间的权重向量， ϕ( x)是从输入空间 到高维特征空间的非线性映射， b 为偏差项。综合考虑函 数和适应度方差的复杂性， 根据结构风险化理论， 设 l 个样 本为{ x i (n), y i (n)},x i (t ) ∈ Rn,i = 1,2,..., l ， 则 LS-SVM 优化问 题可表示为：
[6]
年至 1995 年之间提出的。SVM 根据结构风险最小化准则 取得最小的实际风险， 其拓扑结构由支持向量决定， 克服了 传统神经网络拓扑结构 （权值及隐层数） 的选择在很大程度 上依赖设计者经验的缺点， 较好地解决了小样本、 非线性、 高维数和局部极小点等实际问题， 具有很强的泛化能力。 最小二乘支持向量机 （Least Square Support Vector Machine,
理论新探
一种基于 RS-LSSVM 的经济景气指数预测模型
张大斌 1,2， 彭
3 森 1， ， 凡华农 1
(1.华中师范大学 信息管理学院,武汉 430079； 2.中国科学院自动化研究所复杂系统与智能科学实验室, 北京 100190； 3.中冶南方工程技术有限公司， 武汉 430223)
摘 要： 为了消除经济景气指数系统中指标冗余及非线性预测困难等问题， 文章利用粗糙集约简原理及支持 向量机非线性预测特性， 提出一种粗糙集与最小二乘支持向量机混合预测模型 RS-LSSVM。模型运用粗糙集约 简样本数据空间的维数， 加快 LSSVM 的训练速度和模型的精度， 又能弥补粗糙集方法在实际应用过程中噪声敏感 问题。最后通过我国工业企业景气指数实证分析及与 BP 神经网络预测相比较， 验证了该预测模型的有效性。 关键词： 经济景气指数； 粗糙集； 最小二乘支持向量机； 预测 中图分类号： TP18 文献标识码： A 文章编号： 1002-6487 （2013） 03-0004-03
w, b, e
ቤተ መጻሕፍቲ ባይዱ
min J (w, e) = 1 wT w + 1 γ ∑ e2 2 2 i=1 i
l
s.t. wT φ( x i) + b + e i = y i,(i = 1,…, l) （2） x 其中， 控制对误 e i 为 i 的松弛变量， γ 为正则化参数，
差的惩罚程度。 为求解上述最优化函数， 引入拉格朗日函数 λ i ， 把受 限问题转换为不受约束的求解问题， 根 据 Karush-Kuhn-Tucker(KKT) 条 件 的 最 优 解 方 法 ， 最终把 LS-SVM 回归问题转化为：
2 q
计算剔除一个(或 n 个) 指标变量， 得到新的指标集 B。对 新的指标集重用属性约简算法确定属性的重要性， 重复上 述过程直至无进一步指标变量可删除为止， 余下为所取指 标体系， 从而为经济预测提供保证。 2.3.2 RS-LSSVM 预测 RS-LSSVM 预测模型首先将经济指标体系样本数据进 行预处理， 离散化得到初始决策表； 然后运用属性约简算 法， 约简去除输入样本数据的冗余条件属性和样本， 得到最 小条件属性样本数据， 作为 LSSVM 预测模型的输入样本数 据； LSSVM 经过自身算法的学习， 对经济景气指数进行智 能预测。LSSVM 由输入层、 特征层和输出层构成， LS-SVM 的预测可以看作回归算法过程， 其基本过程如图 1 所示：
起来的机器学习方法， 其核心内容是 Vapnik 等人在 1992 0 引言 经济波动是经济发展过程中长期存在的经济现象， 其 波动具有一定的周期性特征。目前， 国际上普遍采用合成 指数、 扩散指数、 主成分分析和 S-W 型景气指数等方法对 经济周期波动进行监测[1]。通过选择指标体系， 编制成各 种景气指数， 然后预测未来各行业经济的发展态势， 从而 指导宏观经济调控。在这个过程中， 经济指标的筛选和数 据的处理以及预测方法的选择是其核心。当前的指标选 择方法主要有 K-L 信息量、 时差相关和峰谷对应等统计方 法 [2]。也有采用主成分分析法、 灰色关联度法、 判别分析 法， 以及因子分析法[3]、 遗传算法[4]和神经网络[5]等。然而， 这些方法没有充分考虑到指标之间的关联影响以及相互 之间可能出现冗余问题。在预测方面， 许多经济变量与它 的解释变量之间存在一种非常复杂的多维非线性映射关 系， 传统的数理统计和经济计量方法难以用来对这种复杂 的大量历史数据进行发掘和分析， 不容易发现其中蕴含的 规律并找到合适的预测模型来对行业景气进行预测。因 此， 迫切寻找一种新的方法解决以上问题。粗糙集能够很 好的克服实际系统存在的不确定因素数据包含的噪声， 最 小二乘支持向量机在处理海量、 非线性、 不确定性和时变 性经济数据问题具有明显优势。本文将二者优势互补， 构 建了基于粗糙集的最小二乘支持向量机预测模型运用到 实际景气预测分析中。 1 最小二乘支持向量机模型 支持向量机 （SVM) 是在统计学习理论的基础上发展
f ( x) = ∑ λ i K ( x, x i) + b
i=1 l
（3）
基金项目： 国家自然科学基金资助项目 （70971052） ； 华中师范大学中央高校科研业务费项目 （CCNU09B01003） 作者简介： 张大斌 （1969-） ， 男， 湖北潜江人， 博士， 教授， 研究方向： 计算智能、 经济预测。 彭 森 （1986-） ， 男， 河南周口人， 硕士研究生， 研究方向： 信息工程与计算智能。 凡华农 （1979-） ， 男， 湖北仙桃人， 硕士研究生， 研究方向： 信息工程与计算智能。 4
统计与决策２０1 3 年第 3 期·总第 375 期
理论新探
其中， K (⋅, ⋅)表示从输入空 λ i, b可在转换过程中求出， 间到高维特征空间的非线性映射， 即为核函数。其中核函 数主要有以下几种： 多项式核函数： K ( x, x i) =[( x i ⋅ x) + 1] , q = 1,2,... 高斯核函数 (RBF)： K ( x, x i) = exp(- x - x i /2σ 2) S 型核函数： K ( x, x i) = tanh[Ψ( x ⋅ x i) + c]. 2 RS-LSSVM 的经济景气预测模型 2.1 粗糙集理论 粗糙集(Rough sets, RS)理论是由波兰数学家 Pawlak[8]
SVM 的一种扩展。因其待选参数少、 计算复杂性低、 求解速 度快及其理论上的突出优势， 被广泛应用到很多领域。 根据 LS-SVM 理论， 非线性预测的决策函数定义为： （1） f ( x) = wT ϕ( x) + b 其中 w 是 l 维输入空间的权重向量， ϕ( x)是从输入空间 到高维特征空间的非线性映射， b 为偏差项。综合考虑函 数和适应度方差的复杂性， 根据结构风险化理论， 设 l 个样 本为{ x i (n), y i (n)},x i (t ) ∈ Rn,i = 1,2,..., l ， 则 LS-SVM 优化问 题可表示为：
[6]
年至 1995 年之间提出的。SVM 根据结构风险最小化准则 取得最小的实际风险， 其拓扑结构由支持向量决定， 克服了 传统神经网络拓扑结构 （权值及隐层数） 的选择在很大程度 上依赖设计者经验的缺点， 较好地解决了小样本、 非线性、 高维数和局部极小点等实际问题， 具有很强的泛化能力。 最小二乘支持向量机 （Least Square Support Vector Machine,
理论新探
一种基于 RS-LSSVM 的经济景气指数预测模型
张大斌 1,2， 彭
3 森 1， ， 凡华农 1
(1.华中师范大学 信息管理学院,武汉 430079； 2.中国科学院自动化研究所复杂系统与智能科学实验室, 北京 100190； 3.中冶南方工程技术有限公司， 武汉 430223)
摘 要： 为了消除经济景气指数系统中指标冗余及非线性预测困难等问题， 文章利用粗糙集约简原理及支持 向量机非线性预测特性， 提出一种粗糙集与最小二乘支持向量机混合预测模型 RS-LSSVM。模型运用粗糙集约 简样本数据空间的维数， 加快 LSSVM 的训练速度和模型的精度， 又能弥补粗糙集方法在实际应用过程中噪声敏感 问题。最后通过我国工业企业景气指数实证分析及与 BP 神经网络预测相比较， 验证了该预测模型的有效性。 关键词： 经济景气指数； 粗糙集； 最小二乘支持向量机； 预测 中图分类号： TP18 文献标识码： A 文章编号： 1002-6487 （2013） 03-0004-03
w, b, e
ቤተ መጻሕፍቲ ባይዱ
min J (w, e) = 1 wT w + 1 γ ∑ e2 2 2 i=1 i
l
s.t. wT φ( x i) + b + e i = y i,(i = 1,…, l) （2） x 其中， 控制对误 e i 为 i 的松弛变量， γ 为正则化参数，
差的惩罚程度。 为求解上述最优化函数， 引入拉格朗日函数 λ i ， 把受 限问题转换为不受约束的求解问题， 根 据 Karush-Kuhn-Tucker(KKT) 条 件 的 最 优 解 方 法 ， 最终把 LS-SVM 回归问题转化为：
2 q
计算剔除一个(或 n 个) 指标变量， 得到新的指标集 B。对 新的指标集重用属性约简算法确定属性的重要性， 重复上 述过程直至无进一步指标变量可删除为止， 余下为所取指 标体系， 从而为经济预测提供保证。 2.3.2 RS-LSSVM 预测 RS-LSSVM 预测模型首先将经济指标体系样本数据进 行预处理， 离散化得到初始决策表； 然后运用属性约简算 法， 约简去除输入样本数据的冗余条件属性和样本， 得到最 小条件属性样本数据， 作为 LSSVM 预测模型的输入样本数 据； LSSVM 经过自身算法的学习， 对经济景气指数进行智 能预测。LSSVM 由输入层、 特征层和输出层构成， LS-SVM 的预测可以看作回归算法过程， 其基本过程如图 1 所示：
起来的机器学习方法， 其核心内容是 Vapnik 等人在 1992 0 引言 经济波动是经济发展过程中长期存在的经济现象， 其 波动具有一定的周期性特征。目前， 国际上普遍采用合成 指数、 扩散指数、 主成分分析和 S-W 型景气指数等方法对 经济周期波动进行监测[1]。通过选择指标体系， 编制成各 种景气指数， 然后预测未来各行业经济的发展态势， 从而 指导宏观经济调控。在这个过程中， 经济指标的筛选和数 据的处理以及预测方法的选择是其核心。当前的指标选 择方法主要有 K-L 信息量、 时差相关和峰谷对应等统计方 法 [2]。也有采用主成分分析法、 灰色关联度法、 判别分析 法， 以及因子分析法[3]、 遗传算法[4]和神经网络[5]等。然而， 这些方法没有充分考虑到指标之间的关联影响以及相互 之间可能出现冗余问题。在预测方面， 许多经济变量与它 的解释变量之间存在一种非常复杂的多维非线性映射关 系， 传统的数理统计和经济计量方法难以用来对这种复杂 的大量历史数据进行发掘和分析， 不容易发现其中蕴含的 规律并找到合适的预测模型来对行业景气进行预测。因 此， 迫切寻找一种新的方法解决以上问题。粗糙集能够很 好的克服实际系统存在的不确定因素数据包含的噪声， 最 小二乘支持向量机在处理海量、 非线性、 不确定性和时变 性经济数据问题具有明显优势。本文将二者优势互补， 构 建了基于粗糙集的最小二乘支持向量机预测模型运用到 实际景气预测分析中。 1 最小二乘支持向量机模型 支持向量机 （SVM) 是在统计学习理论的基础上发展
f ( x) = ∑ λ i K ( x, x i) + b
i=1 l
（3）
基金项目： 国家自然科学基金资助项目 （70971052） ； 华中师范大学中央高校科研业务费项目 （CCNU09B01003） 作者简介： 张大斌 （1969-） ， 男， 湖北潜江人， 博士， 教授， 研究方向： 计算智能、 经济预测。 彭 森 （1986-） ， 男， 河南周口人， 硕士研究生， 研究方向： 信息工程与计算智能。 凡华农 （1979-） ， 男， 湖北仙桃人， 硕士研究生， 研究方向： 信息工程与计算智能。 4
统计与决策２０1 3 年第 3 期·总第 375 期
理论新探
其中， K (⋅, ⋅)表示从输入空 λ i, b可在转换过程中求出， 间到高维特征空间的非线性映射， 即为核函数。其中核函 数主要有以下几种： 多项式核函数： K ( x, x i) =[( x i ⋅ x) + 1] , q = 1,2,... 高斯核函数 (RBF)： K ( x, x i) = exp(- x - x i /2σ 2) S 型核函数： K ( x, x i) = tanh[Ψ( x ⋅ x i) + c]. 2 RS-LSSVM 的经济景气预测模型 2.1 粗糙集理论 粗糙集(Rough sets, RS)理论是由波兰数学家 Pawlak[8]