基于改进的共轭梯度算法实现的最小二乘隐空间支持向量机

合集下载

最小二乘支持向量机的两点改进

ｓｐａｔｉａｌｉｎｆｏｒｍａｔｉｏｎｏｆａｔｅｒｒｅｓｔｒｉａｌｏｂｊｅｃｔ．ｗｈｉｃｈｉｎｌｆｕｅｎｃｅｓｃｌａｓｓｉｉｆｃａｔｉｏｎｐｒｅｃｉｓｉｏｎ．Ｔｈｅｒｅｆｏｒｉｏｎ
（ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎＥｎｇｉｎｅｅｉｒｎｇ，ＨａｒｂｉｎＥｎｇｉｎｅｅｉｒｎｇＵｎｉｖｅｒｓｉｔｙ，Ｈａｒｂｉｎ１５０００１，Ｃｈｉｎａ）
ｓｔｒａｔｅｇｙｂａｓｅｄｏｎｔｈｅＣｏｕｌｏｍｂｇｒａｖｉｔｙｍｏｄｅｌｉｓｐｒｏｐｏｓｅｄ．Ａｎｄｏｎｔｈｉｓｂａｓｉｓ，ａｎｅｗｃｌａｓｓｉｉｅｆｒｍｏｄｅｌｗｈｉｃｈｍｅｒｇｅｓｔｈｅａｂｏｖｅｃｌａｓｓｉｉｃｆａｔｉｏｎｒｅｓｕｌｔｗｉｔｈｔｈｅｃｌａｓｓｉｉｅｆｒｂａｓｅｄｏｎｓｐａｔｉａｌｉｎｆｏｍａｒｔｉｏｎｃａｎｓｏｌｖｅｔｈｅｔｗｏｐｒｏｂｌｅｍｓｍｅｎｔｉｏｎｅｄ
Ｏｎｔｈｅｏｔｈｅｒｈａｎｄ，ＬＳＳＶＭｍａｉｎｌｙｕｓｅｓｓｐｅｃｔｒａｌｄａｔａｆｏｒｔｒａｉｎｉｎｇａｎｄｃｌａｓｓｉｉｆｃａｔｉｏｎ，ａｎｄｉｔｉｇｎｏｒｅｓｍｉｎｉｎｇｏｎｔｈｅ

基于遗传算法参数优化的最小二乘支持向量机财务困境预测

基于遗传算法参数优化的最小二乘支持向量机财务困境预测赵冠华;李玥;赵娟【摘要】When using traditional support vector machine to make financial distress prediction, we need to solve the complex quadratic programming problems, which are quite difficult. At the same time, the least squares support vector machine （LS-SVM） can solve the quadratic programming problems by transferring them into linear equations, effectively reducing the difficulty. Especially when applying genetic algorithm to optimize parameters and kernel parameters of LSSVM, the prediction accuracy is significantly improved. We randomly selected 252 A-share listed companies during 2002-2007 from Shanghai and Shenzhen Stock Exchanges as the research samples and divided them into two Sample I and Sample II. Then we carried out short-term and long-term predictions of these two sets of samples res The empirical results showed that the prediction effects of LS-SVM model based on genetic algorithm was better of traditional statistical Logit Model as well as the traditional support vector machine. higher accuracy rate compared with long-term prediction. groups - pectively. than that Besides, short-term prediction had a In addition, the number of training samples directly affected the prediction accuracy and they were positively correlated.%传统支持向量机应用于财务困境预测时，需要求解复杂的二次规划问题，求解难度大。

共轭梯度法在优化问题中的应用

共轭梯度法在优化问题中的应用共轭梯度法是一种高效的优化算法，在许多优化问题中都得到了广泛的应用。

它是一种迭代方法，用于解决最小化二次函数的优化问题。

在本文中，我将介绍共轭梯度法的原理和算法，并探讨它在优化问题中的应用。

一、共轭梯度法的原理共轭梯度法的核心思想是通过迭代的方式，找到一个与之前迭代步骤方向相互垂直的搜索方向，以加快收敛速度。

在每一次迭代中，共轭梯度法根据当前的搜索方向更新搜索点，直到找到最优解或达到预定的收敛标准。

具体来说，共轭梯度法从一个初始搜索点开始，计算对应的梯度，并沿着负梯度方向进行搜索。

通过一定的方法找到一个与之前搜索方向相互垂直的新搜索方向，并以一定步长更新搜索点。

迭代过程将重复进行，直到满足收敛标准或达到最大迭代次数。

二、共轭梯度法的算法共轭梯度法的算法包括以下几个步骤：1. 初始化搜索点x0和梯度g0，设置迭代次数k=0。

2. 计算当前搜索方向d_k=-g_k（k为当前迭代次数）。

3. 通过一维搜索方法找到最佳步长α_k。

4. 更新搜索点x_k+1 = x_k + α_k * d_k。

5. 计算更新后的梯度g_k+1。

6. 判断是否满足收敛标准，若满足则算法停止，否则转到步骤7。

7. 计算新的搜索方向β_k+1。

8. 将迭代次数k更新为k+1，转到步骤3。

这个算法保证了每一次迭代中的搜索方向都是彼此相互垂直的，从而加快了收敛速度。

三、共轭梯度法的应用共轭梯度法在优化问题中有广泛的应用，特别是在二次规划、线性规划和非线性规划等领域。

在二次规划问题中，共轭梯度法可以高效地求解线性系统Ax=b，其中A是一个对称正定的矩阵。

由于共轭梯度法的特性，它只需要进行n 次迭代，其中n是问题的维度，就能得到精确的解。

这使得共轭梯度法在大规模线性系统求解中具有重要的应用价值。

在线性规划问题中，共轭梯度法可以用于求解带有线性约束的最小二乘问题。

共轭梯度法通过将线性约束转化为一系列的正交子空间，从而在求解最小二乘问题时能够更快地收敛。

改进的最小二乘支持向量机算法及应用

改进的最小二乘支持向量机算法及应用张吉斌（兰州交通大学自动化与电气工程学院，兰州 730070）摘要：针对粒子群优化算法（PSO）的局部搜索能力差和存在早熟收敛的问题，将禁忌搜索（TS）思想融入到粒子群算法中，提出一种新的禁忌搜索的粒子群优化算法。

该新算法结合了PSO和TS各自的优点，在寻优前期利用粒子群算法得到较好的初始值，同时将个体极值pbest放入禁忌表，在寻优后期，当粒子的搜索能力减弱时，利用禁忌搜索算法中禁忌表的短期记忆功能，使其跳出局部最优解,并且在搜索过程中允许接受劣解。

将改进的算法应用于函数的优化，仿真结果表明，该算法计算精度和稳定性都有所提高，验证了改进算法的有效性。

关键词：粒子群算法；禁忌搜索；函数优化中图分类号：文献标识码：A文章编号：An Improved Tabu Search-Particle Swarm Optimization Algorithm and Its ApplicationZHANG Ji-bin(School of Automation and Electrical Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China) Abstract:Considering the poor local search capability and the premature convergence of the Particle Swarm Optimization (PSO), combining Tabu Search(TS) ,a new PSO with TS is proposed .The new algorithm combines the PSO and TS respective advantages, in the early period use particle swarm optimization algorithm to get some good initial values, and at the same time, put individual optimal solution pbest into tabu list, in the later stage of search process, use tabu list’s short term memory function makes particles jump out of local optimal solution and allow accept bad solutions in the search process.With the application of function optimization, simulation results show that the improved algorithm has high precision and stability, and it proves that the improvement is efficient. Key words: Particle Swarm Optimization；tabu search；function optimization0 引言近年来，许多优化算法被提出应用于解决最优化问题，其中启发式方法越来越受到关注。

支持向量机和最小二乘支持向量机的比较及应用研究

支持向量机和最小二乘支持向量机的比较及应用研究一、本文概述随着和机器学习技术的迅速发展，支持向量机（Support Vector Machine, SVM）和最小二乘支持向量机（Least Squares Support Vector Machine, LSSVM）作为两类重要的分类和回归算法，在诸多领域都取得了显著的应用成果。

本文旨在对SVM和LSSVM进行深入研究，对比分析两者的理论原理、算法特性以及应用效果，探讨各自的优势和局限性，从而为实际问题的求解提供更为精准和高效的算法选择。

本文首先回顾SVM和LSSVM的基本理论和算法实现，阐述其在处理分类和回归问题时的基本思想和方法。

随后，通过对比分析，探讨两者在算法复杂度、求解效率、泛化性能等方面的差异，并结合具体应用场景，评估两种算法的实际表现。

在此基础上，本文将进一步探索SVM和LSSVM在实际应用中的优化策略，如参数选择、核函数设计、多分类处理等，以提高算法的性能和鲁棒性。

本文将总结SVM和LSSVM的优缺点，并对未来研究方向进行展望。

通过本文的研究，希望能够为相关领域的研究者和实践者提供有益的参考，推动SVM和LSSVM在实际应用中的进一步发展。

二、支持向量机（SVM）的基本原理与特点支持向量机（Support Vector Machine, SVM）是一种基于统计学习理论的机器学习算法，它主要用于分类、回归和异常检测等任务。

SVM 的基本思想是通过寻找一个最优超平面来对数据进行分类，使得该超平面能够最大化地将不同类别的数据分隔开。

这个超平面是由支持向量确定的，这些支持向量是离超平面最近的样本点。

稀疏性：SVM 的决策函数仅依赖于少数的支持向量，这使得模型具有稀疏性，能够处理高维数据并减少计算复杂度。

全局最优解：SVM 的优化问题是一个凸二次规划问题，这意味着存在唯一的全局最优解，避免了局部最优的问题。

核函数灵活性：SVM 可以通过选择不同的核函数来处理不同类型的数据和问题，例如线性核、多项式核、径向基函数（RBF）核等。

一种最小二乘支持向量机的算法改进与实现

Ｙ是输入数据。在权Ｗ空间中的ＬＳ．ＳＶＭ分类问题即
１＇ Ⅳ
ｅ＝； … ；ｅｒｅ］，ａ＝【； … ；】。应用Ｍｅｒｃｅｒ条件，可得０＝％）） … ＝ＹｋＹｚ￣（Ｘｋ，而）式（６）中，（，）为核函数。由以上可知，ＬＳ — ＳＶＭ分类问题可通过求解线性方程获得，不用解决二次规划问题。常见的核函数为ＭＬＰ核、Ｂ样条核及多项式核等。
２０１３年第５期
（总第１２７期）
信息通信
ＩＮＦＯＲＭＡＴＩＯＮ＆Ｃ０ＭＭＵＮＩＣＡＴ１０ＮＳ
２０１３
（Ｓｕｍ．Ｎｏｌ２７）
一
种最小二乘支持向量机的算法改进与实现
许小梅，李蕴华
（南通大学电子信息学院，江苏南通２２６０１９）
・・
其中为拉格朗日乘子，并且 ∈丑。对式（３）进行优化，
即
・
＋ ” ＋ ” ＋一 — ● 一“ — ■ 一” ＋－＋－－＇４＂－－ ” ＋－ — ・ ● 一＂－＇－” Ｉ — －＋一
＋・・ — — ● 一一＋・
参考文献：
ｐ
其中，ｚ＝【）； … ；
）ｙ Ⅳ 】，Ｙ＝； … ；】，ｐ＝【１； … ；１］，
ｌＬＳ — ＳＶＭ的理论分析与算法改进
１．１ＬＳ — ＳＶＭ的理论分析
ＬＳ — ＳＶＭ中的支持向量即训练样本。设训练样本集为Ｄ＝｛（，ｙｋ）ｌｋ＝ｌ，２，．．．， Ⅳ｝， ∈Ｒ，Ｙｋ ∈Ｒ，是输入数据，

最小二乘支持向量机

最小二乘支持向量机：用于分类和回归问题的机器学习算法随着计算机技术的不断发展，机器学习（Machine Learning）已经成为当前人工智能领域的重要应用之一。

（Least Squares Support Vector Machines，LSSVM）是一种用于分类和回归问题的机器学习算法。

它利用最小二乘法，将样本数据分为不同的类别或预测目标。

LSSVM有着广泛的应用领域，例如语音识别、图像处理、生物医学工程等，具有较好的效果。

SVM的发展背景SVM（Support Vector Machine）是由Vapnik等人在1980年代发明的。

它是一种二分类模型，通过构建一个最优的超平面来分离数据。

SVM在许多问题中取得了出色的解决方案。

然而，它们只设计了处理训练样本是线性可分的情况。

在实际问题中，许多数据集是线性不可分的。

因此，LSSVM是SVM的发展方向之一，它可以用于处理过度拟合或线性不可分的数据集。

支持向量机的数学模型支持向量机（SVM）是一种基于概率的监督学习算法，在分类和回归问题中广泛应用。

在二分类问题中，SVM的目标是找到一个最优的超平面，将样本数据分为两个类别。

其中，这个超平面的特点是离两个类别最近的样本点最远。

这两个样本点被称为“支持向量”。

SVM的数学模型可以表示为：$ \min \limits_{\alpha, b} \frac{1}{2} \alpha^T H \alpha - \alpha^T e $其中， $H$是Gram矩阵， $e$是所有样本的标签向量，$ \alpha $是拉格朗日乘子。

LSSVM是一种推广了SVM算法的机器学习算法。

它通过最小化重建误差，把训练样本映射到高维空间，从而实现非线性分类和回归。

LSSVM和SVM都是在特征空间中构造一个超平面，但LSSVM选择使用最小二乘法来解决优化问题。

LSSVM的数学模型为：$ \min \limits_{w, b, e} \frac{1}{2} w^T w +\frac{C}{2}\sum_{i=1}^{n} e_i^2 $$ y_i = w^T\phi(x_i) + b = \sum_{j=1}^n \alpha_j \phi(x_j) \phi(x_i) +b $其中w是一个权重向量， $b$是常数项， $e$是松弛变量。

最小二乘支持向量机的一种改进算法

维普资讯
第３第６期０卷２００６年ｌ２月
南昌大学学报（科版）理
ＪｕｎｌｏａｃａｇＵｎｖｒｉ（ａｕａｃｅｃ）ｏｒａｆＮｎｈｎｉｅｓｙＮｔｒｌＳｉｎｅｔ
Ｖｏ．０１３Ｎｏ．６Ｄｅ．０ｃ２０６
文章编号：０６— ４４２０）６— ６６— ４１００６（０６００１０
最小二乘支持向量机的一种改进算法
周博韬，安贵李
（京科技大学应用科学学院，京１０８）北北００３
摘
要：最小二乘支持向量机相比传统的支持向量机，丧失了解的稀疏性，响了二次学习的效率。对原有的最小影
二乘支持向量机在稀疏性上进行了改进，通过实验，并对改进后的摄小二乘支持向量机的分类效果进行了验证。关键词：支持向量机；最小二乘支持向量机；剪枝算法
中图分类号：Ｐ９Ｔ３９文献标识码：Ａ
支持向量机（ｕｐｒＶｃｒＭａｈｎｓＳＭ）Ｓｐｏｔｅｔｃｉｅ，Ｖ是ｏ
上式中的ｐ（・）舅是一个非线性映射，：将输人数据映射到一个高维特征空间。
开始成为克服“ 维数灾难 ” 过学习” 和“ 等传统困难
的有力手段。
为了使支持向量机能够对大样本情况进行学
在最小二乘支持向量机中，求解最优超平面问题等价于求解如下的二次规划问题：
堕：０

最小二乘支持向量机算法及应用研究

最小二乘支持向量机算法及应用研究最小二乘支持向量机算法及应用研究引言：在机器学习领域中，支持向量机（Support Vector Machines, SVM）算法是一种广泛应用于分类和回归分析的监督学习方法。

而最小二乘支持向量机算法（Least Square Support Vector Machines, LS-SVM）则是支持向量机算法的一种变种。

本文将首先简要介绍支持向量机算法的原理，然后重点探讨最小二乘支持向量机算法的基本原理及应用研究。

一、支持向量机算法原理支持向量机是一种有效的非线性分类方法，其基本思想是找到一个超平面，使得将不同类别的样本点最大程度地分开。

支持向量是指离分类超平面最近的正负样本样本点，它们对于分类的决策起着至关重要的作用。

支持向量机算法的核心是通过优化求解问题，将原始样本空间映射到更高维的特征空间中，从而实现在非线性可分的数据集上进行线性分类的目的。

在支持向量机算法中，线性可分的数据集可以通过构建线性判别函数来实现分类。

但是，在实际应用中，往往存在非线性可分的情况。

为了克服这一问题，引入了核技巧（Kernel Trick）将样本映射到更高维的特征空间中。

通过在高维空间中进行线性判别，可以有效地解决非线性可分问题。

二、最小二乘支持向量机算法基本原理最小二乘支持向量机算法是一种通过最小化目标函数进行求解的线性分类方法。

与传统的支持向量机算法不同之处在于，最小二乘支持向量机算法将线性判别函数的参数表示为样本点与分类超平面的最小误差之和的线性组合。

具体而言，最小二乘支持向量机算法的目标函数包括一个平滑项和一个约束条件项，通过求解目标函数的最小值，得到最优解。

最小二乘支持向量机算法的求解过程可以分为以下几个步骤：1. 数据预处理：对原始数据进行标准化或归一化处理，以确保算法的稳定性和准确性。

2. 求解核矩阵：通过选取适当的核函数，将样本点映射到特征空间中，并计算核矩阵。

3. 构建目标函数：将目标函数表示为一个凸二次规划问题，包括平滑项和约束条件项。

最小二乘支持向量机的两点改进

最小二乘支持向量机的两点改进王立国;赵亮;石瑶;路婷婷【摘要】The least squares support vector machine ( LSSVM) has been widely used due to its better performance. However, LSSVM still has two deficiencies. On the one hand, it sacrifices the speed in the generalization process because it treats all the training samples as the support vector set to participate in classification of unknown samples. On the other hand, LSSVM mainly uses spectral data for training and classification, and it ignores mining on the spatial information of a terrestrial object, which influences classification precision. Therefore, a sample reduction strategy based on the Coulomb gravity model is proposed. And on this basis, a new classifier model which merges the above classification result with the classifier based on spatial information can solve the two problems mentioned above. Experimental results indicate that this new classifier performs better than the standard LSSVM both in classi⁃fication accuracy and speed.%最小二乘支持向量机以其较好的性能得到了广泛应用，但仍存在2点不足：一方面，最小二乘支持向量机将所有训练样本都作为支持向量参与未知样本的分类，导致该算法在泛化过程中处理速度较慢；另一方面，最小二乘支持向量机主要利用光谱数据进行训练和分类，忽略了对地物空间信息的挖掘，影响了分类精度。

最小二乘支持向量机的一种改进算法

最小二乘支持向量机的一种改进算法最小二乘支持向量机（LS-SVM）是一种常用的机器学习算法，它使用最小二乘法来寻找最佳决策边界，就像标准的支持向量机（SVM）一样。

但是，LS-SVM有一些局限性，例如对噪声数据的敏感性。

为了解决这些限制，人们开发了许多改进算法。

这篇文章将介绍最小二乘支持向量机的一种改进算法。

一、最小平方双曲线支持向量机（LSSVM-RBF）LSSVM-RBF是对LS-SVM的改进。

它使用径向基函数（RBF）作为核函数，通过添加双曲线惩罚项来解决LS-SVM的局限性。

这个惩罚项可以控制分类器复杂度，从而使其更适应噪声数据。

二、随机采样最小平方支持向量机（RS-LSSVM）另一个改进方法是随机采样最小平方支持向量机（RS-LSSVM）。

这个算法可以在保持准确性的同时降低计算成本。

它在每个迭代中随机选择一小部分样本，以计算新的最小二乘解。

这样可以减少计算，但也增加了噪声的影响。

为了解决这个问题，RS-LSSVM还引入了一个新惩罚项来稳定分类器。

三、多核最小二乘支持向量机（MKL-SVM）MKL-SVM是另一个对LS-SVM的改进。

它使用多个核函数组合，可以对不同的数据集选择最佳的核函数组合，以提高分类器的准确性。

此外，MKL-SVM还使用自适应核函数权重来调整不同核函数的重要性。

四、在线最小二乘支持向量机（OLS-SVM）在线最小二乘支持向量机（OLS-SVM）是一种新的改进方法，它可以逐渐适应新数据，而不需要重新训练模型。

该算法在线更新模型参数，可以实时适应变化的数据。

总之，最小二乘支持向量机是一种优秀的分类器，但也存在局限性。

随着机器学习领域的不断发展，人们也在不断改进这个算法，以使其更适应不同的数据集和问题。

基于粒子群算法-最小二乘支持向量机算法的磁化曲线拟合

基于粒子群算法-最小二乘支持向量机算法的磁化曲线拟合王娟;刘明光【摘要】Magnetization curve was strongly nonlinear function.It was important to improve the accuracy of the magnetization curve fitting for the model of electrical equipment containing ferromagneticmaterial.Therefore,a method of magnetization curve fitting based on PSO-LSSVM algorithm was proposed.The method used particle swarm optimization algorithm to solve the LSSVM parameters selection problem.The simulation results showed that PSOLSSVM algorithm could obtain optimal LSSVM parameters and the magnetization curve used PS0-LSSVM algorithm has high fitting accuracy.%磁化曲线是强非线性函数,提高磁化曲线的拟合精度对含有铁磁材料的电气设备建模准确性至关重要.提出了一种基于粒子群算法-最小二乘支持向量机(PSO-LSSVM)算法的磁化曲线拟合方法.该方法用粒子群优化算法解决了最小二乘支持向量机(ISSVM)参数的选择问题.仿真结果显示PSO-LSSVM算法能获得最优的LSSVM参数,且采用PSO-LSSVM算法拟合的磁化曲线与实际测量的磁化曲线基本无偏差,拟合精度较高.【期刊名称】《电机与控制应用》【年(卷),期】2017(044)007【总页数】4页(P26-29)【关键词】磁化曲线;最小二乘支持向量机;粒子群算法;曲线拟合;参数优化【作者】王娟;刘明光【作者单位】北京交通大学电气工程学院,北京100044;北京交通大学电气工程学院,北京100044【正文语种】中文【中图分类】TM301.2在对含有铁磁材料的电气设备如变压器、电动机、发电机等进行仿真建模时，一个必须要考虑的问题就是对磁化曲线的准确描述。

基于改进最小二乘支持向量机的短期负荷预测

基于改进最小二乘支持向量机的短期负荷预测孙薇;刘默涵【摘要】为了提高短期负荷预测的精度, 提出基于量子差分进化算法 ( Quantum Differential Evolution , QDE) 优化的最小二乘支持向量机 (Least Squares-Support Vector Machine, LSSVM) 模型. 该算法克服了最小二乘支持向量机算法中依据经验选定参数的盲目性. 实例验证结果表明, QDE-LSSVM的预测精度要远高于BP神经网络与单纯的最小二乘支持向量机, 证明了利用量子差分进化选取最小二乘支持向量机的有效性. 该算法更适用于当前中国短期负荷预测的需要.%To improve the accuracy of short-term load forecasting , this paper proposes least squares-support vector machine (LSSVM) short-term load forecasting approach optimized by quantum differential evolution (QDE) meth-od.This paper overcomes blindness of least squares support vector machine algorithm that based on the experience of the selectedparameters .Examples of verification results show that compared with BP neural network and simple least squares support vector machine algorithm , QDE-LSSVM has higher prediction accuracy which proves the effi-ciency of quantum-bit encoding in choosing the least squares support vector machine parameters .The proposed model is more suitable for the current needs of China's short-term load.【期刊名称】《电力科学与工程》【年(卷),期】2015(031)012【总页数】7页(P16-21,33)【关键词】短期负荷预测;参数优化;量子差分进化;最小二乘支持向量机【作者】孙薇;刘默涵【作者单位】华北电力大学经济与管理学院, 河北保定 071003;华北电力大学经济与管理学院, 河北保定 071003【正文语种】中文【中图分类】TM715“十二五”规划期间，随着电力市场化改革的进一步深化与智能电网的大规模试点，精度较高的负荷预测对保障智能电网的安全稳定运行与电能资源的优化配置起到至关重要的作用。

最小二乘支持向量机的预优共轭梯度法

最小二乘支持向量机的预优共轭梯度法
吴青;刘三阳;张乐友
【期刊名称】《系统工程与电子技术》
【年(卷),期】2007(29)10
【摘要】针时Suyken等人提出的最小二乘支持向量机的共轭梯度法在输入样本的个数较大时,需要求解高阶线性方程组这一缺陷,提出了一种新算法.该算法利用分块矩阵的思想将该高阶线性方程组系数矩阵降阶,为了提高收敛速度,克服数值的不稳定性,采用条件预优共轭梯度法求解低阶的线性方程组.通过仿真试验证明用本文方法训练最小二乘支持向量机比共轭梯度法的训练速度提高了将近一倍.
【总页数】3页(P1746-1748)
【作者】吴青;刘三阳;张乐友
【作者单位】西安电子科技大学数学科学系,陕西,西安,710071;西安电子科技大学数学科学系,陕西,西安,710071;西安电子科技大学数学科学系,陕西,西安,710071【正文语种】中文
【中图分类】TP18
【相关文献】
1.GaAs MESFET器件数值模似的预优共轭梯度法 [J], 朱维宝;陈贵灿
2.用牛顿-条件预优共轭梯度法求解光滑支持向量机的可能性研究 [J], 熊金志;胡金莲;王斌
3.预优共轭梯度法及井资料约束的磁化强度成像 [J], 刘双;刘天佑;冯杰;高文利;邱礼泉;张大莲
4.一个求解无约束优化问题的条件预优共轭梯度法 [J], 孙麟平
5.基于不完全分解预优共轭梯度法的电源和地线网络求解器 [J], 武晓海;殷莉;洪先龙
因版权原因，仅展示原文概要，查看原文内容请购买。

一种改进的最小二乘支持向量机算法

一种改进的最小二乘支持向量机算法万辉;魏延【期刊名称】《重庆师范大学学报：自然科学版》【年(卷),期】2010(27)4【摘要】最小二乘支持向量机是标准支持向量机的一种扩展,它是支持向量机在二次损失函数下的一种形式。

它用等式约束代替不等式约束,求解过程变为解一组等式方程,避免了求解耗时的二次规划问题,但同时也丧失了标准支持向量机的稀疏性,影响了二次学习的效率。

针对上述问题,本文提出了一种改进的最小二乘支持向量机增量学习方法。

改进的最小二乘支持向量机算法采用自适应剪枝方法对解进行稀疏,根据每次训练得到的分类器性能来设定剪枝阈值和样本增量的大小,如果得到的分类器性能好,剪枝阈值和样本增量就大,反之,剪枝阈值和样本增量就小,从而提高了最小二乘支持向量机训练效率,解决了稀疏性问题。

最后,仿真实验表明该算法方案可行。

【总页数】5页(P69-72)【关键词】最小二乘支持向量机;增量学习;稀疏性【作者】万辉;魏延【作者单位】重庆师范大学科研处;信息科学与工程学院,重庆400047【正文语种】中文【中图分类】TP391.41【相关文献】1.基于改进果蝇算法与最小二乘支持向量机的轧制力预测算法研究 [J], 杨景明;郭秋辰;孙浩;马明明;车海军;赵新秋2.一种改进的最小二乘孪生支持向量机分类算法 [J], 储茂祥;王安娜;巩荣芬3.一种最小二乘支持向量机的算法改进与实现 [J], 许小梅;李蕴华4.一种改进的最小二乘支持向量机算法及其在硅酸盐分析仪中的应用 [J], 于昕梅;蒋业文;周燕;曾凡智;曾启汉5.最小二乘支持向量机的一种改进算法 [J], 周博韬;李安贵因版权原因，仅展示原文概要，查看原文内容请购买。

改进最小二乘支持向量机的网络入侵检测

改进最小二乘支持向量机的网络入侵检测马磊娟;王林生【期刊名称】《微型电脑应用》【年(卷),期】2017(33)7【摘要】非法入侵直接危害到网络的安全,为了解决传统网络入侵检测模型存在的缺陷,提高网络入侵检测的准确性,提出了一种改进最小二乘支持向量机的网络入侵裣测模型.收集网络入侵检测数括,并提取其中的特征,采用最小二乘支持向量机作为入侵检测的分类器,实现网络状态的检测,并引入布谷鸟搜索算法对最小二乘支持向量机的参数选择进行改进,选择KDD Cup 99数据集作为实验对象.结果表明,改进最小二乘支持向量机可以建立正确率的网络入侵检测模型,降低了网络入侵检测的错误率,可以保证网络安全.%The illegal intrusion directly endangers the security of the network.In order to solve the defects of the traditional network intrusion detection model,improve the accuracy of network intrusion detection,an improved least squares support vector machine model is proposed for network intrusion detection.The first is to collect network intrusion detection data and extract the feature.The least squares support vector machine is used as a classifier to detect intrusion detection,network status.Cuckoo search algorithm is introduced to improve the parameters of least squares support vector machine.Finally the KDD Cup 99 data set is chosen as the experimental object.The results show that the improved least squares support vector machine (SVM) canestablish the correct network intrusion detection model,reduce the error rate of network intrusion detection,and ensure the network security.【总页数】4页(P76-79)【作者】马磊娟;王林生【作者单位】河南工业职业技术学院,南阳473009;河南工业职业技术学院,南阳473009【正文语种】中文【中图分类】TP391【相关文献】1.构造稀疏最小二乘支持向量机的网络入侵检测模型 [J], 张红梅; 高海华; 王行愚2.基于改进自适应粒子群算法的混合核函数最小二乘支持向量机大坝变形预测 [J], 梁耀东;栾元重;刘方雨;纪赵磊;庄艳3.基于变分模态分解和改进粒子群算法优化最小二乘支持向量机的短期电价预测[J], 杨昭;张钢;赵俊杰;张灏;蔺奕存4.基于改进加权最小二乘支持向量机的UWSN定位 [J], 蒋华;蔡晨;王慧娇;王鑫5.杜鹃鸟搜索算法优化最小二乘支持向量机的网络入侵检测模型 [J], 陈健;陈雪刚;张家录;程杰仁因版权原因，仅展示原文概要，查看原文内容请购买。

基于改进支持向量机的隐写分析方法

基于改进支持向量机的隐写分析方法
陈晓楠;张敏情;马林
【期刊名称】《计算机工程与应用》
【年(卷),期】2010(046)021
【摘要】为了更有效地提高图像隐写分析的速度和正确检测率,提出了一种基于改进的支持向量机的隐写分析方法.采用Fridrich提出的多特征融合提取算法对图像进行特征提取,克服了单一特征不能很好描述图像差别的不足.然后提出了一种将最小二乘法与超球体一类支持向量机(HSOC-SVM)相结合的分类器--最小二乘超球一类支持向量机(LSHS-OCSVM),并与目前广泛使用的FLD和非线性SVM分类器作对比实验.结果表明,方法是一种有效、高速的隐写分析方法.
【总页数】3页(P97-99)
【作者】陈晓楠;张敏情;马林
【作者单位】武警工程学院,电子技术系,网络与信息安全武警部队重点实验室,西安,710086;武警工程学院,电子技术系,网络与信息安全武警部队重点实验室,西安,710086;武警工程学院,装备运输系,西安,710086
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.一种针对MB数字隐写的改进隐写分析方法 [J], 伊兵哲;平西建;许漫坤
2.改进的基于线性支持向量机回归的近红外光谱分析方法 [J], 熊宇虹;荣祺;舒明磊;
戴酉
3.基于改进支持向量机的高维隐写盲检测方法 [J], 何凤英;钟尚平;肖玉麟
4.基于模糊C均值聚类与单类支持向量机的音频隐写分析方法 [J], 王昱洁;蒋薇薇
5.基于优化特征加权支持向量机的隐写分析方法 [J], 汪海涛;张卓;杨晓元;林志强因版权原因，仅展示原文概要，查看原文内容请购买。

迭代再权共轭梯度q范数正则化线性最小二乘-支持向量机分类算法

迭代再权共轭梯度q范数正则化线性最小二乘-支持向量机分类算法刘建伟;黎海恩;刘媛;付捷;罗雄麟【期刊名称】《控制理论与应用》【年(卷),期】2014(031)003【摘要】L2范数罚最小二乘-支持向量机(least square support vector machine algorithm,LS-SVM)分类器是得到广泛研究和使用的机器学习算法,其算法中正则化阶次是事先给定的,预设q=2.本文提出q范数正则化LS-SVM分类器算法,0＜q ＜∞,把q取值扩大到有理数范围.利用网格法改变正则化权衡参数c和正则化阶次q的值,在所选的c和q值上,使用迭代再权方法求解分类器目标函数,找出最小分类预测误差值,使预测误差和特征选择个数两个性能指标得到提高.通过对不同领域的实际数据进行实验,可以看到提出的分类算法分类预测更加准确同时可以实现特征选择,性能优于L2范数罚LS-SVM.【总页数】9页(P334-342)【作者】刘建伟;黎海恩;刘媛;付捷;罗雄麟【作者单位】中国石油大学自动化研究所,北京102249;中国石油大学自动化研究所,北京102249;中国石油大学自动化研究所,北京102249;中国石油大学自动化研究所,北京102249;中国石油大学自动化研究所,北京102249【正文语种】中文【中图分类】TP181【相关文献】1.共轭梯度最小二乘迭代正则化算法在冲击载荷识别中的应用 [J], 卢立勤;乔百杰;张兴武;陈雪峰2.迭代再权q范数正则化LS SVM分类算法 [J], 刘建伟;李双成;罗雄麟3.p范数正则化支持向量机分类算法 [J], 刘建伟;李双成;罗雄麟4.非凸共轭梯度p范数正则化SVM分类算法 [J], 左信;黄海龙;刘建伟5.四元数体上线性方程组的加正定权极小范数最小二乘解 [J], 徐清舟;汪国军因版权原因，仅展示原文概要，查看原文内容请购买。

基于改进量子粒子群算法的支持向量机参数优化方法

基于改进量子粒子群算法的支持向量机参数优化方法
周頔
【期刊名称】《计算机与现代化》
【年(卷),期】2018(000)009
【摘要】支持向量机参数的选择对建模精度和泛化性能等有着重要的影响,提出量子粒子群优化(QPSO)改进算法优化支持向量机(SVM)参数的方法.该方法首先将混合扰动算子引入QPSO算法中,用于获取平均最优位置,建立一种基于混合扰动算子的QPSO算法改进方法(IQPSO),然后用IQPSO算法的全局优化能力对支持向量机惩罚系数和核参数进行综合寻优,求取最优化参数组合,从而提高支持向量机的求解速度和解的精确性.利用测试函数和UCI测试数据,对IQP-SO-SVM进行仿真测试与分类,实验结果表明,IQPSO能获得很好的优化结果,IQPSO-SVM具有较好的泛化性能.
【总页数】5页(P27-31)
【作者】周頔
【作者单位】四川文理学院达州智能制造产业技术研究院,四川达州 635000;重庆大学人工智能与健康监护实验室,重庆 400044
【正文语种】中文
【中图分类】TH164
【相关文献】
1.采用改进果蝇优化算法的最小二乘支持向量机参数优化方法 [J], 司刚全;李水旺;石建全;郭璋
2.基于改进的量子粒子群算法的脱硝系统线性参数变化模型辨识 [J], 袁世通
3.基于改进遗传算法的支持向量机参数优化方法 [J], 王琼瑶;何友全;彭小玲
4.一种改进的支持向量机参数优化方法 [J], 赵朝贺
5.基于改进量子粒子群算法的火电厂再热汽温调节系统PID参数自整定 [J], 刘锦廉
因版权原因，仅展示原文概要，查看原文内容请购买。