机器学习论文

现代机器学习理论

论文

题目：综述机器学习与支持向量机

学院：电子工程学院

专业：

学号：

学生姓名：

综述机器学习与支持向量机

摘要

机器学习是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，它是人工智能的核心，是使计算机具有智能的根本途径。

基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测，包括模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。

支持向量机是从统计学发展而来的一种新型的机器学习方法，在解决小样本、非线性和高维的机器学习问题中表现出了许多特有的优势，但是，支持向量机方法中也存在着一些亟待解决的问题，主要包括：如何用支持向量机更有效的解决多类分类问题，如何解决支持向量机二次规划过程中存在的瓶颈问题、如何确定核函数以及最优的核参数以保证算法的有效性等。

本文详细介绍机器学习的基本结构、发展过程及各种分类，系统的阐述了统计学习理论、支持向量机理论以及支持向量机的主要研究热点，包括求解支持向量机问题、多类分类问题、参数优化问题、核函数的选择问题等，并在此基础上介绍支持向量机在人脸识别中的应用，并通过仿真实验证明了算法的有效性。

关键词：机器学习；统计学习理论；SVM；VC维；人脸识别

The Summarization of Machine Learning and Support Vector Machine

ABSTRACT

Machine learning is to study how a computer simulates or realizes human behaviors to acquire new information and skills, then rebuilds its knowledge structure to improve itself capability constantly. It is the core of Artificial Intelligence，and is the underlying way in which a computer develops intelligence.

Machine learning based on data is one of the most important aspects of modern intelligence technology. It is to investigate how to find a rule starting from data observation, and use the rule to predict future data and unavailable data. Statistics is one of the most common important theory elements of the existing methods of machine learning, including Pattern Recognition and Neural Networks.

SVM(Support Vector Machine) is a novel method of machine learning evoling from Statistics. SVM presents many own advantages in solving machine learning problems such as small samples, nonlinearity and high dimension. However, SVM methods exist some problems need to be resolved, mainly including how to deal with multi-classification effectively, how to solve the bottle-neck problem appearing in quadratic programming process, and how to decide kernel function and optimistical kernel parameters to guarantee effectivity of the algorithm.

This paper has introduced in detail the structure, evolvement history, and kinds of classification of machine learning, and demonstrated systemly SLT(Statistical Learning Theory), SVM and research hotspots of SVM, including seeking SVM problems, multi-classification, parameters optimization, kernel function selection and so on. The application on human face recognition has been introduced based on above theory, and the simulation experiment has validated the algorithm.

Keywords: Machine learning, SLT, SVM, VC dimension, Human face recognition

目录

摘要................................................................................................................................ I ABSTRACT .................................................................................................................. II 1.绪论.. (1)

1.1研究背景及意义 (1)

1.1.1 机器学习概念的出现 (1)

1.1.2支持向量机的研究背景 (1)

1.2本文主要内容 (3)

2.机器学习的结构及分类 (4)

2.1机器学习定义及发展 (4)

2.2机器学习系统的基本结构 (5)

2.3机器学习的分类 (6)

2.4目前研究领域 (9)

3.支持向量机的原理 (10)

3.1统计学习理论 (10)

3.1.1机器学习问题 (10)

3.1.2统计学理论的发展与支持向量机 (11)

3.1.3VC维理论 (12)

3.1.4推广性的界 (12)

3.1.5结构风险最小化原则 (13)

3.2支持向量机理论 (14)

3.2.1最优分类面 (16)

3.2.2标准支持向量机 (18)

4.支持向量机的主要研究热点 (20)

4.1支持向量机多类分类方法 (20)

4.2求解支持向量机的二次规划问题 (23)

4.3核函数选择及其参数优化 (25)

5.支持向量机的算法仿真 (27)

5.1人脸识别的理论基础 (27)

5.2基于PCA方法和SVM原理的人脸识别仿真 (28)

6.参考文献 (33)