《机器学习》课程教学大纲

《机器学习》课程教学大纲

课程中文名称：机器学习

课程英文名称：Machine Learning

适用专业：计算机应用技术，管理科学与工程

总学时：36 （讲课：28 ，实验：8 ）学分：2

大纲撰写人：大纲审核人：

编写日期：

一、课程性质及教学目的：

本课程是面向计算机与信息工程学院研究生开设的专业基础课。其教学重点是使学生掌握常见机器学习算法，包括算法的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解；同时对机器学习的一般理论，如假设空间、采样理论、计算学习理论，以及无监督学习和强化学习有所了解。

二、对选课学生的要求：

要求选课学生事先受过基本编程训练，熟悉C/C++或Matlab编程语言，具有多元微积分、高等代数和概率统计方面基本知识。

三、课程教学内容和要求（200字左右的概述，然后给出各“章”“节”目录及内容简介）

1.决策论与信息论基础：

a)损失函数、错分率的最小化、期望损失的最小化等

b)相对熵、互信息

2.概率分布：

a)高斯分布、混合高斯分布、Dirichlet分布、beta分布等

b)指数分布族：最大似然估计、充分统计量、共轭先验、无信息先验等

c)非参数方法：核密度估计、近邻法

3.回归的线性模型：

a)线性基函数模型

b)贝叶斯线性回归

c)贝叶斯模型比较

4.分类的线性模型：

a)判别函数：二分类和多分类的Fisher线性判别

b)概率生成模型：连续输入、离散特征

5.核方法：

a)对偶表示

b)构造核函数

c)径向基函数网络：Nadaraya-Watson模型

d)高斯过程：高斯过程模型用于回归和分类、Laplace逼近、与神经网络的联系

6.支持向量机：

a)最大边缘分类器：历史回顾

b)用于多分类和回归的支持向量机：几何背景、各种变种

c)统计学习理论简介：Vapnik等人的工作

7.图模型：

a)贝叶斯网络

b)Markov随机场：条件独立、因子分解

c)图模型中的推断

8.混合模型和期望最大化（Expectation Maximization，EM）算法（3学时）：

a)高斯混合模型的参数估计：最大似然估计、EM算法

b)EM一般算法及其应用：贝叶斯线性回归

9.隐Markov模型和条件随机场模型（3学时）：

a)隐Markov模型：向前-向后算法、Viterbi算法、Baum-Welch算法等

b)条件随机场及其应用

四、课程教学环节的学时安排和基本要求

1.决策论与信息论基础（2学时）：了解并掌握统计决策理论和信息论的基础知识。

2.概率分布（3学时）：熟悉常见的分布，熟练掌握最大似然估计方法，学会利用无信息先

验和共轭先验简化计算，了解一些常用的非参数方法。

3.回归的线性模型（3学时）：掌握线性回归的一般方法，学会使用R中有关回归的程序

包，并能将之用于解决实际问题。

4.分类的线性模型（3学时）：对分类问题有一个全面的了解，掌握一些常用的分类方法。

5.核方法（3学时）：了解核方法的最新进展，熟练掌握核函数参数估计的常用方法。

6.支持向量机（4学时）：掌握支持向量机的基本原理，面对各自研究领域中的具体问题学

会使用支持向量机，粗略了解统计学习理论。

7.图模型（4学时）：从建模到算法实现。

8.混合模型和期望最大化（Expectation Maximization，EM）算法（3学时）：掌握EM算

法的基本理论，学会使用EM算法。

9.隐Markov模型和条件随机场模型（3学时）：掌握隐Markov模型的几个经典算法，学

会利用隐Markov模型和条件随机场模型解决具体问题，如自然语言处理中的词性标注等。

五、教材及参考文献：

1.Bishop, C. M. (2006) Pattern Recognition and Machine Learning, Spring Science

+ Business Media, LLC

2.Mitchell, T. M. (1997) Machine Learning, The McGraw-Hill Companies, Inc.

六、必要的说明