《统计机器学习》教学大纲

《统计机器学习》教学大纲
课程主要内容框架：各章节的主要内容、目的与要求
1.决策论与信息论基础（2学时）：了解并掌握统计决策理论和信息论的基础知识。

a)损失函数、错分率的最小化、期望损失的最小化等
b)相对熵、互信息
2.概率分布（4学时）：熟悉常见的分布，熟练掌握最大似然估计方法，学会利用无信息
先验和共轭先验简化计算，了解一些常用的非参数方法。

a)高斯分布、混合高斯分布、Dirichlet分布、beta分布等
b)指数分布族：最大似然估计、充分统计量、共轭先验、无信息先验等
c)非参数方法：核密度估计、近邻法
3.回归的线性模型（4学时）：掌握线性回归的一般方法，学会使用R中有关回归的程序
包，并能将之用于解决实际问题。

a)线性基函数模型
b)贝叶斯线性回归
c)贝叶斯模型比较
4.分类的线性模型（4学时）：对分类问题有一个全面的了解，掌握一些常用的分类方法。

a)判别函数：二分类和多分类的Fisher线性判别
b)概率生成模型：连续输入、离散特征
5.神经网络（4学时）：熟练掌握经典神经网络模型的建模和实现，了解贝叶斯神经网络
的基本算法，学会使用FBM（flexible Bayesian Modeling）软件。

a)前馈网络函数
b)神经网络的训练：参数的最优化、梯度下降最优化等
c)错误的后传播
d)贝叶斯神经网络：后验参数分布、超参数最优化、应用
6.核方法（4学时）：了解核方法的最新进展，熟练掌握核函数参数估计的常用方法。

a)对偶表示
b)构造核函数
c)径向基函数网络：Nadaraya-Watson模型
d)高斯过程：高斯过程模型用于回归和分类、Laplace逼近、与神经网络的联系
7.支持向量机（4学时）：掌握支持向量机的基本原理，面对各自研究领域中的具体问题
学会使用支持向量机，粗略了解统计学习理论。

a)最大边缘分类器：历史回顾
b)用于多分类和回归的支持向量机：几何背景、各种变种
c)统计学习理论简介：Vapnik等人的工作
8.图模型（4学时）：从建模到算法实现。

a)贝叶斯网络
b)Markov随机场：条件独立、因子分解
c)图模型中的推断
9.混合模型和期望最大化（Expectation Maximization，EM）算法（4学时）：掌握EM算
法的基本理论，学会使用EM算法。

a)高斯混合模型的参数估计：最大似然估计、EM算法
b)EM一般算法及其应用：贝叶斯线性回归
10.随机模拟技术（6学时）：了解并掌握一些经典的Monte Carlo方法，学会使用JAGS（Just
Another Gibbs Sampler）软件。

a)拒绝采样和重要性采样
b)Markov chain Monte Carlo（MCMC）方法：Metropolis-Hastings算法
c)Gibbs采样
11.隐Markov模型和条件随机场模型（4学时）：掌握隐Markov模型的几个经典算法，学
会利用隐Markov模型和条件随机场模型解决具体问题，如自然语言处理中的词性标注、蛋白质结构的分析和预测等。

a)隐Markov模型：向前-向后算法、Viterbi算法、Baum-Welch算法等
b)条件随机场及其应用
12.模型的组合（4学时）：学会在已有模型的基础上构造新模型进一步改进效果。

a)贝叶斯模型均衡
b)助推法：指数错误的最小化、助推法的错误函数
c)基于树的模型
d)条件混合模型：线性回归模型的混合、logistic模型的混合等
主要参考文献
1.Bishop,C.M.(2006)Pattern Recognition and Machine Learning,Spring Science
+Business Media,LLC
2.Mitchell,T.M.(1997)Machine Learning,The McGraw-Hill Companies,Inc.
教学方式
采用多媒体教学和传统教学相结合的方式，在理论介绍上做到简洁直观，在实验展示上做到生动活泼。

通过理论学习，学生将掌握统计机器学习的经典理论，了解当前最新的进展，并学会针对各自学科的具体问题建模和设计算法。

掌握统计计算语言R及各种常用的机器学习工具包，最终实现算法、完成实验结果分析。

考虑到统计机器学习的特点，在教学上始终贯彻理论联系实践的宗旨，培养学生的动手能力，以解决具体问题为驱动，在学中用、在用中学。

考试方式
最后成绩的评定采用：
1.平时成绩（作业）30%
2.期中考试（笔试）30%
3.期末考试（笔试）40%。