机器学习与模式识别-教学大纲

《机器学习与模式识别》教学大纲

课程编号：071243B

课程类型：□通识教育必修课□通识教育选修课

■专业必修课□专业选修课

□学科基础课

总学时：48讲课学时：32 实验（上机）学时：16

学分：3

适用对象：计算机科学与技术专业

先修课程：

程序设计基础与应用、数据结构、高等数学、算法导论

一、教学目标

《机器学习与算法导论》是计算机科学技术专业的一门专业选修课程。本课程是面向计算机技术开设的专业选修课。其教学重点是使学生掌握常见机器学习算法，包括算法的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解；同时对机器学习的一般理论，如假设空间、采样理论、计算学习理论，以及无监督学习和强化学习有所了解。模式识别部分是研究计算机模式识别的基本理论、方法和应用。通过本课程的学习，使学生掌握模式识别的基本概念、基本原理、基本分析方法和算法，培养学生利用模式识别方法，运用技能解决本专业和相关领域的实际问题的能力。

学生通过本门课程的学习，能够对机器学习和模式识别的内容有一个较为全面的了解和认识，更深刻地理解机器学习的实质内容，使学生具备前沿的计算机技术必要的专业知识。从而，为学生今后从事计算机技术应用与计算机技术前沿研究，以及相关领域的科学研究做好理论和技术上的准备。

目标1：通过对机器学习与模式识别基本概念、原理、和基本方法的讲解，让学生理解并掌握机器学习和模式识别的基本技术。

目标2：培养学生利用模式识别方法，运用技能解决本专业和相关领域的实际问题的能力。

目标3：鼓励学生运用知识解决各自学科的实际问题，培养他们的独立科研的能力和理论联系实际的能力。

二、教学内容及其与毕业要求的对应关系（黑体，小四号字）

本课程主要介绍决策论与信息论基础、概率分布、回归的线性模型、分类的线性模型、核方法、支持向量机、图模型、混合模型和期望最大化、隐Markov 模型和条件随机场模型、统计决策方法、概率密度函数的估计、线性分类器、非线性分类器、其他分类方法、特征选择、特征提取、非监督模式识别、模式识别系统的评价等。

通过教学和实践，培养学生运用数学工具和方法分析问题和从多角度运用数学工具解决问题的基本能力，培养学生利用模式识别方法，运用技能解决本专业和相关领域的实际问题的能力，训练学生的逻辑思维能力和想象力。

在教学中，鼓励学生运用算法知识解决各个学科的实际计算问题，培养学生初步的独立开展科研工作的能力和理论联系实践，解决实际问题的能力，同时，为后续课程以及将来的研究工作提供必要的基础。

此外，配合实验课程的教学，学生应理论联系实际，理论指导实践，通过规范地完成项目实践进一步巩固所学的相关书本知识，在知识、能力、素质上得到进一步的提高。

三、各教学环节学时分配

教学课时分配

四、教学内容

第1章绪论

教学重点、难点：决策论与信息论基础、损失函数、错分率的最小化、期望损失的最小化等；相对熵、互信息。模式与模式识别、模式识别的主要方法、监督模式识别与非监督模式识别、模式识别系统举例、模式识别系统的典型构成。

课程的考核要求：熟悉机器学习与模式识别的基本定义和术语；基本数学知识。

了解：了解机器学习与模式识别的研究范围和内容。

理解：决策论与信息论基础、损失函数、错分率的最小化、期望损失的最小化等；相对熵、互信息。模式与模式识别、模式识别的主要方法、监督模式识别与非监督模式识别、模式识别系统举例、模式识别系统的典型构成等概念。

掌握：掌握决策论与信息论基础、模式识别的主要方法。

应用：与实际问题相呼应。

复习思考题：见参考文献。

第2章概率分布

教学重点、难点：高斯分布、混合高斯分布、Dirichlet分布、 beta分布等。

课程的考核要求：熟悉最大似然估计、贝叶斯估计与贝叶斯学习、概率密度估计的非参数方法。

了解：最大似然估计、充分统计量、共轭先验、无信息先验等。非参数方法：核密度估计、近邻法

理解： neyman-pearson决策与roc曲线、正态分布时的统计决策、错误率的计算、、概率密度函数的估计

掌握：掌握最小错误率贝叶斯决策、最小风险贝叶斯决策、两类错误率。

应用：离散概率模型下的统计决策举例。

复习思考题：见参考文献。

第3章回归的线性模型

教学重点、难点：贝叶斯线性回归。

课程的考核要求：熟悉线性基函数模型。

了解：贝叶斯模型比较。

理解：等价核的概念。

掌握：掌握贝叶斯模型。

应用：各种分布的具体应用。

复习思考题：见参考文献。

第4章分类的线性模型：

教学重点、难点：最优分类超平面与线性支持向量机。

课程的考核要求：熟悉判别函数：二分类和多分类的Fisher线性判别、概率生成模型：连续输入、离散特征。

了解：fisher线性判别分析。

理解：多类线性分类器。

掌握：线性判别函数的基本概念、感知器、最小平方误差判别

应用：分类模型的具体应用。

第5章神经网络

教学重点、难点：神经网络的正则化。

课程的考核要求：熟悉各种神经网络及其梯度下降的概念。

了解：hessian矩阵及混合密度网络。

理解：贝叶斯神经网络、多层感知器神经网络。

掌握：前馈神经网络及神经网络的训练

应用：进行神经网络实验的具体应用。

复习思考题：见参考文献。

第6章核方法：

教学重点、难点：构造核函数

课程的考核要求：熟悉对偶表示、径向基函数网络、Nadaraya-Watson模型了解：Laplace逼近

理解：高斯过程模型用于回归和分类。

掌握：高斯过程

应用：核方法与神经网络的联系。

复习思考题：见参考文献。

第7章稀疏核集

教学重点、难点：最优分类超平面与线性支持向量机、用于多分类和回归的支持向量机。

课程的考核要求：熟悉判别函数：二分类和多分类的Fisher线性判别、概率生成模型：连续输入、离散特征。

了解：各种变种

理解：多类线性分类器以及最大边缘分类器。

掌握：统计学习理论

应用：稀疏核集的具体应用。