2010-机器学习复习提纲

2010年上海交通大学机器学习课程复习提纲

一、分数分配

平时作业占30分；

期末考试成绩占70分；

二、期末考试题型：

1. 是非、概念及简答题

2. 计算求解题

三、题目举例

1. 是非及选择题举例

判断正误。

1）h 1，h 2为定义在实例空间X 上的两个布尔假设(hypothesis), 如果断言h 1 ≥g h 2 不成立，则h 1

2. 概念及简答题举例

试给出机器(计算机程序)学习的一般定义。一般设计一个机器学习系统需要几个典型步骤？

3. 计算求解题举例

找出以下定义在两维欧氏空间R 2上的三个布尔函数之间存在的more_general_than 关系。

⎩⎨⎧≤≤-≤≤=其他且0

11,201),(y x y x f ， ⎩⎨⎧≤+-=其他01)1(1),(22y x y x g ⎩⎨

⎧≤+-=其他04)2(1),(22y x y x h

试分别讨论在已知g(x,y)与正例（训练样例）不一致，与反例不一致两种不同情况下，是否可以利用上述关系来减少搜索的工作量, 即排除一些不可能是目标函数的假设。

三、复习内容要点

1. 引言

1.1 理解什么是机器学习。一个完整定义的学习问题需要确定哪些要素；

1.2 解释机器学习系统设计过程的一般步骤；

2. 概念学习和一般到特殊序

2.1 什么是概念学习？

2.2 理解假设的一般到特殊序，即理解关系more_general_than （more_general_than_or_equal_to）等。

2.3 掌握Find-S算法。

2.4 掌握变型空间(version space)的概念。

2.5 掌握候选消除算法。

2.6 假设空间H中与数据D一致的一般边界、特殊边界的定义。

2.7 解释概念学习中的最优查询策略。

2.8 掌握不完全学习的概念（变型空间包含多个假设时）的使用方法。

2.9 理解归纳偏置，与无偏学习的无用性。

3.决策树学习

3.1 决策树的定义；

3.2 基本的决策树学习算法；

3.3 相对于c个状态的分类的熵的计算方法；

3.4 信息增益的计算方法；

3.5 理解决策树学习算法对假设空间进行搜索的特点；

3.6 理解过度拟合；

3.7 掌握避免过度拟合的方法；错误率降低修剪，规则后修剪。

3.8 掌握处理连续值属性的方法，

3.9 理解增益比率标准；

3.10 理解处理缺少属性值的情况，处理不同代价的属性的方法。

4.人工神经网络

4.1 理解人工神经网络的生物学动机；

4.2 理解人工神经网络的适用情况；

4.3 掌握感知器(perceptron)的计算方法；

4.4 理解感知器的表示能力；

4.5 掌握感知器的训练法则(training rule)；

4.6 掌握梯度下降算法。掌握梯度下降法则、随机梯度下降法则(delta rule)的计算；

4.7 掌握可微阈值单元：sigmoid单元，掌握BP算法；

4.8 了解前馈网络（Feedforward networks）的表示能力；

4.9 理解BP算法训练中的过度拟合现象及其解决方案；

4.10 掌握实际问题中输入、输出的编码以及网络结构的设定；

4.11 了解网络结构的动态设定方法；

6贝叶斯学习

6.1 掌握最大后验（maximum a posteriori, MAP）假设、极大似然(maximum likelihood, ML)假设的计算方法。

6.2 理解采用最大后验假设的贝叶斯方法刻画其他机器学习算法（如Find-S）的条件。6.3 理解回归问题中采用误差平方最小化的合理性；

6.4 掌握贝叶斯最优分类器的计算；

6.5 掌握朴素贝叶斯（Naive Bayes）分类器的假定和计算方法；

6.6 理解朴素贝叶斯（Naive Bayes）分类器在文本分类中的用法；

6.7 理解贝叶斯信念网的动机、表示和简单推理；

8基于实例的学习

8.1 理解基于实例学习的一般思想。

8.2 掌握K-近邻算法思想。

8.3 掌握距离加权的最紧邻算法思想。

8.4 了解局部加权回归的基本思想。

8.5 了解径向基函数的计算思想。

8.6 了解基于案例的推理的适用情况与特点。

8.7 掌握积极学习与消极学习的区别。

9遗传算法

9.1 掌握遗传算法的基本思想和算法。

9.2 了解常用的遗传算子。

9.3 了解命题规则、规则集合的二进制位串表示方法。

9.4 了解适应度函数及其使用方法。

9.5 了解遗传编程的基本思想。

10学习规则集合

10.1 掌握序列覆盖(sequential covering)算法的基本思想。

10.2 掌握序列覆盖中learn-one-rule算法的思想。

10.3 了解序列覆盖算法的变型。

10.4 -10.5 学习一阶规则集合

10.6- 10.7 逆规约

13．增强学习

13.1 理解增强学习的应用背景, 理解状态(state)、行动(action)、回报(reward)之间的关系。

13.2 掌握增强学习中的累计折算回报V (s)的公式。

13.3 理解策略(policy) 的含义。掌握最优策略的含义。

13.4 在Q-学习中，Q(s,a)的含义是什么？

13.5 掌握Q-学习算法。能够用Q-学习算法，计算一个动态环境中的Q(s,a)的表项。能够使用在训练过程中学到的Q(s,a)表，来指导以后的agent行为。