2010-机器学习复习提纲
![2010-机器学习复习提纲](https://img.360docs.net/img62/02yun4nvyv4pdkndtxjb-21.webp)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2010年上海交通大学机器学习课程复习提纲
一、分数分配
平时作业占30分;
期末考试成绩占70分;
二、期末考试题型:
1. 是非、概念及简答题
2. 计算求解题
三、题目举例
1. 是非及选择题举例
判断正误。
1)h 1,h 2为定义在实例空间X 上的两个布尔假设(hypothesis), 如果断言h 1 ≥g h 2 不成立,则h 1 2. 概念及简答题举例 试给出机器(计算机程序)学习的一般定义。一般设计一个机器学习系统需要几个典型步骤? 3. 计算求解题举例 找出以下定义在两维欧氏空间R 2上的三个布尔函数之间存在的more_general_than 关系。 ⎩⎨⎧≤≤-≤≤=其他且0 11,201),(y x y x f , ⎩⎨⎧≤+-=其他01)1(1),(22y x y x g ⎩⎨ ⎧≤+-=其他04)2(1),(22y x y x h 试分别讨论在已知g(x,y)与正例(训练样例)不一致,与反例不一致两种不同情况下,是否可以利用上述关系来减少搜索的工作量, 即排除一些不可能是目标函数的假设。 三、复习内容要点 1. 引言 1.1 理解什么是机器学习。一个完整定义的学习问题需要确定哪些要素; 1.2 解释机器学习系统设计过程的一般步骤; 2. 概念学习和一般到特殊序 2.1 什么是概念学习? 2.2 理解假设的一般到特殊序,即理解关系more_general_than (more_general_than_or_equal_to)等。 2.3 掌握Find-S算法。 2.4 掌握变型空间(version space)的概念。 2.5 掌握候选消除算法。 2.6 假设空间H中与数据D一致的一般边界、特殊边界的定义。 2.7 解释概念学习中的最优查询策略。 2.8 掌握不完全学习的概念(变型空间包含多个假设时)的使用方法。 2.9 理解归纳偏置,与无偏学习的无用性。 3.决策树学习 3.1 决策树的定义; 3.2 基本的决策树学习算法; 3.3 相对于c个状态的分类的熵的计算方法; 3.4 信息增益的计算方法; 3.5 理解决策树学习算法对假设空间进行搜索的特点; 3.6 理解过度拟合; 3.7 掌握避免过度拟合的方法;错误率降低修剪,规则后修剪。 3.8 掌握处理连续值属性的方法, 3.9 理解增益比率标准; 3.10 理解处理缺少属性值的情况,处理不同代价的属性的方法。 4.人工神经网络 4.1 理解人工神经网络的生物学动机; 4.2 理解人工神经网络的适用情况; 4.3 掌握感知器(perceptron)的计算方法; 4.4 理解感知器的表示能力; 4.5 掌握感知器的训练法则(training rule); 4.6 掌握梯度下降算法。掌握梯度下降法则、随机梯度下降法则(delta rule)的计算; 4.7 掌握可微阈值单元:sigmoid单元,掌握BP算法; 4.8 了解前馈网络(Feedforward networks)的表示能力; 4.9 理解BP算法训练中的过度拟合现象及其解决方案; 4.10 掌握实际问题中输入、输出的编码以及网络结构的设定; 4.11 了解网络结构的动态设定方法; 6贝叶斯学习 6.1 掌握最大后验(maximum a posteriori, MAP)假设、极大似然(maximum likelihood, ML)假设的计算方法。 6.2 理解采用最大后验假设的贝叶斯方法刻画其他机器学习算法(如Find-S)的条件。6.3 理解回归问题中采用误差平方最小化的合理性; 6.4 掌握贝叶斯最优分类器的计算; 6.5 掌握朴素贝叶斯(Naive Bayes)分类器的假定和计算方法; 6.6 理解朴素贝叶斯(Naive Bayes)分类器在文本分类中的用法; 6.7 理解贝叶斯信念网的动机、表示和简单推理; 8基于实例的学习 8.1 理解基于实例学习的一般思想。 8.2 掌握K-近邻算法思想。 8.3 掌握距离加权的最紧邻算法思想。 8.4 了解局部加权回归的基本思想。 8.5 了解径向基函数的计算思想。 8.6 了解基于案例的推理的适用情况与特点。 8.7 掌握积极学习与消极学习的区别。 9遗传算法 9.1 掌握遗传算法的基本思想和算法。 9.2 了解常用的遗传算子。 9.3 了解命题规则、规则集合的二进制位串表示方法。 9.4 了解适应度函数及其使用方法。 9.5 了解遗传编程的基本思想。 10学习规则集合 10.1 掌握序列覆盖(sequential covering)算法的基本思想。 10.2 掌握序列覆盖中learn-one-rule算法的思想。 10.3 了解序列覆盖算法的变型。 10.4 -10.5 学习一阶规则集合 10.6- 10.7 逆规约 13.增强学习 13.1 理解增强学习的应用背景, 理解状态(state)、行动(action)、回报(reward)之间的关系。 13.2 掌握增强学习中的累计折算回报V (s)的公式。 13.3 理解策略(policy) 的含义。掌握最优策略的含义。 13.4 在Q-学习中,Q(s,a)的含义是什么? 13.5 掌握Q-学习算法。能够用Q-学习算法,计算一个动态环境中的Q(s,a)的表项。能够使用在训练过程中学到的Q(s,a)表,来指导以后的agent行为。