第9章机器学习
《机器学习》（周志华）西瓜书读书笔记（完结）
《机器学习》（周志华）西⽠书读书笔记（完结）⼤部分基础概念知识已经在这篇博客中罗列,因此本⽂仅对感觉重要或不曾了解的知识点做摘记第1章绪论对于⼀个学习算法a,若它在某问题上⽐学习算法b好,则必然存在另⼀些问题,在那⾥b⽐a好.即"没有免费的午餐"定理(No FreeLunch Theorem,NFL).因此要谈论算法的相对优劣,必须要针对具体的学习问题第2章模型评估与选择m次n折交叉验证实际上进⾏了m*n次训练和测试可以⽤F1度量的⼀般形式Fβ来表达对查准率/查全率的偏好:偏差度量了学习算法的期望预测与真实结果的偏离程度,即学习算法本⾝的拟合能⼒,⽅差度量了同样⼤⼩的训练集的变动所导致的学习性能的变化,即数据扰动造成的影响.噪声表达了当前任务上任何学习算法所能达到的期望泛化误差的下界,即学习问题本⾝的难度.第3章线性模型线性判别分析(LDA)是⼀种经典的监督线性降维⽅法:设法将训练样例投影到⼀条直线上,使同类样例的投影点尽可能接近,异类样例的投影点尽可能远离.对新样本分类时根据投影点的位置来确定类别.多分类学习的分类器⼀般有以下三种策略:1. ⼀对⼀(OvO),N个类别产⽣N * (N - 1) / 2种分类器2. ⼀对多(OvR或称OvA),N个类别产⽣N - 1种分类器3. 多对多(MvM),如纠错输出码技术解决类别不平衡问题的三种⽅法:1. 过采样法,增加正例使正负例数⽬接近,如SMOTE:思想是合成新的少数类样本,合成的策略是对每个少数类样本a,从它的最近邻中随机选⼀个样本b,然后在a、b之间的连线上随机选⼀点作为新合成的少数类样本.2. ⽋采样法,减少负例使正负例数⽬接近,如EasyEnsemble:每次从⼤多数类中抽取和少数类数⽬差不多的重新组合,总共构成n个新的训练集,基于每个训练集训练出⼀个AdaBoost分类器（带阈值）,最后结合之前训练分类器结果加权求和减去阈值确定最终分类类别.3. 再缩放法第4章决策树ID3决策树选择信息增益最⼤的属性来划分:1. 信息熵:2. 信息增益:C4.5决策树选择增益率⼤的属性来划分,因为信息增益准则对可取值数⽬较多的属性有所偏好.但增益率会偏好于可取值数⽬较少的属性,因此C4.5算法先找出信息增益⾼于平均⽔平的属性,再从中选择增益率最⾼的.另外,C4.5决策树采⽤⼆分法对连续值进⾏处理,使⽤时将划分阈值t作为参数,选择使信息增益最⼤的t划分属性.采⽤样本权值对缺失值进⾏处理,含有缺失值的样本同时划⼊所有结点中,但相应调整权重.1. 增益率:2. a的固有值:CART决策树则选择基尼指数最⼩的属性来划分,基尼系数反映了从数据集中随机抽取的两个样本类别不⼀致的概率,注意CART是⼆叉树,其余两种都为多叉树.1. 基尼值衡量的纯度:2. 基尼指数:剪枝是决策树对付过拟合的主要⼿段,分为预剪枝和后剪枝.1. 预剪枝对每个结点在划分前先进⾏估计,若该结点的划分不能带来决策树泛化性能提升,则停⽌划分.预剪枝基于"贪⼼"本质,所以有⽋拟合的风险.2. 后剪枝是先⽣成⼀棵完整的决策树,然后⾃底向上对⾮叶结点考察,若该结点替换为叶结点能带来决策树泛化性能提升,则将⼦树替换为叶结点.缺点是时间开销⼤.决策树所形成的分类边界是轴平⾏的,多变量决策树(斜决策树)的每⼀个⾮叶结点都是⼀个线性分类器,因此可以产⽣斜的划分边界.第5章神经⽹络误差逆传播算法(BP算法)是迄今为⽌最成功的神经⽹络学习算法.关键点在于通过计算误差不断逆向调整隐层神经元的连接权和阈值.标准BP算法每次仅针对⼀个训练样例更新,累积BP算法则根据训练集上的累积误差更新.缓解BP神经⽹络过拟合有两种常见策略:1. 早停:若训练集误差降低但验证集误差升⾼则停⽌训练.2. 正则化:在误差⽬标函数中增加⼀个描述⽹络复杂度的部分(较⼩的连接权和阈值将使神经⽹络较为平滑).跳出局部最⼩,寻找全局最⼩的常⽤⽅法:1. 以多组不同参数初始化多个神经⽹络,选择最接近全局最⼩的2. 模拟退⽕3. 随机梯度下降典型的深度学习模型就是很深层的神经⽹络.但是多隐层神经⽹络难以直接⽤经典算法进⾏训练,因为误差在多隐层内逆传播时往往会发散.⽆监督逐层训练(如深层信念⽹络,DBN)和权共享(如卷积神经⽹络,CNN)是常⽤的节省训练开销的策略.第6章⽀持向量机⽀持向量机中的原始样本空间不⼀定存在符合条件的超平⾯,但是如果原始空间是有限维,则总存在⼀个⾼维特征空间使样本线性可分.核函数就是⽤来简化计算⾼维特征空间中的内积的⼀种⽅法.核函数选择是⽀持向量机的最⼤变数.常⽤的核函数有线性核,多项式核,⾼斯核(RBF核),拉普拉斯核,Sigmoid核.对⽂本数据常⽤线性核,情况不明时可先尝试⾼斯核.软间隔是缓解⽀持向量机过拟合的主要⼿段,软间隔允许某些样本不满⾜约束.⽀持向量回归可以容忍预测输出f(x)和真实输出y之间存在ε的偏差,仅当偏差绝对值⼤于ε时才计算损失.⽀持向量机中许多规划问题都使⽤拉格朗⽇对偶算法求解,原因在于改变了算法复杂度.原问题的算法复杂度与样本维度有关,对偶问题的样本复杂度与样本数量有关.如果使⽤了升维的⽅法,则此时样本维度会远⼤于样本数量,在对偶问题下求解会更好.第7章贝叶斯分类基于贝叶斯公式来估计后验概率的困难在于类条件概率是所有属性上的联合概率,难以从有限的训练样本直接估计⽽得.因此朴素贝叶斯分类器采⽤了"属性条件独⽴性假设"来避开这个障碍.朴素贝叶斯分类器中为了避免其他属性携带的信息被训练集中未出现的属性值"抹去",在估计概率值时通常要进⾏"平滑",常⽤拉普拉斯修正.属性条件独⽴性假设在现实中往往很难成⽴,于是半朴素贝叶斯分类器采⽤"独依赖估计(ODE)",即假设每个属性在类别之外最多仅依赖于⼀个其他属性.在此基础上有SPODE,TAN,AODE等算法.贝叶斯⽹⼜称信念⽹,借助有向⽆环图来刻画属性之间的依赖关系,并⽤条件概率表来描述属性的联合概率分布.半朴素贝叶斯分类器是贝叶斯⽹的⼀种特例.EM(Expectation-Maximization)算法是常⽤的估计参数隐变量的⽅法.基本思想是:若参数θ已知,则可根据训练数据推断出最优隐变量Z的值(E);若Z的值已知,则可⽅便地对参数θ做极⼤似然估计(M).第8章集成学习集成学习先产⽣⼀组个体学习器,再⽤某种策略将它们结合起来.如果集成中只包含同种类型的个体学习器则叫同质集成,其中的个体学习器称为基学习器,相应的学习算法称为基学习算法.如果包含不同类型的个体学习器则叫异质集成,其中的学习器常称为组件学习器.要获得好的集成,个体学习器应"好⽽不同".即要有⼀定的准确性,并且要有多样性.⽬前的集成学习⽅法⼤致分为两⼤类:1. 序列化⽅法:个体学习器间存在强依赖关系,必须串⾏⽣成.2. 并⾏化⽅法:个体学习器间不存在强依赖关系,可同时⽣成.Boosting先从初始训练集训练出⼀个基学习器,再根据基学习器的表现对训练样本分布进⾏调整,使做错的训练样本在后续受到更多关注(给予更⼤的权重或重采样).然后基于调整后的样本分布来训练下⼀个基学习器;直到基学习器的数⽬达到指定值T之后,将这T个基学习器加权结合.Boosting主要关注降低偏差,因此能基于泛化性能相当弱的学习器构建出很强的集成.代表算法有AdaBoost.Bagging是并⾏式集成学习⽅法最著名的代表.它基于⾃助采样法,采样出T个含m个训练样本的采样集,基于每个采样集训练出⼀个基学习器,再将这些基学习器进⾏简单结合.在对预测输出进⾏结合时,常对分类任务使⽤投票法,对回归任务使⽤平均法.Bagging主要关注降低⽅差,因此在不剪枝决策树,神经⽹络等易受样本扰动的学习器上效⽤更明显.代表算法有随机森林.随机森林在以决策树为基学习器构建Bagging的基础上,进⼀步引⼊了随机属性选择.即先从属性集合(假定有d个属性)中随机选择⼀个包含k个属性的⼦集,再从这个⼦集中选择⼀个最优属性进⾏划分.当k=d时,基决策树与传统决策树相同.当k=1时,则随机选择⼀个属性⽤于划分.⼀般推荐k=log2d.学习器结合可能会从三个⽅⾯带来好处:1. 统计:可能有多个假设在训练集上达到同等性能,单学习器可能因误选⽽导致泛化性能不佳,结合多个学习器会减⼩这⼀风险.2. 计算:通过多次运⾏之后进⾏结合,降低陷⼊糟糕局部极⼩点的风险.3. 表⽰:结合多个学习器,相应的假设空间有所扩⼤,有可能学得更好的近似.结合策略:1. 平均法:对数值型输出,最常见的策略是平均法.⼀般⽽⾔,在个体学习器性能相差较⼤时使⽤加权平均法,性能相近时使⽤简单平均法.权重⼀般也是从训练数据中学习⽽得.2. 投票法:对分类任务来说,最常见的策略是投票法.⼜可细分为绝对多数投票法,相对多数投票法,加权投票法.绝对多数投票法允许"拒绝预测",若必须提供预测结果则退化为相对多数投票法.若基学习器的类型不同,则类概率值不能直接⽐较,需要将类概率输出转化为类标记输出后再投票.3. 学习法:当训练数据很多时,⼀种更强⼤的策略是通过另⼀个学习器来结合.Stacking是学习法的典型代表.我们把个体学习器称为初级学习器,⽤于结合的学习器称为次级学习器或元学习器.Stacking⽤初级学习器的输出作为样例输⼊特征,⽤初始样本的标记作为样例标记,然后⽤这个新数据集来训练次级学习器.⼀般⽤初级学习器的输出类概率作为次级学习器的输⼊属性,⽤多响应线性回归(Multi-response Linear Regression,MLR)作为次级学习算法效果较好.多样性增强常⽤的⽅法有:数据样本扰动,输⼊属性扰动,输出表⽰扰动,算法参数扰动.第9章聚类聚类既能作为⼀个找寻数据内在分布结构的单独过程,也可以作为其他学习任务的前驱过程.我们希望"物以类聚",也就是聚类结果的"簇内相似度"⾼且"簇间相似度"低.聚类性能度量⼤致有两类.⼀类是将聚类结果与参考模型进⾏⽐较,称为外部指标,常⽤的有JC,FMI,RI;另⼀类是直接考察聚类结果,称为内部指标,常⽤的有DBI,DI.有序属性距离计算最常⽤的是闵可夫斯基距离,当p=2时即欧⽒距离,当p=1时即曼哈顿距离.对⽆序属性可采⽤VDM(Value Difference Metric),将闵可夫斯基距离和VDM结合即可处理混合属性,当不同属性的重要性不同时可使⽤加权距离.我们基于某种形式的距离来定义相似度度量,但是⽤于相似度度量的距离未必⼀定要满⾜距离度量的基本性质,尤其是直递性.在现实任务中有必要通过距离度量学习来基于数据样本确定合适的距离计算式.原型聚类假设聚类结构能通过⼀组原型刻画.通常算法先对原型进⾏初始化,然后对原型进⾏迭代更新求解.常⽤的原型聚类算法有k均值算法,学习向量量化,⾼斯混合聚类.密度聚类假设聚类结构能通过样本分布的紧密程度确定.通常从样本密度的⾓度来考察样本之间的可连接性,并基于可连接样本不断扩展聚类簇.常⽤算法有DBSCAN层次聚类试图在不同层次对数据集进⾏划分,从⽽形成树形的聚类结构.代表算法有AGNES.第10章降维与度量学习懒惰学习在训练阶段只把样本保存起来,训练时间开销为零,待收到测试样本后再进⾏处理,如k近邻学习(kNN).急切学习则在训练阶段就对样本进⾏学习处理.若任意测试样本x附近任意⼩的δ距离范围内总能找到⼀个训练样本,即训练样本的采样密度⾜够⼤,或称为密采样,则最近邻分类器(1NN)的泛化错误率不超过贝叶斯最优分类器的错误率的两倍.在⾼维情形下出现的数据样本稀疏,距离计算困难等问题称为"维数灾难".处理⾼维数据的两⼤主流技术是降维和特征选择.降维亦称维数约简,即通过某种数学变换将原始⾼维属性空间转变为⼀个低维⼦空间.能进⾏降维的原因是与学习任务密切相关的或许仅仅是数据样本的某个低维分布,⽽不是原始⾼维空间的样本点.多维缩放是⼀种经典的降维⽅法.它使原始空间中样本之间的距离在低维空间中得以保持.主成分分析(PCA)是最常⽤的⼀种降维⽅法.如果要⽤⼀个超平⾯对所有样本进⾏恰当的表达,这个超平⾯应该具有最近重构性和最⼤可分性两种性质.基于这两种性质可以得到主成分分析的等价推导.PCA可以使样本的采样密度增⼤,同时在⼀定程度上起到去噪的效果.线性降维⽅法有可能丢失低维结构,因此要引⼊⾮线性降维.⼀种常⽤⽅法是基于核技巧对线性降维⽅法进⾏核化.如核主成分分析(KPCA).流形学习(manifold learning)是⼀类借鉴了拓扑流形概念的降维⽅法.流形在局部具有欧⽒空间性质.将低维流形嵌⼊到⾼维空间中,可以容易地在局部建⽴降维映射关系,再设法将局部映射关系推⼴到全局.常⽤的流形学习⽅法有等度量映射和局部线性嵌⼊等.对⾼维数据进⾏降维的主要⽬的是找到⼀个合适的低维空间.事实上,每个空间对应了在样本属性上定义的⼀个距离度量,度量学习直接尝试学习出⼀个合适的距离度量.常⽤⽅法有近邻成分分析(NCA).第11章特征选择与稀疏学习对当前学习任务有⽤的属性称为相关特征,没什么⽤的属性称为⽆关特征.从给定特征集合中选择出相关特征⼦集的过程称为特征选择.特征选择是⼀个重要的数据预处理过程.冗余特征是指包含的信息可以从其他特征中推演出来的特征.冗余特征在很多时候不起作⽤,但若某个冗余特征恰好对应了完成学习任务所需的中间概念,则该冗余特征反⽽是有益的.⼦集搜索:可以采⽤逐渐增加相关特征的前向搜索,每次在候选⼦集中加⼊⼀个特征,选取最优候选⼦集.也可以采⽤每次去掉⼀个⽆关特征的后向搜索.这些策略是贪⼼的,但是避免了穷举搜索产⽣的计算问题.⼦集评价:特征⼦集A确定了对数据集D的⼀个划分,样本标记信息Y对应着对D的真实划分,通过估算这两个划分的差异就能对A进⾏评价.可采⽤信息熵等⽅法.过滤式选择先对数据集进⾏特征选择,然后再训练学习器,特征选择过程与后续学习器⽆关.Relief(Relevant Features)是⼀种著名的过滤式选择⽅法.该⽅法设计了⼀个相关统计量来度量特征的重要性.包裹式选择直接把最终将要使⽤的学习器的性能作为特征⼦集的评价标准.因此产⽣的最终学习器的性能较好,但训练时的计算开销也更⼤.LVW(Las Vegas Wrapper)是⼀个典型的包裹式特征选择⽅法,它在拉斯维加斯⽅法框架下使⽤随机策略来进⾏⼦集搜索,并以最终分类器的误差为特征⼦集评价准则.嵌⼊式选择是将特征选择过程与学习器训练过程融为⼀体,两者在同⼀个优化过程中完成.例如正则化.L1正则化(Lasso)是指权值向量w中各个元素的绝对值之和.L1正则化趋向选择少量的特征,使其他特征尽可能为0,可以产⽣稀疏权值矩阵,即产⽣⼀个稀疏模型,可以⽤于特征选择.L1正则化是L0正则化的最优凸近似.L2正则化(Ridge)是指权值向量w中各个元素的平⽅和然后再求平⽅根.L2正则化趋向选择更多的特征,让这些特征尽可能接近0,可以防⽌模型过拟合(L1也可以).字典学习也叫稀疏编码,指的是为普通稠密表达的样本找到合适的字典,将样本转化为合适的稀疏表达形式,从⽽使学习任务得以简化,模型复杂度得以降低的过程.压缩感知关注的是利⽤信号本⾝的稀疏性,从部分观测样本中恢复原信号.分为感知测量和重构恢复两个阶段,其中重构恢复⽐较重要.可利⽤矩阵补全等⽅法来解决推荐系统之类的协同过滤(collaborative filtering)任务.由于第⼀次阅读,12章开始的内容仅作概念性了解.第12章计算学习理论计算学习理论研究的是关于通过计算来进⾏学习的理论,⽬的是分析学习任务的困难本质,为学习算法提供理论保证,并提供分析结果指导算法设计.计算学习理论中最基本的是概率近似正确(Probably Approximately Correct,PCA)学习理论.由此可以得到PAC辨识,PAC可学习,PAC学习算法,样本复杂度等概念.有限假设空间的可分情形都是PAC可学习的.对于不可分情形,可以得到不可知PAC可学习的概念,即在假设空间的所有假设中找到最好的⼀个.对⼆分类问题来说,假设空间中的假设对数据集中⽰例赋予标记的每种可能结果称为对数据集的⼀种对分.若假设空间能实现数据集上的所有对分,则称数据集能被假设空间打散.假设空间的VC维是能被假设空间打散的最⼤数据集的⼤⼩.算法的稳定性考察的是算法在输⼊发⽣变化时,输出是否会随之发⽣较⼤的变化.第13章半监督学习主动学习是指先⽤有标记样本训练⼀个模型,通过引⼊额外的专家知识,将部分未标记样本转变为有标记样本,每次都挑出对改善模型性能帮助⼤的样本,从⽽构建出⽐较强的模型.未标记样本虽未直接包含标记信息,但若它们与有标记样本是从同样的数据源独⽴同分布采样⽽来,则它们所包含的关于数据分布的信息对建模⼤有裨益.要利⽤未标记样本,需要有⼀些基本假设,如聚类假设,流形假设.半监督学习可进⼀步划分为纯半监督学习和直推学习.前者假定训练数据中的未标记样本并⾮待预测的数据,⽽后者则假定学习过程中所考虑的未标记样本恰是待预测数据.⽣成式⽅法是直接基于⽣成式模型的⽅法.此类⽅法假设所有数据都是由同⼀个潜在的模型⽣成的.这个假设使得我们能通过潜在模型的参数将未标记数据与学习⽬标联系起来.半监督⽀持向量机(S3VM)是⽀持向量机在半监督学习上的推⼴.S3VM试图找到能将两类有标记样本分开,且穿过数据低密度区域的划分超平⾯.除此之外,还有图半监督学习,基于分歧的⽅法(如协同训练),半监督聚类等学习⽅法.第14章概率图模型机器学习最重要的任务,是根据⼀些已观察到的证据来对感兴趣的未知变量进⾏估计和推测.⽣成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O).概率图模型是⼀类⽤图来表达变量相关关系的概率模型.若变量间存在显式的因果关系,常使⽤贝叶斯⽹.若变量间存在相关性但难以获取显式的因果关系,常使⽤马尔可夫⽹.隐马尔可夫模型(Hidden Markov Model,HMM)是结构最简单的动态贝叶斯⽹.主要⽤于时序数据建模,在语⾳识别,⾃然语⾔处理等领域有⼴泛应⽤.隐马尔可夫模型中有状态变量(隐变量)和观测变量两组变量.马尔可夫链:系统下⼀时刻的状态仅有当前状态决定,不依赖于以往的任何状态.马尔可夫随机场(Markov Random Field,MRF)是典型的马尔可夫⽹.每⼀个结点表⽰⼀个或⼀组变量,结点之间的边表⽰两个变量之间的依赖关系.条件随机场是判别式模型,可看作给定观测值的马尔可夫随机场.概率图模型的推断⽅法⼤致分为两类.第⼀类是精确推断,代表性⽅法有变量消去和信念传播.第⼆类是近似推断,可⼤致分为采样(如MCMC采样)和使⽤确定性近似完成近似推断(如变分推断).第15章规则学习规则学习是指从训练数据中学习出⼀组能⽤于对未见⽰例进⾏判别的规则.规则学习具有较好的可解释性,能使⽤户直观地对判别过程有所了解.规则学习的⽬标是产⽣⼀个能覆盖尽可能多的样例的规则集,最直接的做法是序贯覆盖,即逐条归纳:每学到⼀条规则,就将该规则覆盖的训练样例去除.常采⽤⾃顶向下的⽣成-测试法.规则学习缓解过拟合的常见做法是剪枝,例如CN2,REP,IREP等算法.著名的规则学习算法RIPPER就是将剪枝与后处理优化相结合.命题规则难以处理对象之间的关系,因此要⽤⼀阶逻辑表⽰,并且要使⽤⼀阶规则学习.它能更容易地引⼊领域知识.著名算法有FOIL(First-Order Inductive Learner)等.第16章强化学习强化学习的⽬的是要找到能使长期累积奖赏最⼤化的策略.在某种意义上可看作具有"延迟标记信息"的监督学习问题.每个动作的奖赏值往往来⾃于⼀个概率分布,因此强化学习会⾯临"探索-利⽤窘境",因此要在探索和利⽤中达成较好的折中.ε-贪⼼法在每次尝试时以ε的概率进⾏探索,以均匀概率随机选取⼀个动作.以1-ε的概率进⾏利⽤,选择当前平均奖赏最⾼的动作.Softmax算法则以较⾼的概率选取平均奖赏较⾼的动作.强化学习任务对应的马尔可夫决策过程四元组已知的情形称为模型已知.在已知模型的环境中学习称为"有模型学习".反之称为"免模型学习".从⼈类专家的决策过程范例中学习的过程称为模仿学习.。
第9章 机器人示教与操作
机器人示教类别与基本特征
３. 示教盒示教
利用装在控制盒上的按钮可以驱动机器人按需要的顺序进行操作。在示教盒 中，每一个关节都有一对按钮， 分别控制该关节在两个方向上的运动。有时还提
供附加的最大允许速度控制。虽然为了获得最高的运行效率，人们希望机器人能
实现多关节合成运动，但在用示教盒示教的方式下，却难以同时移动多个关节。 示教盒一般用于对大型机器人或危险作业条件下的机器人示教。但这种方法
概述
随着机器人应用的推广，机器人的示教和操作得到越来越多的关注。本章将介绍机 器人示教的类别与特性、机器人编程语言的类别与特性、机器人遥操作， 并结合典型案 例介绍机器人的示教与操作。
机器人示教类别 与基本特征
机器人示教类别与基本特征
由于机器人的控制装置和作业要求多种多样， 国内外尚未制订统一的机器人 控制代码标准， 所以编程语言也是多种多样的。目前， 在工业生产中应用的机 器人的主要编程示教方式有以下几种形式。
２.程序结构的清晰性 结构化程序设计技术的引入， 如ｗｈｉｌｅ⁃ｄｏ⁃ｉｆ⁃ｔｈｅｎ⁃ｅｌｓｅ 这种类
似自然语言的语句代替简单的ｉｆ 和ｇｏｔｏ 语句， 使程序结构清晰明了， 但需要更
多的时间和精力来掌握。
机器人编程语言的类别和基本特性
３.应用的自然性
正是由于这一特性的要求， 使得机器人语言逐渐增加各种功能， 由低级向高级发展。 ４.易扩展性
机器人可以工作在自适应的方式下。
机器人示教类别与基本特征
５） 控制功能中可以包含现有的计算机辅助设计（ＣＡＤ） 和计算机辅助
制造（ＣＡＭ）的信息。
６） 可以预先运行程序来模拟实际运动， 从而不会出现危险。利用图形仿 真技术， 可以在屏幕上模拟机器人运动来辅助编程。
《Python极简讲义 一本书入门数据分析与机器学习》读书笔记思维导图
6.13 本章小结 6.14 思考与提高
第7章 Pandas数据分析
7.1 Pandas简介 7.2 Pandas的安装
7.3 Series类型数 据
7.4 DataFrame类 型数据
7.5 基于Pandas的 文件读取与分析
7.6 泰坦尼克幸存者 数据预处理
7.7 本章小结 7.8 思考与提高
8.12 本章小结
8.11 惊艳的 Seaborn
8.13 思考与提高
第9章 机器学习初步
0 1
9.1 机器 学习定义
0 2
9.2 监督学 习
0 3
9.3 非监 督学习
0 4
9.4 半监 督学习
0 6
9.6 模型 性能评估
0 5
9.5 机器 学习的哲学 视角
9.8 本章小结
9.7 性能度量
9.9 思考与提高
第10章 sklearn与经典机器学习 算...
10.1 机器学习的利 器—sklearn
10.2 线性回归
10.3 k-近邻算法 10.4 Logistic回归
10.5 神经网络学习 算法
10.6 非监督学习的 代表—k均值聚类
10.7 本章小结 10.8 思考与提高
专家推荐
谢谢观看
读书笔记
0 6
4.6 思考 与提高
0 5
4.5 本章 小结
第5章 Python高级特性
5.1 面向对象程序设 计
5.2 生成器与迭代器
5.3 文件操作 5.4 异常处理
5.6 本章小结
5.5 错误调试
5.7 思考与提高
第6章 NumPy向量计算
0 1
6.1 为何 需要 NumPy
人工智能基础 第9章 计算机视觉
度量学习也称作距离度量学习、相似度学习，通过学习对象之间的距离，度量学习能够用于分析对象时间的关 联、比较关系，在实际问题中应用较为广泛，可应用于辅助分类、聚类问题，也广泛 数字图像的类型和表示
（1）二值图像：即图像上的每一个像素只有两种可能的取值或灰度等级状态，0 和 1，0 代表黑，1 代表白，或 者说 0 表示背景，而 1 表示前景。二值图像通常用于文字、线条图的扫描识别（OCR）和掩膜图像的存储。如图 9-7（a）所示。
9.1 计算机视觉概述
9.1.1 图像分类
9-1 所示为图像分类实例，给定一张图片，通过模型给出各个种类的可能性。
9.1 计算机视觉概述
9.1.2 目标检测、跟踪和定位
图 9-2 所示为一个目标检测、跟踪和定位实例。
9.1 计算机视觉概述
9.1.3 图像语义分割
图像语义分割，顾名思义是将图像像素按照表达的语义含义的不同进行分组 /分割。 图9-3 所示为一个图像语义分割实例。
9.3 常用计算机视觉模型和技术
虽然计算机视觉的任务有多种，但是大多数任务本质上可以建模为一个广义的函数拟合问题，如图 9-8 所示。
9.3 常用计算机视觉模型和技术
9.3.1 基于浅层模型的方法
由于实现上述视觉任务的函数 Fθ通常都是十分复杂的，因此，基于浅层模型的方法遵循“分而治之”的思想 ，将其拆分成多个子任务，分布求解。图 9-9 所示为一个常用的浅层视觉模型的处理流程。
9.3 常用计算机视觉模型和技术
9.3.1 基于浅层模型的方法
步骤 1 ：图像预处理过程 p。输入为图像 x，输出为处理后的图像 x′。 步骤 2：特征设计与提取过程 q。 步骤 3：特征汇聚或变换 h。 步骤 4：分类器或回归器 g。 上述流程可以理解为将 Fθ 拆分成四个序贯执行的 4 个函数 p，q，h，g，即y=g(h(q(p(x))))。
海南大学 计算机基础与人工智能 教学大纲
海南大学计算机基础与人工智能教学大纲课程简介“计算机与人工智能基础A”是高校计算机基础教育的第一门公共基础必修课，在培养学生的计算思维水平以及人工智能基础理论方面具有基础性和先导性的重要作用，适用于理工科、农科等非计算机专业学生。
该课程主要讲述计算机与计算思维、互联网与物联网、计算机求解问题基础、人工智能基础和计算问题案例。
通过该课程的学习，使学生对计算思维和人工智能学科有一个整体的认识，掌握计算机软硬件的基础知识，计算机求解问题的基本方法以及人工智能的基本知识，以培养学生的信息素养和计算思维能力，运用计算机解决实际问题的能力，进一步提高学生对人工智能的整体认知和应用水平。
教材:周勇。
计算思维与人工智能基础。
人民邮电出版社，2019 网络学习资源:1、教材配套的网上课程资源--中国矿业大学周勇《计算思维与人工智能导论基础》2、智慧树:课程号为K375835的《计算机与人工智能基础A》课程章节1、导论、概述（课次1，第4周）1.1、导读_第1章1.2、0导论1.3、第1章计算机技术与计算思维1.4、实验1：文字处理软件基本操作（课次3、4，第4周）2、信息表示（课次2,5-8，第4、5周）2.1、导读、常用进制及其转换2.2、常用进制及其转换2.3、二进制数的运算2.4、数值数据的表示和处理2.5、文字的表示和处理2.6、逻辑运算2.7、课时2：计算机中的信息表示2.8、实验2:文字处理软件进阶操作(11、12，第6周）3、第5周计算机系统概述(第3章_1)3.1、课前：课前任务清单3.2、第1、2课时：计算机系统的基本组成3.3、第3、4课时：实验3电子处理软件基本操作4、第6周：计算机基本工作原理（第3章_2）4.1、课前：课前任务清单4.2、课时1、2：计算机基本工作原理4.3、课时3、4：实验4电子处理软件进阶操作5、第7周：互联网与物联网1（第4章_1）5.1、课前：课前任务清单5.2、课时1、2：互联网（观看视频）5.3、课时3、4实验5演示、表达6、第8周：互联网与物联网（第4章_2）6.1、课前：课前任务6.2、课时1、2：第4章互联网与物联网_26.3、课时3、4：实验5：演示与表达7、第9周：第5章大数据与云计算7.1、课前：课前任务清单7.2、课时1、2大数据与云计算7.3、课时3、4：实验7：办公软件综合自测8、第10周算法1（第6章_1）8.1、课时1、2:计算机求解问题基础——算法8.2、课时3、4：实验8、nbsp;Raptor、nbsp;简介及实现枚举法9、第11周算法29.1、课前：课前任务清单9.2、课时1、2：第6章计算机求解问题基础_算法29.3、课时3、4实验9:Raptor实现递推法10、第12周人工智能概述（第10章）10.1、课前：课前任务10.2、课时1、2第7章人工智能概述10.3、课时3、4实验10：Raptor实现递归法11、第13周：机器学习（第9章）11.1、课前：课前任务清单11.2、课时1、2：第9章机器学习11.3、课时3、4：、nbsp；Raptor实现冒泡、选择排序12、第14周课前思政（按组完成）12.1、课前：课前任务清单12.2、课程课时1-4：思政、Presentation（按组完成）12.3、复习材料课程考核本课程考核采用过程考核和期末考试相结合的考核方式。
机器学习课程设计题目
机器学习课程设计题目一、教学目标本课程旨在让学生掌握机器学习的基本概念、方法和应用，培养学生对机器学习的兴趣和好奇心，提高学生解决实际问题的能力。
1.了解机器学习的定义、发展历程和应用领域；2.掌握监督学习、无监督学习和强化学习等基本学习方法；3.熟悉常见的学习算法，如线性回归、决策树、支持向量机、神经网络等；4.了解机器学习中的优化方法和评估指标。
5.能够运用机器学习算法解决实际问题；6.熟练使用机器学习框架（如TensorFlow、PyTorch等）进行模型训练和调试；7.掌握数据分析、数据清洗和数据可视化等技能。
情感态度价值观目标：1.培养学生对的认知，认识到机器学习在现代社会中的重要性和潜在价值；2.培养学生敢于创新、勇于实践的精神，提高学生解决实际问题的能力；3.培养学生团队协作和沟通交流的能力，增强学生的责任感和使命感。
二、教学内容本课程的教学内容分为八个章节，具体安排如下：1.第四章机器学习概述–机器学习的定义和发展历程–机器学习的应用领域和挑战2.第五章监督学习–决策树和随机森林–支持向量机3.第六章无监督学习–关联规则挖掘4.第七章强化学习–强化学习的定义和分类–强化学习算法（如Q学习、SARSA等）–强化学习应用案例5.第八章机器学习实践–数据分析与数据清洗–数据可视化–模型训练与评估6.第九章机器学习框架–TensorFlow介绍–PyTorch介绍–框架对比与选择7.第十章机器学习案例分析–自然语言处理8.第十一章机器学习的未来发展–深度学习的发展趋势–增强学习的研究方向–的应用前景三、教学方法本课程采用多种教学方法，如讲授法、讨论法、案例分析法、实验法等，以激发学生的学习兴趣和主动性。
1.讲授法：通过讲解机器学习的基本概念、方法和算法，使学生掌握理论知识；2.讨论法：学生就机器学习相关话题进行讨论，提高学生的思考和表达能力；3.案例分析法：分析实际案例，让学生了解机器学习在各个领域的应用，培养学生的实际操作能力；4.实验法：让学生动手实践，通过实验操作加深对理论知识的理解和掌握。
Python数据分析基础教程-教学大纲
《Python数据分析基础教程》课程教学大纲课程编号：学分：8学分学时：128学时（最佳上课方式：理实一体化上课）适用专业：大数据应用技术、信息管理技术及其计算机相关专业一、课程的性质与目标《Python数据分析基础教程》是面向大数据应用技术专业、信息管理专业及计算机相关专业的一门数据分析及应用基础课程，本课程主要介绍数据分析的概念、数据分析的流程、Python语言基础以及Python数据分析常用库，如NumPy、Matplotlib、pandas和scikit-learn库的运用等内容。
通过本课程的学习，学生不仅可以更好地理解Python数据分析中的基本概念，还可以运用所学的数据分析技术，完成相关的数据分析项目的实践。
二、课程设计理念与思路通过数据分析的案例，介绍数据分析的概念、数据分析的流程以及Python数据分析常用库的应用。
同时，为便于读者能更好地理解Python的数据分析，介绍了Python 的基础语法。
最后，运用所学的数据分析技术，完成相关的数据分析项目的实践。
本书各个章节中都有许多示例代码，通过示例代码帮助读者更好地理解Python数据分析中的基本概念，同时，为提高读者对数据分析技术的综合运用能力，在各个章节中还设置了项目实践的综合训练和思考练习等内容。
三、教学条件要求操作系统：Windows 7开发工具：Python3.6.3，PyCharm、Jupyter notebook四、课程的主要内容及基本要求第一章数据分析概述第二章Python与数据分析第三章Python语言基础第四章NumPy数组与矢量计算第五章用Numpy进行简单统计分析第六章数据可视化—Matplotlib库第七章 pandas数据分析基础第八章用pandas进行数据预处理第九章机器学习库scikit-learn入门第十章电影数据分析项目五、考核模式与成绩评定办法本课程为考试课程，期末考试采用百分制的闭卷考试模式。
第9章回归的函数形式
第9章回归的函数形式在统计学和机器学习中，回归是一种预测任务，目标是找到输入变量与输出变量之间的关系。
回归问题中，输入变量通常被称为特征，输出变量通常被称为目标变量。
在回归的函数形式中，我们试图找到一个可以预测目标变量的函数。
这个函数可以是线性的，也可以是非线性的。
在本章中，我们将介绍几种常见的回归函数形式，包括线性回归、多项式回归和非线性回归。
线性回归是回归问题中最简单的形式之一、在线性回归中，我们假设目标变量是输入变量的线性组合加上一个误差项。
我们可以使用最小二乘法来找到最佳的线性拟合。
线性回归模型的形式如下：Y=β0+β1X1+β2X2+...+βnXn+ε其中，Y是目标变量，X1,X2,...,Xn是输入变量，β0,β1,β2,...,βn是回归系数，ε是误差项。
我们的目标是找到最佳的回归系数，使得预测值与观测值之间的残差平方和最小化。
多项式回归是线性回归的一种变形，它将输入变量的幂次作为特征。
多项式回归可以更好地拟合非线性关系。
多项式回归模型的形式如下：Y = β0 + β1X1 + β2X2 + ... + βnXn + β11X1^2 + β22X2^2 + ... + βnnXn^n + ε其中，X1, X2, ..., Xn是输入变量的幂次，β0, β1, β2, ..., βn是回归系数，β11, β22, ..., βnn是多项式回归的系数。
非线性回归是回归问题中最灵活的形式之一，它不限制目标变量与输入变量之间的关系。
非线性回归可以采用各种不同的函数形式，如指数函数、对数函数、幂函数等。
非线性回归模型的形式如下：Y=f(X1,X2,...,Xn;β)+ε其中，Y是目标变量，X1,X2,...,Xn是输入变量，β是回归系数，f 是一个非线性函数，ε是误差项。
我们的目标是找到最佳的回归系数，使得预测值与观测值之间的残差平方和最小化。
在实际应用中，选择适当的回归函数形式非常重要。
机器学习简介
机器学习简介机器学习是一门研究如何使计算机系统通过经验自主改进性能的学科。
它是人工智能领域的重要分支，旨在让计算机能够从数据中学习并逐渐改善其性能，而无需明确编程。
机器学习依赖于统计学和概率论等数学方法来构建模型和算法，通过大量的数据来训练模型，并通过模型来预测未来的结果或做出决策。
一、机器学习的基本原理机器学习的基本原理是通过训练数据来学习并创建模型，然后使用该模型来处理新的数据并做出相应的预测或决策。
具体而言，机器学习包括以下几个核心组成部分：1. 数据集：机器学习的第一步是收集和准备数据集。
数据集应包含足够多的样本和特征，以便训练模型并进行有效的学习。
2. 特征提取：在机器学习中，特征提取是非常重要的一步。
通过选择和提取最相关的特征，可以使得模型更准确地对数据进行建模和预测。
特征提取可以基于领域知识和统计分析等方法进行。
3. 模型选择和训练：在机器学习中，选择合适的模型是十分重要的。
不同的机器学习问题可能需要不同的模型，如回归模型、分类模型、聚类模型等。
选择好模型后，需要使用训练数据对模型进行训练，使其能够准确地对新数据进行预测或分类。
4. 预测与决策：通过训练好的模型，可以对新的数据进行预测或做出决策。
预测的准确性取决于模型的质量和训练数据的数量和质量。
二、机器学习的应用领域机器学习在各个领域都有广泛的应用。
以下是机器学习在几个重要领域的应用举例：1. 自然语言处理：机器学习在自然语言处理领域中有很多应用。
例如，机器翻译、文本分类、情感分析等。
2. 图像识别：机器学习在图像识别和计算机视觉领域有广泛应用。
例如，人脸识别、图像分类等。
3. 推荐系统：机器学习在推荐系统中起到了重要作用。
例如，电商网站的个性化推荐、音乐、电影等娱乐推荐等。
4. 医疗诊断：机器学习在医疗诊断上的应用非常广泛。
例如，通过分析医学图像来进行癌症诊断、基因表达数据分析等。
5. 金融预测：机器学习可以用来预测股市、汇率等金融指标。
(高级版)机器学习全套教程
(高级版)机器学习全套教程机器研究是现在最热门的领域之一，它让机器能够通过研究、探索来实现人工智能的目标。
如果你想在机器研究领域深入研究，那么这份全套教程就是为你准备的。
第一章：机器研究基础在这一章节中，我们将介绍机器研究的基础知识，包括机器研究的基本原理、常用算法和应用场景等。
第二章：数据分析与数据预处理机器研究需要大量数据来训练模型。
在这一章节中，我们将介绍如何对数据进行分析和预处理，以便更好地应用机器研究算法。
第三章：监督研究与非监督研究在这一章节中，我们将深入研究机器研究的两种主要类型：监督研究和非监督研究。
我们将分别介绍这两种类型的算法，并且提供大量的代码实例。
第四章：神经网络神经网络是机器研究中最重要的技术之一。
在这一章节中，我们将介绍神经网络的基本结构和原理。
此外，我们还将介绍如何使用Python和TensorFlow等工具来构建和训练神经网络。
第五章：深度研究深度研究是机器研究中最前沿的技术之一。
在这一章节中，我们将深入探讨深度研究的原理和应用。
此外，我们还将提供大量的代码实例，以帮助你更好地理解深度研究的实现过程。
第六章：自然语言处理自然语言处理是机器研究的一个重要应用领域。
在这一章节中，我们将介绍如何使用机器研究算法来处理自然语言。
我们将涵盖从预处理到算法选择再到应用的整个过程。
第七章：机器研究平台机器研究平台可以帮助企业快速部署和管理机器研究模型。
在这一章节中，我们将介绍几个流行的机器研究平台，并演示如何使用它们来构建机器研究应用。
结束语这份机器学习全套教程覆盖了机器学习的基础知识和前沿技术，是机器学习学习者的必备指南。
希望这份教程能帮助你更好地入门和掌握机器学习领域的知识。
机器学习教学大纲
机器学习教学大纲一、概述1、机器学习的定义和概念2、机器学习的应用领域3、机器学习的主要算法类型二、基础知识1、线性代数2、概率论和统计3、编程语言（Python或其他）4、数据结构和算法三、机器学习基础1、监督学习：线性回归，逻辑回归，决策树，支持向量机（SVM），随机森林，梯度提升树（Gradient Boosting）等。
2、无监督学习：聚类，降维，关联规则等。
3、深度学习：神经网络，卷积神经网络（CNN），循环神经网络（RNN），长短期记忆网络（LSTM），变分自编码器等。
4、强化学习：Q-learning，策略梯度方法，Actor-Critic等。
5、生成模型：自回归模型（AR），自编码器，生成对抗网络（GAN）等。
四、模型选择与评估1、根据数据特性选择合适的模型2、模型评估方法：准确度，召回率，F1分数，AUC-ROC等3、超参数调整和优化4、正则化方法：L1，L2，Dropout等5、过拟合和欠拟合的处理6、模型解释性评估五、进阶主题1、半监督学习和无监督学习在大型数据集上的应用2、集成学习：bagging，boosting和stacking等3、多任务学习和域适应4、时间序列分析和预测5、自然语言处理和计算机视觉的最新进展6、大规模数据处理和分布式机器学习7、隐私保护和安全性的考虑在机器学习中的应用8、可解释性和可信度在机器学习中的重要性9、对抗性和鲁棒性：对抗性攻击和防御的最新进展10、实验设计和数据分析方法：实验设计原则，A/B测试，交叉验证等。
11、相关工具和库的使用：TensorFlow, PyTorch, scikit-learn, keras等。
《机器学习》教学大纲一、课程概述《机器学习》是一门介绍机器学习基本原理、方法及应用技术的课程。
本课程将涵盖各种经典的机器学习算法，如分类、聚类、回归、深度学习等，并介绍其在数据挖掘、图像处理、自然语言处理等领域的应用。
通过本课程的学习，学生将掌握机器学习的基础理论和实践技能，为后续的实践项目和学术研究打下坚实的基础。
决策树(完整)
无缺失值样本中在属性 上取值 的样本所占比例
ቤተ መጻሕፍቲ ባይዱ
谢谢大家！
举例：求解划分根结点的最优划分属性
根结点的信息熵：
用“色泽”将根结点划分后获得3个分支结点的信息熵分别为：
属性“色泽”的信息增益为：
若把“编号”也作为一个候选划分属性，则属性“编号”的信息增益为：
根结点的信息熵仍为：
用“编号”将根结点划分后获得17个分支结点的信息熵均为：
则“编号”的信息增益为：
三种度量结点“纯度”的指标：信息增益增益率基尼指数
1. 信息增益
香农提出了“信息熵”的概念，解决了对信息的量化度量问题。香农用“信息熵”的概念来描述信源的不确定性。
信息熵
信息增益
一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大。决策树算法第8行选择属性
著名的ID3决策树算法
远大于其他候选属性信息增益准则对可取值数目较多的属性有所偏好
2. 增益率
增益率准则对可取值数目较少的属性有所偏好著名的C4.5决策树算法综合了信息增益准则和信息率准则的特点：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。
3. 基尼指数
基尼值
基尼指数
著名的CART决策树算法
过拟合：学习器学习能力过于强大，把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，导致泛化性能下降。欠拟合：学习器学习能力低下，对训练样本的一般性质尚未学好。
过拟合无法彻底避免，只能做到“缓解”。
不足：基于“贪心”本质禁止某些分支展开，带来了欠拟合的风险
预剪枝使得决策树的很多分支都没有“展开”优点：降低过拟合的风险减少了训练时间开销和测试时间开销
《计算思维与人工智能基础》读书笔记思维导图
04
第2章 计算机中信息 的表示
06
第4章 互联网与物联 网
目录
07 第5章 大数据与云计 算
08 第6章 算法
09 第7章 人工智能初探
010 第8章 搜索与博弈
011 第9章 机器学习
012 参考文献
本教材共分9章：第1章计算机技术与计算思维基础、第2章计算机中信息表示、第3章计算机系统基本组成 和基本工作原理、第4章互联网与物联网、第5章计算机新技术、第6章计算机求解问题基础、第7章人工智能概述、 第8章搜索与博弈和第9章机器学习。
最新版读书笔记，下载可以直接修改
《计算思维与人工智能基础》
PPT书籍导读
读书笔记模板
最
新
版
本
本书关键字分析思维导图
算法
工作
第章
信息
原理
系统
物联网
小结
人工智能
技术 机器
互联网
计算机
搜索
思维
基础
概述
博弈
计算
01 内容提要
目录
02 前言 FOREWORD
03
第1章 计算机技术与 计算思维基础
第3章 计算机系统的
4.3 互联网 4.4 物联网
本章小结
4.5 网络信息安全
思考题
第5章 大数据与云计算
5.1 大数据 5.2 云计算
本章小结 思考题
第6章 算法
0 1
6.1 算法 和算法描述
0 2
6.2 Raptor流 程图编程
0 3
6.3 算法 设计
0 4
6.4 排序 算法
0 6
思考题
0 5
机器学习算法与实践 第9章 聚类算法
无监督学习（Unsupervised Learning）是指在样本标记信息未知的情况 下，通过对样本的学习来找到数据本身的内在性质和规律。无监督学习可以 用于数据分析或者监督学习的前处理，主要包含聚类（Clustering）、降维 （Dimensionality Reduction）、概率估计（Probability Estimation）等。
主要缺点：
26
9.4 层次聚类(假设类别之间存在层次结构，将样本聚到层次化的类别中)
聚合（Agglomerative）/自下而上（Bottom-up）聚类——本节重点
每个样本各分到一个类，之后将距离相近的两类合并，建立一个新的类别，重复 此操作直到满足停止条件，得到层次化的类别。
分裂（Divisive）/自上而下（Top-down）聚类
10
9.1.2 性能度量
显然，DBI指数越小越好，DI指数越大越好
11
9.2 原型聚类
12
9.2 原型聚类
算法流程：
13
9.2 原型聚类
14
9.3 密度聚类
基本概念：
假设聚类结构可以通过样本分布的紧密程度确定，以数据集在空间分布上的稠密程 度为依据进行聚类。
此类算法无需预先设定类别数量，因此适合于未知内容的数据集，代表算法有 DBSCAN、OPTICS、DENCLUE等(本节只讨论DBSCAN)
3
9.1.1 相似度
（1）闵可夫斯基距离（Minkowski Distance）
4
9.1.1 相似度
（2）马哈拉诺比斯距离（Mahalanobis Distance）
5
9.1.1 相似度
（3）相关系数(相关系数绝对值越接近1表示样本越相似；越接近0表示样本越不相似)
《计算思维与人工智能基础》课程质量标准PDF版进店另有word版或PPT版
《计算思维与⼈⼯智能基础》课程质量标准PDF版进店另有word版或PPT版《计算思维与⼈⼯智能基础》课程教学质量标准32学时 2学分“计算思维与⼈⼯智能基础”是⾼校计算机基础教育的第⼀门公共基础必修课，在培养学⽣的计算思维⽔平以及⼈⼯智能基础理论⽅⾯具有基础性和先导性的重要作⽤，适⽤于⾮计算机专业学⽣。
该课程主要讲述计算机与计算思维、互联⽹与物联⽹、计算机求解问题基础、⼈⼯智能基础和计算问题案例。
通过该课程的学习，使学⽣对计算思维和⼈⼯智能学科有⼀个整体的认识，掌握计算机软硬件的基础知识，计算机求解问题的基本⽅法以及⼈⼯智能的基本知识，以培养学⽣的信息素养和计算思维能⼒，运⽤计算机解决实际问题的能⼒，进⼀步提⾼学⽣对⼈⼯智能的整体认知和应⽤⽔平。
⼀、课程⽬标通过本课程学习，使学⽣了解计算机发展趋势，认识计算机在现代社会中的地位和作⽤，理解计算思维的概念、本质及应⽤，掌握计算机的基本⼯作原理，掌握⼈⼯智能学科的基本知识，熟悉计算机求解问题的基本⽅法，熟悉典型的计算机操作环境及⼯作平台，具备使⽤常⽤软件⼯具处理⽇常事务的能⼒。
该课程应培养学⽣利⽤计算机分析问题、解决问题的意识与能⼒，并为学⽣学习计算机的后续课程打下坚实的基础。
⼆、课程内容、要求及学时分配主要教学内容5第5章⼤数据与云计算1）理解⼤数据的特点。
2）了解⼤数据对于科学研究和思维⽅式的影响。
3）理解⼤数据应⽤案例。
4）理解云计算的概念。
5）了解云计算的关键技术。
6）理解云计算的应⽤。
26 第6章计算机求解问题基础—算法1）理解算法的概念。
2）了解如何设计算法。
3）掌握算法的主要描述⼯具。
4）掌握枚举算法的基本原理。
5）掌握递推算法的基本原理。
6）了解递归算法的基本原理。
7）熟练运⽤枚举算法和递推算法解决实际问题。
8）理解冒泡排序、选择排序算法。
67第7章⼈⼯智能概述1）了解智能、⼈⼯智能的概念；2）了解⼈⼯智能的发展历程；3）理解图灵测试的基本原理；4）了解⼈⼯智能当前主要的应⽤领域；5）理解⼈⼯智能+的概念；48第8章搜索与博弈1）理解⼈⼯智能搜索的本质：2）掌握状态空间表⽰法；3）了解深度优先、宽度优先搜索的基本原理4）理解博弈的相关概念5）掌握极⼤极⼩过程的基本原理49第9章机器学习1）了解机器学习的概念、发展历程；2）理解机器学习的分类及依据；3）理解学习系统的基本模型；4）掌握常见的距离及相似度度量⽅法；5）掌握决策树ID3算法的原理与步骤；6）掌握k-means算法的原理与步骤；5合计32三、师资队伍课程负责⼈：具有计算机专业相关的硕⼠学位或副教授以上职称的教师。
第9章习题与思考答案-大学计算机—计算思维视角-刘添华-清华大学出版社
1、你是如何理解人工智能的？
答案：参考9.1节和9.4节，结合自己的理解进行回答。
2、人工智能的三大学派分别是什么？他们对于人工智能有什么不同的认识和理解？答案：参考9.1.3节。
3、什么是知识？为什么要研究知识表示的方法？常用的知识表示方法有哪些？
答案：参考9.2.1节。
4、盲目搜索与启发式搜索有什么区别？请举例加以说明。
答案：参考9.2.2节。
5、举例说明命题和谓词的区别。
答案：参考9.2.1节中谓词逻辑法的介绍。
6、遗传算法的基本思想是什么？
答案：参考9.2.4节。
7、机器学习中的“学习”是什么意思？机器有哪些学习方式？
答案：参考9.2.6节。
8、人工智能有哪些研究领域？你最感兴趣的是哪个领域？
答案：参考9.3节。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
a b
c d
e 源域 f
a` b`
c` d`
e` f`
目标域
图9-8 源域和目标域映射
类比学习采用类比推理，其一般步骤如下：
(1) 找出源域与目标域的相似性质P，找出源域中另一性质 Q和性质P对元素a的关系：
P(a) →Q(a)
(2) 从源域中推广P和Q的关系为一般关系，即对于所有的 变量x来说，存在P(x) →Q(x)。
根据表示的精细程度，可将知识表示形式分为两大类：泛化 程度高的粗粒度符号表示、 泛化程度低的精粒度亚符号(subsymbolic)表示。像决策树、形式文法、产生式规则、形式逻 辑表达式、框架和模式等属于符号表示类；而代数表达式参 数、图和网络、人工神经网络等则属亚符号表示类。
9.3 实例学习
基于实例的学习是典型的归纳学习方法。该 方法的学习过程基于环境提供的大量特殊的实例， 系统通过对事先标注了正例、反例的示教例子的 分析，进行归纳推理，得到一般的规则。机器将 系统的低水平的信息归纳成为高水平的信息，一 般情况下，用这些信息（规则）指导执行环节。 整个过程有一整套比较完善的算法。
图9-2 实例学习的工作过程
进行搜索，直到找到所要求的规则。
9.3.2 实例学习的基本策略
实例学习遵从一般的归纳推理模式，可描述如下： 已知： (1) 关于观察（观察到的事例）的描述F，它表示与某些对 象、状况、过程等事例相关的特定知识； (2) 初始的归纳断言，它可以是空的； (3) 问题域的背景知识，它用于约束关于观察的描述和归 纳断言的表示； 求：归纳断言H，其应蕴含关于观察的描述，并满足背景 知识。
学习过程总是与环境和知识库有关，因此可以用图 9-1所 示的结构描述。
环境
学习
知识库
执行
图9-1学习系统的基本结构
(1)环境。环境可以是系统的工作对象，也可以包括工作对 象和外界条件。 (2)知识库。影响学习系统设计的第二个因素是知识库的形 式和内容。 (3) 执行环节。学习环节的目的就是改善执行环节的行为。 执行环节的复杂性、反馈和透明度习环节有影响。
9.4 类比学习
类比学习是把两个或两类事物或情形进行比较，找出 它们在某一抽象层上的相似关系，并以这种关系为依 据，把某一事物或情形的有关知识加以适当整理（或 变换）对应到另一事物或情况，从而获得求解另一事 物或情形的知识。
1. 类比推理
类比推理是在两个相似域之间进行的：一个是已经认识的 域，它包括过去曾经解决过且当前问题类似的问题以及相 关知识，成为源域，记为S；另一个是当前尚未完全认识的 域，它是待解决的新问题，成为目标域，记为T。类比推理 的目的是从S中选出于当前问题最近似的问题及其求解方法 以求解解决当前的问题，或者建立起目标域中已有命题间 的联系，形成新知识。如图9-8所示
9.3.1 基本理论
图9-2是实例学习的工作过程。
实例选择
图中实例空间是所有示教例子的集
合；而规则空间是所有规则的间
实例学习应在规则空间中搜索、匹
配所求的规则，并在实例空间中选 择一些示教例子，以便解决规则空
解释实例
间中某些规则的歧义性，系统就是 这样在实例空间和规则空间中交替
(4) 机器学习的最新阶段始于1986年。
9.2 机器学习的基本结构和主要策略
9.2.1 机器学习的基本结构 9.2.2 机器学习的主要策略
9.2.1 机器学习的基本结构
一般把学习看作是建立理论，形成假设和 进行归纳推理。理论能从本质上更深刻地描述 和解释客观现象，因此要建立理论。为了解释 一些特殊现象，往往要发现各种可能的假说。 有时要从特殊的实例推导出一般的规律，即进 行归纳推理。
(3) 从源域和目标域映射关系，得到目标域的新性质，即对 目标域的所有变量x来说，存在P(x) →Q(x)。
2. 机器学习的发展简史
机器学习是人工智能应用研究较为重要的分支，它的发 展过程大体上可分为四个时期。 (1) 第一阶段是在50年代中叶到60年代中叶，属于热烈时期。 (2) 第二阶段在60年代中叶至70年代中叶，被称为机器学习的 冷静时期。 (3) 第三阶段从70年代中叶至80年代中叶，称为复兴时期。
9.2.2 机器学习的主要策略
1.基于所用的基本学习策略分类 (1)机械式学习 (2)指导式学习 (3)演绎学习 (4)类比学习 (5) 基于解释的学习 (6) 归纳学习
2. 基于所获取知识的表示形式分类
对于学习中获取的知识，主要有以下一些表示形式：
(1) 代数表达式参数；(2) 决策树；(3) 形式文法；(4) 产生式 规则；(5) 形式逻辑表达式；(6) 图和网络；(7) 框架和模式； (8) 计算机程序和其它的过程编码；(9) 人工神经网络；(10) 多种表示形式的组合。
第9章 机器学习
9.1 概述 9.2 机器学习的基本结构和主要策略 9.3 实例学习 9.4 类比学习 9.5 解释学习 9.6 强化学习 9.7 决策树学习
9.1 概述
1.机器学习的基本概念
机器学习是研究如何使用机器来模拟人类学习活动的一门学科。它 被认为是计算机利用经验改善系统自身性能的行为。什么叫机器学习， 至今，还没有统一的定义，而且也很难给出一个被广泛认可的和准确的 定义。 学习基本形式有：知识获取和技能求精。 (1) 知识获取。获取新的知识，包括物理系统、行为的描述和模型的建立， 以及构造客观现实的表示（即将新知识组织成为通用化和有效的表达形 式）。 (2) 技能求精。通过教育或实践改进机制和认知能力。这种改进是通过反 复实践和从失败中纠正错误来进行的。
实例学习对规则空间有三个方面的要求： (1)规则的表示与实例的表示一致。 (2) 规则的表示形式应适应归纳推理。 (3) 规则空间中应能够包含所有可能产生的规则。
9.3.3 实例学习方法的分类
1. 按搜索方法分类 根据搜索规则空间的方法，可分为数据驱动方法和模 型驱动方法。主要有：变形空间法、改进假设法、产 生与测试法、方案示例法。 2. 按任务复杂程度 系统的任务不同，相应的学习方法的目的、方法也不 同。可以分为：学习单个概念、学习多个概念、学习 执行多步任务。