【中级】第8章 机器学习基础算法建模(8.4 集成学习算法)V1.1
机器学习设计知识测试 选择题 53题
1. 在机器学习中，监督学习的主要目标是：A) 从无标签数据中学习B) 从有标签数据中学习C) 优化模型的复杂度D) 减少计算资源的使用2. 下列哪种算法属于无监督学习？A) 线性回归B) 决策树C) 聚类分析D) 支持向量机3. 在机器学习模型评估中，交叉验证的主要目的是：A) 增加模型复杂度B) 减少数据集大小C) 评估模型的泛化能力D) 提高训练速度4. 下列哪项不是特征选择的方法？A) 主成分分析（PCA）B) 递归特征消除（RFE）C) 网格搜索（Grid Search）D) 方差阈值（Variance Threshold）5. 在深度学习中，卷积神经网络（CNN）主要用于：A) 文本分析B) 图像识别C) 声音处理D) 推荐系统6. 下列哪种激活函数在神经网络中最为常用？A) 线性激活函数B) 阶跃激活函数C) ReLUD) 双曲正切函数7. 在机器学习中，过拟合通常是由于以下哪种情况引起的？A) 模型过于简单B) 数据量过大C) 模型过于复杂D) 数据预处理不当8. 下列哪项技术用于处理类别不平衡问题？A) 数据增强B) 重采样C) 特征选择D) 模型集成9. 在自然语言处理（NLP）中，词嵌入的主要目的是：A) 提高计算效率B) 减少词汇量C) 捕捉词之间的语义关系D) 增加文本长度10. 下列哪种算法不属于集成学习方法？A) 随机森林B) AdaBoostC) 梯度提升机（GBM）D) 逻辑回归11. 在机器学习中，ROC曲线用于评估：A) 模型的准确性B) 模型的复杂度C) 模型的泛化能力D) 分类模型的性能12. 下列哪项不是数据预处理的步骤？A) 缺失值处理B) 特征缩放C) 模型训练D) 数据标准化13. 在机器学习中，L1正则化主要用于：A) 减少模型复杂度B) 增加特征数量C) 特征选择D) 提高模型精度14. 下列哪种方法可以用于处理时间序列数据？A) 主成分分析（PCA）B) 线性回归C) ARIMA模型D) 决策树15. 在机器学习中，Bagging和Boosting的主要区别在于：A) 数据处理方式B) 模型复杂度C) 样本使用方式D) 特征选择方法16. 下列哪种算法适用于推荐系统？A) K-均值聚类B) 协同过滤C) 逻辑回归D) 随机森林17. 在机器学习中，A/B测试主要用于：A) 模型选择B) 特征工程C) 模型评估D) 用户体验优化18. 下列哪种方法可以用于处理缺失数据？A) 删除含有缺失值的样本B) 使用均值填充C) 使用中位数填充D) 以上都是19. 在机器学习中，偏差-方差权衡主要关注：A) 模型的复杂度B) 数据集的大小C) 模型的泛化能力D) 特征的数量20. 下列哪种算法属于强化学习？A) Q-学习B) 线性回归C) 决策树D) 支持向量机21. 在机器学习中，特征工程的主要目的是：A) 减少数据量B) 增加模型复杂度C) 提高模型性能D) 简化数据处理22. 下列哪种方法可以用于处理多分类问题？A) 一对多（One-vs-All）B) 一对一（One-vs-One）C) 层次聚类D) 以上都是23. 在机器学习中，交叉熵损失函数主要用于：A) 回归问题B) 分类问题C) 聚类问题D) 强化学习24. 下列哪种算法不属于深度学习？A) 卷积神经网络（CNN）B) 循环神经网络（RNN）C) 随机森林D) 长短期记忆网络（LSTM）25. 在机器学习中，梯度下降算法的主要目的是：A) 减少特征数量B) 优化模型参数C) 增加数据量D) 提高计算速度26. 下列哪种方法可以用于处理文本数据？A) 词袋模型（Bag of Words）B) TF-IDFC) 词嵌入D) 以上都是27. 在机器学习中，正则化的主要目的是：A) 减少特征数量B) 防止过拟合C) 增加数据量D) 提高计算速度28. 下列哪种算法适用于异常检测？A) 线性回归B) 决策树C) 支持向量机D) 孤立森林（Isolation Forest）29. 在机器学习中，集成学习的主要目的是：A) 提高单个模型的性能B) 结合多个模型的优势C) 减少数据量D) 增加模型复杂度30. 下列哪种方法可以用于处理高维数据？A) 主成分分析（PCA）B) 特征选择C) 特征提取D) 以上都是31. 在机器学习中，K-均值聚类的主要目的是：A) 分类B) 回归C) 聚类D) 预测32. 下列哪种算法适用于时间序列预测？A) 线性回归B) ARIMA模型C) 决策树D) 支持向量机33. 在机器学习中，网格搜索（Grid Search）主要用于：A) 特征选择B) 模型选择C) 数据预处理D) 模型评估34. 下列哪种方法可以用于处理类别特征？A) 独热编码（One-Hot Encoding）B) 标签编码（Label Encoding）C) 特征哈希（Feature Hashing）D) 以上都是35. 在机器学习中，AUC-ROC曲线的主要用途是：A) 评估分类模型的性能B) 评估回归模型的性能C) 评估聚类模型的性能D) 评估强化学习模型的性能36. 下列哪种算法不属于监督学习？A) 线性回归B) 决策树C) 聚类分析D) 支持向量机37. 在机器学习中，特征缩放的主要目的是：A) 减少特征数量B) 提高模型性能C) 增加数据量D) 简化数据处理38. 下列哪种方法可以用于处理文本分类问题？A) 词袋模型（Bag of Words）B) TF-IDFC) 词嵌入D) 以上都是39. 在机器学习中，决策树的主要优点是：A) 易于理解和解释B) 计算效率高C) 对缺失值不敏感D) 以上都是40. 下列哪种算法适用于图像分割？A) 卷积神经网络（CNN）B) 循环神经网络（RNN）C) 随机森林D) 支持向量机41. 在机器学习中，L2正则化主要用于：A) 减少模型复杂度B) 增加特征数量C) 特征选择D) 提高模型精度42. 下列哪种方法可以用于处理时间序列数据的季节性？A) 移动平均B) 季节分解C) 差分D) 以上都是43. 在机器学习中，Bagging的主要目的是：A) 减少模型的方差B) 减少模型的偏差C) 增加数据量D) 提高计算速度44. 下列哪种算法适用于序列数据处理？A) 卷积神经网络（CNN）B) 循环神经网络（RNN）C) 随机森林D) 支持向量机45. 在机器学习中，AdaBoost的主要目的是：A) 减少模型的方差B) 减少模型的偏差C) 增加数据量D) 提高计算速度46. 下列哪种方法可以用于处理文本数据的情感分析？A) 词袋模型（Bag of Words）B) TF-IDFC) 词嵌入D) 以上都是47. 在机器学习中，支持向量机（SVM）的主要优点是：A) 适用于高维数据B) 计算效率高C) 对缺失值不敏感D) 以上都是48. 下列哪种算法适用于推荐系统中的用户行为分析？A) 协同过滤B) 内容过滤C) 混合过滤D) 以上都是49. 在机器学习中，交叉验证的主要类型包括：A) K-折交叉验证B) 留一法交叉验证C) 随机划分交叉验证D) 以上都是50. 下列哪种方法可以用于处理图像数据？A) 卷积神经网络（CNN）B) 循环神经网络（RNN）C) 随机森林D) 支持向量机51. 在机器学习中，梯度提升机（GBM）的主要优点是：A) 适用于高维数据B) 计算效率高C) 对缺失值不敏感D) 以上都是52. 下列哪种算法适用于异常检测中的离群点检测？A) 线性回归B) 决策树C) 支持向量机D) 孤立森林（Isolation Forest）53. 在机器学习中，特征提取的主要目的是：A) 减少特征数量B) 提高模型性能C) 增加数据量D) 简化数据处理答案：1. B2. C3. C4. C5. B6. C7. C8. B9. C10. D11. D12. C13. C14. C15. C16. B17. D18. D19. C20. A21. C22. D23. B24. C25. B26. D27. B28. D29. B30. D31. C32. B33. B34. D35. A36. C37. B38. D39. D40. A41. A42. D43. A44. B45. B46. D47. A48. D49. D50. A51. D52. D53. B。
机器学习中的集成学习算法
机器学习中的集成学习算法一、集成学习简介集成学习（Ensemble Learning）是机器学习中的一种重要算法。
它的主要思想是将多个弱学习算法集合起来形成一个强学习算法。
二、集成学习分类按照分类器的生成方式可将集成学习分类为Bagging算法、Boosting算法和Stacking算法。
1. Bagging算法Bagging全称为Bootstrap AGGregating，是自举聚合的缩写。
它的基本思想是采用自助法来产生k个新的训练集，在每个训练集上训练出一个基学习器，然后将这k个基学习器的结果进行平均或多数表决等方式来得到最终的结果。
2. Boosting算法Boosting算法基本思想是将一系列弱分类器相互结合，构成一个强分类器的过程。
它的主要特点是每一轮都学习一个新的分类器，并使得之前所有分类器的分类准确率加权相加。
3. Stacking算法Stacking算法是一种用来组合多个学习器的方法。
与传统的集成学习方法不同，Stacking算法通过加入一个“次级学习器”来对多个基学习器进行组合，从而构建出一个强学习器。
三、集成学习的优点1. 集成学习可显著提高机器学习算法的准确率和性能，并且对于许多不同类型的学习算法均有效。
2. 集成学习能够减轻模型过拟合问题，提高模型鲁棒性和泛化能力。
3. 集成学习能够减少各个单个模型产生的误差或者偏差，从而提高模型的精度。
四、集成学习案例1. 随机森林（Random Forest）随机森林是一种集成学习方法，它基于决策树算法创建多个随机子集的基学习器，最终将这些基学习器合并成一个强学习器。
2. AdaBoostAdaBoost是一种常见的Boosting算法，它通过不断调整训练样本的权重来训练机器学习模型，从而提高模型准确率。
3. Gradient Boosting Machines（GBM）GBM也是一种常见的Boosting算法，它采用一种梯度下降算法来学习弱学习器的加权。
机器学习与深度学习框架考核试卷
C. RMSprop
D.学习率衰减
8.以下哪些技术可以用于改善神经网络训练过程？（）
A.梯度消失
B.梯度爆炸
C. Batch Normalization
D.参数共享
9.以下哪些框架支持GPU加速计算？（）
A. TensorFlow
B. PyTorch
C. Caffe
D. Theano
10.以下哪些方法可以用于处理不平衡数据集？（）
B. LSTM
C. CNN
D. Transformer
17.以下哪些技术可以用于提升神经网络的可解释性？（）
A.可视化技术
B. attention机制
C. LIME
D. SHAP
18.以下哪些是深度学习中的预训练方法？（）
A.零样本学习
B.迁移学习
C.对抗性学习
D.自监督学习
19.以下哪些是强化学习的主要组成部分？（）
7.词嵌入（或词向量）
8.泛化
9.数据增强
10. ROC
四、判断题
1. ×
2. √
3. ×
4. ×
5. √
6. ×
7. ×
8. √
9. ×
10. √
五、主观题（参考）
1.机器学习是利用算法让计算机从数据中学习，深度学习是机器学习的一个分支，使用多层神经网络进行学习。深度学习在实际应用中的例子有：自动驾驶汽车中的图像识别系统。
（）
9.在深度学习中，为了防止过拟合，我们可以在训练过程中对输入数据进行______。
（）
10.在模型评估中，______曲线可以用来评估分类模型的性能，尤其是对于不平衡数据集。
（）
人工智能中级认证考试
一、选择题1.在机器学习中，哪种算法常用于分类问题，通过构建决策树来进行预测？A.线性回归B.决策树算法（答案）C.K-means聚类D.主成分分析2.下列哪一项不是深度学习的常用框架？A.TensorFlowB.PyTorchC.Scikit-learn（答案）D.Keras3.在神经网络中，权重和偏置的初始值设置对训练过程有很大影响。
哪种初始化方法可以帮助避免梯度消失或爆炸问题？A.随机初始化B.Xavier/Glorot初始化（答案）C.全零初始化D.全一初始化4.以下哪项技术常用于自然语言处理（NLP）中的词嵌入表示？A.词袋模型B.TF-IDFC.Word2Vec（答案）D.One-hot编码5.在强化学习中，智能体（Agent）根据什么来选择动作？A.奖励函数（答案）B.状态转移概率C.动作空间大小D.环境模型6.下列哪一项不是卷积神经网络（CNN）的常用层？A.卷积层B.池化层C.全连接层D.循环层（答案）7.在机器学习的模型评估中，哪种方法可以用于评估分类模型的性能，通过计算真正例、假正例、真反例和假反例的数量？A.混淆矩阵（答案）B.ROC曲线C.交叉验证D.准确率8.以下哪个算法是基于实例的学习算法，通过计算新数据与训练集中每个数据点的相似度来进行分类或回归？A.K-近邻算法（答案）B.支持向量机C.神经网络D.决策树9.在自然语言处理中，哪种技术可以用于将句子或文档转换为固定长度的向量表示？A.词嵌入B.文本分类C.情感分析D.Sentence Embedding（答案）10.以下哪个术语用于描述在训练过程中，模型在训练集上的性能逐渐提高，但在测试集上的性能开始下降的现象？A.过拟合（答案）B.欠拟合C.交叉验证D.泛化能力。
机器学习(完整版课件)
• 聚类模型评估指标：轮廓系数、CalinskiHarabasz指数等。
模型评估与选择
交叉验证
通过多次划分训练集和验证集来评估模型的性 能。
网格搜索
对不同的超参数组合进行穷举搜索，以找到最 优的模型参数。
随机搜索
在指定的超参数范围内进行随机采样，以找到较好的模型参数。
03
监督学习
线性回归与逻辑回归
励。
马尔可夫决策过程
强化学习任务通常建模为马尔可夫 决策过程（MDP），包括状态、 动作、转移概率和奖励等要素。
值函数与策略函数
强化学习通过估计值函数（状态值 函数或动作值函数）来评估不同行 为的好坏，并根据策略函数来选择 动作。
Q-learning与Sarsa算法
01
Q-learning算法
Q-learning是一种基于值迭代的强化学习算法，通过不断更新Q值表来
线性回归
一种通过最小化预测值与真实值之间的均方误差来拟合数据 的统计方法。它假设因变量和自变量之间存在线性关系，并 通过梯度下降等优化算法求解模型参数。
逻辑回归
一种用于解决二分类问题的广义线性模型。它使用sigmoid 函数将线性回归的输出映射到[0,1]区间，表示样本属于正类 的概率。逻辑回归通过最大似然估计求解模型参数，并使用 交叉熵作为损失函数。
• 嵌入法：在模型训练过程中进行特征选择。
特征选择与特征提取
根据领域知识提取有效特 征。
自定义特征提取
卷积神经网络等。
图像特征提取
词袋模型、TF-IDF等。
文本特征提取
模型评估与选择
分类模型评估指标
准确率、精确率、召回率、F1分数等 。
回归模型评估指标
均方误差、均方根误差、平均绝对误 差等。
集成学习算法总结
集成学习算法总结1、集成学习概述1.1 集成学习概述集成学习在机器学习算法中具有较⾼的准去率，不⾜之处就是模型的训练过程可能⽐较复杂，效率不是很⾼。
⽬前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森林。
1.2 集成学习的主要思想集成学习的主要思想是利⽤⼀定的⼿段学习出多个分类器，⽽且这多个分类器要求是弱分类器，然后将多个分类器进⾏组合公共预测。
核⼼思想就是如何训练处多个弱分类器以及如何将这些弱分类器进⾏组合。
1.3、集成学习中弱分类器选择⼀般采⽤弱分类器的原因在于将误差进⾏均衡，因为⼀旦某个分类器太强了就会造成后⾯的结果受其影响太⼤，严重的会导致后⾯的分类器⽆法进⾏分类。
常⽤的弱分类器可以采⽤误差率⼩于0.5的，⽐如说逻辑回归、SVM、神经⽹络。
1.4、多个分类器的⽣成可以采⽤随机选取数据进⾏分类器的训练，也可以采⽤不断的调整错误分类的训练数据的权重⽣成新的分类器。
1.5、多个弱分类区如何组合基本分类器之间的整合⽅式，⼀般有简单多数投票、权重投票，贝叶斯投票，基于D-S证据理论的整合，基于不同的特征⼦集的整合。
2、Boosting算法2.1 基本概念Boosting⽅法是⼀种⽤来提⾼弱分类算法准确度的⽅法,这种⽅法通过构造⼀个预测函数系列,然后以⼀定的⽅式将他们组合成⼀个预测函数。
他是⼀种框架算法,主要是通过对样本集的操作获得样本⼦集,然后⽤弱分类算法在样本⼦集上训练⽣成⼀系列的基分类器。
他可以⽤来提⾼其他弱分类算法的识别率,也就是将其他的弱分类算法作为基分类算法放于Boosting 框架中,通过Boosting框架对训练样本集的操作,得到不同的训练样本⼦集,⽤该样本⼦集去训练⽣成基分类器;每得到⼀个样本集就⽤该基分类算法在该样本集上产⽣⼀个基分类器,这样在给定训练轮数 n 后,就可产⽣ n 个基分类器,然后Boosting框架算法将这 n个基分类器进⾏加权融合,产⽣⼀个最后的结果分类器,在这 n个基分类器中,每个单个的分类器的识别率不⼀定很⾼,但他们联合后的结果有很⾼的识别率,这样便提⾼了该弱分类算法的识别率。
机器学习基础教程课件：分类与聚类学习算法
图5.6 决策边界为直线
这样，特征空间被决策边界划分成不同的区域，每个区域对应一个类别，称为决策区域。 当我们判定待识别的样本位于某个决策区域时，就判决它可以划归到对应的类别中。需要注意的是，决策区域包含类别中样本的分布区域，但不等于类别的真实分布范围。
数据实际属于类别π1
数据实际属于类别π2
分类操作结果属于类别π1
分类操作结果属于类别π2
表5.1 分类情况表
图5.4 错误分类概率情况图
分类情况的好坏可以使用错误分类代价（简称错分代价） 来进行衡量。由于正确分类没有出现错误，因此正确分类的错分代价为0。而将本来属于类别 的数据错分为类别 的错分代价为 ；同样的，将本来属于类别 的数据错分为类别 的错分代价为 。在两分类的情况下，综合所有的因素，可以使用期望错分代价（ECM）来进行评价： 优良的分类结果应该式（5.5）的错分代价最小。对于图5.4所示的两个分类区域，应该有：对于R2有： 对于 有： 对于 有：
式中， 为两类数据的均值（期望），S为两类数据相同的协方差阵。对式（5.14）有： (5.15) 可得线性分类函数为： (5.16) 对于两类方差不同的总体，其分类域变为： (5.17) (5.18)
式中， (5.19) 可见，当两个总体的方差相同时 ,将其代入式（5.19）。式（5.17）、（5.18）就退化为式（5.12）、（5.13）。 对于多个正态总体的数据集进行分类，可以将两类数据的分类方法进行推广。对于期望错分代价函数来讲，如果有n类数据，且将第一类数据错分为各个n-1类的数据，则借鉴两个总体期望错分代价函数的情况，有：
图5.5 SigmoidБайду номын сангаас数曲线
决策树(完整)
无缺失值样本中在属性 上取值 的样本所占比例
ቤተ መጻሕፍቲ ባይዱ
谢谢大家！
举例：求解划分根结点的最优划分属性
根结点的信息熵：
用“色泽”将根结点划分后获得3个分支结点的信息熵分别为：
属性“色泽”的信息增益为：
若把“编号”也作为一个候选划分属性，则属性“编号”的信息增益为：
根结点的信息熵仍为：
用“编号”将根结点划分后获得17个分支结点的信息熵均为：
则“编号”的信息增益为：
三种度量结点“纯度”的指标：信息增益增益率基尼指数
1. 信息增益
香农提出了“信息熵”的概念，解决了对信息的量化度量问题。香农用“信息熵”的概念来描述信源的不确定性。
信息熵
信息增益
一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大。决策树算法第8行选择属性
著名的ID3决策树算法
远大于其他候选属性信息增益准则对可取值数目较多的属性有所偏好
2. 增益率
增益率准则对可取值数目较少的属性有所偏好著名的C4.5决策树算法综合了信息增益准则和信息率准则的特点：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。
3. 基尼指数
基尼值
基尼指数
著名的CART决策树算法
过拟合：学习器学习能力过于强大，把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，导致泛化性能下降。欠拟合：学习器学习能力低下，对训练样本的一般性质尚未学好。
过拟合无法彻底避免，只能做到“缓解”。
不足：基于“贪心”本质禁止某些分支展开，带来了欠拟合的风险
预剪枝使得决策树的很多分支都没有“展开”优点：降低过拟合的风险减少了训练时间开销和测试时间开销
人工智能之知识图谱
图表目录图1知识工程发展历程 (3)图2 Knowledge Graph知识图谱 (9)图3知识图谱细分领域学者选取流程图 (10)图4基于离散符号的知识表示与基于连续向量的知识表示 (11)图5知识表示与建模领域全球知名学者分布图 (13)图6知识表示与建模领域全球知名学者国家分布统计 (13)图7知识表示与建模领域中国知名学者分布图 (14)图8知识表示与建模领域各国知名学者迁徙图 (14)图9知识表示与建模领域全球知名学者h-index分布图 (15)图10知识获取领域全球知名学者分布图 (23)图11知识获取领域全球知名学者分布统计 (23)图12知识获取领域中国知名学者分布图 (23)图13知识获取领域各国知名学者迁徙图 (24)图14知识获取领域全球知名学者h-index分布图 (24)图15 语义集成的常见流程 (29)图16知识融合领域全球知名学者分布图 (31)图17知识融合领域全球知名学者分布统计 (31)图18知识融合领域中国知名学者分布图 (31)图19知识融合领域各国知名学者迁徙图 (32)图20知识融合领域全球知名学者h-index分布图 (32)图21知识查询与推理领域全球知名学者分布图 (39)图22知识查询与推理领域全球知名学者分布统计 (39)图23知识查询与推理领域中国知名学者分布图 (39)图24知识表示与推理领域各国知名学者迁徙图 (40)图25知识查询与推理领域全球知名学者h-index分布图 (40)图26知识应用领域全球知名学者分布图 (46)图27知识应用领域全球知名学者分布统计 (46)图28知识应用领域中国知名学者分布图 (47)图29知识应用领域各国知名学者迁徙图 (47)图30知识应用领域全球知名学者h-index分布图 (48)图31行业知识图谱应用 (68)图32电商图谱Schema (69)图33大英博物院语义搜索 (70)图34异常关联挖掘 (70)图35最终控制人分析 (71)图36企业社交图谱 (71)图37智能问答 (72)图38生物医疗 (72)图39知识图谱领域近期热度 (75)图40知识图谱领域全局热度 (75)表1知识图谱领域顶级学术会议列表 (10)表2 知识图谱引用量前十论文 (56)表3常识知识库型指示图 (67)摘要知识图谱（Knowledge Graph）是人工智能重要分支知识工程在大数据环境中的成功应用，知识图谱与大数据和深度学习一起，成为推动互联网和人工智能发展的核心驱动力之一。
2023年6月机器学习考试题及答案
2023年6月机器学习考试题及答案考试题目1. 什么是机器研究？2. 请简要说明监督研究和无监督研究的区别。
3. 什么是过拟合？如何避免过拟合？4. 请解释什么是决策树，并列举一些常用的决策树算法。
5. 什么是集成研究？列举两种常见的集成研究方法。
6. 请解释支持向量机（SVM）的工作原理。
7. 什么是深度研究？列举两个常用的深度研究模型。
8. 请简要介绍一下主成分分析（PCA）的原理和应用领域。
9. 什么是聚类分析？请列举一个常用的聚类算法。
10. 请说明机器研究中的特征选择方法。
答案1. 机器研究是一种人工智能的分支，旨在通过使用算法和统计模型，使计算机能够从数据中研究和改进，而无需明确编程。
它涉及让计算机从经验中自动研究，并利用研究到的知识来进行决策和预测。
3. 过拟合指模型在训练集上表现很好，但在新数据上表现较差的现象。
为了避免过拟合，可以采用以下方法：- 使用正则化技术，如L1正则化和L2正则化，限制模型的复杂度。
- 进行特征选择，排除一些对模型泛化能力影响较大的特征。
4. 决策树是一种基于树结构的分类和回归模型，它代表了对数据进行决策的过程。
常见的决策树算法包括ID3、C4.5和CART。
5. 集成研究是一种使用多个研究器进行组合预测的方法。
常见的集成研究方法包括随机森林和梯度提升树。
6. 支持向量机（SVM）是一种二分类模型，其工作原理是将数据映射到高维空间，在高维空间中找到一个最优超平面来分割不同类别的数据点。
7. 深度研究是一种基于神经网络的机器研究方法，它通过多层次的非线性变换来研究和表示数据。
常见的深度研究模型包括卷积神经网络（CNN）和循环神经网络（RNN）。
8. 主成分分析（PCA）是一种常用的降维技术，它通过线性变换将原始数据映射到低维空间，保留数据集中的主要特征。
主成分分析在数据预处理、图像处理和模式识别等领域有广泛的应用。
9. 聚类分析是一种将数据点划分为不同组别或类别的无监督研究方法。
机器学习笔试题汇总
机器学习笔试题汇总⽂章⽬录树1、在以下集成学习模型的调参中，哪个算法没有⽤到学习率learning rate？ BA.XGboostB.随机森林Random ForestC.LightGBMD.Adaboost分析：其他三个都是基于梯度的算法，有梯度基本都有学习率，详细的可以去看看他们的更新公式。
2、在集成学习两⼤类策略中，boosting和bagging如何影响模型的偏差(bias)和⽅差(variance)?CA. boosting和bagging均使得⽅差减⼩B. boosting和bagging均使得偏差减⼩C. boosting使得偏差减⼩，bagging使得⽅差减⼩D. boosting使得⽅差减⼩，bagging使得偏差减⼩3、梯度提升决策树(GBDT)是在⼯业界和竞赛⾥最常⽤的模型之⼀，Xgboost和Lightgbm均是改进版的GBDT模型。
关于调整参数缓解过拟合，以下说法正确的是：C1、增⼤正则化参数2、减⼩树数量tree numbers3、减⼩⼦采样⽐例subsample4、增⼤树深度max_depthA.1、2、3B.1、2、4C.1、3、4D.2、3、4分析：树越多越不会过拟合；树的深度，越深代表模型越复杂，越容易过拟合；减⼩⼦采样⽐例subsample，类似神经⽹络⾥⾯的dropout，能缓解过拟合。
2叉和3叉的区别1、稳定不⼀样，⼆叉树鲁棒性更强2、3叉⾼阶组合少了，⼆叉树表达能⼒更强3、男⼥这种特证做三叉树不好做xgboost相对于GBDT的改进？lt相对于xgboost的改进？特征⼯程1、特征选择(Feature selection)对于机器学习任务是⼗分重要的，是解决维度灾难的有效⽅法。
以下关于特征选择算法的说法不正确的是？ DA. 过滤式⽅法(Filter)通常是独⽴地选择特征，这可能会忽略特征组合之间的相关性。
B. 封装式⽅法(Wrapper)可能所选特征效果好，但是时间复杂度通常⾮常⾼。
机器学习中的集成学习算法
机器学习中的集成学习算法机器学习是目前非常热门的研究领域。
在机器学习中，集成学习算法尤为重要。
集成学习算法是指通过将多个不同的学习算法结合起来，来提高模型的性能和泛化能力。
本文将会介绍集成学习算法的概念、分类以及具体应用等内容。
一、集成学习算法的概念集成学习算法是一种将多个分类器组合起来，以提高学习算法的性能和泛化能力的方法。
其根据不同的机器学习算法，通过实现不同的策略来改进分类器的准确性。
这些算法的主要目的是减少过拟合和提高鲁棒性，它们通过整合来自不同算法的信息，从而提高整体性能。
二、集成学习的分类根据集成学习算法的实现原理，可以将其划分为三类：bagging(套袋法)、boosting(提升法)和stacking(堆叠法)。
1. BaggingBagging是一种并行的集成学习方法。
它的原理是基于不同的训练集对分类器进行训练，并对结果进行平均（以分类问题为例），以提高分类器的准确性。
Bagging依赖于构造大量的分类器并将它们的结果合并，从而使得模型更具鲁棒性和泛化能力。
2. BoostingBoosting是目前应用最广泛的集成学习方法之一。
Boosting的工作原理是一种按序列引入数据的方法。
它的实现方法是生成一系列的基分类器，并将它们按照一定的权重组合来提高模型的准确性。
Boosting技术就是不断得学习如何在错误中提高模型的准确性的过程。
缺点是Boosting几乎总是会导致过度拟合问题，而且对训练数据过于敏感。
3. StackingStacking是一种堆叠的学习方法，它通过堆叠不同分类器的输出来构建一个新的分类器。
Stacking的实现方法是基于不同的学习算法来生成若干个分类器。
这些分类器由不同的特征子集和训练数据子集构成。
最终，在训练数据上生成的分类器组成一个新的分类器来提高分类的准确性。
三、集成学习算法的具体应用集成学习算法可以应用于各种机器学习问题，包括分类和回归。
以下是一些常见的应用：1. 图像识别图像识别是一个受欢迎的研究领域。
集成学习——机器学习（周志华）
集成学习——机器学习（周志华）集成学习⽬录：个体和集成BoostingBagging与随机森林Bagging随机森林综合策略平均法投票法学习法多样性误差-分歧分解多样性度量多样性增强内容：个体和集成集成学习是通过构建并结合多个学习器来完成学习任务，如下图，集成学习通过将多个学习器结合，获得⽐单⼀学习器显著优越的泛化性能。
集成学习分为同质集成和异质集成，如果个体学习器全是⼀种算法称为同质集成，如果由不同算法⽣成，称为异质集成。
基学习器是对于同质集成说的。
要获得好的集成，个体学习器应该“好⽽不同”。
如下图，图1中每个分类器只有66.6%的精度，集成之后精度为100%，图2中集成之后性能没有提⾼，图3中每个分类器只有33.3%的精度，集成之后变得更糟。
⽬前集成学习⽅法⼤致分为两⼤类。
个体学习器间存在强依赖关系、必须串⾏⽣成得序列化⽅法（Boosting）个体学习器间不存在强依赖关系、可同时⽣成得并⾏化⽅法（Bagging和随机森林）BoostingBoosting的原理图如下Boosting族算法最著名得代表是Adaboost。
Adaboost算法流程如下，详细流程见，另外Bagging与随机森林BaggingBagging的原理图如下Bagging 采样出T 个含m 个训练样本的采样集，然后基于每个采样集训练出⼀个基学习器，再将这些及学习器进⾏结合。
采样的⽅法使⽤⾃助采样法。
从偏差-⽅差分解的⾓度看，Bagging 主要关注降低⽅差，因此它在不剪枝决策树、神经⽹络等易受样本扰动的学习器上效果更明显。
随机森林随机森林是Bagging 的⼀个扩展变体，是以决策树为及学习器构建Bagging 集成的基础上，进⼀步在决策树的训练过程中引⼊随机属性选择。
具体来说，传统决策树在选择划分属性时是在当前结点的属性集合(假定有d 个属性)中选择⼀个最优属性;⽽在RF 中，对基决策树的每个结点，先从该结点的属性集合中随机选择⼀个包含k 个属性的⼦集，然后再从这个⼦集中选择⼀个最优属性⽤于划分. 这⾥的参数k 控制了随机性的引⼊程度;若令k=dk = dk =d, 则基决策树的构建与传统决策树相同;若令k = 1 ， 则是随机选择⼀个属性⽤于划分; ⼀般情况下，推荐值k=log2dk = log_2 dk =log2d 。
机器学习复习题及答案
一、单选题1、下列哪位是人工智能之父？（ ）A.Marniv Lee MinskyB.HerbertA.SimonC.Allen NewellD.John Clifford Shaw正确答案：A2、根据王珏的理解，下列不属于对问题空间W的统计描述是（ ）。
A.一致性假设B.划分C.泛化能力D.学习能力正确答案：D3、下列描述无监督学习错误的是（ ）。
A.无标签B.核心是聚类C.不需要降维D.具有很好的解释性正确答案：C4、下列描述有监督学习错误的是（ ）。
A.有标签B.核心是分类C.所有数据都相互独立分布D.分类原因不透明正确答案：C5、下列哪种归纳学习采用符号表示方式？（ ）A. 经验归纳学习B.遗传算法C.联接学习D.强化学习正确答案：A6、混淆矩阵的假正是指（ ）。
A.模型预测为正的正样本B.模型预测为正的负样本C.模型预测为负的正样本D.模型预测为负的负样本正确答案：B7、混淆矩阵的真负率公式是为（ ）。
A.TP/(TP+FN)B.FP/(FP+TN)C.FN/(TP+FN)D.TN/(TN+FP)正确答案：D8、混淆矩阵中的TP=16，FP=12，FN=8，TN=4，准确率是（ ）。
A.1/4B.1/2C.4/7D.4/6正确答案：B9、混淆矩阵中的TP=16，FP=12，FN=8，TN=4，精确率是（ ）。
A.1/4B.1/2C.4/7D.2/3正确答案：C10、混淆矩阵中的TP=16，FP=12，FN=8，TN=4，召回率是（ ）。
A.1/4B.1/2C.4/7D.2/3正确答案：D11、混淆矩阵中的TP=16，FP=12，FN=8，TN=4，F1-score是（ ）。
A.4/13B.8/13C.4/7D.2/30.00/2.00正确答案：B12、EM算法的E和M指什么？（ ）A.Expectation-MaximumB.Expect-MaximumC.Extra-MaximumD.Extra-Max正确答案：A13、EM算法的核心思想是？（ ）A.通过不断地求取目标函数的下界的最优值，从而实现最优化的目标。
机器学习基础
机器学习基础
机器学习（Machine Learning）是一种人工智能，它通过学习从数据中获取规律来预测未来事件或做出决策，以提高系统表现或发现新特征的技术。
它介于统计学、信息论和数学之间，可以分为有监督的学习和无监督的学习两类。
机器学习的核心是学习，而学习本质上就是从数据中获取知识。
学习是机器学习的基础，它是通过训练数据来构建和完善机器预测、分析、决策、识别等能力的过程。
训练数据是机器学习的基础，不同的机器学习方法需要不同的训练数据格式和数量。
有监督的学习是从定义好的希望的输出中学习，它的核心是模型学习，模型学习通过参数估计，选择合适的模型，并根据训练数据的结果来更新模型。
比如有普通的线性回归、岭回归、决策树、支持向量机、神经网络等模型。
无监督的学习是在无定义输出的情况下学习，它旨在发现数据中的隐含特征，主要有数据挖掘、聚类分析、主成分分析等。
这类方法
可以自动将数据结构化，通过寻找隐含的关联性来作出预测分析和决策。
另外，还有机器学习的另一个重要内容，就是评估，它是评价机
器学习分析的过程，评估方法提供机器学习分析实现的可能性，以及
判断学习算法与实验结果之间的差异，这样可以判断是否能够满足其
实际应用的需求。
总的来说，机器学习是通过对数据进行学习、模型构建等步骤，
构建系统获取知识和技能，从反馈数据中得出结论，即预测未知领域
的预期表现的技术。
它是一个系统的应用程序，涉及的技术知识包括
机器学习算法、统计学、数学算法、信息技术、网络技术等多个方面。
机器学习在很多系统中都得到了广泛应用，是一种重要的人工智能技术。
图解机器学习算法
2.3算法 3：逻辑回 归
2.4算法 4：支持向 量机
2.5算法 5： 1
支持向量机 （核方法）
2
2.6算法 6： 朴素贝叶斯
3
2.7算法 7： 随机森林
4
2.8算法 8： 神经网络
5
2.9算法 9： KNN
1
3.1算法 10： PCA
2
3.2算法 11： LSA
3
3.3算法 12： NMF
名词解释
作者介绍
同名作者介绍
这是《图解机器学习算法》的读书笔记模板，暂无该书作者的介绍。
精彩摘录
精彩摘录
这是《图解机器学习算法》的读书笔记模板，可以替换为自己的精彩内容摘录。
谢谢观看
4
3.4算法 13： LDA
5
3.5算法 14： k-means算法
3.7算法 16：LLE
3.6算法 15：混合 高斯分布
3.8算法 17：ຫໍສະໝຸດ SNE4.1评估方法4.2文本数据的 转换处理
4.3图像数据的转换 处理
5.1 Python 3的安 装
5.2虚拟环境 5.3第三方包的安装
数学式的说明
图解机器学习算法
读书笔记模板
01 思维导图
03 读书笔记 05 作者介绍
目录
02 内容摘要 04 目录分析 06 精彩摘录
思维导图
本书关键字分析思维导图
森林
转换
算法
方法
安装
算法
评估
机器
逻辑
神经网络 第章
附录
算法
方法
机器
处理
虚拟环境
数据
向量
内容摘要
2022机器学习专项测试试题及答案
2022机器学习专项测试试题及答案1.机器学习的流程包括:分析案例、数据获取、________和模型验证这四个过程。
（）A.数据清洗A、数据清洗B.数据分析C.模型训练(正确答案)D.模型搭建2.机器翻译属于下列哪个领域的应用?（） *A.自然语言系统(正确答案)A. 自然语言系统(正确答案)B.机器学习C.专家系统D.人类感官模拟3.为了解决如何模拟人类的感性思维, 例如视觉理解、直觉思维、悟性等, 研究者找到一个重要的信息处理的机制是（）。
*A.专家系统B.人工神经网络(正确答案)C.模式识别D.智能代理4.要想让机器具有智能, 必须让机器具有知识。
因此, 在人工智能中有一个研究领域, 主要研究计算机如何自动获取知识和技能, 实现自我完善, 这门研究分支学科叫（）。
*A. 专家系统A．专家系统B. 机器学习(正确答案)C. 神经网络D. 模式识别5.如下属于机器学习应用的包括（）。
*A．自动计算, 通过编程计算 456*457*458*459 的值(正确答案)A. 自动计算，通过编程计算 456*457*458*459 的值(正确答案)A．自动计算，通过编程计算 456*457*458*459 的值(正确答案)B．文字识别, 如通过 OCR 快速获得的图像中出汉字, 保存为文本C．语音输入, 通过话筒将讲话内容转成文本D．麦克风阵列, 如利用灵云该技术实现远场语音交互的电视6.对于神经网络模型, 当样本足够多时, 少量输入样本中带有较大的误差甚至个别错误对模型的输入-输出映射关系影响很小, 这属于（）。
*A. 泛化能力A．泛化能力B. 容错能力(正确答案)C. 搜索能力D. 非线性映射能力7.下列选项不属于机器学习研究内容的是（） *A. 学习机理A．学习机理B. 自动控制(正确答案)C. 学习方法D. 计算机存储系统8.机器学习的经典定义是: （） *A.利用技术进步改善系统自身性能A. 利用技术进步改善系统自身性能B.利用技术进步改善人的能力C.利用经验改善系统自身的性能(正确答案)D.利用经验改善人的能力9.研究某超市销售记录数据后发现, 买啤酒的人很大概率也会购买尿布, 这种属于数据挖掘的那类问题（）。
《金融人工智能：用Python实现AI量化交易》笔记
《金融人工智能：用Python实现AI量化交易》阅读随笔目录一、内容简述 (2)1.1 本书的目的和范围 (3)1.2 金融人工智能的发展趋势 (4)二、基础知识 (5)2.1 量化交易的概念和原理 (7)2.2 Python在金融领域的应用概述 (8)2.3 金融数据分析和处理的常用库 (9)三、金融人工智能的算法与模型 (11)3.1 机器学习算法在量化交易中的应用 (12)3.1.1 监督学习算法 (14)3.1.2 非监督学习算法 (15)3.1.3 强化学习算法 (16)3.2 深度学习算法在量化交易中的应用 (18)3.2.1 卷积神经网络 (19)3.2.2 循环神经网络 (20)3.2.3 生成对抗网络 (21)3.3 量化交易模型的评价和优化 (23)四、使用Python实现金融人工智能 (24)4.1 Python金融库的介绍和使用 (26)4.2 金融数据的获取和处理 (27)4.3 金融模型的构建和训练 (29)4.4 金融模型的回测和优化 (30)五、风险管理与合规性 (32)5.1 量化交易中的风险类型 (33)5.2 风险管理策略和方法 (34)5.3 合规性要求和实践 (34)六、未来展望 (36)6.1 金融人工智能的发展方向 (37)6.2 量化交易的未来趋势 (38)七、结语 (39)7.1 本书总结 (40)7.2 对读者的寄语 (41)一、内容简述《金融人工智能：用Python实现AI量化交易》是一本关于金融人工智能和量化交易的书籍。
这本书的内容主要围绕金融市场的智能化交易展开，详细介绍了如何利用Python实现AI量化交易。
在阅读这本书的过程中，我收获颇丰。
本书首先介绍了金融市场的背景和发展趋势，阐述了人工智能在金融行业中的应用和前景。
对Python编程语言在金融领域的重要性进行了阐述，说明了Python在金融数据分析、算法交易和机器学习等领域的广泛应用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Байду номын сангаас
集成学习算法
目前常见的集成学习算法
Boosting Bagging
第6页
Boosting
Boosting
• Boosting方法是一种用于提高弱分类器准确度的方法，这种方法从原始训练数据 出发，通过调整训练数据的概率分布（权值分布）来生成多个子分类器，多个 子分类器的产生是有序的，即一个分类器依赖于前一个分类器，并且着重关注 于前一个分类器错误分类的样本，提升错误分类样本的权重，由于新的分类器 重点关注错误分类的样本，生成新的分类器的过程中就会不断的降低误差，从 而降低整个模型的偏差。
第21页
Boosting——GBDT算法的应用
GBDT算法的应用
GBDT算法几乎可用于所有回归问题，包含线性和非线性的回归问题，也可以用于二分类问 题。
第22页
Boosting——GBDT算法的应用实例
Python机器学习库scikit-learn的ensemble模块提供的GradientBoostingClassifier类用于构建 GBDT模型。
分类器间存在一定的差异性，会导致分类的边界不同，可以理解为分类器是一 个比较专精的专家，它有它自己一定的适用范围和特长。
通过一定的策略将多个弱分类器合并后，即可拓展模型的适用范围，减少整体 的错误率，实现更好的效果。
第3页
集成学习算法
集成学习在各个规模的数据集上都有很好的策略。
数据过大时会导致训练一个模型太慢，而集成学习可以分别对数据集进行划分和 有放回的操作，从而产生不同的数据子集，再使用数据子集训练不同的分类器， 最终再将不同的分类器合并成为一个大的分类器。
集成学习
• 集成学习是组合多个弱分类器，得到一个更好且更全面的强分类器，即将多个分 类器聚集在一起，以提高分类的准确率。
• 这些分类器可以是不同的算法，也可以是相同的算法。如果把单个分类器比作一 个决策者，那么集成学习的方法就相当于多个决策者共同进行一项决策。
第2页
集成学习算法
集成学习的作用
将多个弱分类器合并，实现更好的效果。
第12页
Boosting——Adaboost算法的应用
Adaboost算法主要应用方向
用于特征选择； 用于做分类任务的baseline； 用于对badcase的修正。
第13页
Boosting——Adaboost算法的应用实例
Python机器学习库scikit-learn的ensemble模块提供的AdaBoostClassifier类用于构建Adaboost 模型。
第24页
Bagging
Bagging
• Bagging全称是bootstrap aggregation，基本思想是训练多个分类器，各个分类器 之间不存在强依赖关系，再对计算结果求平均值。
• 随机森林算法是其中的典型代表。
第25页
Bagging
Bagging全称是bootstrap aggregation，基本思想是训练多个分类器，各个分类器之 间不存在强依赖关系，再对计算结果求平均值。
会得到一个输出预测结果，所以标准的Adaboost只适用于二分类任务。
第8页
Boosting——Adaboost算法的数据输入
Adaboost算法的输入要求
训练数据集。 各个弱分类器。
第9页
Boosting——Adaboost算法的输出
Adaboost算法通过模型训练后的输出为强分类器。
第14页
Boosting——Adaboost算法的应用实例
AdaBoostClassifier类的主要参数及其说明
参数名称
base_estimator n_estimators
说明
接收object。表示选择的分类学习器，默认为“DecisionTreeClassifier” 接收int。表示弱学习器的最大迭代次数，默认为50
第30页
Bagging——随机森林算法
决策树的构建 • 在构造每棵决策树的过程中，按照选取最小的基尼系数进行分裂节点的选取，然后进行 决策树的构建。 • 决策树的其他结点都采取相同的分裂规则进行构建，直至该节点的所有训练样本都属于 同一类或达到树的最大深度。
第31页
Bagging——随机森林算法
第16页
Boosting——GBDT算法
GB算法的主要思想
在之前建立模型的损失函数的梯度下降方向上建立新的模型。
损失函数
损失函数是评价模型性能（一般为拟合程度＋正则项），认为损失函数越小，性能越好。 让损失函数持续下降，可以使得模型不断调整提升性能，其最好的方法是使损失函数沿着
梯度方向下降。
第7页
Boosting——Adaboost算法
Adaboost是Boosting中较为代表的算法，基本思想是通过训练数据的分布构造一个分类器，然后通 过误差率求出这个弱分类器的权重，通过更新训练数据的分布，迭代进行，直至达到迭代次数或者 损失函数小于某一阈值。 由于Adaboost属于Boosting中的算法，采用的是加权模型，对每个学习器的输出结果加权处理，只
AdaBoostClassifier类基本使用语法
sklearn.ensemble.AdaBoostClassifier(base_estimator=None, n_estimators=50, learning_rate=1.0, algorithm='SAMME.R', random_state=None)
GradientBoostingClassifier类基本使用语法
sklearn.ensemble.GradientBoostingClassifier(loss='deviance', learning_rate=0.1, n_estimators=100, subsample=1.0, criterion='friedman_mse', min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_decrease=0.0, min_impurity_split=None, init=None, random_state=None, max_features=None, verbose=0, max_leaf_nodes=None, warm_start=False, presort='deprecated', validation_fraction=0.1, n_iter_no_change=None, tol=0.0001, ccp_alpha=0.0)
随机森林算法是其中的典型代表。
第26页
Bagging——随机森林算法
随机森林算法
• 随机森林算法是上世纪80年代Breiman等人提出来的，其基本思想是构造很多棵决策树，形 成一个森林，再用这些决策树共同决策输出类别是什么。
第27页
Bagging——随机森林算法
在整个随机森林算法的过程中，有两个随机过程。
第29页
每 棵 树
投票 进
输出结果 行 预 测
Bagging——随机森林算法
从训练数据中选取n个数据作为训练数据输入。 • 一般情况下，n远小于整体的训练数据N，这样就会造成有一部分数据是无法被取到，这 部分数据称为袋外数据，可以使用袋外数据做误差估计。
选取了输入的训练数据后，需要构建决策树。 • 构建的具体方法是每一个分裂结点从整体的特征集M中选取m个特征构建，一般情况下m 远小于M。
默认为“deviance”
learning_rate n_estimators
接收float。表示每个弱学习器的权重缩减系数，取值范围为0到1，默认为0.1 接收int。表示弱学习器的最大迭代次数，默认为100
subsample
接收float。表示是否子采样，如果取值为1，则全部样本都使用，如果取值小于1，则只有一部分样本 会去做GBDT的决策树拟合。选择小于1的比例可以减少方差，即防止过拟合，但是会增加样本拟合的 偏差，因此取值不能太低。推荐在[0.5, 0.8]之间，默认为1.0
第8章 机器学习基础算法建模
第0页
目录
1. 机器学习 2. 分类算法 3. 回归算法 4. 集成学习算法 5. 聚类算法 6. 关联规则算法 7. 智能推荐算法
第1页
集成学习算法
在机器学习的有监督学习算法中，目标是学习出一个稳定的且在各个方面表现都较好的 模型，但实际情况往往达不到理想状态，有时只能得到多个有偏好的模型（弱分类器， 在某些方面表现较好）。
数据过小时则会导致训练不充分，而集成学习可以利用Bootstrap方法进行抽样， 得到多个数据集，分别训练多个模型后再进行组合。如此便可提高训练的准确度 和速度，使得之前很难利用的数据得到充分的利用。
第4页
集成学习算法
将多个模型进行融合。
对于存在多个异构的特征集的时候，很难进行融合，可以考虑使用集成学习的 方式，将每个数据集构建一个分类模型，然后将多个模型进行融合。
learning_rate
接收float。表示每个弱学习器的权重缩减系数，取值范围为0到1，默认为1.0
algorithm
第15页
接收str。选择Adaboost分类算法，可选择的值为“SAMME”和“SAMME.R”，其含义如下 “SAMME”：使用对样本集分类效果作为弱学习器权重 “SAMME.R”：使用对样本集分类的预测概率大小作为弱学习器权重 默认为“SAMME.R”
Boosting——GBDT算法
GBDT全称为Gradient Boosting Decision Tree（梯度提升迭代决策树），是一种基于迭代所构造的决 策树算法，这种算法在实际问题中将生成多棵决策树，并将所有树的结果进行汇总而得到最终答案。 所以该算法将决策树与集成思想进行了有效的结合。 GBDT是由梯度提升（Gradient Boosting，GB）算法而来。