集成学习
机器学习中的集成学习算法
机器学习中的集成学习算法一、集成学习简介集成学习（Ensemble Learning）是机器学习中的一种重要算法。
它的主要思想是将多个弱学习算法集合起来形成一个强学习算法。
二、集成学习分类按照分类器的生成方式可将集成学习分类为Bagging算法、Boosting算法和Stacking算法。
1. Bagging算法Bagging全称为Bootstrap AGGregating，是自举聚合的缩写。
它的基本思想是采用自助法来产生k个新的训练集，在每个训练集上训练出一个基学习器，然后将这k个基学习器的结果进行平均或多数表决等方式来得到最终的结果。
2. Boosting算法Boosting算法基本思想是将一系列弱分类器相互结合，构成一个强分类器的过程。
它的主要特点是每一轮都学习一个新的分类器，并使得之前所有分类器的分类准确率加权相加。
3. Stacking算法Stacking算法是一种用来组合多个学习器的方法。
与传统的集成学习方法不同，Stacking算法通过加入一个“次级学习器”来对多个基学习器进行组合，从而构建出一个强学习器。
三、集成学习的优点1. 集成学习可显著提高机器学习算法的准确率和性能，并且对于许多不同类型的学习算法均有效。
2. 集成学习能够减轻模型过拟合问题，提高模型鲁棒性和泛化能力。
3. 集成学习能够减少各个单个模型产生的误差或者偏差，从而提高模型的精度。
四、集成学习案例1. 随机森林（Random Forest）随机森林是一种集成学习方法，它基于决策树算法创建多个随机子集的基学习器，最终将这些基学习器合并成一个强学习器。
2. AdaBoostAdaBoost是一种常见的Boosting算法，它通过不断调整训练样本的权重来训练机器学习模型，从而提高模型准确率。
3. Gradient Boosting Machines（GBM）GBM也是一种常见的Boosting算法，它采用一种梯度下降算法来学习弱学习器的加权。
集成学习方法
集成学习方法在机器学习领域，集成学习方法是一种常用的技术，它通过结合多个基本模型的预测结果，来获得更好的预测性能。
集成学习方法通常能够降低模型的方差，提高模型的泛化能力，因此在实际应用中得到了广泛的应用。
本文将介绍集成学习的基本原理、常见的集成学习方法以及其在实际问题中的应用。
首先，我们来了解一下集成学习的基本原理。
集成学习通过结合多个基本模型的预测结果，来获得更好的预测性能。
这些基本模型可以是同质的，也可以是异质的。
同质的基本模型指的是使用相同的学习算法，但在不同的子数据集上进行训练得到的模型；而异质的基本模型则是使用不同的学习算法得到的模型。
通过对多个基本模型的预测结果进行组合，集成学习可以降低模型的方差，提高模型的泛化能力。
接下来，我们将介绍一些常见的集成学习方法。
首先是Bagging方法，它是一种并行式的集成学习方法，通过对训练集进行有放回的采样，得到多个子数据集，然后在每个子数据集上训练一个基本模型，最后将这些基本模型的预测结果进行平均或投票来得到最终的预测结果。
Bagging方法通常能够降低模型的方差，提高模型的泛化能力。
另一种常见的集成学习方法是Boosting方法，它是一种串行式的集成学习方法，通过对训练集进行加权，每次训练一个基本模型，然后根据基本模型的表现对训练样本进行调整，最终将多个基本模型进行加权组合得到最终的预测结果。
Boosting方法通常能够降低模型的偏差，提高模型的泛化能力。
除了Bagging和Boosting方法之外，还有一些其他的集成学习方法，如随机森林、AdaBoost、Gradient Boosting等，它们都在不同的场景下得到了广泛的应用。
最后，我们将介绍一些集成学习方法在实际问题中的应用。
在实际问题中，集成学习方法通常能够取得比单一模型更好的预测性能。
例如，在分类问题中，通过集成多个基本分类器，可以得到更准确的分类结果；在回归问题中，通过集成多个基本回归模型，可以得到更准确的预测结果。
机器学习的集成学习和迁移学习
机器学习的集成学习和迁移学习机器学习领域中，集成学习和迁移学习是两个重要的技术。
它们通过整合多个模型的预测结果和利用已有的知识来提高机器学习的性能。
本文将分别介绍集成学习和迁移学习的概念、方法和应用，帮助读者更好地理解和应用这两种学习方法。
1. 集成学习集成学习（Ensemble Learning）是一种将多个不同的机器学习模型组合在一起，通过投票、加权等方式来综合这些模型的预测结果的技术。
它的基本思想是通过将多个模型的预测结果进行集成，从而得到比单个模型更准确、更稳定的预测结果。
常见的集成学习方法包括投票法（Voting）、堆叠法（Stacking）、装袋法（Bagging）和提升法（Boosting）等。
投票法通过对多个模型的预测结果进行投票，选取得票最多的结果作为最终预测结果；堆叠法则是将多个模型的预测结果作为新的特征输入给另一个模型进行最终的预测；装袋法通过对训练集进行自助采样来得到多个不同的子训练集，再用这些子训练集分别训练不同的模型，并将它们的预测结果进行集成；提升法则是通过反复迭代训练多个模型，在每次迭代中都根据前一轮的预测错误来调整训练样本的权重，以产生一个更准确的预测模型。
集成学习在许多机器学习任务中都取得了显著的性能提升。
例如，在分类任务中，多个基分类器的集成可以减少分类误差、提高泛化性能；在回归任务中，集成模型可以减小预测误差、提高预测精度。
同时，集成学习也可以提高模型的鲁棒性，减少模型对训练数据的过拟合问题。
2. 迁移学习迁移学习（Transfer Learning）是一种将已学习的知识迁移到新任务中的学习方法。
它通过利用源领域的知识和数据来辅助目标领域的学习任务，从而提高目标任务的性能。
迁移学习的基本假设是，不同领域之间存在一定的相关性或共享的结构。
因此，通过将源领域的知识转移到目标领域，可以减少在目标领域收集大量数据的需求，缩短训练时间，并提高学习算法的泛化性能。
迁移学习主要有三种类型：基于实例的迁移学习、基于特征的迁移学习和基于模型的迁移学习。
集成学习算法总结
集成学习算法总结1、集成学习概述1.1 集成学习概述集成学习在机器学习算法中具有较⾼的准去率，不⾜之处就是模型的训练过程可能⽐较复杂，效率不是很⾼。
⽬前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森林。
1.2 集成学习的主要思想集成学习的主要思想是利⽤⼀定的⼿段学习出多个分类器，⽽且这多个分类器要求是弱分类器，然后将多个分类器进⾏组合公共预测。
核⼼思想就是如何训练处多个弱分类器以及如何将这些弱分类器进⾏组合。
1.3、集成学习中弱分类器选择⼀般采⽤弱分类器的原因在于将误差进⾏均衡，因为⼀旦某个分类器太强了就会造成后⾯的结果受其影响太⼤，严重的会导致后⾯的分类器⽆法进⾏分类。
常⽤的弱分类器可以采⽤误差率⼩于0.5的，⽐如说逻辑回归、SVM、神经⽹络。
1.4、多个分类器的⽣成可以采⽤随机选取数据进⾏分类器的训练，也可以采⽤不断的调整错误分类的训练数据的权重⽣成新的分类器。
1.5、多个弱分类区如何组合基本分类器之间的整合⽅式，⼀般有简单多数投票、权重投票，贝叶斯投票，基于D-S证据理论的整合，基于不同的特征⼦集的整合。
2、Boosting算法2.1 基本概念Boosting⽅法是⼀种⽤来提⾼弱分类算法准确度的⽅法,这种⽅法通过构造⼀个预测函数系列,然后以⼀定的⽅式将他们组合成⼀个预测函数。
他是⼀种框架算法,主要是通过对样本集的操作获得样本⼦集,然后⽤弱分类算法在样本⼦集上训练⽣成⼀系列的基分类器。
他可以⽤来提⾼其他弱分类算法的识别率,也就是将其他的弱分类算法作为基分类算法放于Boosting 框架中,通过Boosting框架对训练样本集的操作,得到不同的训练样本⼦集,⽤该样本⼦集去训练⽣成基分类器;每得到⼀个样本集就⽤该基分类算法在该样本集上产⽣⼀个基分类器,这样在给定训练轮数 n 后,就可产⽣ n 个基分类器,然后Boosting框架算法将这 n个基分类器进⾏加权融合,产⽣⼀个最后的结果分类器,在这 n个基分类器中,每个单个的分类器的识别率不⼀定很⾼,但他们联合后的结果有很⾼的识别率,这样便提⾼了该弱分类算法的识别率。
掌握机器学习中的集成学习和深度强化学习算法
掌握机器学习中的集成学习和深度强化学习算法集成学习和深度强化学习是机器学习领域中的两个重要研究方向。
本文将介绍集成学习和深度强化学习的基本概念、算法原理和应用领域。
一、集成学习集成学习（Ensemble Learning）是一种通过结合多个基学习器来提高机器学习算法性能的方法。
集成学习的基本思想是“三个臭皮匠，赛过诸葛亮”，通过将多个弱学习器集合在一起，形成一个强学习器，从而提高预测性能。
常见的集成学习方法包括投票法、平均法和Bagging、Boosting 等。
投票法是指通过多个弱学习器进行投票来决定最终的预测结果。
平均法则是将多个弱学习器的预测结果进行平均，作为最终的预测结果。
而Bagging和Boosting是将多个基学习器进行整合，分别通过并行和串行的方式进行训练，从而提高模型的泛化能力。
集成学习的应用非常广泛，其中最著名的应用之一是随机森林（Random Forest）。
随机森林是一种基于决策树的集成学习算法，通过多个决策树的投票或平均来进行分类或回归任务。
随机森林具有较强的鲁棒性和泛化能力，在各种实际应用中取得了良好的效果。
二、深度强化学习深度强化学习（Deep Reinforcement Learning）是结合深度学习和强化学习的一种方法。
强化学习是一种通过智能体在环境中执行动作并得到奖励信号，以达到最大化累积奖励的学习方法。
深度学习则是一种模仿人脑神经网络的学习方法，利用多层神经网络对输入特征进行高层抽象和表示学习。
深度强化学习的核心是使用深度神经网络来近似值函数或者策略函数。
一种经典的深度强化学习算法是深度Q网络（Deep Q-Network，DQN）。
DQN通过深度神经网络来逼近动作值函数（Q函数），从而实现智能体在环境中选取最优动作。
DQN具有较强的逼近能力和泛化能力，在很多领域，特别是游戏领域取得了非常好的效果。
深度强化学习在很多领域都有着广泛的应用。
例如，在机器人领域，深度强化学习可以用于实现机器人的自主导航和控制；在自然语言处理和机器翻译领域，深度强化学习可以用于语言模型的训练和优化；在金融领域，深度强化学习可以通过学习交易模式来进行股票交易。
集成学习特征筛选策略
总结与未来展望
挑战与问题
1.特征筛选过程中可能会出现过拟合现象，需要进一步研究解 决方法。 2.对于高维数据，特征筛选的难度将增加，需要研究更加有效 的筛选方法。 3.需要进一步研究如何将特征筛选方法应用到实际场景中。
实际应用场景
混合特征筛选方法
1.结合多种特征选择方法，充分利用各种方法的优点。 2.混合方法能够更全面地考虑特征的多样性和相关性。 3.设计有效的混合策略是混合方法的关键。
集成学习特征筛选策略
筛选与模型性能
筛选与模型性能
▪ 筛选对模型性能的影响
1.特征筛选能够显著提高模型性能，减少过拟合和欠拟合现象 。 2.不同的筛选策略对模型性能的影响不同，需要根据具体数据 集和特征进行选择。 3.通过对比实验，可以评估不同筛选策略对模型性能的提升程 度。
▪ 基于模型的特征筛选
1.利用特定模型的性质进行特征选择，如决策树和支持向量机 。 2.基于模型的方法能够针对性地选择与模型相关度高的特征。 3.不同的模型对特征的敏感性不同，需要根据具体任务选择合 适的模型。
特征筛选基本方法
基于聚类的特征筛选
1.通过聚类算法将相似的特征分为一组，从每组中选择代表性 特征。 2.常见的聚类方法有K-means和层次聚类。 3.基于聚类的方法能够去除冗余特征，降低特征维度。
▪ 混合特征选择方法
1.结合多种特征选择方法，以提高特征选择的性能和稳定性。 2.常见的混合方法有过滤式和包裹式的组合、嵌入式和过滤式 的组合等。 3.混合方法能够综合利用不同方法的优点，但需要考虑不同方 法之间的协调性。
集成学习特征筛选策略
筛选策略对比分析
筛选策略对比分析
▪ 过滤式筛选
1.基于单变量统计测试，对每个特征进行评分，选择评分较高的特征。 2.简单易行，适用于大规模数据集，但可能忽略特征之间的相关性。 3.常见的过滤式筛选方法有卡方检验、信息增益、相关系数等。
集成学习课件ppt
理论完善
理论分析
对集成学习的理论进行分析和探 讨，例如对集成学习中的多样性 、冗余性和偏差的分析，以及对 集成学习中的泛化性能和鲁棒性 的研究。
基础理论
进一步完善集成学习的基础理论 ，例如对集成学习中各个组件（ 基础学习器、集成方式等）的理 论研究。
算法解释
对集成学习的算法进行深入解释 ，例如对集成学习中的各种算法 原理和数学推导进行详细阐述， 以提高人们对集成学习的理解和 应用能力。
强调多个学习器之间的协作和集 成；
可以处理具有高维特征和复杂数 据分布的问题。
集成学习的基本思想
多样性
通过构建多个不同的学习器，增加它们之间的差异性和多样性， 以覆盖更广泛的数据分布和特征空间。
结合
将多个学习器组合起来，利用它们的预测结果进行集成，以产生更 准确和稳定的预测结果。
优化
通过优化集成策略和权重分配，以最大化整体性能和预测精度。
03
集成学习的应用场景
分类问题
垃圾邮件识别
通过集成多个分类器，对垃圾邮件进行高效准确的分类。
人脸识别
利用集成学习方法，将不同的人脸特征进行分类，实现人脸识别 功能。
情感分析
通过集成分类器，对文本进行情感极性判断，用于情感分析。
回归问题
01
02
03
股票价格预测
通过集成多个回归模型， 预测股票价格的走势。
THANKS
感谢观看
Boosting算法
总结词
通过将多个弱学习器组合成一个强学习器，Boosting算法能够提高模型的预测精度和 稳定性。
详细描述
Boosting算法是一种通过迭代地训练多个弱学习器并将其组合起来的方法。在每个迭 代步骤中，算法根据之前弱学习器的错误率来调整训练数据的权重，以便在后续迭代中 更好地学习。Boosting算法可以应用于分类、回归等多种机器学习任务，其中最为著
机器学习中的集成学习
机器学习中的集成学习机器学习是一种通过建立和优化模型来使机器能够自主学习和识别模式的方法。
在机器学习的发展过程中，集成学习逐渐成为一种重要的技术手段。
集成学习通过组合多个基本分类器或回归器的预测结果，从而提高模型的泛化能力和准确性。
本文将介绍机器学习中的集成学习以及其相关方法。
一、集成学习的概述集成学习是一种将多个基本分类器或回归器进行组合的方法，以达到更好的性能表现。
这些基本模型可以是相同类型的算法，也可以是不同类型的算法。
集成学习的关键思想是通过将多个模型的预测结果进行结合，以获得更准确的综合预测。
相比单个模型，集成模型能够降低泛化误差、提高分类准确率，并对噪声数据具有更好的鲁棒性。
二、常见的集成学习方法1. BaggingBagging（Bootstrap aggregating）是一种基于自助采样的集成学习方法。
其基本思想是通过从原始训练集中有放回地随机采样若干个子样本，然后利用这些子样本训练不同的基分类器。
最后将这些基分类器的预测结果进行投票或平均，得到集成模型的预测结果。
Bagging方法适用于分类和回归问题，如随机森林就是一种基于Bagging的集成学习算法。
2. BoostingBoosting是一种串行训练和集成的方法，它通过逐步训练多个弱学习器，将每个弱学习器的预测结果进行加权求和，得到最终的集成结果。
Boosting方法根据每个样本的权重调整训练样本的分布，使得那些被前一轮学习器误分类的样本在下一轮中得到更多的重视。
这样，Boosting能够通过不断地调整样本权重，训练出多个在不同样本分布下具有较好表现的弱学习器。
著名的AdaBoost和Gradient Boosting就是Boosting的代表算法。
3. StackingStacking是一种将多个基本模型进行级联的集成学习方法。
首先，将原始训练集分成训练集和验证集两部分，用训练集训练多个基本分类器或回归器。
然后，将验证集上的预测结果作为次级模型的输入，再训练一个次级模型。
介绍常用的集成学习方法及其应用场景
介绍常用的集成学习方法及其应用场景集成学习是机器学习领域的一种重要技术，它通过结合多个基本模型的预测结果来提高整体的准确性和稳定性。
在实际应用中，集成学习方法可以在分类、回归和异常检测等任务中发挥重要作用。
本文将介绍几种常用的集成学习方法及其应用场景。
首先，我们先了解一下集成学习的基本原理。
集成学习将多个弱学习器组合成一个强学习器，其核心思想是“三个臭皮匠，胜过诸葛亮”。
具体来说，集成学习可以分为两种类型：bagging和boosting。
首先，我们来介绍一种被广泛应用的集成学习方法——随机森林（Random Forest）。
随机森林是一种基于决策树的集成学习算法，它通过构建多棵决策树来实现分类和回归任务。
随机森林的核心思想是通过随机抽样和属性随机选择来增加模型的多样性。
在随机森林中，每棵决策树都会基于随机选择的样本和特征进行构建，最终通过多数投票或平均预测结果来做出最终的决策。
随机森林具有良好的鲁棒性和高度的准确性，尤其适用于处理高维数据和噪声数据。
在金融行业中，随机森林被广泛应用于信用评分、风险评估和欺诈检测等任务。
接下来，我们介绍另一种常用的集成学习方法——Adaboost（Adaptive Boosting）。
Adaboost是一种迭代的集成学习算法，它通过调整样本权重来逐步学习和集成弱学习器。
在每一次迭代中，Adaboost会根据上一轮的错误率调整样本权重，使得那些被错误分类的样本在下一轮中具有更高的权重。
这样，Adaboost能够更加关注难以分类的样本。
最终，Adaboost通过对多个弱学习器的线性组合来产生最终的预测结果。
Adaboost具有良好的泛化性能和自适应能力，在人脸识别、目标检测和自然语言处理等领域有很好的应用效果。
此外，还有一种被广泛使用的集成学习方法是梯度提升（Gradient Boosting）。
梯度提升是一种迭代的集成学习算法，它通过拟合前一轮模型的残差来逐步学习和集成弱学习器。
机器学习知识：机器学习中的集成学习
机器学习知识：机器学习中的集成学习随着数据量的快速增长和计算能力的提高，机器学习技术已经成为各行各业的热门话题。
而在机器学习领域中，集成学习是一个备受关注的研究方向。
本文将详细介绍机器学习中的集成学习，包括其定义、目的、不同类型、优点和缺点等方面。
一、定义和目的集成学习是指将多个不同的分类器或回归器进行集成，以期望得到比单个分类器或回归器更好的效果的一种机器学习技术。
它的目的是通过将多个弱分类器或回归器组合起来形成一个强的分类器或回归器，来提高模型的泛化能力和准确率。
二、不同类型集成学习可以分为两种主要类型：基于单样本的集成学习和基于多样本的集成学习。
基于单样本的集成学习：在这种类型的集成学习中，不同的分类器或回归器是在同一样本上训练的，但是每个分类器或回归器采用不同的特征子集或参数组合。
具有代表性的算法包括随机森林和决策树。
基于多样本的集成学习：在这种类型的集成学习中，不同的分类器或回归器是在不同的样本上训练的，然后将它们的输出聚合到一起形成最终结果。
精细调整的算法包括AdaBoost和梯度提升树。
三、优点集成学习有以下优点：1.提高了预测性能由于集成学习将多个分类器或回归器组合在一起，因此它可以提高预测性能和准确性，特别是在处理复杂问题时。
2.减少过拟合过拟合是机器学习中一个严重的问题，它通常是由于模型过于复杂而导致的。
由于集成学习采用了不同的训练数据和算法，因此它可以减少过拟合的风险。
3.提高模型的鲁棒性集成学习可以通过提高模型的鲁棒性来应对数据噪声和异常值等问题。
由于它使用不同的分类器或回归器，因此可以减少随机误差对模型的影响。
四、缺点尽管集成学习在很多方面都表现出色，但仍然存在以下缺点：1.计算成本高由于集成学习需要将多个分类器或回归器组合在一起，因此会产生大量计算成本。
如果训练数据的规模非常大，那么这种计算成本将会非常高。
2.需要大量训练数据由于集成学习需要训练多个分类器或回归器，因此需要更多的训练数据。
机器学习中的集成学习方法
机器学习中的集成学习方法机器学习是一门关于让计算机通过数据学习和优化算法的领域。
在机器学习的过程中，集成学习方法被广泛应用于提升模型性能和泛化能力。
本文将介绍机器学习中的集成学习方法，并探讨其在不同领域的应用。
一、集成学习方法概述集成学习是一种通过结合多个弱分类器或回归器来构建一个更强大的模型的方法。
它通过将若干个基分类器组合在一起，以达到获得更高性能和鲁棒性的目标。
常见的集成学习方法包括：Bagging、Boosting、Stacking等。
1. BaggingBagging方法通过从原始数据集中进行有放回的采样，生成多个子集，每个子集用于训练一个基分类器。
最后，通过将这些基分类器的结果进行投票或求均值的方式来预测新样本的类别或数值。
其中，随机森林(Random Forest)是Bagging方法的典型代表。
2. BoostingBoosting方法通过顺序训练多个基分类器，每个基分类器的训练数据集是上一个基分类器错误分类的样本集。
Boosting方法通过不断调整基分类器的权重，使得后续分类器对先前分类器错误分类的样本给予更高的重视。
常见的Boosting算法有Adaboost、GBDT(Gradient Boosting Decision Tree)等。
3. StackingStacking方法通过将多个基分类器的预测结果作为输入，训练一个元分类器来进行最终的分类。
与Bagging和Boosting方法不同的是，Stacking方法的基分类器不是独立学习的，而是相互协作，通过将多个基分类器的预测结果作为特征输入到元分类器中进行训练和预测。
二、集成学习方法的应用集成学习方法在机器学习领域得到了广泛的应用，以下是一些常见的应用场景。
1. 图像分类在图像分类任务中，集成学习方法可以通过将多个基分类器的预测结果进行投票或求均值的方式来提高模型的性能。
例如，在人脸识别任务中，可以使用多个基分类器对人脸图像进行分类，并将它们的预测结果进行集成，以提高识别准确率。
集成学习名词解释
集成学习名词解释名词解释：集成学习指在数字图书馆、智能计算机和传感器网络等信息技术基础上，把来自多种领域的不同知识和多个领域中的信息融合到一起，提取关于所研究对象的本质特征和相互作用规律的知识的一种方法。
实时集成学习就是将一些事件，比如处理业务流程时产生的各种数据等，通过可以接受这些数据并进行分析的分布式系统加以捕获、管理、存储和分析，以帮助决策者做出决策。
4、知识发现和推理机制知识发现和推理机制是人工智能的两个核心问题。
要求计算机具有发现问题、理解复杂现象、得到解决方案、最终输出知识等能力。
在知识发现和推理机制研究中，对经验性知识的表示、数据驱动的集成学习方法、深度学习方法的研究是主要内容。
知识发现机制包括机器学习理论和机器学习方法。
5、深度学习深度学习方法，是利用深度神经网络、专家系统和强化学习算法等，构建模拟人类大脑信息处理过程的神经元和突触的结构与功能，从而使计算机模仿人类思考和行为的一种新型机器学习方法。
深度学习是人工智能的一种常用机制，通常用于表征和描述结构化和非结构化的任务，包括感知、语音识别、图像分类、自然语言理解等，目前深度学习在这些领域都已取得了较好的效果。
9、多智能体系统如果要构造多智能体系统，我们必须使它们之间彼此交流信息。
为此，我们必须创造一些机制，让他们在不同的场景下运行，并且要知道如何激励或惩罚它们。
我们称之为自组织学习。
多智能体系统是一个复杂的系统，因为它们要同时考虑所有因素，而且还要同时调整所有的行为以达到我们期望的目标。
10、规则抽取技术利用规则表达和知识表达来引导自然语言处理的研究方向，将知识表示转化为规则表达是规则抽取的主要任务。
11、规则导引与推理技术规则导引与推理技术主要包括自动聚类和规则挖掘两部分。
自动聚类就是给定一个实例的几个属性，设计合适的算法，找到和该实例属性最相似的实例。
规则挖掘也叫做规则求解，是利用规则导引和推理技术寻找规则的过程。
12、智能检索技术智能检索是智能计算机的重要功能之一。
什么是集成学习？
什么是集成学习？作为近年来机器学习领域的新兴技术，集成学习已经受到了越来越多的关注。
那么，为什么我们要使用集成学习呢？本文将详细解释集成学习的优势，并且给出一些常用的集成学习算法。
1. 集成学习可以改善模型精度当面对复杂的问题时，单一的模型通常很难得到最优的结果。
通过集成多个模型的结果，我们可以将模型的弱点相互补充，从而获得更加准确的结果。
这一点在许多机器学习应用中都得到了证明，例如分类、回归和聚类。
集成学习可以降低过拟合的风险，并提升模型的表现力。
2. 集成学习可以减少模型的偏差模型偏差指模型本身的错误，即模型在训练过程中未能学习到数据的真正规律。
而模型方差指模型在不同数据样本上表现的不稳定性，即模型过分拟合了训练集，无法适应新的数据集。
集成学习可以利用多个模型的预测结果取平均值，从而减少模型的偏差。
因此，集成学习不仅可以提高模型的表现力，还可以提高模型的泛化能力。
3. 集成学习可以适应各种数据类型集成学习可以用于各种不同的数据类型。
例如，对于文本分类问题，可以通过各种不同的特征提取方法来构建不同的分类器，并将这些分类器进行集成。
对于图像、语音、视频等多媒体数据，也可以采用类似的方法进行集成。
常用的集成学习算法1. BaggingBagging是集成学习中最常用的算法之一。
该算法通过在训练集的不同样本上构建多个模型来提高模型的泛化能力，并利用投票或平均预测值的方式进行集成。
2. BoostingBoosting算法的核心思想是通过序列化地训练一系列基本分类器来提高模型的表现力。
Boosting算法通常会调整样本权重，使得模型能够对错误分类的样本进行更多的关注，从而提高模型的精度。
3. StackingStacking算法将多个不同的基本分类器的预测结果作为新的特征输入到高层分类器中进行训练。
该算法可以利用多个不同分类器的优点，获得更加准确的结果。
4. Ensemble SelectionEnsemble Selection算法通过选择最优的子集来构建集成学习器。
机器学习中的集成学习原理及应用
机器学习中的集成学习原理及应用随着人工智能技术的发展和应用，机器学习已经成为人们关注的热门话题之一。
在机器学习的技术领域中，集成学习被视为一种非常有效的方式，可以训练出更为准确的模型。
本文将详细介绍集成学习的原理和应用。
1、集成学习简介集成学习也叫做组合学习，是指将多个单独的机器学习算法或模型组合起来，以提高预测准确率和精度的一种技术。
集成学习的基本思想是：通过对多个模型的集成，将它们的优点进行组合，得到更加鲁棒的模型，同时避免了单个模型存在的过拟合和欠拟合问题。
2、集成学习原理集成学习的核心原理是：同样的模型，采用不同的训练集会得到不同的结果，通过集成多个模型的结果，可以得到更加准确的预测。
常见的集成学习方法包括：（1）Bagging：Bagging是Bootstrap Aggregating的缩写，即通过一定的重采样技术，从原始数据集中采样出多个子数据集，然后构建多个不同的分类器（或回归器）模型，最终进行投票决策来获得输出结果。
（2）Boosting：Boosting采用的也是Bagging的思路，但是在重采样的过程中，会给数据不同的权重值，通过一系列迭代的方式来训练多个弱分类器，最终组合得到一个强分类器。
（3）Stacking：Stacking是指将几种不同的学习器（包括分类器和回归器）的输出结果作为新的训练集，来训练一个次级学习器。
次级学习器通常采用的是线性模型或者神经网络模型，将几种不同模型的学习结果加权融合后再进行预测。
3、集成学习应用（1）分类问题：在分类问题中，集成学习可以用于处理各种类型数据，如文本、图像、语音等。
在分类问题中，常用的算法包括随机森林、AdaBoost、Bagging等。
（2）回归问题：在回归问题中，集成学习可以用于预测任何类型的输出结果，如价格、销量、股票等。
常用的集成学习算法有Bagging、随机森林、Boosting等。
（3）异常检测：异常检测是一种特殊的学习任务，涉及到如何识别不符合正常模式的数据点。
集成学习方法
集成学习方法
集成学习是一种将多个学习器进行整合，以获得比单个学习器
更好的性能的机器学习方法。
它通过结合多个学习器的预测结果，
来改善学习器的泛化能力和鲁棒性。
在实际应用中，集成学习方法
已经被广泛应用于数据挖掘、模式识别、文本分类等领域，并取得
了显著的效果。
集成学习方法主要包括bagging、boosting和stacking等技术。
其中，bagging是一种并行式集成学习方法，通过对训练数据集进
行有放回的随机抽样，构建多个基学习器，再通过投票等方式进行
整合，以降低模型的方差；boosting则是一种串行式集成学习方法，通过反复调整训练数据集的权重，训练多个基学习器，并通过加权
求和的方式进行整合，以降低模型的偏差；而stacking则是一种将
多个基学习器的预测结果作为新的特征，再训练一个元学习器进行
整合的方法。
在实际应用中，选择合适的集成学习方法对于模型的性能至关
重要。
首先，需要根据具体的问题场景和数据特点选择合适的基学
习器，如决策树、支持向量机、神经网络等；其次，需要根据数据
的规模和分布选择合适的集成学习方法，如bagging适用于大规模
数据集，boosting适用于不平衡数据集等；最后，需要通过交叉验证等方法对集成学习模型进行调参，以获得最佳的性能。
总的来说，集成学习方法是一种强大的机器学习技术，能够有效提高模型的泛化能力和鲁棒性。
在实际应用中，选择合适的基学习器和集成学习方法，并进行合理的调参，能够取得更好的性能。
希望本文能够帮助读者更好地理解集成学习方法，并在实际问题中取得更好的效果。
机器学习中的模型融合方法
机器学习中的模型融合方法机器学习是一门非常重要的学科，涉及到了众多的方法和技术。
其中，模型融合方法是一种常用的技术，用于提高机器学习模型的性能和泛化能力。
本文将介绍几种常见的机器学习中的模型融合方法。
一、集成学习集成学习是一种常用的模型融合方法。
它的基本思想是将多个弱学习器集成在一起，形成一个强学习器，从而提高模型的性能。
常见的集成学习方法包括投票方法、bagging和boosting。
1. 投票方法投票方法是一种简单而有效的集成学习方法。
它的思想是通过结合多个模型的预测结果进行投票，最终选择预测结果最多的类别作为最终的预测结果。
投票方法适用于分类问题，在实际应用中较为常见。
2. BaggingBagging是一种基于自助采样技术的集成学习方法。
它的思想是通过对训练集进行多次有放回的采样，产生多个不同的训练集，然后用这些训练集分别训练出多个模型，再将这些模型的预测结果进行平均或投票，得到最终的预测结果。
Bagging方法可以降低模型的方差，提高模型的泛化能力。
3. BoostingBoosting是一种迭代的集成学习方法。
它的基本思想是通过训练多个弱学习器，每个弱学习器都试图修正前一个弱学习器的错误，最终将这些弱学习器进行加权结合。
Boosting方法可以提高模型的准确率，特别适用于处理复杂的数据集和任务。
二、深度学习中的模型融合方法深度学习是机器学习的一个重要分支，近年来在众多领域取得了重大突破。
在深度学习中，模型融合方法也起到了关键的作用。
下面介绍几种常见的深度学习中的模型融合方法。
1. 神经网络融合神经网络融合是一种常用的深度学习模型融合方法。
它的思想是通过将多个神经网络进行融合，获得更好的预测性能。
常见的神经网络融合方法包括平均融合、投票融合和学习融合等。
2. 迁移学习迁移学习是一种将已经学习好的模型迁移到新的任务上的方法。
它的思想是通过使用已经学习好的模型生成的特征来辅助新任务的学习。
集成学习方法
集成学习方法集成学习是一种通过结合多个学习器来完成学习任务的机器学习方法。
它的核心思想是通过整合多个模型的预测结果，从而获得比单个模型更好的性能。
在实际应用中，集成学习方法已经被广泛应用于分类、回归、特征选择等领域，并取得了显著的效果。
集成学习方法的核心是如何有效地整合多个模型的预测结果。
常见的集成学习方法包括Bagging、Boosting、Stacking等。
其中，Bagging方法通过对训练数据集进行有放回的随机抽样，构建多个基学习器，再通过投票或平均的方式得到最终的预测结果；Boosting方法则是通过迭代训练多个弱学习器，每一轮都根据前一轮的结果调整样本权重，最终将多个弱学习器的结果加权求和得到最终的预测结果；而Stacking方法则是通过训练多个基学习器，然后将它们的预测结果作为新的特征输入到次级学习器中进行训练，得到最终的预测结果。
在实际应用中，选择合适的基学习器是集成学习方法的关键。
通常情况下，我们会选择一些性能稳定且互补的基学习器来构建集成模型，以达到更好的效果。
此外，对于不同的数据集和任务，我们也需要根据实际情况来选择合适的集成学习方法和参数设置，以获得最佳的性能。
集成学习方法的优势在于它能够有效地降低模型的方差，提高模型的泛化能力。
通过整合多个模型的预测结果，集成学习方法能够在一定程度上弥补单个模型的不足，从而获得更稳定和准确的预测结果。
因此，集成学习方法在实际应用中具有重要的意义。
总的来说，集成学习方法是一种强大的机器学习方法，它通过整合多个模型的预测结果，能够显著提高模型的性能。
在实际应用中，我们可以根据具体的情况选择合适的集成学习方法和基学习器，从而获得更好的预测效果。
希望本文对集成学习方法有所帮助，谢谢阅读！。
集成学习名词解释
1.集成学习名词解释？
答：集成学习的主要思路是先通过一定的规则生成多个学习器，再采用某种集成策略进行组合，最后综合判断输出最终结果。
一般而言，通常所说的集成学习中的多个学习器都是同质的"弱学习器"。
基于该弱学习器，通过样本集扰动、输入特征扰动、输出表示扰动、算法参数扰动等方式生成多个学习器，进行集成后获得一个精度较好的"强学习器"。
随着集成学习研究的深入，其广义的定义逐渐被学者们所接受，它是指对多个学习器集合采用学习的方式，而不对学习器性质加以区分。
根据这一定义，多学习器系统(multi-classifier system) 、多专家混合(mixture of experts) 以及基于委员会的学习(committee-based learning)等多个领域都可以纳入到集成学习中。
但当前仍然以同质分类器的集成学习研究居多。
机器学习——集成学习（Bagging、Boosting、Stacking）
机器学习——集成学习（Bagging、Boosting、Stacking）1 前⾔集成学习的思想是将若⼲个学习器(分类器&回归器)组合之后产⽣⼀个新学习器。
弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(errorrate < 0.5)。
集成算法的成功在于保证弱分类器的多样性(Diversity)。
⽽且集成不稳定的算法也能够得到⼀个⽐较明显的性能提升。
集成学习可以⽤于分类问题集成，回归问题集成，特征选取集成，异常点检测集成等等，可以说所有的机器学习领域都可以看到集成学习的⾝影。
2 集成学习概述常见的集成学习思想有∶BaggingBoostingStacking为什么需要集成学习?弱分类器间存在⼀定的差异性，这会导致分类的边界不同，也就是说可能存在错误。
那么将多个弱分类器合并后，就可以得到更加合理的边界，减少整体的错误率，实现更好的效果;对于数据集过⼤或者过⼩，可以分别进⾏划分和有放回的操作产⽣不同的数据⼦集，然后使⽤数据⼦集训练不同的分类器，最终再合并成为⼀个⼤的分类器;如果数据的划分边界过于复杂，使⽤线性模型很难描述情况，那么可以训练多个模型，然后再进⾏模型的融合;对于多个异构的特征集的时候，很难进⾏融合，那么可以考虑每个数据集构建⼀个分模型，然后将多个模型融合。
3 Bagging模型 Bagging ⽅法⼜叫做⾃举汇聚法(Bootstrap Aggregating)，是⼀种并⾏的算法。
基本思想︰在原始数据集上通过有放回的抽样的⽅式，重新选择出 T 个新数据集来分别训练 T 个分类器的集成技术。
也就是说这些模型的训练数据中允许存在重复数据。
Bagging 的特点在“随机采样”。
随机采样(Bootsrap)就是从训练集⾥⾯采集固定个数的样本，但是每采集⼀个样本后，都将样本放回。
也就是说，之前采集到的样本在放回后有可能继续被采集到。
Bagging的结合策略：对于分类问题，通常使⽤简单投票法，得到最多票数的类别或者类别之⼀为最终的模型输出。
富有创新性的7种高效学习方法_学习方法
一、集成学习方法集成学习方法：是指运用集成思维，构建集成知识和集成智慧的学习方法。
我们可以利用这种学习，运用集成思维，对知识进行集成，形成集成知识。
而一般的学习方法，只是将知识的原形装入大脑，知识的结构没有发生什么改变。
另外，我们还可以运用集成思维和集成知识，构建起集成智慧。
这种学习方法的最大特点在于，运用集成化技术，获得知识、思维和智慧的集成。
二、系统学习系统学习：是指将所学习的知识，按照某个整体观念组织起来，形成一个系统的学习方法。
虽然知识本身是具有系统性的，但是，我们在学习知识时，是分部进行学习的，也不一定要按照原来的知识结构、知识系统，来建立自己大脑中的知识系统。
我们需要根据自己今后的目标，对原有的知识结构，知识系统，进行重新组合，构成属于自己特有的知识系统。
这样构成的知识系统，才是你真正需要的知识系统。
系统学习的另一层含义是将零散的知识，组织起来，构成一个完整的系统。
知识其实就是一些组件，你按照什么样的构思去组合它，它就会变成什么样的知识结构。
你千万不要认为，已经创造出来的知识是一程不变的。
假如是那样的话，我们又怎么能够创造出新的知识来呢？在知识的应用方面，大多数的知识是以组合方式产生的。
系统学习还在于：强调知识价值的一致性、知识结构的完整性、知识内在联系的统一性、知识应用的规范性。
三、强化学习强化学习：是指在某一段时间内，进行某一类知识的强化学习，并达到一定程度。
在某些特殊的情况下，由于工作需要，我们必须在一定的时间内，完成所需要知识的学习，以适应工作的需要。
这种学习方式，需要我们暂时放弃其它的工作和学习，集中全力，利用一切可以利用的时间，调动一切可以调动的智慧，进行封闭式学习。
这种学习方法的特点是：能够在很短的时间内，完成一定需要的学习任务，迅速获得你所需要的知识和技能，特别适合于特殊任务的学习。
四、超越法则超越法则：是指将自己学习上最薄弱的部分，进行强化学习，使其超过你原来最优秀的部分。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
集成学习1.集成学习简介1）通过构建并结合多个学习器来完成学习任务：先产生一组“个体学习器”(individual learner),再用某种策略将它们结合起来。
其中每个IL由一个现有的学习算法从训练数据中产生，如：C4.5决策树算法、BP神经网络等。
2）性能：集成学习器的能力和个体学习器有很大关系，个体学习器本身在具有一定“准确性”的同时，还要有“多样性”，学习器间要具有差异。
产生并结合“好而不同”的个体学习器恰恰是集成学习的核心3）基学习器第一种就是所有的个体学习器都是一个种类的，或者说是同质的。
比如都是决策树个体学习器，或者都是神经网络个体学习器。
第二种是所有的个体学习器不全是一个种类的，或者说是异质的。
本文所讲得Boosting和Bagging方法的基学习器都是同质的。
其中：Boosting方法的个体学习器间存在强依赖关系、必须串行生成的序列化方法。
集成方式一般为加权和，分类器权重并不相等，使用所有样本。
Bagging方法的个体学习器间不存在强依赖关系、可同时生成的并行化方法，集成方式“随机森林(Random Forest)”。
为投票，分类器权值是一样的，随机抽取部份样本。
如Bagging、2.Boosting和Bagging学习策略a.Boosting这是一族可将弱学习器提升为强学习器的算法工作机制：先从初始训练集中训练出来一个基学习器，然后根据表现，对训练样本进行调整，是基学习器之前做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器，如此反复，直到基学习器数目达到事先指定的值T，最终将这T 个基学习器进行加权结合。
目前有很多种类，如AdaBoost、Generalized Boosted Models、XGBoost、lightgbm等。
b.Bagging1)从样本集D中用Bootstrap采样选出n个样本(有放回)，执行m次，选出m个样本子集{D1,D2,...,Dm}2)在所有属性上，分别对应这m个样本子集建立m个学习器{h1(x),h2(x),...,hm(x)}3)将这m个学习器放在各自的训练数据上进行学习4)通过投票法或平均法对这m个学习器进行结合20.3.GBDT(梯度提升决策树)a特征该算法由多棵决策树组成，所有树的结论累加起来做最终答案。
GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。
b优势GBDT的思想使其具有天然优势可以发现多种有区分性的特征以及特征组合。
业界中，Facebook使用其来自动发现有效的特征、特征组合，来作为LR模型中的特征，以提高CTR 预估（Click-Through Rate Prediction）的准确性。
c分类树和回归树分类树使用信息增益或增益比率来划分节点；每个节点样本的类别情况投票决定测试样本的类别。
回归树使用最小均方差划分节点；每个节点样本的均值作为测试样本的回归预测值。
均方差：其中，y为标签，c为预测结果。
基尼指数：211=(1)1K K k kk k k G p p p ==-=-∑∑（p ）,基尼指数越小，效果越好（当前分类样本的不确定性越小）。
d 提升树算法提升树是迭代多棵回归树来共同决策。
当采用平方误差损失函数时，每一棵回归树学习的是之前所有树的结论和残差，拟合得到一个当前的残差回归树，残差的意义如公式：残差 = 真实值 - 预测值 。
提升树即是整个迭代过程生成的回归树的累加。
举例：训练集是4个人，A ，B ，C ，D 年龄分别是14，16，24，26。
样本中有购物金额、上网时长、经常到百度知道提问等特征。
提升树的过程如下：图（1）算法流程：其中，M 表示有M 个特征。
e.GBDT(Gradient Boosting Decision Tree)梯度提升决策树利用损失函数的负梯度在当前模型的值，作为回归问题中提升树算法的残差的近似值，拟合一个回归树。
让损失函数持续下降，就能使得模型不断改性提升性能。
其中，m为第m棵树。
N表示样本个数。
j表示决策特征（例如图（1）中的第一棵树将购物金额是否大于1k为分割特征）。
算法1步获得使得损失函数最小的常数估计值，是一个只有根节点的树。
在2.1步计算损失函数的负梯度在当前模型的值，将它作为残差估计。
在2.2步估计回归树的叶结点区域，来拟合残差的近似值。
在2.3步利用线性搜索估计回归树叶结点区域的值，使损失函数最小化。
2.4更新回归树。
第3步获得输出的最终模型。
Eg:为什么损失函数是绝对值损失函数或huber函数，优化就变难了呢？当损失函数是MSE时，直接求出最优解需要满足X是列满秩的（X表示训练特征矩阵），而且求矩阵的逆比较慢，因此最小二乘法求解存在局限性，可以采用梯度下降法近似求解。
“残差= 真实值- 预测值” 只是负梯度在平方损失函数上的特例。
在别的损失函数上，残差就不是这么计算了。
4.AdaboostAdaBoost Algorithm：1、初始化样本权值分布2、基于分布Dt从数据集D中训练处分类器ht3、估计ht的误差 err.4、确定分类器ht的权重5、更新样本分布，其中Zt是规范化因子，以确保Dt+1是一个分布具体过程见《统计学习方法》P138AdaBoost应用：1）用于二分类或多分类的应用场景2）用于做分类任务的baseline：无脑化，简单，不会overfitting，不用调分类器3）用于特征选择（feature selection)4）Boosting用于对badcase的修正：只需要增加新的分类器，不需要变动原有分类器5）邮件过滤、文本分类、人脸识别Adaoost特性：1）训练的错误率上界，随着迭代次数的增加，会逐渐下降；2）adaboost算法即使训练次数很多，也不会出现过拟合的问题。
3）每次迭代改变的是样本的分布，而不是重复采样（re weight)4）样本分布的改变取决于样本是否被正确分类：总是分类正确的样本权值低，总是分类错误的样本权值高（通常是边界附近的样本）5）最终的结果是弱分类器的加权组合：权值表示该弱分类器的性能5.Xgboost与GBDT最主要的差异在于损失函数定义的不同：1）除了要计算L(y,f(x))外，Xgboost在后面添加了正则项和一个常数项。
2）GBDT的梯度下降只用了损失函数的一阶导数，在这里利用泰勒展开式添加了二阶导数的信息。
tip:下式中，y(t-1)+f(f)。
根据模型的生成方式：t时刻的树模型是之前树模型的和。
所以y^(t)等于y^(t-1)+f(f).残差实际就是下一阶段的f(x)上式等价于正则项Ω(f)定义为：其中，T为叶子结点的个数，w为叶子权重。
树中结点分割点的选择：采用贪心的思想。
遍历数据中所有的分割点，选择分割前后增益最大点：。
衡量方法：统一后的损失是指：j（1-T）表示的是每一个叶节点，里面可能有多个样本，则将样本按叶节点分块，计算。
每棵树所有叶子结点。
XGB是预剪枝。
就像上面所说的选择损失函数最小的进行分裂，此时就相当于对所有节点进行分裂，然后根据上面的述的，如果增益为负数就不分裂。
6.LightGBM（Light Gradient Boosted Tree）1）LightGBM相较XGBOOST的优化：基于直方图的决策树算法带深度限制的Leaf-wise的叶子生长策略直方图做差加速直接支持类别特征(Categorical Feature)Cache命中率优化多线程优化2）XGBoost工作特点及缺点首先，对所有特征都按照特征的数值进行预排序。
其次，在遍历分割点的时候用O(#data)的代价找到一个特征上的最好分割点。
最后，找到一个特征的分割点后，将数据分裂成左右子节点。
这样的预排序算法的优点是能精确地找到分割点。
3）基于Histogram的决策树算法直方图算法的基本思想：先把连续的特征值离散化成k个整数，同时构造一个宽度为k 的直方图。
遍历数据时，根据离散值作为索引在直方图中累积统计量，然后根据直方图的离散值，遍历寻找最优的分割点。
优点：空间消耗小：直方图算法不仅不需存储预排序的结果，而且可以只保存特征离散化后的值，而这个值一般用8位整型存储就足够了，内存消耗可以降低为原来的1/8。
计算代价小：计算上的代价也大幅降低，预排序算法每遍历一个特征值就需要计算一次分裂的增益，而直方图算法只需要计算k次（k可以认为是常数），时间复杂度从O(#data*#feature)优化到O(k*#features)做差加速特性（直方图-直方图=直方图）：一个叶子的直方图可以由它的父亲节点的直方图与它兄弟的直方图做差得到。
通常构造直方图，需要遍历该叶子上的所有数据，但直方图做差仅需遍历直方图的k个桶。
利用这个方法，LightGBM可以在构造一个叶子的直方图后，可以用非常微小的代价得到它兄弟叶子的直方图，在速度上可以提升一倍。
效果分析：Histogram算法并不是完美的。
由于特征被离散化后，找到的并不是很精确的分割点，所以会对结果产生影响。
但在不同的数据集上的结果表明，离散化的分割点对最终的精度影响并不是很大，甚至有时候会更好一点。
原因是决策树本来就是弱模型，分割点是不是精确并不是太重要；较粗的分割点也有正则化的效果，可以有效地防止过拟合；即使单棵树的训练误差比精确分割的算法稍大，但在梯度提升（Gradient Boosting）的框架下没有太大的影响。
4）带深度限制的Leaf-wise的叶子生长策略（逐级树增长）Level-wise过一次数据可以同时分裂同一层的叶子，容易进行多线程优化，也好控制模型复杂度，不容易过拟合。
但实际上Level-wise是一种低效算法，因为它不加区分的对待同一层的叶子，带来了很多没必要的开销，因为实际上很多叶子的分裂增益较低，没必要进行搜索和分裂。
Leaf-wise则是一种更为高效的策略：每次从当前所有叶子中，找到分裂增益最大的一个叶子，然后分裂，如此循环。
因此同Level-wise相比，在分裂次数相同的情况下，Leaf-wise 可以降低更多的误差，得到更好的精度。
Leaf-wise的缺点：可能会长出比较深的决策树，产生过拟合。
因此LightGBM在Leaf-wise 之上增加了一个最大深度限制，在保证高效率的同时防止过拟合。
5）支持类别特征LightGBM优化了对类别特征的支持，可以直接输入类别特征，不需要额外的特征编码，并在决策树算法上增加了类别特征的决策规则。
在Expo数据集上的实验，相比0/1展开的方法，训练速度可以加速8倍，并且精度一致。
6）并行化特征：1. 每个worker在其特征子集上寻找最佳切分点2. worker之间互相通信，找到全局最佳切分点3. 每个worker根据全局最佳切分点进行节点分裂（而不是具有全局最佳切分特征的worker进行节点分裂，然后广播切分后左右子树的instance indices其他worker根据广播的instance indices进行节点分裂）优缺点：避免广播instance indices，减小网络通信量缺点：split finding计算复杂度没有减小。