(2)判别模型、生成模型与朴素贝叶斯方法
机器学习领域中的分类算法
机器学习领域中的分类算法随着大数据时代的到来，机器学习已经成为了最炙手可热的技术之一。
在数据挖掘和人工智能领域，分类问题一直是非常重要的问题之一。
分类指的是将数据集中的实例按照某种规则将其区分开来。
分类算法可以让机器对不同的输入数据进行自动分类，从而得到更加精准、高质量的预测结果。
在机器学习领域中，分类算法是比较基础和常用的方法之一。
在研究分类算法之前，需要了解一下两个非常重要的概念：特征和标签。
特征是指用于对实例进行描述的属性，比如身高、体重、性别等；而标签则是对每个实例所属类别的标记，也称为类标。
分类算法的目的就是，通过学习这些特征和标签之间的关系，预测新的输入数据的类别。
分类算法的种类非常多，我们可以根据不同的分类方式来对其进行分类。
比如说，可以根据分类模型的分布方式将其分为生成模型和判别模型；也可以根据算法中使用的训练方法将其分为监督学习和非监督学习。
下面我们将会讨论一些常见的分类算法。
1. K最近邻算法（K-Nearest Neighbor Algorithm）K最近邻算法是一种监督学习的算法，它的主要思想是：对于一个新的输入样本，它所属的类别应当与与它最近的K个训练样本的类别相同。
其中K是一个可调参数，也称为邻居的个数。
算法的流程大致如下：首先确定K的值，然后计算每一个测试数据点与训练数据集中每个点的距离，并根据距离从小到大进行排序。
最后统计前K个训练样本中各类别出现的次数，选取出现次数最多的类别作为该测试样本的输出。
K最近邻算法简单易用，但是它有一些局限性。
首先，算法的分类效果对数据的质量非常敏感，因此需要对数据进行预处理。
其次，算法需要存储全部的训练数据，对于大规模数据集，存储和计算的开销非常大。
2. 决策树算法（Decision Tree Algorithm）决策树是一种基于树形结构进行决策支持的算法。
其原理是：将一个问题转化为简单的二选一问题并逐步求解，形成一棵树形结构，从而形成不同的决策路径。
生成式模型算法
生成式模型算法
生成式模型是一种机器学习算法，用于学习一个数据的概率分布。
该算法通过学习数据的特征，来生成新的数据。
常见的生成式模型算法包括：
1.朴素贝叶斯算法：用于分类问题，基于贝叶斯公式，计算出数据属于各个类别的概率，从而进行分类。
2.高斯混合模型：用于聚类问题，将数据分为多个高斯分布，并计算数据属于各个分布的概率，然后将数据聚类到相应的分布中。
3.隐马尔可夫模型：主要用于序列数据的建模问题，通过定义状态和状态之间的转移概率，以及状态之间与数据之间的关系，来进行序列数据的建模。
4.变分自编码器：用于无监督学习和特征提取，通过学习如何解码输入数据，来学习输入数据的概率分布，从而更好地进行特征提取和生成新的数据。
5.生成对抗网络：通过一组生成器模型和判别器模型之间的博弈，学习数据的概率分布和生成新的数据。
机器学习面考试试题目
1、有监督学习和无监督学习的区别有监督学习：对具有标记的训练样本进行学习，以尽可能对训练样本集外的数据进行分类预测。
（LR,SVM,BP,RF,GBDT）无监督学习：对未标记的样本进行训练学习，比发现这些样本中的结构知识。
(KMeans,DL)2、正则化正则化是针对过拟合而提出的，以为在求解模型最优的是一般优化最小的经验风险，现在在该经验风险上加入模型复杂度这一项（正则化项是模型参数向量的范数），并使用一个rate 比率来权衡模型复杂度与以往经验风险的权重，如果模型复杂度越高，结构化的经验风险会越大，现在的目标就变为了结构经验风险的最优化，可以防止模型训练过度复杂，有效的降低过拟合的风险。
奥卡姆剃刀原理，能够很好的解释已知数据并且十分简单才是最好的模型。
过拟合如果一味的去提高训练数据的预测能力，所选模型的复杂度往往会很高，这种现象称为过拟合。
所表现的就是模型训练时候的误差很小，但在测试的时候误差很大。
产生的原因过拟合原因：1.样本数据的问题。
样本数量太少；抽样方法错误，抽出的样本数据不能有效足够代表业务逻辑或业务场景。
比如样本符合正态分布，却按均分分布抽样，或者样本数据不能代表整体数据的分布；样本里的噪音数据干扰过大2. 模型问题模型复杂度高、参数太多决策树模型没有剪枝权值学习迭代次数足够多(Overtraining),拟合了训练数据中的噪声和训练样例中没有代表性的特征.解决方法1. 样本数据方面。
增加样本数量，对样本进行降维，添加验证数据抽样方法要符合业务场景清洗噪声数据2. 模型或训练问题控制模型复杂度，优先选择简单的模型，或者用模型融合技术。
利用先验知识，添加正则项。
L1正则更加容易产生稀疏解、L2正则倾向于让参数w趋向于0.4、交叉验证不要过度训练，最优化求解时，收敛之前停止迭代。
决策树模型没有剪枝权值衰减5、泛化能力泛化能力是指模型对未知数据的预测能力6、生成模型和判别模型1. 生成模型：由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。
《机器学习》教学大纲
《机器学习》教学大纲课程编号：课程名称：机器学习英文名称：Machine Learning先修课程：高等数学（数学分析）、线性代数（高等代数）、概率论与数理统计、程序设计基础总学时数：54学时一、教学目的本课程可作为计算机科学与技术、智能科学与技术相关本科专业的必修课，也可作为其它本科专业的选修课，或者其它专业低年级研究生的选修课。
本课程的教学目的是使学生理解机器学习的基本问题和基本算法，掌握它们的实践方法，为学生今后从事相关领域的研究工作或项目开发工作奠定坚实的基础。
具体来讲，要使学生理解聚类、回归、分类、标注相关算法并掌握它们的应用方法；理解概率类模型并掌握它们的应用方法；理解神经网络类模型并掌握它们的应用方法；理解深度学习模型并掌握它们的应用方法；理解距离度量、模型评价、过拟合、最优化等机器学习基础知识；掌握特征工程、降维与超参数调优等机器学习工程应用方法。
二、教学要求总体上，本课程的教学应本着理论与实践相结合的原则，深入浅出，突出重点，在重视基础理论的同时，注意培养学生独立思考和动手能力。
在内容设计上，应以示例入手，逐步推进，详尽剖析算法思想与基本原理。
在实施方法上，应采取启发式教学方法，在简要介绍算法思想和流程的基础上，引导学生自行运行并分析实现代码。
在教学手段上，应结合板书、多媒体、网络资源等多种传授方法，提高学生兴趣。
在实验教学上，应促进学生对讲授知识的理解，开拓眼界，提升实践能力。
三、教学内容本课程内容共分为八章。
（一）绪论（1学时）【内容】机器学习的基本概念，机器学习算法及其分类，课程内容介绍，编程环境及工具包。
【重点】机器学习的基本概念，机器学习算法分类。
（二）聚类（11学时，含4学时实验课）【内容】K均值聚类及其改进算法，聚类的任务，样本点常用距离度量，聚类算法评价指标，聚类算法分类，DBSCAN算法及其派生算法，AGNES算法。
【重点】距离度量，聚类算法评价指标，K均值算法，DBSCAN算法。
生成式模型的工作原理
生成式模型的工作原理生成式模型（Generative Model）是一种机器学习模型，能够基于输入数据学习概率分布，进而生成新的数据。
相比于判别式模型，生成式模型的应用场景更广泛，可以用于生成图像、音频、文本等。
本文将介绍生成式模型的工作原理，包括常见的生成式模型、训练方法和评估指标。
一、常见的生成式模型1. 朴素贝叶斯模型（Naive Bayes）：朴素贝叶斯模型是一种基于贝叶斯定理和特征条件独立假设的生成式模型。
其基本思想是利用已有的标记数据，学习先验概率和条件概率，然后根据生成式模型生成新的数据。
朴素贝叶斯模型常用于文本分类、垃圾邮件过滤等任务。
2. 隐马尔可夫模型（HMM）：隐马尔可夫模型是一种基于马尔可夫链的生成式模型。
它将状态转移和观测值表示为两个随机过程，并假设当前状态只依赖于前一个状态。
HMM常用于语音识别、自然语言处理、生物信息学等领域。
3. 生成对抗网络（GAN）：生成对抗网络是一种使用两个深度神经网络进行博弈的生成式模型。
其中一个网络生成新的数据样本，另一个网络则判别其真实性。
通过反复地迭代训练，生成器和判别器逐渐提高性能。
GAN常用于图像合成、视频生成等任务。
4. 变分自编码器（VAE）：变分自编码器是一种基于概率生成模型的生成式模型。
它将输入数据转换为潜在变量的概率分布，并通过最大化似然函数来训练模型。
VAE常用于图像生成、文本生成等任务。
二、训练方法生成式模型的训练方法主要包括极大似然估计、变分推理和对抗性训练等。
1. 极大似然估计：极大似然估计是一种基于最大化概率的训练方法。
对于给定的模型参数\theta，似然函数是输入数据x所对应的条件概率，即p_{\theta}(x)。
极大似然估计的目标是找到最优的模型参数\theta^*，使得对数似然函数最大化：\theta^* = \arg \max_{\theta} \sum_{i=1}^n \log p_{\theta}(x_i)极大似然估计的优点是训练过程简单、容易理解，但它往往会导致模型过拟合、梯度消失等问题。
判别模型和生成模型的区别
判别模型和生成模型的区别
判别模型和生成模型的对比
(1) 训练时，二者优化准则不同：生成模型优化训练数据的联合分布概率，而判别模型优化训练数据的条件分布概率。
从这里可以看出，判别模型与序列标记问题有较好的对应性。
(2) 对于观察序列的处理不同：生成模型中，观察序列作为模型的一部分，而判别模型中，观察序列只作为条件，因此可以针对观察序列设计灵活的特征。
(3) 训练复杂度不同：由于需要归一化，判别模型训练复杂度较高。
(4) 是否支持无指导训练：生成模型支持无指导训练，而判别模型不支持。
3. 二者的本质区别是：判别模型（discriminative model ）估计的是条件概率分布(conditional
distribution)p(class|context)，而生成模型（generative model）估计的是联合概率分布（joint probability distribution）
通常来讲，（该部分援引自这里）常见的生成模型（Generative Model）主要有：
– Gaussians, Naive Bayes, Mixtures of multinomials
– Mixtures of Gaussians, Mixtures of experts, HMMs
– Sigmoidal belief networks, Bayesian networks
– Markov random fields
常见的Discriminative Model主要有：
– logistic regression
– SVMs
– traditional neural networks
– Nearest neighbor。
人工智能基础考核试卷
11.以下哪个不是机器学习中常用的距离度量？（）
A.欧氏距离
B.曼哈顿距离
C.余弦距离
D.皮尔逊距离
12.以下哪个算法不属于无监督学习？（）
A. K-means聚类
B.主成分分析
C.支持向量机
D.自组织映射
13.以下哪个不是神经网络中的激活函数？（）
A. Sigmoid
B. Seaborn
C. Pandas
D. Scikit-learn
5.以下哪些方法可以用来防止过拟合？（）
A.增加数据量
B.提前停止训练
C.正则化
D.减少特征数量
6.以下哪些是数据预处理中常用的技术？（）
A.缺失值处理
B.异常值检测
C.特征选择
D.数据标准化
7.以下哪些是时间序列数据的特征？（）
A.顺序性
A.梯度下降
B.随机梯度下降
C.牛顿法
D.主成分分析
17.以下哪个不是多分类问题的解决方法？（）
A.一对多
B.多对多
C. Softmax回归
D.支持向量机
18.以下哪个不是数据增强的主要方法？（）
A.随机裁剪
B.翻转
C.旋转
D.主成分分析
19.以下哪个不是卷积神经网络（CNN）的主要应用场景？（）
A.图像分类
B.相关性
C.季节性
D.周期性
8.以下哪些是常用的优化算法？（）
A.梯度下降
B.牛顿法
C.随机梯度下降
D.共轭梯度
9.以下哪些是卷积神经网络（CNN）的特点？（）
A.局部感知
B.参数共享
C.等变性质
D.全局感知
概率论在机器学习中的应用
概率论在机器学习中的应用概率论是机器学习的基础，它提供了一种数学框架来处理不确定性。
在机器学习中，概率论主要用于以下几个方面：1. 概率模型概率模型是对随机现象的数学描述。
概率模型可以分为两大类：生成模型和判别模型。
生成模型描述了如何从数据中生成数据，而判别模型描述了如何根据数据预测结果。
在机器学习中，常用的概率模型包括：•朴素贝叶斯模型：朴素贝叶斯模型是一种生成模型，它假设特征之间彼此独立。
朴素贝叶斯模型简单易用，在许多任务上都有良好的性能。
•隐马尔可夫模型：隐马尔可夫模型是一种生成模型，它描述了随机过程的动态行为。
隐马尔可夫模型可以用于语音识别、自然语言处理等任务。
•条件随机场：条件随机场是一种判别模型，它描述了给定输入数据的情况下，输出数据之间的关系。
条件随机场可以用于命名实体识别、图像分割等任务。
2. 贝叶斯统计贝叶斯统计是一种统计方法，它利用概率论来对不确定性进行推理。
贝叶斯统计的基础是贝叶斯定理，贝叶斯定理可以用于计算在已知某些信息的情况下，事件发生的概率。
在机器学习中，贝叶斯统计主要用于以下几个方面：•贝叶斯估计：贝叶斯估计是一种参数估计方法，它利用贝叶斯定理来计算参数的后验分布。
贝叶斯估计可以用于估计模型参数、超参数等。
•贝叶斯模型选择：贝叶斯模型选择是一种模型选择方法，它利用贝叶斯定理来计算不同模型的后验概率。
贝叶斯模型选择可以用于选择最佳的模型。
•贝叶斯优化：贝叶斯优化是一种超参数优化方法，它利用贝叶斯定理来计算超参数的后验分布。
贝叶斯优化可以用于优化模型超参数。
3. 强化学习强化学习是一种机器学习方法，它通过与环境的交互来学习最优的行为策略。
强化学习的基础是马尔可夫决策过程，马尔可夫决策过程描述了智能体在环境中的行为和奖励。
在强化学习中，概率论主要用于以下几个方面：•马尔可夫决策过程：马尔可夫决策过程是一种随机过程，它描述了智能体在环境中的行为和奖励。
马尔可夫决策过程可以用于建模许多现实世界中的问题，例如机器人控制、游戏等。
七月在线机器学习笔试练习整理
七⽉在线机器学习笔试练习整理七⽉在线机器学习笔试练习整理1.以下哪种⽅法属于判别式模型(discriminative model)（）A 隐马模型(HMM)B 朴素贝叶斯C LDAD ⽀持向量机 **D ⽀持向量机**解析：已知输⼊变量x，判别模型(discriminative model)通过求解条件概率分布P(y|x)或者直接计算y的值来预测y。
⽣成模型（generative model）通过对观测值和标注数据计算联合概率分布P(x,y)来达到判定估算y的⽬的。
常见的判别模型有线性回归（Linear Regression）,逻辑回归（Logistic Regression）,⽀持向量机（SVM）, 传统神经⽹络（Traditional Neural Networks）,线性判别分析（Linear Discriminative Analysis），条件随机场（Conditional Random Field）；常见的⽣成模型有朴素贝叶斯（Naive Bayes）, 隐马尔科夫模型（HMM）,贝叶斯⽹络（Bayesian Networks）和隐含狄利克雷分布（Latent Dirichlet Allocation）。
A选项的隐马尔科夫模型和 B选项的朴素贝叶斯属于⽣成模型。
C选项的LDA，如果是指Linear Discriminative Analysis，那么属于判别模型，如果是指 Latent Dirichlet Allocation，那么属于⽣成模型。
D选项的⽀持向量机属于判别模型。
2.以P(w)表⽰词条w的概率，假设已知P（南京）=0.8，P（市长）=0.6，P（江⼤桥）=0.4：P（南京市）=0.3，P（长江⼤桥）=0.5：如果假设前后两个词的出现是独⽴的，那么分词结果就是（）A 南京市*长江 *⼤桥B 南京 * 市长*江⼤桥 B **南京 * 市长*江⼤桥**C 南京市长*江⼤桥D 南京市*长江⼤桥解析：该题考察的是最⼤概率分词，其基本思想是：⼀个待切分的汉字串可能包含多种分词结果，将其中概率最⼤的作为该字串的分词结果。
处理分类问题常用算法（二）-----算法岗面试题
处理分类问题常⽤算法（⼆）-----算法岗⾯试题●分层抽样的适⽤范围参考回答：分层抽样利⽤事先掌握的信息,充分考虑了保持样本结构和总体结构的⼀致性,当总体由差异明显的⼏部分组成的时候,适合⽤分层抽样。
● LR的损失函数参考回答：M为样本个数,为模型对样本i的预测结果,为样本i的真实标签。
● LR和线性回归的区别参考回答：线性回归⽤来做预测,LR⽤来做分类。
线性回归是来拟合函数,LR是来预测函数。
线性回归⽤最⼩⼆乘法来计算参数,LR⽤最⼤似然估计来计算参数。
线性回归更容易受到异常值的影响,⽽LR对异常值有较好的稳定性。
●⽣成模型和判别模型基本形式，有哪些？参考回答：⽣成式：朴素贝叶斯、HMM、Gaussians、马尔科夫随机场判别式：LR，SVM，神经⽹络，CRF，Boosting详情：⽀持向量机●核函数的种类和应⽤场景。
参考回答：线性核、多项式核、⾼斯核。
特征维数⾼选择线性核样本数量可观、特征少选择⾼斯核（⾮线性核）样本数量⾮常多选择线性核（避免造成庞⼤的计算量）详情：⽀持向量机●分类算法列⼀下有多少种？应⽤场景。
参考回答：单⼀的分类⽅法主要包括：LR逻辑回归，SVM⽀持向量机，DT决策树、NB朴素贝叶斯、NN⼈⼯神经⽹络、K-近邻；集成学习算法：基于Bagging和Boosting算法思想，RF随机森林,GBDT，Adaboost,XGboost。
● SVM核函数的选择参考回答：当样本的特征很多且维数很⾼时可考虑⽤SVM的线性核函数。
当样本的数量较多,特征较少时,⼀般⼿动进⾏特征的组合再使⽤SVM的线性核函数。
当样本维度不⾼且数量较少时,且不知道该⽤什么核函数时⼀般优先使⽤⾼斯核函数,因为⾼斯核函数为⼀种局部性较强的核函数,⽆论对于⼤样本还是⼩样本均有较好的性能且相对于多项式核函数有较少的参数。
● SVM的损失函数参考回答：●核函数的作⽤参考回答：核函数隐含着⼀个从低维空间到⾼维空间的映射,这个映射可以把低维空间中线性不可分的两类点变成线性可分的。
几种概率模型
二者关系：由生成模型可以得到判别模型，但由判别模型得不到生成模型。
二、概率图模型（Graphical Models）
概率图模型：是一类用图的形式表示随机变量之间条件依赖关系的概率模型，
是概率论与图论的结合。图中的节点表示随机变量，缺少边表示条件独立假 设。
HMM实例
Urn 1
Urn 2
Urn N
实验进行方式如下： • 根据初始概率分布，随机选择N个缸中的一个开始实验 • 根据缸中球颜色的概率分布，随机选择一个球，记球的颜色为 x1，并把球放回缸中 • 根据缸的转移概率分布，随机选择下一口缸，重复以上步骤。
最后得到一个描述球的颜色的序列x1,x2,…称为观察值序列X。
1( X1, X2 , X3 )2( X2 , X3 , X4 )
X1 ,X2 ,X3 ,X4
i (Ci ) : 是关于 Ci 上 随机变量的函数
三、朴素贝叶斯分类器（ Naive Bayes Classifier）
设x∈Ω是一个类别未知的数据样本，Y为类别集合，若数据样本x属 于一个特定的类别yj，那么分类问题就是决定P(yj|x)，即在获得数据 样本x时，确定x的最佳分类。所谓最佳分类，一种办法是把它定义为 在给定数据集中不同类别yj先验概率的条件下最可能的分类。贝叶斯 理论提供了计算这种可能性的一种直接方法。
=[0.5 0.5]T
0.3 R 0.6 G 0.4
1
0.7 0.2 0.8
2
0.9 0.1
R
R
G
①
①
①
0.5 0.3 0.30.60.60.4
机器学习_温州大学中国大学mooc课后章节答案期末考试题库2023年
机器学习_温州大学中国大学mooc课后章节答案期末考试题库2023年1.GBDT由哪三个概念组成：( )参考答案:Regression Decision Tree(即 DT)_Gradient Boosting(即GB)_Shrinkage(缩减)2.对于非概率模型而言，可按照判别函数线性与否分成线性模型与非线性模型。
下面哪些模型属于线性模型？参考答案:K-means_k近邻_感知机3.逻辑回归分类的精度不够高，因此在业界很少用到这个算法参考答案:错误4.SMOTE算法是用了上采样的方法。
参考答案:正确5.支持向量是那些最接近决策平面的数据点参考答案:正确6.100万条数据划分训练集、验证集、测试集，数据可以这样划分：98%，1%，1% 。
参考答案:正确7.K均值是一种产生划分聚类的基于密度的聚类算法，簇的个数由算法自动地确定。
参考答案:错误8.朴素贝叶斯法的基本假设是条件独立性。
参考答案:正确9.PCA投影方向可从最大化方差和最小化投影误差这两个角度理解。
参考答案:正确10.相关变量的相关系数可以为零，对吗？参考答案:正确11.Sigmoid函数的范围是（-1，1）参考答案:错误12.影响KNN算法效果的主要因素包括( )。
参考答案:决策规则_K的值_距离度量方式13.逻辑回归的特征一定是离散的。
参考答案:错误14.闵可夫斯基距离中的p取1或2时的闵氏距离是最为常用的，以下哪项是正确的:( )。
参考答案:闵可夫斯基空间不同于牛顿力学的平坦空间_p取1时是曼哈顿距离_p取2时是欧氏距离_p取无穷时是切比雪夫距离15.KNN算法的缺点包括以下几点？( )参考答案:计算复杂性高；空间复杂性高，尤其是特征数非常多的时候_可解释性差，无法给出决策树那样的规则_对训练数据依赖度特别大，当样本不平衡的时候，对少数类的预测准确率低16.两个向量的余弦相似度越接近1，说明两者越相似。
参考答案:正确17.k近邻法(k-Nearest Neighbor,kNN)是一种比较成熟也是最简单的机器学习算法，可以用于分类，但不能用于回归方法。
朴素贝叶斯是生成模型还是判别模型
朴素贝叶斯是生成模型还是判别模型
？
朴素贝叶斯是一种基于概率的统计分类技术，它是贝叶斯统计学的一种实现方式。
朴素贝叶斯模型被广泛用于文本分类、垃圾邮件检测、计算机视觉等机器学习领域，因此它被认为是机器学习技术中最重要的算法之一。
那么朴素贝叶斯是生成模型还是判别模型？答案是两者皆可，这取决于模型的实现方式。
通常来说，朴素贝叶斯模型主要由三个步骤构成：（1）对数据进行建模；（2）求解模型参数；（3）求解联合概率，以及给定输入时的预测值。
因此，朴素贝叶斯模型本质上是一种生成模型，它通过计算联合概率来进行概率建模，从而得出最终的类别结果。
然而，当所使用的联合概率被近似处理时，朴素贝叶斯就可以看作是一种判别模型。
它的做法是利用联合条件概率已有的样本信息使之简化，从而得到与原始模型相似的结果；此外，这种近似的解法还可以避免求解联合概率的问题。
因此，可以总结出，朴素贝叶斯是一种生成模型，但是当对联合概率进行近似处理时，可以把它当成一种判别模型。
朴素贝叶斯模型本质上是一种生成模型，但是也可以作为判别模型使用。
判别模型、生成模型与朴素贝叶斯方法
判别模型、⽣成模型与朴素贝叶斯⽅法转载时请注明来源：1判别模型与⽣成模型上篇报告中提到的回归模型是判别模型，也就是根据特征值来求结果的概率。
形式化表⽰为，在参数确定的情况下，求解条件概率。
通俗的解释为在给定特征后预测结果出现的概率。
⽐如说要确定⼀只⽺是⼭⽺还是绵⽺，⽤判别模型的⽅法是先从历史数据中学习到模型，然后通过提取这只⽺的特征来预测出这只⽺是⼭⽺的概率，是绵⽺的概率。
换⼀种思路，我们可以根据⼭⽺的特征⾸先学习出⼀个⼭⽺模型，然后根据绵⽺的特征学习出⼀个绵⽺模型。
然后从这只⽺中提取特征，放到⼭⽺模型中看概率是多少，再放到绵⽺模型中看概率是多少，哪个⼤就是哪个。
形式化表⽰为求（也包括，y是模型结果，x是特征。
利⽤贝叶斯公式发现两个模型的统⼀性：由于我们关注的是y的离散值结果中哪个概率⼤（⽐如⼭⽺概率和绵⽺概率哪个⼤），⽽并不是关⼼具体的概率，因此上式改写为：其中称为后验概率，称为先验概率。
由，因此有时称判别模型求的是条件概率，⽣成模型求的是联合概率。
常见的判别模型有线性回归、对数回归、线性判别分析、⽀持向量机、boosting、条件随机场、神经⽹络等。
常见的⽣产模型有隐马尔科夫模型、朴素贝叶斯模型、⾼斯混合模型、LDA、Restricted Boltzmann Machine等。
这篇博客较为详细地介绍了两个模型：2⾼斯判别分析（Gaussian discriminant analysis）1）多值正态分布多变量正态分布描述的是n维随机变量的分布情况，这⾥的变成了向量，也变成了矩阵。
写作。
假设有n个随机变量X1,X2,…,Xn。
的第i个分量是E(Xi)，⽽。
概率密度函数如下：其中|是的⾏列式，是协⽅差矩阵，⽽且是对称半正定的。
当是⼆维的时候可以如下图表⽰：其中决定中⼼位置，决定投影椭圆的朝向和⼤⼩。
如下图：对应的都不同。
2）模型分析与应⽤如果输⼊特征x是连续型随机变量，那么可以使⽤⾼斯判别分析模型来确定p(x|y)。
生成模型与判别模型区别
⽣成模型与判别模型区别概念理解监督学习⽅法可分为两⼤类，即⽣成⽅法与判别⽅法，它们所学到的模型称为⽣成模型与判别模型。
判别模型：判别模型是学得⼀个分类⾯（即学得⼀个模型），该分类⾯可⽤来区分不同的数据分别属于哪⼀类；⽣成模型：⽣成模型是学得各个类别各⾃的特征（即可看成学得多个模型），可⽤这些特征数据和要进⾏分类的数据进⾏⽐较，看新数据和学得的模型中哪个最相近，进⽽确定新数据属于哪⼀类。
举个例⼦：若分类⽬标是对图像中的⼤象和狗进⾏分类。
判别⽅法学得⼀个模型，这个模型可能是判断图中动物⿐⼦的长度是否⼤于某⼀阈值，若⼤于则判断为⼤象，否则判断为狗；⽣成学习则分别构建⼀个⼤象的特征模型与狗的特征模型，来了⼀个新图像后，分别⽤⼤象模型与狗模型与其进⾏⽐较，若新图像与狗相似度更⾼则判断为狗，否则判断为⼤象。
相关数学理论若已知某分类任务的⽣成模型，是可以求得该任务的判别模型，反之则不⾏。
这和概率论中的全概率密度函数以及边沿概率密度函数是⼀致的（即已知全概率密度可求得边沿概率密度，但已知边沿概率密度不能求得全概率密度）。
例如：若现在已知⼀个⼆分类问题获得的5个训练数据为：(1,0)，(1,0)，（2,0），（2,1），（2,1）1、全概率分布P(X,Y)如下表所⽰X\Y0112/5021/52/5注意：根据全概率分布，可以推导出如下边沿概率分布P(Y|X)以及P(X)。
2、边沿概率分布P(Y|X)如下表所⽰X\Y0111021/32/3注意：根据边沿概率分布，不可以推导出全概率分布。
例如，此例中边沿概率分布对应的全概率分布可能如下：X\Y0114/7021/72/7由上述例⼦可知，⽣成模型的信息⽐判别模型信息要更全⼀些。
两类⽅法的特点⽣成⽅法通常需要⽆穷多样本，进⽽学习⼀个联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)=P(X,Y)/P(X)来对新输⼊的数据进⾏分类。
此类⽅法之所以成为⽣成⽅法，是因为模型表⽰了给定输⼊X产⽣输出Y的⽣成关系。
常见生成式模型与判别式模型
常见⽣成式模型与判别式模型⽣成式模型 P(X,Y)对联合概率进⾏建模，从统计的⾓度表⽰数据的分布情况，刻画数据是如何⽣成的，收敛速度快。
• 1. 判别式分析• 2. 朴素贝叶斯Native Bayes• 3. 混合⾼斯型Gaussians• 4. K近邻KNN• 5. 隐马尔科夫模型HMM• 6. 贝叶斯⽹络• 7. sigmoid 信念⽹• 8. 马尔科夫随机场Markov random fields• 9. 深度信念⽹络DBN• 10. 隐含狄利克雷分布简称LDA(Latent Dirichlet allocation)• 11. 多专家模型（the mixture of experts model）• 12.受限玻尔兹曼机（ RBM）• 13.深度玻尔兹曼机（DBM）• 14.⼴义除噪⾃编码器（GDA）• 15.⽣成对抗⽹络（GAN）• 16.变分⾃编码器（VAE）• 17.⾃回归模型（AR）判别式模型 P(Y|X)对条件概率P(Y|X)进⾏建模，不关⼼数据如何⽣成，主要是寻找不同类别之间的最优分类⾯。
• 1. 线性回归linear regression• 2. 逻辑回归logic regression• 3. 神经⽹络NN• 4. ⽀持向量机SVM• 5. ⾼斯过程Gaussian process• 6. 条件随机场CRF• 7. 决策树（CART）• 8. Boosting• 9.感知机 (线性分类模型)• 10.k近邻法• 11.传统神经⽹络（CNN,RNN）• 12.最⼤熵模型（ME）• 13.区分度训练。
生成式与判别式
生成式与判别式生成式与判别式是机器学习领域中两种重要的方法，它们分别用于解决不同类型的问题。
生成式模型试图从数据中学习出数据的分布规律，然后利用这些规律来生成新的数据。
而判别式模型则是直接对不同类别的数据进行分类或回归预测。
接下来，我们将分别介绍生成式和判别式模型的特点及应用。
生成式模型生成式模型是一种基于概率分布的建模方法，它通过学习数据的分布规律来生成新的数据。
生成式模型的优点是可以生成非常逼真的数据样本，能够很好地捕捉数据之间的关系。
常见的生成式模型包括朴素贝叶斯、隐马尔可夫模型和生成对抗网络等。
朴素贝叶斯是一种简单且高效的生成式分类模型，它基于贝叶斯定理和特征条件独立性假设，可以用于文本分类、垃圾邮件过滤等任务。
隐马尔可夫模型是一种用于序列建模的生成式模型，常用于语音识别、自然语言处理等领域。
生成对抗网络（GAN）是一种通过博弈训练生成器和判别器来生成逼真数据的生成式模型，被广泛应用于图像生成、视频生成等任务。
判别式模型判别式模型是一种直接对数据进行分类或回归预测的建模方法，它不需要对数据的分布进行假设，只关注数据的特征和标签之间的关系。
判别式模型的优点是可以获得更好的分类性能，适用于复杂的非线性关系。
常见的判别式模型包括逻辑回归、支持向量机和深度神经网络等。
逻辑回归是一种简单而有效的判别式分类模型，可以用于二分类和多分类任务。
支持向量机是一种基于间隔最大化的判别式分类模型，适用于高维数据和非线性分类问题。
深度神经网络是一种多层神经网络结构，可以学习到复杂的特征表示，被广泛应用于图像识别、自然语言处理等领域。
总结生成式模型和判别式模型是机器学习领域中两种重要的建模方法，它们分别适用于不同类型的问题。
生成式模型试图从数据中学习出数据的分布规律，用于生成新的数据样本。
判别式模型直接对数据进行分类或回归预测，适用于获得更好的分类性能。
在实际应用中，可以根据具体问题的特点选择合适的模型进行建模，以获得更好的效果。