对线性回归逻辑回归各种回归的概念学习以与一些误差等具体含义
线性回归、逻辑回归与神经网络推导
线性回归、逻辑回归与神经网络推导哈尔滨工业大学, 17B904012一、多元线性回归（Linear Regression ）：用线性关系拟合多个变量属性值x 与观测值y 的关系，以描述散点间的共同特性：()()()()()01122,1,2,iiiiin n y x x x i n ββββε=+++++=L L当[]012,,,T n θββββ=L ，[]121,,,Tn X x x x =L 均为列向量，则()()()iiiT y X θε=+而计算这种回归曲线参数的方法即常提到的最小二乘法或极大似然法。
一)当使用最小二乘法时：目标：最小化均方误差；损失函数定义e 或J ：()()()()()()()Ti iiii T Tey X y X θθ=--则可求()()()()()()()()1ˆarg min=arg min NTi i i i TT i TT T y Xy X Y X Y X θθθθθθθ==----∑（将y 的各个分量看做组成向量Y ，此时X 代表属性值矩阵而不止是向量()i X），求解导数使之为零()()()()()()()()()()()20TTT T T T TTTTTTTTT T T T T T T T T Y X Y X Y X Y X eY X Y X X Y X Y X X X X Y X X Y X X Y θθθθθθθθθθθθθθθ∂--∂-∂-∂==-+-∂∂∂∂=----=-+-=-=求得最优估计值：()1ˆTT X X X Y θ-=另外，如果把最小二乘问题看做一种最优化问题的话，那么梯度下降法可用于求解最小二乘，其他基于梯度下降改进的迭代算法，如高斯-牛顿法、Levenberg-Marquardt 也可用于求解最小均方误差的迭代算法。
特别地，当属性X 代表系统中的n 阶差分状态及输入时，如下()()()()()()()1,2,3,1,2,X x k x k x k x k n u k u k u k n =-----------⎡⎤⎣⎦L L[]1212,,,,,,Tn n a a a b b b θ=L L 这种线性回归就变成了较为常用的n 阶系统辨识问题。
第四章 线性回归分析
（4-1）
, zki 是 k 个对 Y 有显
其中 j ( j 1,2,
, k ) 是回归系数，Y 是被解释变量， z1i , z2i ,
著影响的解释变量 (k 2) ， i 是反映各种误差扰动综合影响的随机项，下标 i 表 示第 i 期观察值 (Yi , z1i , z2i ,
, zki ), i 1,2,
2
,n 。
ˆ ˆZ ˆ Z ˆZ ˆ 假设多元样本回归函数为：Y i 0 1 1i 2 2i 3 3i
ˆ。 差为： i Yi Y i
由于有 n 期的观察值，这一模型实际上包含 n 个方程：
Y2 0 1Z12 Yn 0 1Z1n
另 V 对 b0 ,
bk zki )]2
（4-3）
, bk 的一阶偏导数都等于 0，即下列方程组：
2[Y (b
i
0
b1 z1i b1 z1i b1 z1i
bk zki )]( 1) 0, bk zki )]( z1i ) 0, bk zki )]( zki ) 0
把样本数据分别代入样本回归方程，得到回归方程组为：
ˆ b bz Y 1 0 1 11 ˆ b bz Y n 0 1 1n bk zk 1 ,
（4-4）
（4-5）
bk zkn
写成等价的向量方程，则为：
ˆ ZB Y
这样回归残差向量为：
ˆ Y ZB Y Y
再利用向量，矩阵的运算法则，可以得到残差平方和为：
k Zk ，
, bk 分 别 表 示 模 型 参 数 0 ,
高一数学必修四线性回归分析知识点
【导语】有时候，洒脱⼀点，眼前便柳暗花明;宽容⼀点，⼼中便海阔天空。
⾝边的世界往往⽐我们想象的要睿智与宽容。
⼼存感激，永不放弃!即使是在最猛烈的风⾬中，我们也要有抬起头，直⾯前⽅的勇⽓。
因为请相信：任何⼀次苦难的经历，只要不是毁灭，就是财富!⾼⼀频道为你整理了《⾼⼀数学必修四线性回归分析知识点》希望对你有帮助! 【⼀】 重点难点讲解： 1.回归分析： 就是对具有相关关系的两个变量之间的关系形式进⾏测定，确定⼀个相关的数学表达式，以便进⾏估计预测的统计分析⽅法。
根据回归分析⽅法得出的数学表达式称为回归⽅程，它可能是直线，也可能是曲线。
2.线性回归⽅程 设x与y是具有相关关系的两个变量，且相应于n组观测值的n个点(xi,yi)(i=1,......,n)⼤致分布在⼀条直线的附近，则回归直线的⽅程为。
其中。
3.线性相关性检验 线性相关性检验是⼀种假设检验，它给出了⼀个具体检验y与x之间线性相关与否的办法。
①在课本附表3中查出与显著性⽔平0.05与⾃由度n-2(n为观测值组数)相应的相关系数临界值r0.05。
②由公式，计算r的值。
③检验所得结果 如果|r|≤r0.05，可以认为y与x之间的线性相关关系不显著，接受统计假设。
如果|r|>r0.05，可以认为y与x之间不具有线性相关关系的假设是不成⽴的，即y与x之间具有线性相关关系。
典型例题讲解： 例1.从某班50名学⽣中随机抽取10名，测得其数学考试成绩与物理考试成绩资料如表：序号12345678910数学成绩54666876788285879094，物理成绩61806286847685828896试建⽴该10名学⽣的物理成绩对数学成绩的线性回归模型。
解：设数学成绩为x，物理成绩为，则可设所求线性回归模型为， 计算，代⼊公式得∴所求线性回归模型为=0.74x+22.28。
说明：将⾃变量x的值分别代⼊上述回归模型中，即可得到相应的因变量的估计值，由回归模型知：数学成绩每增加1分，物理成绩平均增加0.74分。
逻辑回归分类
逻辑回归分类逻辑回归是一种常用的分类算法，广泛应用于各个领域的数据分析和机器学习任务中。
它是一种简单而有效的模型，能够将输入数据映射到一个二元输出。
在本文中，我们将探讨逻辑回归分类的原理、应用以及优缺点。
一、逻辑回归分类的原理逻辑回归的原理很简单，它基于线性回归的基础上引入了一个称为“逻辑函数（logistic function）”的非线性函数，将线性模型的输出映射到一个介于0和1之间的概率值。
逻辑函数的形式为：p = 1 / (1 + e^(-z))其中，p表示样本属于某个类别的概率，z表示线性模型的输出。
通过逻辑函数，逻辑回归可以将线性模型的输出转化为一个概率值，然后根据设定的阈值，将概率值映射到类别标签上。
二、逻辑回归分类的应用逻辑回归分类广泛应用于二分类问题，例如信用评分、疾病诊断、垃圾邮件过滤等。
它具有以下几个优点：1. 实现简单：逻辑回归是一种线性模型，计算量小，训练速度快，适用于大规模数据集；2. 解释性强：逻辑回归通过系数来解释特征对结果的影响，能够帮助我们理解模型的预测结果；3. 可解释性好：逻辑回归的输出是一个概率值，可以根据需求设置不同的阈值，从而灵活地控制分类的准确率和召回率。
三、逻辑回归分类的优缺点逻辑回归分类具有以下优点：1. 实现简单：逻辑回归是一种线性模型，计算量小，训练速度快，适用于大规模数据集；2. 解释性强：逻辑回归通过系数来解释特征对结果的影响，能够帮助我们理解模型的预测结果；3. 可解释性好：逻辑回归的输出是一个概率值，可以根据需求设置不同的阈值，从而灵活地控制分类的准确率和召回率。
然而，逻辑回归分类也存在一些缺点：1. 只能处理线性可分问题：逻辑回归是一种线性模型，只能处理线性可分的问题，对于非线性可分的问题效果会较差；2. 对异常值敏感：逻辑回归对异常值比较敏感，当数据集中存在异常值时，模型的性能会受到影响；3. 特征工程要求高：逻辑回归对特征工程要求较高，需要对输入数据进行适当的处理和选择。
回归分析法概念及原理
回归分析法概念及原理回归分析法概念及原理回归分析定义：利用数据统计原理，对大量统计数据进行数学处理，并确定因变量与某些自变量的相关关系，建立一个相关性较好的回归方程（函数表达式），并加以外推，用于预测今后的因变量的变化的分析方法。
分类：1.根据因变量和自变量的个数来分类：一元回归分析；多元回归分析；2. 根据因变量和自变量的函数表达式来分类：线性回归分析；非线性回归分析；几点说明：1.通常情况下，线性回归分析是回归分析法中最基本的方法，当遇到非线性回归分析时，可以借助数学手段将其化为线性回归；因此，主要研究线性回归问题，一点线性回归问题得到解决，非线性回归也就迎刃而解了，例如，取对数使得乘法变成加法等；当然，有些非线性回归也可以直接进行，如多项式回归等；2.在社会经济现象中，很难确定因变量和自变量之间的关系，它们大多是随机性的，只有通过大量统计观察才能找出其中的规律。
随机分析是利用统计学原理来描述随机变量相关关系的一种方法；3.由回归分析法的定义知道，回归分析可以简单的理解为信息分析与预测。
信息即统计数据，分析即对信息进行数学处理，预测就是加以外推，也就是适当扩大已有自变量取值范围，并承认该回归方程在该扩大的定义域内成立，然后就可以在该定义域上取值进行“未来预测”。
当然，还可以对回归方程进行有效控制；4.相关关系可以分为确定关系和不确定关系。
但是不论是确定关系或者不确定关系，只要有相关关系，都可以选择一适当的数学关系式，用以说明一个或几个变量变动时，另一变量或几个变量平均变动的情况。
回归分析主要解决的问题：回归分析主要解决方面的问题；1.确定变量之间是否存在相关关系，若存在，则找出数学表达式；2.根据一个或几个变量的值，预测或控制另一个或几个变量的值，且要估计这种控制或预测可以达到何种精确度。
回归模型：回归分析步骤：1. 根据自变量与因变量的现有数据以及关系，初步设定回归方程；2. 求出合理的回归系数；3. 进行相关性检验，确定相关系数；4. 在符合相关性要求后，即可根据已得的回归方程与具体条件相结合，来确定事物的未来状况，并计算预测值的置信区间；回归分析的有效性和注意事项：有效性：用回归分析法进行预测首先要对各个自变量做出预测。
现代回归分析方法
描述因变量与自变量之间的多项 式关系，适用于描述复杂的非线 性现象。
对数模型
描述因变量与自变量之间的对数 关系，适用于描述物理、化学、 生物等领域的某些现象。
幂函数模型
描述因变量与自变量之间的幂函数关 系，常用于描述物理学中的万有引力 、电磁学中的库仑定律等现象。
参数估计方法比较与选择
1 2 3
实例：GAM在医学领域应用
疾病风险预测
利用GAM分析多个生物标志物与 疾病风险之间的非线性关系，为 个性化医疗和精准预防提供决策 支持。
药物剂量反应建模
通过GAM建模药物剂量与生理指 标之间的关系，优化药物治疗方 案，提高治疗效果和安全性。
临床试验设计
在临床试验中，利用GAM分析不 同治疗方案对患者结局的影响， 为临床试验设计和数据分析提供 有力工具。
机器学习算法可以自动地学习数据的 特征表示，减少了对人工特征工程的 依赖。
高维数据处理
对于高维数据，传统方法可能面临维度灾 难问题，而机器学习算法如随机森林、支 持向量机等可以有效处理高维数据。
模型泛化能力
通过引入正则化、交叉验证等技术， 机器学习算法可以提高模型的泛化能 力，减少过拟合风险。
实例：机器学习算法在金融领域应用
最小二乘法的应用步骤包括：构建模型、求解参数、进行假 设检验等。通过最小二乘法可以得到回归方程的系数，进而 得到回归方程，用于描述自变量和因变量之间的关系。
拟合优度评价与检验
要点一
拟合优度评价是指对回归模型的 拟合效果进行评估，常用的评…
决定系数、调整决定系数、均方误差等。这些指标可以帮 助我们判断模型的好坏，选择最优的模型。
回归分析的作用包括：预测、解释、 控制、优化等。通过回归分析，可以 了解自变量对因变量的影响程度，预 测未来的趋势，为决策提供支持。
logistic回归和线性回归
logistic回归和线性回归1.输出：线性回归输出是连续的、具体的值（如具体房价123万元）回归逻辑回归的输出是0~1之间的概率，但可以把它理解成回答“是”或者“否”（即离散的⼆分类）的问题分类2.假设函数线性回归：θ数量与x的维度相同。
x是向量，表⽰⼀条训练数据逻辑回归：增加了sigmoid函数逻辑斯蒂回归是针对线性可分问题的⼀种易于实现⽽且性能优异的分类模型，是使⽤最为⼴泛的分类模型之⼀。
sigmoid函数来由假设某件事发⽣的概率为p，那么这件事不发⽣的概率为(1-p)，我们称p/(1-p)为这件事情发⽣的⼏率。
取这件事情发⽣⼏率的对数，定义为logit(p)，所以logit(p)为因为logit函数的输⼊取值范围为[0,1](因为p为某件事情发⽣的概率)，所以通过logit函数可以将输⼊区间为[0,1]转换到整个实数范围内的输出,log函数图像如下将对数⼏率记为输⼊特征值的线性表达式如下：其中,p(y=1|x)为，当输⼊为x时，它被分为1类的概率为hθ(x)，也属于1类别的条件概率。
⽽实际上我们需要的是给定⼀个样本的特征输⼊x，⽽输出是⼀个该样本属于某类别的概率。
所以，我们取logit函数的反函数，也被称为logistic函数也就是sigmoid函数ϕ(z)中的z为样本特征与权重的线性组合（即前⾯的ΘT x）。
通过函数图像可以发现sigmoid函数的⼏个特点，当z趋于正⽆穷⼤的时候，ϕ(z)趋近于1，因为当z趋于⽆穷⼤的时候，e^(-z)趋于零，所以分母会趋于1，当z趋于负⽆穷⼤的时候，e^(-z)会趋于正⽆穷⼤，所以ϕ(z)会趋于0。
如在预测天⽓的时候，我们需要预测出明天属于晴天和⾬天的概率，已知根天⽓相关的特征和权重，定义y=1为晴天，y=-1为⾬天，根据天⽓的相关特征和权重可以获得z，然后再通过sigmoid函数可以获取到明天属于晴天的概率ϕ(z)=P(y=1|x)，如果属于晴天的概率为80%，属于⾬天的概率为20%，那么当ϕ(z)>=0.8时，就属于⾬天，⼩于0.8时就属于晴天。
回归算法的概念 -回复
回归算法的概念-回复回归算法的概念及应用回归算法是机器学习中的一种重要技术，它被广泛应用于预测和建模问题。
回归算法的目标是通过已知的自变量数据来预测一个或多个连续的因变量。
一、回归算法的基本概念回归分析是统计学中的一种方法，用于探究因变量Y与一个或多个自变量X之间的关系。
简单线性回归是最常见的回归分析方法之一，它假设因变量与自变量之间的关系可以通过一条直线来描述，即Y=b0+b1X+ε，其中b0和b1是回归系数，ε是误差项。
多元线性回归是简单线性回归的扩展，它可以考虑多个自变量对因变量的影响。
多元线性回归模型可以表示为Y=b0+b1X1+b2X2+...+bnXn+ε，其中Xi表示第i个自变量，bi表示回归系数。
除了线性回归，还有许多其他类型的回归算法，如多项式回归、岭回归、Lasso回归、逻辑回归等。
这些回归算法的使用取决于具体的问题和数据特征。
回归算法通过建立一个数学模型来预测因变量，模型的构建过程中需要确定回归系数。
为了得到最佳的回归系数，可以使用最小二乘法等优化算法来估计这些系数。
最小二乘法的目标是最小化实际值与预测值之间的平方差，即误差的平方和。
二、回归算法的应用领域回归算法在各个领域都有广泛的应用，包括经济学、金融学、医学、市场营销等。
下面以其中的几个领域为例探讨回归算法的应用。
1. 经济学和金融学中的应用在经济学和金融学中，回归算法常被用于预测和分析经济和金融数据。
例如，通过回归分析可以研究利率对投资和消费的影响，预测股市指数的走势，评估货币政策的效果等。
回归模型可以帮助经济学家和金融分析师了解各种因素对经济和金融变量的影响，并制定相应的政策和策略。
2. 医学中的应用在医学领域，回归算法可以用来建立与疾病发生和发展相关的预测模型。
例如，通过分析大量的病例数据，可以建立一个回归模型来预测某种疾病的患病率和死亡率。
回归模型可以帮助医生和研究人员了解各种危险因素对疾病发生和发展的影响，并提供依据进行预防和治疗。
回归分析线性回归Logistic回归对数线性模型
逻辑回归的模型为 (P(Y=1) = frac{1}{1+e^{-z}})，其中 (z = beta_0 + beta_1X_1 + beta_2X_2 + ... + beta_nX_n)。
逻辑斯蒂函数
பைடு நூலகம்
定义
逻辑斯蒂函数是逻辑回归模型中用来描述自变量与因变量之 间关系的函数，其形式为 (f(x) = frac{1}{1+e^{-x}})。
。
在样本量较小的情况下， logistic回归的预测精度可能高 于线性回归。
线性回归的系数解释较为直观 ，而logistic回归的系数解释相 对较为复杂。
对数线性模型与其他模型的比较
对数线性模型假设因变量和自变量之间存在对 数关系，而其他模型的假设条件各不相同。
对数线性模型的解释性较强，可以用于探索自变量之 间的交互作用和效应大小。
THANKS
感谢您的观看
预测市场细分中的消费者行为等。
对数线性模型还可以用于探索性数据分析，以发现数 据中的模式和关联。
Part
04
比较与选择
线性回归与logistic回归的比较
线性回归适用于因变量和自变 量之间存在线性关系的场景， 而logistic回归适用于因变量为
二分类或多分类的场景。
线性回归的假设条件较为严格 ，要求因变量和自变量之间存 在严格的线性关系，而logistic 回归的假设条件相对较为宽松
最小二乘法
最小二乘法是一种数学优化技术，用于最小化预测值与实际观测值之间的平方误差总和。
通过最小二乘法，可以估计回归系数，使得预测值与实际观测值之间的差距最小化。
最小二乘法的数学公式为：最小化 Σ(Yi - (β0 + β1X1i + β2X2i + ...))^2，其中Yi是实际观 测值，X1i, X2i, ...是自变量的观测值。
logistic回归与多元线性回归区别及若干问题讨论
logistic回归与多元线性回归区别及若干问题讨论logistic回归与多元线性回归区别及若干问题讨论1多重线性回归(MultipleLinearRegression)Logistic回归(LogisticRegression)概念多重线性回归模型可视为简单直线模型的直接推广，具有两个及两个以上自变量的线性模型即为多重线性回归模型。
属于概率型非线性回归，是研究二分类(可扩展到多分类)观察结果与一些影响因素之间关系的一种多变量分析方法。
变量的特点应变量：1个；数值变量（正态分布)自变量：2个及2个以上；最好是数值变量，也可以是无序分类变量、有序变量。
应变量：1个；二分类变量（二项分布）、无序/有序多分类变量自变量：2个及2个以上；数值变量、二分类变量、无序/有序多分类变量总体回归模型LogitP=(样本)偏回归系数含义表示在控制其它因素或说扣除其它因素的作用后(其它所有自变量固定不变的情况下)，某一个自变量变化一个单位时引起因变量Y变化的平均大小。
表示在控制其它因素或说扣除其它因素的作用后(其它所有自变量固定不变的情况下)，某一因素改变一个单位时，效应指标发生与不发生事件的概率之比的对数变化值(logitP的平均变化量)，即lnOR。
适用条件LINE：1、L：线性——自变量X与应变量Y之间存在线性关系；2、I：独立性——Y 值相互独立，在模型中则要求残差相互独立，不存在自相关；3、N：正态性——随机误差（即残差）e服从均值为零，方差为２的正态分布；4、E：等方差——对于所有的自变量X，残差e的方差齐。
观察对象（case）之间相互独立；若有数值变量，应接近正态分布（不能严重偏离正态分布）；二分类变量服从二项分布；要有足够的样本量；LogitP与自变量呈线性关系。
对线性回归逻辑回归各种回归的概念学习以及一些误差等具体含义
对线性回归、逻辑回归、各种回归的概念学习回归问题的条件/前提：1）收集的数据2）假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。
然后利用这个模型去预测/分类新的数据。
1. 线性回归假设特征和结果都满足线性。
即不大于一次方。
这个是针对收集的数据而言。
收集的数据中，每一个分量，就可以看做一个特征数据。
每个特征至少对应一个未知的参数。
这样就形成了一个线性模型函数，向量表示形式：这个就是一个组合问题，已知一些数据，如何求里面的未知参数，给出一个最优解。
一个线性矩阵方程，直接求解，很可能无法直接求解。
有唯一解的数据集，微乎其微。
基本上都是解不存在的超定方程组。
因此，需要退一步，将参数求解问题，转化为求最小误差问题，求出一个最接近的解，这就是一个松弛求解。
求一个最接近解，直观上，就能想到，误差最小的表达形式。
仍然是一个含未知参数的线性模型，一堆观测数据，其模型与数据的误差最小的形式，模型与数据差的平方和最小：这就是损失函数的来源。
接下来，就是求解这个函数的方法，有最小二乘法，梯度下降法。
/%E7%BA%BF%E6%80%A7%E6%96%B9%E7%A8%8B%E7%BB%84最小二乘法是一个直接的数学求解公式，不过它要求X是列满秩的，梯度下降法分别有梯度下降法，批梯度下降法，增量梯度下降。
本质上，都是偏导数，步长/最佳学习率，更新，收敛的问题。
这个算法只是最优化原理中的一个普通的方法，可以结合最优化原理来学，就容易理解了。
2. 逻辑回归逻辑回归与线性回归的联系、异同？逻辑回归的模型是一个非线性模型，sigmoid函数，又称逻辑回归函数。
但是它本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。
可以说，逻辑回归，都是以线性回归为理论支持的。
只不过，线性模型，无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。
另外它的推导含义：仍然与线性回归的最大似然估计推导相同，最大似然函数连续积（这里的分布，可以使伯努利分布，或泊松分布等其他分布形式），求导，得损失函数。
线性回归于逻辑回归的区别
线性回归于逻辑回归的区别原⽂链接：在学习完 Andrew Ng 教授的机器学习课程，和多⽅查阅⼤神的博客，本以为很简单的逻辑回归，在深思其细节的时候，很多容易让⼈不理解，甚⾄是疑惑的地⽅，这⼏天⼀直冥想其中的缘由。
1、为什么是逻辑回归？ 都说线性回归⽤来做回归预测，逻辑回归⽤于做⼆分类，⼀个是解决回归问题，⼀个⽤于解决分类问题。
但很多⼈问起逻辑回归和线性回归的区别，很多⼈会⼤喊⼀声（也可能是三声）：逻辑回归就是对线性回归做了⼀个压缩，将y 的阈值从y∈(+∞,−∞)压缩到(0,1)。
那么问题来了，问什么仅仅做⼀个简单的压缩，就将回归问题变成了分类问题？⾥⾯蕴含着本质？⾸先要从数据说起，线性回归的样本的输出，都是连续值，y∈(+∞,−∞)⽽，逻辑回归中y∈{0,1}，只能取0和1。
对于拟合函数也有本质上的差别： 线性回归：f(x)=θTX=θ1x1+θ2x2+⋯+θnxn 逻辑回归：f(x)=p(y=1∣x;θ)=g(θTX)，其中，可以看出，线性回归的拟合函数，的确是对f(x)的输出变量y的拟合，⽽逻辑回归的拟合函数是对为1类的样本的概率的拟合。
2、那么，为什么要以1类样本的概率进⾏拟合呢，为什么可以这样拟合呢？ ⾸先，logstic 函数的本质说起。
若要直接通过回归的⽅法去预测⼆分类问题， y 到底是0类还是1类，最好的函数是单位阶跃函数。
然⽽单位阶跃函数不连续（GLM 的必要条件），⽽ logsitic 函数恰好接近于单位阶跃函数，且单调可微。
于是希望通过该复合函数去拟合分类问题：，于是有：发现如果我们假设 y=p(y为1类∣x;θ) 作为我们的拟合函数，等号左边的表达式的数学意义就是1类和0类的对数⼏率（log odds）。
这个表达式的意思就是：⽤线性模型的预测结果去逼近1类和0类的⼏率⽐。
于是，θTX=0就相当于是1类和0类的决策边界： 当θTX>0，则有y>0.5；若θTX→+∞ ,则y→1 ，即y 为1类; 当θTX<0，则有y<0.5 ;若θTX→−∞，则y→0，即 y 为0类。
人工智能学习心得体会
人工智能学习心得体会1. 引言人工智能（Artificial Intelligence，AI）是当前科技领域的热门话题之一，它涵盖了机器学习、深度学习、自然语言处理等多个领域，对未来社会的发展有着重要的影响。
自从我开始学习人工智能以来，我对这个领域的兴趣不断增加，同时也从中获得了一些宝贵的体会与经验。
本篇文档将回顾我在人工智能学习过程中的心得体会，总结出一些重要的观点和经验。
2. 了解基础知识在开始学习人工智能之前，我注意到了一个重要的点：了解基础知识是非常重要的。
人工智能作为一个涉及多学科交叉的领域，涉及到数学、计算机科学、统计学等广泛的知识。
因此，我首先花了一些时间来学习这些基础知识，包括线性代数、概率论、算法和编程等。
3. 学习算法和模型掌握人工智能的核心算法和模型对于深入理解这个领域非常重要。
我开始学习一些经典的机器学习算法，如线性回归、逻辑回归和决策树等。
随着学习的深入，我逐渐了解到了更复杂的算法和模型，如支持向量机（SVM）、神经网络和深度学习等。
通过学习这些算法和模型，我懂得了它们的原理、优缺点以及适用场景，这对于解决实际问题非常有帮助。
4. 实践项目与案例人工智能领域注重实践，而不仅仅是理论知识。
因此，进行一些实践项目和案例研究是非常重要的。
我选择了一些经典的数据集和问题，如手写数字识别、垃圾邮件分类和图像标注等，通过实践的方式将所学的知识应用到实际中。
在实践过程中，我遇到了各种各样的挑战和问题，但也通过解决这些问题提升了自己的能力。
实践项目还能够让我更深入地理解算法和模型的应用，对于理解人工智能的实际效果和局限性非常有帮助。
5. 理解人工智能的发展和前景除了学习具体的算法和模型，我也关注人工智能领域的发展趋势和前景。
人工智能在各个领域都有着广泛的应用，如机器人、自动驾驶、医疗和金融等。
我看到人工智能正在不断地改变我们的生活和工作方式，因此我对这个领域的未来充满了希望。
同时，我也看到了人工智能所面临的一些挑战和问题，如隐私保护、伦理问题和社会影响等。
简述逻辑回归的含义及其主要过程。
逻辑回归是一种常用的分类算法，用于预测二分类问题的概率。
它是一种线性模型，并且是一种广泛应用的统计技术。
在本文中，我们将深入探讨逻辑回归的含义及其主要过程。
一、逻辑回归的含义逻辑回归是一种用于解决分类问题的算法，它可以用于预测二分类问题的概率。
在逻辑回归中，我们使用一个称为逻辑函数（logistic function）的数学函数来进行建模。
逻辑函数可以将任意实数映射到0和1之间的概率值，因此非常适合用于处理概率预测问题。
二、逻辑回归的主要过程1. 收集数据：我们需要收集包含目标变量和自变量的数据。
目标变量是我们希望预测的变量，通常是一个二分类的变量；而自变量是用来预测目标变量的特征。
2. 数据预处理：在收集到数据后，我们需要进行数据预处理的工作。
包括数据清洗、缺失值处理、特征选择和特征变换等步骤，以确保数据的质量和完整性。
3. 构建模型：接下来，我们使用收集到的数据来构建逻辑回归模型。
逻辑回归模型的基本形式是一个线性方程，其中自变量的线性组合经过逻辑函数转换得到概率预测结果。
4. 模型评估：构建模型后，我们需要对模型进行评估，以确定模型的好坏。
通常使用一些评估指标如准确率、精确率、召回率和F1分数来评估模型的性能。
5. 模型优化：如果模型的性能不佳，我们可以尝试对模型进行优化。
常见的优化方法包括特征工程、调整模型参数和使用正则化等技术。
通过以上步骤，我们可以完成逻辑回归模型的构建和应用。
三、个人观点和理解逻辑回归作为一种简单而高效的分类算法，广泛应用于各种领域，如医学、社会科学、金融和市场营销等。
它不仅能够预测目标变量的概率，还可以提供变量的重要性和影响大小等信息，非常有助于决策分析。
总结回顾通过本文的讨论，我们可以清晰地理解逻辑回归的含义及其主要过程。
逻辑回归是一种用于解决二分类问题的线性分类模型，通过逻辑函数将自变量的线性组合转换为概率预测结果。
在实际应用中，我们需要通过数据收集、预处理、模型构建、评估和优化等步骤来完成逻辑回归模型的建立和应用。
回归分析的名词解释是什么
回归分析的名词解释是什么回归分析是一种常用于统计学和经济学的数据分析方法。
它通过建立一个或多个自变量与因变量之间的关系模型来探究它们之间的关联程度和预测能力。
在回归分析中，自变量是用来预测、解释或控制因变量的变量，而因变量则是被预测或解释的变量。
回归分析的基本形式为线性回归，它假设自变量和因变量之间存在一种线性关系。
例如，在研究学生成绩与学习时间之间的关系时，我们可以使用线性回归模型来分析这种关联。
在这个例子中，学习时间是自变量，成绩是因变量，通过收集一定数量的数据，我们可以建立一个方程来描述学习时间和成绩之间的线性关系。
回归分析的目的是通过建立合适的回归模型来解释数据变量之间的关系，并利用该模型进行预测和推断。
通过回归分析，我们可以提取有关自变量和因变量之间的定量关系，检验该关系的显著性，并根据模型的误差情况评估模型的拟合程度。
在回归分析中，还引入了一些重要的概念和指标，以帮助理解和解释模型。
其中一个重要指标是线性回归方程中的截距和斜率。
截距代表当自变量为零时，因变量的估计值，斜率则代表自变量单位变动对因变量的影响程度。
这两个指标的估计值和显著性检验结果可以帮助我们判断自变量和因变量之间的关系强度和方向。
此外，回归分析还有一个重要的概念是残差。
残差是实际观测值与回归方程预测值之间的差异。
通过分析残差的分布和性质，我们可以评估模型的准确性和假设的适应性。
如果残差呈现出随机分布且无明显的模式，说明模型对数据的拟合良好；反之，如果残差存在系统性的模式，可能意味着模型存在缺陷或偏差。
除了线性回归模型外，回归分析还包括其他类型的模型，如多项式回归、逻辑回归等。
这些模型有着不同的假设和适用范围，可以更好地适应不同类型的数据和问题。
回归分析在实际应用中有广泛的用途。
它可以帮助研究者分析影响因变量的自变量，如市场营销中影响销售额的因素、医学研究中影响疾病发病率的因素等。
此外，回归分析还可以用于预测和推断，例如根据历史数据来预测未来的销售趋势或者评估政策措施对经济发展的影响。
什么是回归分类知识点
什么是回归分类知识点回归和分类是机器学习中常用的两种方法，它们用于对数据进行预测和模式识别。
回归分类是两种不同的技术，但它们也有一些相似之处。
在这篇文章中，我们将详细介绍回归分类的知识点。
回归分类的基本概念：1. 回归分类是一种有监督学习方法，它使用训练集中的已知输入和输出值来建立一个模型。
这个模型可以用于对未知输入值的输出进行预测。
2. 回归分类的目标是找到一个关系函数，它将输入值映射到输出值。
这个函数可以是线性的，也可以是非线性的。
3. 回归分类可以用于预测连续型输出变量，例如房价的预测。
而分类问题则是将输入数据划分为不同的离散类别，例如垃圾邮件过滤器。
回归分类的方法和算法：1. 线性回归：线性回归是回归分类中最基本的方法之一、它建立一个线性模型，找到输入变量和输出变量之间的线性关系。
线性回归可以用于预测连续型输出变量。
2. 逻辑回归：逻辑回归是一种分类算法，它用于将输入数据划分为两个可能的类别。
逻辑回归使用一个逻辑函数来建立输入变量和输出变量之间的关系。
3. 决策树：决策树是一种用于分类和回归的非参数算法。
它根据输入变量的特征来建立一个树形结构，从而预测输出变量的值。
4. K近邻：K近邻算法是一种用于分类和回归的非参数算法。
它通过找到离输入数据点最近的K个训练数据点，并基于这些最近邻点的输出值来预测输出变量的值。
5. SVM：支持向量机是一种用于分类和回归的线性模型。
它在高维空间中找到一个最优的超平面，将不同类别的数据点分开。
6. 神经网络：神经网络是一种用于分类和回归的非线性模型。
它由多个节点和层组成，每个节点之间通过连接进行信息传递。
7. 集成学习：集成学习将多个分类或回归器结合起来，以获得更准确和鲁棒的预测结果。
常用的集成学习方法包括随机森林和梯度提升。
回归分类的评估指标：1. 均方误差（MSE）：MSE是回归问题中常用的评估指标之一，它表示预测值和实际值之间的平均差的平方。
2. 平均绝对误差（MAE）：MAE是另一个常用的回归评估指标，它表示预测值和实际值之间的平均绝对差。
什么是回归分类知识点
什么是回归分类知识点回归分类是机器学习中的一个重要概念，它是指根据已有样本数据的特征，将新的样本数据分为不同的类别。
在本文中，将介绍回归分类的基本概念、常用算法和应用场景。
一、回归分类的基本概念回归分类是一种监督学习方法，它通过学习样本数据的特征和类别之间的关系，建立一个模型，用于将新的样本数据分类到不同的类别中。
回归分类的目标是找到一个函数或模型，将特征与类别之间的关系建立起来，并根据这个关系对新的样本进行分类。
回归分类中的关键概念包括特征、样本和类别。
特征是用来描述样本的属性或特性，可以是数值、文本、图像等。
样本是指具体的数据点，它由多个特征组成。
类别是样本所属的类别或标签，可以是离散的、有序的或连续的。
二、回归分类的常用算法1. 线性回归：线性回归是回归分类中最简单的算法之一。
它基于线性关系建立模型，通过最小化误差平方和来拟合数据。
线性回归适用于特征和类别之间存在线性关系的情况。
2. 逻辑回归：逻辑回归是回归分类中常用的算法之一。
它通过逻辑函数将特征和类别之间的关系建立起来，并使用最大似然估计法来拟合数据。
逻辑回归适用于二分类问题。
3. 决策树：决策树是一种基于树结构的分类算法。
它通过对特征进行划分，将样本数据分到不同的类别中。
决策树适用于特征之间存在非线性关系的情况。
4. 支持向量机：支持向量机是一种二分类算法，它通过构建一个最优超平面来划分不同类别的样本。
支持向量机适用于特征维度较高的情况。
5. 随机森林：随机森林是一种集成学习算法，它通过组合多个决策树来进行分类。
随机森林适用于处理高维数据和大规模数据集的问题。
三、回归分类的应用场景回归分类广泛应用于各个领域，包括金融、医疗、电商等。
以下是一些常见的应用场景：1. 信用评估：通过分析个人的信用历史、收入水平等特征，将个人分为高风险和低风险两类，用于信用评估和风险控制。
2. 疾病诊断：通过分析病人的临床数据、检查结果等特征，将病人分为患有某种疾病和健康两类，用于疾病的早期诊断和预测。
回归方程中各回归系数的含义
回归方程中各回归系数的含义
回归方程是用来描述自变量和因变量之间的关系的数学模型。
在回归分析中，回归方程中的各回归系数是非常重要的。
它们描述了自变量对因变量的影响程度和方向。
以下是回归方程中各回归系数的具体含义：
1.截距(intercept)：当自变量为0时，因变量的值。
2.斜率(slope)：自变量每增加一单位，因变量的平均变化量。
3.相关系数(correlation coefficient)：自变量与因变量的相关程度。
相关系数的范围在-1到1之间，绝对值越接近1，相关程度越强。
4.标准误差(standard error)：回归系数的精度。
标准误差越小，回归系数越精确。
5. t值(t-value)：回归系数除以标准误差的比值。
t值越大，回归系数与零的差异越显著。
6. p值(p-value)：回归系数与零的差异的显著性水平。
p值越小，回归系数与零的差异越显著。
回归分析中，通过理解回归方程中各回归系数的含义，可以更好地分析自变量和因变量之间的关系。
同时，也可以通过对回归系数的解释和比较，选择最优模型和预测未来的结果。
- 1 -。
逻辑回归和线性回归的区别概念是什么
逻辑回归和线性回归的区别概念是什么逻辑回归和线性回归的区别：性质不同：逻辑回归：是一种广义的线性回归分析模型；线性回归：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。
应用不同：逻辑回归：常用于数据挖掘，疾病自动诊断，经济预测等领域；线性回归：常运用于数学、金融、趋势线、经济学等领域。
逻辑回归和线性回归的区别一、性质不同1、逻辑回归：是一种广义的线性回归分析模型。
2、线性回归：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。
二、应用不同1、逻辑回归：常用于数据挖掘，疾病自动诊断，经济预测等领域。
2、线性回归：常运用于数学、金融、趋势线、经济学等领域。
线性回归的特征回归分析中有多个自变量：这里有一个原则问题，这些自变量的重要性，究竟谁是最重要，谁是比较重要，谁是不重要。
所以，spss 线性回归有一个和逐步判别分析的等价的设置。
原理：是F检验。
spss中的操作是“分析”～“回归”～“线性”主对话框方法框中需先选定“逐步”方法～“选项”子对话框如果是选择“用F检验的概率值”，越小代表这个变量越容易进入方程。
原因是这个变量的F检验的概率小，说明它显著，也就是这个变量对回归方程的贡献越大，进一步说就是该变量被引入回归方程的资格越大。
线性回归与逻辑回归的概念线性回归概念：线性回归就是对原数据进行一系列数据拟合，并尽可能构造一条可以拟合数据的数学模型，根据这个模型，输入测试数据进而预测数据的结果逻辑回归概念：通过一系列数据建立一条拟合数据的模型，来预测未来某一数据的走向，逻辑回归则是建立模型将数据分为不同的类别，并预测某个数据的类别。
回归分析相关定义
回归分析是一类数学模型，特别当因变量和自变量为线性关系时，它是一种特殊的线性模型。
最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，这叫一元线性回归，即模型为Y＝a＋bX＋ε，这里X 是自变量，Y是因变量，ε是随机误差，一般的情形，有k个自变量和一个因变量，因变量的值可以分解为两部分：一部分是由自变量的影响，即表示为自变量的函数，其中函数形式已知，但含一些未知参数；另一部分是由于其他未被考虑的因素和随机性的影响，即随机误差。
当函数形式为未知参数的线性函数时，称线性回归分析模型；当函数形式为未知参数的非线性函数时，称为非线性回归分析模型。
相关分析研究的是现象之间是否相关、相关的方向和密切程度，一般不区别自变量或因变量。
而回归分析则要分析现象之间相关的具体形式，确定其因果关系，并用数学模型来表现其具体关系。
两个变量之间到底是哪个变量受哪个变量的影响，影响程度如何，则需要通过回归分析方法来确定。
一般来说，回归分析是通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各个参数，然后评价回归模型是否能够很好的拟合实测数据；如果能够很好的拟合，则可以根据自变量作进一步预测。
R2又称为方程的确定性系数（coefficient of determination），表示方程中变量X对Y的解释程度。
R2取值在0到1之间，越接近1，表明方程中X对Y的解释能力越强。
通常将R2乘以100％来表示回归方程解释Y变化的百分比。
F检验是通过方差分析表输出的，通过显著性水平（significant level）检验回归方程的线性关系是否显著。
一般来说，显著性水平在0.05以下，均有意义。
回归分析的步骤根据预测目标，确定自变量和因变量明确预测的具体目标，也就确定了因变量。
如预测具体目标是下一年度的销售量，那么销售量Y就是因变量。
通过市场调查和查阅资料，寻找与预测目标的相关影响因素，即自变量，并从中选出主要的影响因素。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
对线性回归、逻辑回归、各种回归的概念学习回归问题的条件/前提：1）收集的数据2）假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。
然后利用这个模型去预测/分类新的数据。
1. 线性回归假设特征和结果都满足线性。
即不大于一次方。
这个是针对收集的数据而言。
收集的数据中，每一个分量，就可以看做一个特征数据。
每个特征至少对应一个未知的参数。
这样就形成了一个线性模型函数，向量表示形式：这个就是一个组合问题，已知一些数据，如何求里面的未知参数，给出一个最优解。
一个线性矩阵方程，直接求解，很可能无法直接求解。
有唯一解的数据集，微乎其微。
基本上都是解不存在的超定方程组。
因此，需要退一步，将参数求解问题，转化为求最小误差问题，求出一个最接近的解，这就是一个松弛求解。
求一个最接近解，直观上，就能想到，误差最小的表达形式。
仍然是一个含未知参数的线性模型，一堆观测数据，其模型与数据的误差最小的形式，模型与数据差的平方和最小：这就是损失函数的来源。
接下来，就是求解这个函数的方法，有最小二乘法，梯度下降法。
/wiki/%E7%BA%BF%E6%80%A7%E6%96%B9%E7%A8%8B%E7%BB%84最小二乘法是一个直接的数学求解公式，不过它要求X是列满秩的，梯度下降法分别有梯度下降法，批梯度下降法，增量梯度下降。
本质上，都是偏导数，步长/最佳学习率，更新，收敛的问题。
这个算法只是最优化原理中的一个普通的方法，可以结合最优化原理来学，就容易理解了。
2. 逻辑回归逻辑回归与线性回归的联系、异同？逻辑回归的模型是一个非线性模型，sigmoid函数，又称逻辑回归函数。
但是它本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。
可以说，逻辑回归，都是以线性回归为理论支持的。
只不过，线性模型，无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。
另外它的推导含义：仍然与线性回归的最大似然估计推导相同，最大似然函数连续积（这里的分布，可以使伯努利分布，或泊松分布等其他分布形式），求导，得损失函数。
逻辑回归函数表现了0,1分类的形式。
应用举例：是否垃圾分类？是否肿瘤、癌症诊断？是否金融欺诈？3. 一般线性回归线性回归是以高斯分布为误差分析模型；逻辑回归采用的是伯努利分布分析误差。
而高斯分布、伯努利分布、贝塔分布、迪特里特分布，都属于指数分布。
而一般线性回归，在x条件下，y的概率分布p(y|x) 就是指指数分布.经历最大似然估计的推导，就能导出一般线性回归的误差分析模型（最小化误差模型）。
softmax回归就是一般线性回归的一个例子。
有监督学习回归，针对多类问题（逻辑回归，解决的是二类划分问题），如数字字符的分类问题，0-9,10个数字，y值有10个可能性。
而这种可能的分布，是一种指数分布。
而且所有可能的和为1，则对于一个输入的结果，其结果可表示为：参数是一个k维的向量。
而代价函数：是逻辑回归代价函数的推广。
而对于softmax的求解，没有闭式解法（高阶多项方程组求解），仍用梯度下降法，或L-BFGS求解。
当k=2时，softmax退化为逻辑回归，这也能反映softmax回归是逻辑回归的推广。
线性回归，逻辑回归，softmax回归三者联系，需要反复回味，想的多了，理解就能深入了。
4. 拟合：拟合模型/函数由测量的数据，估计一个假定的模型/函数。
如何拟合，拟合的模型是否合适？可分为以下三类合适拟合欠拟合过拟合看过一篇文章（附录）的图示，理解起来很不错：欠拟合：合适的拟合过拟合过拟合的问题如何解决？问题起源？模型太复杂，参数过多，特征数目过多。
方法：1）减少特征的数量，有人工选择，或者采用模型选择算法.cnblogs./heaad/archive/2011/01/02/1924088.html （特征选择算法的综述）2）正则化，即保留所有特征，但降低参数的值的影响。
正则化的优点是，特征很多时，每个特征都会有一个合适的影响因子。
5. 概率解释：线性回归中为什么选用平方和作为误差函数？假设模型结果与测量值误差满足，均值为0的高斯分布，即正态分布。
这个假设是靠谱的，符合一般客观统计规律。
数据x与y的条件概率：若使模型与测量数据最接近，那么其概率积就最大。
概率积，就是概率密度函数的连续积，这样，就形成了一个最大似然函数估计。
对最大似然函数估计进行推导，就得出了求导后结果：平方和最小公式6. 参数估计与数据的关系拟合关系7. 错误函数/代价函数/损失函数：线性回归中采用平方和的形式，一般都是由模型条件概率的最大似然函数概率积最大值，求导，推导出来的。
统计学中，损失函数一般有以下几种：1）0-1损失函数L(Y,f(X))={1,0,Y≠f(X)Y=f(X)2）平方损失函数L(Y,f(X))=(Y−f(X))23）绝对损失函数L(Y,f(X))=|Y−f(X)|4）对数损失函数L(Y,P(Y|X))=−logP(Y|X)损失函数越小，模型就越好，而且损失函数尽量是一个凸函数，便于收敛计算。
线性回归，采用的是平方损失函数。
而逻辑回归采用的是对数损失函数。
这些仅仅是一些结果，没有推导。
8. 正则化：为防止过度拟合的模型出现（过于复杂的模型），在损失函数里增加一个每个特征的惩罚因子。
这个就是正则化。
如正则化的线性回归的损失函数：lambda就是惩罚因子。
正则化是模型处理的典型方法。
也是结构风险最小的策略。
在经验风险（误差平方和）的基础上，增加一个惩罚项/正则化项。
线性回归的解，也从θ=(X T X)−1X T y转化为括号的矩阵，即使在样本数小于特征数的情况下，也是可逆的。
逻辑回归的正则化：从贝叶斯估计来看，正则化项对应模型的先验概率，复杂模型有较大先验概率，简单模型具有较小先验概率。
这个里面又有几个概念。
什么是结构风险最小化？先验概率？模型简单与否与先验概率的关系？经验风险、期望风险、经验损失、结构风险期望风险（真实风险），可理解为模型函数固定时，数据平均的损失程度，或“平均”犯错误的程度。
期望风险是依赖损失函数和概率分布的。
只有样本，是无法计算期望风险的。
所以，采用经验风险，对期望风险进行估计，并设计学习算法，使其最小化。
即经验风险最小化（Empirical Risk Minimization）ERM，而经验风险是用损失函数来评估的、计算的。
对于分类问题，经验风险，就训练样本错误率。
对于函数逼近，拟合问题，经验风险，就平方训练误差。
对于概率密度估计问题，ERM，就是最大似然估计法。
而经验风险最小，并不一定就是期望风险最小，无理论依据。
只有样本无限大时，经验风险就逼近了期望风险。
如何解决这个问题？统计学习理论SLT，支持向量机SVM就是专门解决这个问题的。
有限样本条件下，学习出一个较好的模型。
由于有限样本下，经验风险Remp[f]无法近似期望风险R[f] 。
因此，统计学习理论给出了二者之间的关系：R[f] <= ( Remp[f] + e )而右端的表达形式就是结构风险，是期望风险的上界。
而e = g(h/n)是置信区间，是VC维h的增函数，也是样本数n的减函数。
VC维的定义在SVM，SLT中有详细介绍。
e依赖h和n，若使期望风险最小，只需关心其上界最小，即e 最小化。
所以，需要选择合适的h和n。
这就是结构风险最小化Structure Risk Minimization，SRM. SVM就是SRM的近似实现，SVM中的概念另有一大筐。
就此打住。
1数，2数的物理意义：数，能将一个事物，映射到非负实数，且满足非负性，齐次性，三角不等式。
是一个具有“长度”概念的函数。
1数为什么能得到稀疏解？压缩感知理论，求解与重构，求解一个L1数正则化的最小二乘问题。
其解正是欠定线性系统的解。
2数为什么能得到最大间隔解？2数代表能量的度量单位，用来重构误差。
以上几个概念理解需要补充。
9. 最小描述长度准则：即一组实例数据，存储时，利用一模型，编码压缩。
模型长度，加上压缩后长度，即为该数据的总的描述长度。
最小描述长度准则，就是选择总的描述长度最小的模型。
最小描述长度MDL准则，一个重要特性就是避免过度拟合现象。
如利用贝叶斯网络，压缩数据，一方面，模型自身描述长度随模型复杂度的增加而增加；另一方面，对数据集描述的长度随模型复杂度的增加而下降。
因此，贝叶斯网络的MD L总是力求在模型精度和模型复杂度之间找到平衡。
当模型过于复杂时，最小描述长度准则就会其作用，限制复杂程度。
奥卡姆剃刀原则：如果你有两个原理，它们都能解释观测到的事实，那么你应该使用简单的那个，直到发现更多的证据。
万事万物应该尽量简单，而不是更简单。
11. 凸松弛技术：将组合优化问题，转化为易于求解极值点的凸优化技术。
凸函数/代价函数的推导，最大似然估计法。
12. 牛顿法求解最大似然估计前提条件：求导迭代，似然函数可导，且二阶可导。
迭代公式：若是向量形式，H就是n*n 的hessian矩阵了。
特征：当靠近极值点时，牛顿法能快速收敛，而在远离极值点的地方，牛顿法可能不收敛。
这个的推导？这点是与梯度下降法的收敛特征是相反的。
线性与非线性：线性，一次函数；非线性，输入、输出不成正比，非一次函数。
线性的局限性：xor问题。
线性不可分，形式：x 00 x而线性可分，是只用一个线性函数，将数据分类。
线性函数，直线。
线性无关：各个独立的特征，独立的分量，无法由其他分量或特征线性表示。
核函数的物理意义：映射到高维，使其变得线性可分。
什么是高维？如一个一维数据特征x，转换为（x，x^2, x^3），就成为了一个三维特征，且线性无关。
一个一维特征线性不可分的特征，在高维，就可能线性可分了。
逻辑回归logicalistic regression 本质上仍为线性回归，为什么被单独列为一类？其存在一个非线性的映射关系，处理的一般是二元结构的0，1问题，是线性回归的扩展，应用广泛，被单独列为一类。
而且如果直接应用线性回归来拟合逻辑回归数据，就会形成很多局部最小值。
是一个非凸集，而线性回归损失函数是一个凸函数，即最小极值点，即是全局极小点。
模型不符。
若采用逻辑回归的损失函数，损失函数就能形成一个凸函数。
多项式样条函数拟合多项式拟合，模型是一个多项式形式；样条函数，模型不仅连续，而且在边界处，高阶导数也是连续的。
好处：是一条光滑的曲线，能避免边界出现震荡的形式出现（龙格线性）baike.baidu./view/301735.htm以下是几个需慢慢深入理解的概念：无结构化预测模型结构化预测模型什么是结构化问题？adaboost，svm，lr 三个算法的关系。
三种算法的分布对应exponential loss（指数损失函数），hinge loss，log loss（对数损失函数），无本质区别。