线性回归方程公式证明
简单回归分析
一、线性回归分析若是自变数与依变数都是一个，且Y 和X 呈线性关系，这就称为一元线性回归。
例如，以X 表示小麦每667m 2有效穗数，Y 表示小麦每667m 2的产量，有效穗数即属于自变数，产量即属于依变数。
在这种情形下，可求出产量依有效穗数而变更的线性回归方程。
在另一种情形下，两类变数是平行关系很难分出哪个是自变数，哪个是依变数。
例如，大豆脂肪含量与蛋白质含量的关系，依照需要确信求脂肪含量依蛋白质含量而变更的回归方程，或求蛋白质含量依脂肪含量而变更的回归方程。
回归分析要解决的问题要紧有四个方面：一是依如实验观看值成立适当的回归方程；二是查验回归方程是不是适用，或对回归方程中的回归系数的进行估量；三是对未知参数进行假设考试；四是利用成立起的方程进行预测和操纵。
（一）成立线性回归方程用来归纳两类变数互变关系的线性方程称为线性回归方程。
若是两个变数在散点图上呈线性，其数量关系可能用一个线性方程来表示。
这一方程的通式为：上式叫做y 依x 的直线回归。
其中x 是自变数，y ˆ是依变数y 的估量值，a 是x =0时的y ˆ值，即回归直线在y 轴上的截距，称为回归截距，b 是x 每增加一个单位时，y 将平均地增加（b ＞0时）或减少(b <0时) b 个单位数，称为回归系数或斜率（regression coefficient or slope ）。
要使 能够最好地代表Y 和X 在数量上的互变关系，依照最小平方式原理，必需使将Q 看成两个变数a 与b 的函数，应该选择a 与b ，使Q 取得最小值，必需求Q 对a ，b 的一阶偏导数，且令其等于零，即得：()()⎩⎨⎧∑=∑+∑∑=∑+212xyx b x a yx b an ()()∑∑=--=-=nn Q bx a y yy Q 1min212ˆbx a y +=ˆ()1.7ˆbx a y+=由上述（1）解得：将（）代入（2），那么得：（）的分子 是x 的离均差与y 的离均差乘积总和，简称乘积和（sum of products ），可记为SP ，分母是x 的离均差平方和，也可记为SS x 。
高中数学：线性回归方程
高中数学：线性回归方程线性回归是利用数理统计中的回归分析来确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法，是变量间的相关关系中最重要的一部分，主要考查概率与统计知识，考察学生的阅读能力、数据处理能力及运算能力，题目难度中等，应用广泛．一线性回归方程公式二规律总结(3)回归分析是处理变量相关关系的一种数学方法．主要用来解决：①确定特定量之间是否有相关关系，如果有就找出它们之间贴近的数学表达式；②根据一组观察值，预测变量的取值及判断变量取值的变化趋势；③求线性回归方程．线性回归方程的求法1四线性回归方程的应用例2例3例4例5例6推导2个样本点的线性回归方程例7 设有两个点A（x1，y1），B（x2，y2），用最小二乘法推导其线性回归方程并进行分析。
解：由最小二乘法，设，则样本点到该直线的“距离之和”为从而可知：当时，b有最小值。
将代入“距离和”计算式中，视其为关于b的二次函数，再用配方法，可知：此时直线方程为：设AB中点为M，则上述线性回归方程为可以看出，由两个样本点推导的线性回归方程即为过这两点的直线方程。
这和我们的认识是一致的：对两个样本点，最好的拟合直线就是过这两点的直线。
上面我们是用最小二乘法对有两个样本点的线性回归直线方程进行了直接推导，主要是分别对关于a和b的二次函数进行研究，由配方法求其最值及所需条件。
实际上，由线性回归系数计算公式：可得到线性回归方程为设AB中点为M，则上述线性回归方程为。
求回归直线方程例8 在硝酸钠的溶解试验中，测得在不同温度下，溶解于100份水中的硝酸钠份数的数据如下0 4 10 15 21 29 36 51 6866.7 71.0 76.3 80.6 85.7 92.9 99.4 113.6 125.1 描出散点图并求其回归直线方程.解：建立坐标系，绘出散点图如下：由散点图可以看出：两组数据呈线性相关性。
设回归直线方程为：由回归系数计算公式：可求得：b=0.87，a=67.52，从而回归直线方程为：y=0.87x+67.52。
线 性 回 归 方 程 推 导
线性回归——正规方程推导过程线性回归——正规方程推导过程我们知道线性回归中除了利用梯度下降算法来求最优解之外，还可以通过正规方程的形式来求解。
首先看到我们的线性回归模型：f(xi)=wTxif(x_i)=w^Tx_if(xi?)=wTxi?其中w=(w0w1.wn)w=begin{pmatrix}w_0w_1.w_nend{pmatrix}w=?w0?w1?. wn?，xi=(x0x1.xn)x_i=begin{pmatrix}x_0x_1.x_nend{pmatrix}xi?=?x0 x1.xn，m表示样本数，n是特征数。
然后我们的代价函数(这里使用均方误差)：J(w)=∑i=1m(f(xi)?yi)2J(w)=sum_{i=1}^m(f(x_i)-y_i)^2J(w) =i=1∑m?(f(xi?)?yi?)2接着把我的代价函数写成向量的形式：J(w)=(Xw?y)T(Xw?y)J(w)=(Xw-y)^T(Xw-y)J(w)=(Xw?y)T(Xw?y) 其中X=(1x11x12?x1n1x21x22?x2n?1xm1xm2?xmn)X=begin{pmatrix}1 x_{11} x_{12} cdots x_{1n}1 x_{21} x_{22} cdots x_{2n}vdots vdots vdots ddots vdots1 x_{m1} x_{m2} cdots x_{mn}end{pmatrix}X=?11?1?x11?x21?xm1?x12?x22?xm2?x1n?x2n?xmn?最后我们对w进行求导，等于0，即求出最优解。
在求导之前，先补充一下线性代数中矩阵的知识：1.左分配率：A(B+C)=AB+ACA(B+C) = AB+ACA(B+C)=AB+AC；右分配率：(B+C)A=BA+CA(B+C)A = BA + CA(B+C)A=BA+CA2.转置和逆：(AT)?1=(A?1)T(A^T)^{-1}=(A^{-1})^T(AT)?1=(A?1)T，(AT)T=A(A^T)^T=A(AT)T=A3.矩阵转置的运算规律：(A+B)T=AT+BT(A+B)^T=A^T+B^T(A+B)T=AT+BT；(AB)T=BTAT(AB)^T=B^TA^T(AB)T=BTAT然后介绍一下常用的矩阵求导公式：1.δXTAXδX=(A+AT)Xfrac{delta X^TAX}{delta X}=(A+A^T)XδXδXTAX?=(A+AT)X2.δAXδX=ATfrac{delta AX}{delta X}=A^TδXδAX?=AT3.δXTAδX=Afrac{delta X^TA}{delta X}=AδXδXTA?=A然后我们来看一下求导的过程：1.展开原函数，利用上面的定理J(w)=(Xw?y)T(Xw?y)=((Xw)T?yT)(Xw?y)=wTXTXw?wTXTy?yTXw+yT yJ(w)=(Xw-y)^T(Xw-y)=((Xw)^T-y^T)(Xw-y)=w^TX^TXw-w^TX^Ty-y^TXw+y^TyJ(w)=(Xw?y)T(Xw?y)=((Xw)T?yT)(Xw?y)=wTXTXw?wTXTy?yT Xw+yTy2.求导，化简得，δJ(w)δw=(XTX+(XTX)T)w?XTy?(yTX)T=0?2XTXw?2XTy=0?XTXw=X Ty?w=(XXT)?1XTyfrac{delta J(w)}{delta w}=(X^TX+(X^TX)^T)w-X^Ty-(y^TX)^T=0implies2X^TXw-2X^Ty=0implies X^TXw=X^Tyimplies w=(XX^T)^{-1}X^TyδwδJ(w)?=(XTX+(XTX)T)w?XTy?(yTX)T=0?2XTX w?2XTy=0?XTXw=XTy?w=(XXT)?1XTy最后补充一下关于矩阵求导的一些知识，不懂可以查阅：矩阵求导、几种重要的矩阵及常用的矩阵求导公式这次接着一元线性回归继续介绍多元线性回归，同样还是参靠周志华老师的《机器学习》，把其中我一开始学习时花了较大精力弄通的推导环节详细叙述一下。
线性回归方程lnx公式
线性回归方程lnx公式b=(x1y1+x2y2+...xnyn-nXY)/(x1+x2+...xn-nX)。
线性回归方程是利用数理统计中的回归分析，来确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法之一。
线性回归方程公式求法第一：用所给样本求出两个相关变量的(算术）平均值：x_=(x1+x2+x3+...+xn)/ny_=(y1+y2+y3+...+yn)/n第二：分别计算分子和分母：（两个公式任选其一）分子=(x1y1+x2y2+x3y3+...+xnyn)-nx_Y_分母=(x1^2+x2^2+x3^2+...+xn^2)-n*x_^2第三：计算b：b=分子/分母用最小二乘法估计参数b，设服从正态分布，分别求对a、b的偏导数并令它们等于零，得方程组解为其中，且为观测值的样本方差.线性方程称为关于的线性回归方程，称为回归系数，对应的直线称为回归直线.顺便指出，将来还需用到，其中为观测值的样本方差。
先求x，y的平均值X，Y再用公式代入求解:b=(x1y1+x2y2+...xnyn-nXY)/(x1+x2+...xn-nX)后把x，y的平均数X，Y代入a=Y-bX求出a并代入总的公式y=bx+a得到线性回归方程(X为xi的平均数，Y为yi的平均数)线性回归线性回归是利用数理统计中的回归分析，来确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法之一，应用十分广泛。
变量的相关关系中最为简单的是线性相关关系，设随机变量与变量之间存在线性相关关系，则由试验数据得到的点，将散布在某一直线周围。
因此，可以认为关于的回归函数的类型为线性函数。
分析按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。
如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。
如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。
直线回归法公式
直线回归法公式直线回归法公式1. 简介直线回归法是一种用于建立变量之间线性关系的统计方法。
它通过找到一条最佳拟合直线，以最小化观测值与拟合值之间的误差，来预测因变量的值。
直线回归法广泛应用于经济学、统计学和机器学习等领域。
2. 简单线性回归简单线性回归是直线回归法的最基本形式，用于建立一个自变量和一个因变量之间的线性关系。
其回归方程可以用以下公式表示：y=β0+β1x+ϵ其中，y是因变量，x是自变量，β0和β1是回归系数，ϵ是误差。
举个例子来说明简单线性回归公式的应用。
假设我们要研究一个国家的人口增长与经济增长之间的关系。
我们收集了一系列年份和对应的人口数量和GDP增长率数据。
我们可以使用简单线性回归来建立人口数量（因变量）与GDP增长率（自变量）之间的关系模型。
3. 多元线性回归多元线性回归是在简单线性回归的基础上进一步扩展，用于建立多个自变量和一个因变量之间的线性关系。
其回归方程可以用以下公式表示：y=β0+β1x1+β2x2+⋯+βp x p+ϵ其中，y是因变量，x1,x2,…,x p是自变量，β0,β1,β2,…,βp是回归系数，ϵ是误差。
举个例子来说明多元线性回归公式的应用。
假设我们要研究一个公司的销售额与广告投入、产品价格、季节性因素等变量之间的关系。
我们可以使用多元线性回归来建立销售额（因变量）与广告投入、产品价格、季节性因素等（自变量）之间的关系模型。
4. 最小二乘法最小二乘法是直线回归法中常用的参数估计方法，用于寻找最佳拟合直线。
其原理是最小化观测值与拟合值之间的误差平方和。
最小二乘法通过最小化以下目标函数来估计回归系数：nmin∑(y i−y î)2i=1其中，y i是观测值，y î是拟合值，n是观测值的数量。
使用最小二乘法可以得到最优的回归系数，使得拟合直线与观测值之间的误差最小化。
5. 总结直线回归法是一种用于建立变量之间线性关系的统计方法。
简单线性回归和多元线性回归是直线回归法的两种形式。
回归方程b的两个公式
回归方程b的两个公式第一个公式是简单线性回归方程b的公式。
简单线性回归方程b通常用来描述一个自变量对一个因变量的影响。
这个公式是y = bx + a，其中y是因变量，x是自变量，b是斜率，a是截距。
通过简单线性回归方程b，我们可以计算出斜率b的值，从而了解自变量对因变量的影响程度。
斜率b的值越大，自变量对因变量的影响越大，反之亦然。
通过简单线性回归方程b，我们可以进行预测和分析，帮助我们更好地理解数据背后的规律。
第二个公式是多元线性回归方程b的公式。
多元线性回归方程b通常用来描述多个自变量对一个因变量的影响。
这个公式是y = b0 + b1x1 + b2x2 + ... + bnxn，其中y是因变量，x1、x2、...、xn是自变量，b0是截距，b1、b2、...、bn是系数。
通过多元线性回归方程b，我们可以计算出各个自变量的系数，从而了解它们对因变量的影响程度。
不同自变量的系数可以帮助我们理解各个因素对结果的影响，进行因果分析和预测。
回归方程b的两个公式在实际应用中具有广泛的用途。
在统计学中，我们可以利用回归方程b来分析数据之间的关系，进行预测和决策。
例如，在市场营销领域，我们可以利用回归分析来预测产品销量，制定营销策略。
在经济学中，我们可以利用回归分析来研究经济现象，制定政策措施。
回归方程b的两个公式可以帮助我们更好地理解数据，作出科学的决策。
回归方程b的两个公式在统计学和经济学中扮演着重要的角色。
通过这两个公式，我们可以深入分析数据之间的关系，揭示规律，进行预测和决策。
回归分析是一种强大的工具，可以帮助我们更好地理解世界，做出明智的选择。
希望通过学习回归方程b的两个公式，我们可以更好地应用它们，提升自己的分析能力和决策水平。
线 性 回 归 方 程 推 导
线性回归之最小二乘法线性回归Linear Regression——线性回归是机器学习中有监督机器学习下的一种简单的回归算法。
分为一元线性回归(简单线性回归)和多元线性回归,其中一元线性回归是多元线性回归的一种特殊情况,我们主要讨论多元线性回归如果因变量和自变量之间的关系满足线性关系(自变量的最高幂为一次),那么我们可以用线性回归模型来拟合因变量与自变量之间的关系.简单线性回归的公式如下:y^=ax+b hat y=ax+by^?=ax+b多元线性回归的公式如下:y^=θTx hat y= theta^T x y^?=θTx上式中的θthetaθ为系数矩阵,x为单个多元样本.由训练集中的样本数据来求得系数矩阵,求解的结果就是线性回归模型,预测样本带入x就能获得预测值y^hat yy^?,求解系数矩阵的具体公式接下来会推导.推导过程推导总似然函数假设线性回归公式为y^=θxhat y= theta xy^?=θx.真实值y与预测值y^hat yy^?之间必然有误差?=y^?yepsilon=haty-y?=y^?y,按照中心极限定理(见知识储备),我们可以假定?epsilon?服从正态分布,正态分布的概率密度公式为:ρ(x)=1σ2πe?(x?μ)22σ2rho (x)=frac {1}{sigmasqrt{2pi}}e^{-frac{(x-mu)^2}{2sigma^2}}ρ(x)=σ2π1e2σ2(x?μ)2?为了模型的准确性,我们希望?epsilon?的值越小越好,所以正态分布的期望μmuμ为0.概率函数需要由概率密度函数求积分,计算太复杂,但是概率函数和概率密度函数呈正相关,当概率密度函数求得最大值时概率函数也在此时能得到最大值,因此之后会用概率密度函数代替概率函数做计算.我们就得到了单个样本的误差似然函数(μ=0,σmu=0,sigmaμ=0,σ为某个定值):ρ(?)=1σ2πe?(?0)22σ2rho (epsilon)=frac {1}{sigmasqrt{2pi}}e^{-frac{(epsilon-0)^2}{2sigma^2}}ρ(?)=σ2π?1?e?2σ2(?0)2?而一组样本的误差总似然函数即为:Lθ(?1,?,?m)=f(?1,?,?m∣μ,σ2)L_theta(epsilon_1,cdots,e psilon_m)=f(epsilon_1,cdots,epsilon_m|mu,sigma^2)Lθ?(?1?,? ,?m?)=f(?1?,?,?m?∣μ,σ2)因为我们假定了?epsilon?服从正态分布,也就是说样本之间互相独立,所以我们可以把上式写成连乘的形式:f(?1,?,?m∣μ,σ2)=f(?1∣μ,σ2)?f(?m∣μ,σ2)f(epsilon_1,cdots,epsilon_m|mu,sigma^2)=f(epsilon_1|mu,sigma^2)*cdots *f(epsilon_m|mu,sigma^2)f(?1?,?,?m?∣μ,σ2)=f(?1?∣μ,σ2)?f(?m?∣μ,σ2) Lθ(?1,?,?m)=∏i=1mf(?i∣μ,σ2)=∏i=1m1σ2πe?(?i?0)22σ2L_theta(epsilon_1,cdots,epsilon_m)=prod^m_{i=1}f(epsilon _i|mu,sigma^2)=prod^m_{i=1}frac{1}{sigmasqrt{2pi}}e^{-frac{(epsilon_i-0)^2}{2sigma^2}}Lθ? (?1?,?,?m?)=i=1∏m?f(?i?∣μ,σ2)=i=1∏m?σ2π?1?e?2σ2(?i?0)2?在线性回归中,误差函数可以写为如下形式:i=∣yiy^i∣=∣yiθTxi∣epsilon_i=|y_i-haty_i|=|y_i-theta^Tx_i|?i?=∣yi?y^?i?∣=∣yi?θTxi?∣最后可以得到在正态分布假设下的总似然估计函数如下:Lθ(?1,?,?m)=∏i=1m1σ2πe?(?i?0)22σ2=∏i=1m1σ2πe?(yi θTxi)22σ2L_theta(epsilon_1,cdots,epsilon_m)=prod^m_{i=1} frac{1}{sigmasqrt{2pi}}e^{-frac{(epsilon_i-0)^2}{2sigma^2}}=pro d^m_{i=1}frac{1}{sigmasqrt{2pi}}e^{-frac{(y_i-theta^Tx_i)^2}{2sigma^2}}L θ?(?1?,?,?m?)=i=1∏m?σ2π?1?e?2σ2(?i?0)2?=i=1∏m?σ2π?1 e2σ2(yi?θTxi?)2?推导损失函数按照最大总似然的数学思想(见知识储备),我们可以试着去求总似然的最大值.遇到连乘符号的时候,一般思路是对两边做对数运算(见知识储备),获得对数总似然函数:l(θ)=loge(Lθ(?1,?,?m))=loge(∏i=1m1σ2πe?(yi?θTxi)22σ2)l(theta)=log_e(L_theta(epsilon_1,cdots,epsilon_m))=log_ e(prod^m_{i=1}frac{1}{sigmasqrt{2pi}}e^{-frac{(y_i-theta^Tx_i)^2}{2sigma^2}}) l(θ)=loge?(Lθ?(?1?,?,?m?))=loge?(i=1∏m?σ2π?1?e?2σ2(yi θTxi?)2?)l(θ)=loge(∏i=1m1σ2πe?(yi?θTxi)22σ2)=∑i=1mloge1σ2πexp(?(yi?θTxi)22σ2)=mloge1σ2π?12σ2∑i=1m(yi?θTxi)2l (theta) = log_e(prod^m_{i=1}frac {1}{sigmasqrt{2pi}}e^{-frac{(y_i-theta^Tx_i)^2}{2sigma^2}}) = sum_{i=1}^mlog_efrac {1}{sigmasqrt{2pi}}exp({-frac{(y_i-theta^Tx_i)^2}{2sigma^2} })=mlog_efrac{1}{sigmasqrt{2pi}}-frac{1}{2sigma^2}sum^m_{i= 1}(y^i-theta^Tx^i)^2l(θ)=loge?(i=1∏m?σ2π?1?e?2σ2(yi?θTxi?)2?)=i=1∑m?loge?σ2π?1?exp(?2σ2(yi?θTxi?)2?)=mloge?σ2π?1?2σ21?i=1∑m?(yi?θTxi)2前部分是一个常数,后部分越小那么总似然值越大,后部分则称之为损失函数,则有损失函数的公式J(θ)J(theta)J(θ):J(θ)=12∑i=1m(yi?θTxi)2=12∑i=1m(yi?hθ(xi))2=12∑i=1m (hθ(xi)?yi)2J(theta)=frac{1}{2}sum^m_{i=1}(y^i-theta^Tx^i)^2=frac{1}{2} sum^m_{i=1}(y^i-h_theta(x^i))^2=frac{1}{2}sum^m_{i=1}(h_the ta(x^i)-y^i)^2J(θ)=21?i=1∑m?(yi?θTxi)2=21?i=1∑m?(yi?hθ?(xi))2=21?i=1∑m?(hθ?(xi)?yi)2解析方法求解线性回归要求的总似然最大,需要使得损失函数最小,我们可以对损失函数求导.首先对损失函数做进一步推导:J(θ)=12∑i=1m(hθ(xi)?yi)2=12(Xθ?y)T(Xθ?y)J(theta)=fr ac{1}{2}sum^m_{i=1}(h_theta(x^i)-y^i)^2=frac{1}{2}(Xtheta-y )^T(Xtheta-y)J(θ)=21?i=1∑m?(hθ?(xi)?yi)2=21?(Xθ?y)T(Xθy)注意上式中的X是一组样本形成的样本矩阵,θthetaθ是系数向量,y也是样本真实值形成的矩阵,这一步转换不能理解的话可以试着把12(Xθ?y)T(Xθ?y)frac{1}{2}(Xtheta-y)^T(Xtheta-y)21?(Xθ?y) T(Xθ?y)带入值展开试试.J(θ)=12∑i=1m(hθ(xi)?yi)2=12(Xθ?y)T(Xθ?y)=12((Xθ)T? yT)(Xθ?y)=12(θTXT?yT)(Xθ?y)=12(θTXTXθ?yTXθ?θTXTy+yTy)J(theta)=frac{1}{2}sum^m_{i=1}(h_theta(x^i)-y^i)^2=frac{1} {2}(Xtheta-y)^T(Xtheta-y)=frac{1}{2}((Xtheta)^T-y^T)(Xtheta -y)=frac{1}{2}(theta^TX^T-y^T)(Xtheta-y)=frac{1}{2}(theta^T X^TXtheta-y^TXtheta-theta^TX^Ty+y^Ty)J(θ)=21?i=1∑m?(hθ?( xi)?yi)2=21?(Xθ?y)T(Xθ?y)=21?((Xθ)T?yT)(Xθ?y)=21?(θTXT yT)(Xθ?y)=21?(θTXTXθ?yTXθ?θTXTy+yTy)根据黑塞矩阵可以判断出J(θ)J(theta)J(θ)是凸函数,即J(θ)J(theta)J(θ)的对θthetaθ的导数为零时可以求得J(θ)J(theta)J(θ)的最小值.J(θ)?θ=12(2XTXθ?(yTX)T?XTy)=12(2XTXθ?XTy?XTy)=XTXθXTyfrac{partialJ(theta)}{partialtheta}=frac{1}{2}(2X^TXtheta-(y^TX)^T-X^Ty )=frac{1}{2}(2X^TXtheta-X^Ty-X^Ty)=X^TXtheta-X^Ty?θ?J(θ)? =21?(2XTXθ?(yTX)T?XTy)=21?(2XTXθ?XTy?XTy)=XTXθ?XTy 当上式等于零时可以求得损失函数最小时对应的θthetaθ,即我们最终想要获得的系数矩阵:XTXθ?XTy=0XTXθ=XTy((XTX)?1XTX)θ=(XTX)?1XTyEθ=(XTX)?1 XTyθ=(XTX)?1XTyX^TXtheta-X^Ty=0X^TXtheta=X^Ty((X^TX)^{-1}X^TX)theta=(X^TX)^{-1}X^TyEtheta=(X^TX)^{-1}X^Tytheta=(X^TX)^{-1}X^TyXTXθ?XTy=0XT Xθ=XTy((XTX)?1XTX)θ=(XTX)?1XTyEθ=(XTX)?1XTyθ=(XTX)?1XTy (顺便附上一元线性回归的系数解析解公式:θ=∑i=1m(xi?x￣)(yi?y￣)∑i=1m(xi?x ￣)2theta=frac{sum^m_{i=1}(x_i-overline{x})(y_i-overline{y} )}{sum^m_{i=1}(x_i-overline{x})^2}θ=∑i=1m?(xi?x)2∑i=1m?( xi?x)(yi?y?)?)简单实现import numpy as npimport matplotlib.pyplot as plt# 随机创建训练集,X中有一列全为'1'作为截距项X = 2 * np.random.rand(100, 1)y = 5 + 4 * X + np.random.randn(100, 1)X = np.c_[np.ones((100,1)),X]# 按上面获得的解析解来求得系数矩阵thetatheta = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)# 打印结果print(theta)# 测试部分X_test = np.array([[0],X_test = np.c_[(np.ones((2, 1))), X_test]print(X_test)y_predict = X_test.dot(theta)print(y_predict)plt.plot(X_test[:,-1], y_predict, 'r-')plt.axis([0, 2, 0, 15])plt.show()sklearn实现import numpy as npimport matplotlib.pyplot as pltfrom sklearn.linear_model import LinearRegression X = 2 * np.random.rand(100, 1)y = 5 + 4 * X + np.random.randn(100, 1)X = np.c_[np.ones((100,1)),X]# 新建线性回归模型model = LinearRegression(fit_intercept=False)# 代入训练集数据做训练model.fit(X,y)# 打印训练结果print(model.intercept_,model.coef_)X_test = np.array([[0],X_test = np.c_[(np.ones((2, 1))), X_test]print(X_test)y_predict =model.predict(X_test)print(y_predict)plt.plot(X_test[:,-1], y_predict, 'r-')plt.axis([0, 2, 0, 15])plt.show()使用解析解的公式来求得地模型是最准确的.计算量非常大,这会使得求解耗时极多,因此我们一般用的都是梯度下降法求解.知识储备距离公式机器学习中常见的距离公式 - WingPig - 博客园中心极限定理是讨论随机变量序列部分和分布渐近于正态分布的一类定理。
线 性 回 归 方 程 推 导
线性回归方程推导理论推导机器学习所针对的问题有两种：一种是回归，一种是分类。
回归是解决连续数据的预测问题，而分类是解决离散数据的预测问题。
线性回归是一个典型的回归问题。
其实我们在中学时期就接触过，叫最小二乘法。
线性回归试图学得一个线性模型以尽可能准确地预测输出结果。
?先从简单的模型看起：?首先，我们只考虑单组变量的情况，有：?使得?假设有m个数据，我们希望通过x预测的结果f(x)来估计y。
其中w和b都是线性回归模型的参数。
?为了能更好地预测出结果，我们希望自己预测的结果f(x)与y 的差值尽可能地小，所以我们可以写出代价函数（cost function）如下：?接着代入f(x)的公式可以得到：?不难看出，这里的代价函数表示的是预测值f(x)与实际值y之间的误差的平方。
它对应了常用的欧几里得距离简称“欧氏距离”。
基于均方误差最小化来求解模型的方法我们叫做“最小二乘法”。
在线性回归中，最小二乘法实质上就是找到一条直线，使所有样本数据到该直线的欧式距离之和最小，即误差最小。
?我们希望这个代价函数能有最小值，那么就分别对其求w和b的偏导，使其等于0，求解方程。
?先求偏导，得到下面两个式子：?很明显，公式中的参数m，b，w都与i无关，简化时可以直接提出来。
?另这两个偏导等于0：?求解方程组，解得：?这样根据数据集中给出的x和y，我们可以求出w和b来构建简单的线性模型来预测结果。
接下来，推广到更一般的情况：?我们假设数据集中共有m个样本，每个样本有n个特征，用X矩阵表示样本和特征，是一个m×n的矩阵：?用Y矩阵表示标签，是一个m×1的矩阵：?为了构建线性模型，我们还需要假设一些参数：?（有时还要加一个偏差（bias）也就是，为了推导方便没加，实际上结果是一样的）好了，我们可以表示出线性模型了：?h(x)表示假设，即hypothesis。
通过矩阵乘法，我们知道结果是一个n×1的矩阵。
回归直线方程的公式
回归直线方程的公式回归直线，也被称为最小二乘线，是一种用于估计一组数据值之间真正关系的有效统计技术。
它允许我们建立总体数据的比较和预测，推导出它们之间的相关性及其对应的回归方程。
直线方程是数学中最基础的数学单元，在任何专业的领域都有其重要性，而回归直线方程是描述生物，社会学，经济学等实体领域的最常用的一条直线，它有许多作用。
一般来说，回归直线方程可以用来评估潜在的关系，两个变量之间的因果关系。
回归直线方程的公式已成为各专业研究学术研究的重要参考。
一、回归直线方程的公式回归分析之一是回归直线，它可以用来表示两个变量之间的线性关系，可以用其公式来描述。
回归直线的公式是：y = a + bx。
在这里，y表示输出量，x表示输入量，a和b分别是回归直线的截距和斜率。
二、求解回归直线的公式解决回归直线方程的公式要求分别求解斜率参数b和截距参数a，以如下的数据x1，x2，…，xn和y1，y2，…，yn为例，用梯度上升法可以求出a和b：（1）求解斜率参数b：b = sum（（xi-X平均）*（yi-y平均））/ sum（（xi-X平均）*（xi-X 平均））（2）求解截距参数a：a = y平均 - b*X平均当上述几步求解完成之后，可以用以下的表达式来表示回归的直线的公式：y = a + bx三、回归直线的特点回归直线有许多特点：1. 回归直线是一条线性方程，由此可以清楚地表示出x和y之间的关系。
2. 根据直线方程，当x给定时，可以预测出y值；当y给定时，可以预测出x值，即可以根据回归直线预测出另一变量的值。
3. 对于已知数据，可以根据拟合度来评估回归直线算出的参数是否准确，从而避免存在过拟合或者欠拟合等情况。
4. 对于已知的数据（x，y），可以对未知数据进行推断，从而对建立线性关系相关的定量分析提供依据。
因此，回归直线方程是分析相关变量关系最基本的途径，它可以用来评估潜在的关系，有着很强的实证性。
熟练掌握回归直线方程的计算公式，可以帮助研究者以更准确的方式看到领域中的客观规律并提出正确的解决方案。
sst=ssr+sse的解释
sst ssr sse公式
公式：SST=SSR+SSE
1、因为一元线性回归方程在建立时要求离回归的平方和最小，即根据“最小二乘法”原理来建立回归方程。
在此基础上就可以证明SST=SSR+SSE
2、回归平方和：SSR(Sum of Squares for regression) = ESS (explained sum of squares)；残差平方和：SSE（Sum of Squares for Error） = RSS (residual sum of squares) =SSR(sum of squared residuals)；总离差平方和：SST(Sum of Squares for total) = TSS(total sum of squares)
3、统计学是通过搜索、整理、分析数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。
其中用到了大量的数学及其它学科的专业知识，它的使用范围几乎覆盖了社会科学和自然科学的各个领域。
回归方程的公式
回归方程的公式回归方程是数理统计学中的一种重要方法，用于建立自变量与因变量之间的关系模型。
其公式为：Y = β0 + β1X1 + β2X2 + … + βkXk + ε，其中Y是因变量，X1、X2、…、Xk是自变量，β0、β1、β2、…、βk是回归系数，ε是误差项。
在回归方程中，回归系数β用于衡量自变量对因变量的影响程度。
其中，β0是截距项，表示当自变量都取0时，因变量的值。
而β1、β2、…、βk则分别表示当对应的自变量增加1单位时，因变量增加的值。
这些系数可以通过最小二乘法来估计。
回归方程可以建立线性和非线性关系模型。
线性回归方程是指因变量和自变量之间呈现线性关系的模型，其回归方程为Y = β0 + β1X1 + ε。
非线性回归方程则是指因变量和自变量之间呈现非线性关系的模型，其回归方程为Y = β0 + β1f(X1) + ε，其中f(X1)是非线性的函数。
回归方程的建立需要满足一些假设条件。
首先，因变量和自变量之间要呈现一定的相关性。
其次，误差项必须满足独立同分布的假设条件。
最后，自变量之间不能存在多重共线性，即自变量之间不能存在高度的相关性。
在实际应用中，回归方程可以用于预测和控制因变量的值。
例如，在销售预测中，可以根据历史数据建立回归方程，预测未来的销售量。
在生产控制中，可以根据回归方程，调整生产计划，以达到最优的生产效益。
然而，回归方程也存在一些局限性。
首先，回归方程只能建立自变量和因变量之间的关系模型，而不能确定因果关系。
其次，回归方程只能建立线性或非线性关系模型，而不能建立其他复杂的关系模型。
最后，回归方程建立的结果只是基于样本数据，不能完全代表总体数据，因此需要进行适当的统计推断。
回归方程是一种重要的数理统计学方法，可以用于建立自变量和因变量之间的关系模型，进行预测和控制。
在实际应用中，需要满足一定的假设条件，并注意其局限性。
线 性 回 归 方 程 推 导 ( 2 0 2 0 )
多元线性回归推导过程常用算法一多元线性回归详解1此次我们来学习人工智能的第一个算法:多元线性回归.文章会包含必要的数学知识回顾,大部分比较简单,数学功底好的朋友只需要浏览标题,简单了解需要哪些数学知识即可.本章主要包括以下内容数学基础知识回顾什么是多元线性回归多元线性回归的推导过程详解如何求得最优解详解数学基础知识回顾我们知道,y=ax+b这个一元一次函数的图像是一条直线.当x=0时,y=b,所以直线经过点(0,b),我们把当x=0时直线与y轴交点到x轴的距离称为直线y=ax+b图像在x轴上的截距,其实截距就是这个常数b.(有点拗口,多读两遍)截距在数学中的定义是:直线的截距分为横截距和纵截距，横截距是直线与X轴交点的横坐标，纵截距是直线与Y轴交点的纵坐标。
根据上边的例子可以看出,我们一般讨论的截距默认指纵截距.既然已知y=ax+b中b是截距,为了不考虑常数b的影响,我们让b=0,则函数变为y=ax.注意变换后表达式的图像.当a=1时,y=ax的图像是经过原点,与x轴呈45°夹角的直线(第一,三象限的角平分线),当a的值发生变化时,y=ax 的图像与x轴和y轴的夹角也都会相应变化,我们称为这条直线y=ax的倾斜程度在发生变化,又因为a是决定直线倾斜程度的唯一的量(即便b不等于0也不影响倾斜程度),那么我们就称a为直线y=ax+b的斜率.斜率在数学中的解释是表示一条直线(或曲线的切线)关于(横)坐标轴倾斜程度的量.还是y=ax+b,我们知道这个函数的图像是一条直线,每个不同的x对应着直线上一点y.那么当自变量x的值变化的时候,y值也会随之变化.数学中我们把x的变化量成为Δx,把对应的y的变化量成为Δy,自变量的变化量Δx与因变量的变化量Δy的比值称为导数.记作y'.y'=Δy-Δx常用的求导公式在这部分不涉及,我们用到一个记住一个即可.4-矩阵和向量什么是向量:向量就是一个数组.比如[1,2,3]是一个有三个元素的向量.有行向量和列向量之分,行向量就是数字横向排列:X=[1,2,3],列向量是数字竖向排列,如下图什么是矩阵:矩阵就是元素是数组的数组,也就是多维数组,比如[[1,2,3],[4,5,6]]是一个两行三列的矩阵,也叫2*3的矩阵. 行代表内层数组的个数,列代表内层数组的元素数.一个矩阵中的所有数组元素相同.5-向量的运算:一个数乘以一个向量等于这个数同向量中的每个元素相乘,结果还是一个向量.2 * [1,2,3] = [2,4,6]一个行向量乘以一个列向量,是两个向量对位相乘再相加,结果是一个实数.= 11 + 22 + 3*3 = 14附加:转置转置用数学符号T来表示,比如W向量的转置表示为.转置就是将向量或者矩阵旋转九十度.一个行向量的转置是列向量,列向量的转置是行向量.一个m*n的矩阵转置是n*m的矩阵.注:以上概念完全是为了读者能容易理解,并不严谨,若想知道上述名词的严谨解释,请自行百度.什么是多元线性回归我们知道y=ax+b是一元一次方程,y=ax1+bx2+c(1和2是角标,原谅我的懒)是二元一次方程.其中,"次"指的是未知数的最大幂数,"元"指的是表达式中未知数的个数（这里就是x的个数）.那么"多元"的意思可想而知,就是表达式中x(或者叫自变量,也叫属性)有很多个.当b=0时,我们说y=ax,y和x的大小始终符合y-x=a,图像上任意一点的坐标,y值都是x值的a倍.我们把这种横纵坐标始终呈固定倍数的关系叫做"线性".线性函数的图像是一条直线.所以我们知道了多元线性回归函数的图像一定也是一条直线.现在我们知道了多元线性回归的多元和线性,而回归的概念我们在人工智能开篇(很简短,请点搜索"回归"查看概念)中有讲述,所以多元线性回归就是:用多个x(变量或属性)与结果y的关系式来描述一些散列点之间的共同特性.这些x和一个y关系的图像并不完全满足任意两点之间的关系(两点一线),但这条直线是综合所有的点,最适合描述他们共同特性的,因为他到所有点的距离之和最小也就是总体误差最小.所以多元线性回归的表达式可以写成:y= w0x0 + w1x1 + w2x2 + . + wnxn (0到n都是下标哦)我们知道y=ax+b这个线性函数中,b表示截距.我们又不能确定多元线性回归函数中预测出的回归函数图像经过原点,所以在多元线性回归函数中,需要保留一项常数为截距.所以我们规定 y= w0x0 + w1x1 + w2x2 + . + wnxn中,x0=1,这样多元线性回归函数就变成了: y= w0 + w1x1 + w2x2 + . + wnxn,w0项为截距.如果没有w0项,我们 y= w0x0 + w1x1 + w2x2 + . + wnxn就是一个由n+1个自变量所构成的图像经过原点的直线函数.那么就会导致我们一直在用一条经过原点的直线来概括描述一些散列点的分布规律.这样显然增大了局限性,造成的结果就是预测出的结果函数准确率大幅度下降.有的朋友还会纠结为什么是x0=1而不是x2,其实不管是哪个自变量等于1,我们的目的是让函数 y= w0x0 + w1x1 + w2x2 + . + wnxn编程一个包含常数项的线性函数.选取任何一个x都可以.选x0是因为他位置刚好且容易理解.多元线性回归的推导过程详解1-向量表达形式我们前边回顾了向量的概念,向量就是一个数组,就是一堆数.那么表达式y= w0x0 + w1x1 + w2x2 + . + wnxn是否可以写成两个向量相乘的形式呢?让我们来尝试一下.假设向量W= [w1,w2.wn]是行向量,向量X= [x1,x2.xn],行向量和列向量相乘的法则是对位相乘再相加, 结果是一个实数.符合我们的逾期结果等于y,所以可以将表达式写成y=W * X.但是设定两个向量一个是行向量一个是列向量又容易混淆,所以我们不如规定W和X都为列向量.所以表达式可以写成 (还是行向量)与向量X 相乘.所以最终的表达式为:y= * X,其中也经常用θ(theta的转置,t是上标)表示.此处,如果将两个表达式都设为行向量,y=W * 也是一样的,只是大家为了统一表达形式,选择第一种形式而已.2-最大似然估计最大似然估计的意思就是最大可能性估计,其内容为:如果两件事A,B 相互独立,那么A和B同时发生的概率满足公式P(A , B) = P(A) * P(B)P(x)表示事件x发生的概率.如何来理解独立呢?两件事独立是说这两件事不想关,比如我们随机抽取两个人A和B,这两个人有一个共同特性就是在同一个公司,那么抽取这两个人A和B的件事就不独立,如果A和B没有任何关系,那么这两件事就是独立的.我们使用多元线性回归的目的是总结一些不想关元素的规律,比如以前提到的散列点的表达式,这些点是随机的,所以我们认为这些点没有相关性,也就是独立的.总结不相关事件发生的规律也可以认为是总结所有事件同时发生的概率,所有事情发生的概率越大,那么我们预测到的规律就越准确.这里重复下以前我们提到的观点.回归的意思是用一条直线来概括所有点的分布规律,并不是来描述所有点的函数,因为不可能存在一条直线连接所有的散列点.所以我们计算出的值是有误差的,或者说我们回归出的这条直线是有误差的.我们回归出的这条线的目的是用来预测下一个点的位置.考虑一下,一件事情我们规律总结的不准,原因是什么?是不是因为我们观察的不够细或者说观察的维度不够多呢?当我们掷一个骰子,我们清楚的知道他掷出的高度,落地的角度,反弹的力度等等信息,那上帝视角的我们是一定可以知道他每次得到的点数的.我们观测不到所有的信息,所以我们认为每次投骰子得到的点数是不确定的,是符合一定概率的,未观测到的信息我们称为误差.一个事件已经观察到的维度发生的概率越大,那么对应的未观测到的维度发生的概率就会越小.可以说我们总结的规律就越准确.根据最大似然估计P(y) = P(x1,x2 . xn)= P(x1) * P(x2) . P(xn)当所有事情发生的概率为最大时,我们认为总结出的函数最符合这些事件的实际规律.所以我们把总结这些点的分布规律问题转变为了求得P(x1,x2 . xn)= P(x1) * P(x2) . P(xn)的发生概率最大.3-概率密度函数数学中并没有一种方法来直接求得什么情况下几个事件同时发生的概率最大.所以引用概率密度函数.首先引入一点概念:一个随机变量发生的概率符合高斯分布(也叫正太分布).此处为单纯的数学概念,记住即可.高斯分布的概率密度函数还是高斯分布.公式如下:公式中x为实际值,u为预测值.在多元线性回归中,x就是实际的y,u 就是θ * X.既然说我们要总结的事件是相互独立的,那么这里的每个事件肯定都是一个随机事件,也叫随机变量.所以我们要归纳的每个事件的发生概率都符合高斯分布.什么是概率密度函数呢?它指的就是一个事件发生的概率有多大,当事件x带入上面公式得到的值越大,证明其发生的概率也越大.需要注意,得到的并不是事件x发生的概率,而只是知道公式的值同发生的概率呈正比而已.如果将y= θT* X中的每个x带入这个公式,得到如下函数求得所有的时间发生概率最大就是求得所有的事件概率密度函数结果的乘积最大,则得到:求得最大时W的值,则总结出了所有事件符合的规律.求解过程如下(这里记住,我们求得的是什么情况下函数的值最大,并不是求得函数的解):公式中,m为样本的个数,π和σ为常数,不影响表达式的大小.所以去掉所有的常数项得到公式:因为得到的公式是一个常数减去这个公式,所以求得概率密度函数的最大值就是求得这个公式的最小值.这个公式是一个数的平方,在我国数学资料中把他叫做最小二乘公式.所以多元线性回归的本质就是最小二乘.J(w)′=2(Y?Xw)TXJ(w)^{#x27;}=2(Y-Xtextbf{w})^TXJ(w)′=2(Y?Xw )TXSystem.out.print("("+xy[0]+",");X为自变量向量或矩阵，X维度为N,为了能和W0对应，X需要在第一行插入一个全是1的列。
建立y对x的一元线性回归方程由表可知根据公式
试用指数曲线预测1998年的肥皂销量。
解：设 y aebx令 y ln y 为了计算方便，再定
义 x x 1993 ,列表计算如下：
x y y ln y x2 xy
1
－3 95 4.5539 9 -13.6616
2
－2 104 4.6444 4 -9.2888
设相关关系的两个变量为 x 和 y ， y 的值由两
部分构成：一部分由 x 的影响确定， 用 x 的
函数 f ( x)表示，称为回归函数；另一部分则由众多
不确定性因素影响产生，可看成 y 取值的随机波
动，记为 ，并且假定其平均值为零，即
。
于是E得( 到) 数0 学模型：
y f (x)
b 7 3.3976 0.1213，a 34.0321 4.8617
7 28
7
所以 ln y 4.8617 0.1213x
y 129.2437e0.1213 x
已知1996年的序号是 x 3 ，那么1998年应 为 x 5
所以预计1998年的销量为
（11.2）
x 上式称为回归模型，它表明当 取某个数值时，y
并不必然表现为一个确定的值，而是在 f ( x)附近波
动，但其平均数在大量观察下趋向于确定的值 。
f (x)
图11-1 企业产量与生产费用散点图
x 我点们图容大易致看呈出直企 线业 关产 系量 。但y图i和形生中产的费各用点并不i 之都间在的—散
y 129.2437e0.12135 237（ 箱）
回归模型的拟合优度和显著性
一 、 回归模型的拟合优度
y
{}} (Yˆi Yi)＝总离差
一元线性回归方程公式
一元线性回归方程公式
一元线性回归方程公式：
y = ax + b
元线性回归方程反映一个因变量与一个自变量之间的线性关系，当直线方程Y'=a+bx的a和b确定时，即为一元回归线性方程。
经过相关分析后，在直角坐标系中将大量数据绘制成散点图，这些点不在一条直线上，但可以从中找到一条合适的直线，使各散点到这条直线的纵向距离之和最小，这条直线就是回归直线，这条直线的方程叫作直线回归方程。
注意：一元线性回归方程与函数的直线方程有区别，一元线性回归方程中的自变量X对应的是因变量Y的一个取值范围。
1。
线性回归方程
线性回归方程
线性回归证明公式
变量的相关关系中最为简单的是线性相关关系,设随机变量*与变量之间存在线性相关关系,则由试验数据得到的点(,)将散布在某一直线周围,因此,可以认为关于的回归函数的类型为线性函数,即,下面用最小二乘法估计参数、b,设服从正态分布,分别求对a、b的偏导数,并令它们等于零，得方程组
解得
其中，
线性回归证明公式
且为观测值的样本方差.
线性方程称为关于的线性回归方程,称为回归系数,对应的直线称为回归直线.顺便指出,将来还需用到,其中为观测值的样本方差.
利用公式求解：b=
线性回归方程公式
求出a
线性回归方程公式
是总的公式
线性回归方程y=bx+a过定点（x拔，y拔）。
线性回归方程的求法(需要给每个人发)
高考统计部分的两个重要公式的具体如何应用第一公式：线性回归方程为ˆˆˆybx a =+的求法： （1） 先求变量x 的平均值，既1231()n x x x x x n=+++⋅⋅⋅+ （2） 求变量y 的平均值，既1231()n y y y y y n=+++⋅⋅⋅+ （3） 求变量x 的系数ˆb，有两个方法 法1121()()ˆ()niii nii x x y y bx x ==--=-∑∑（题目给出不用记忆）[]112222212()()()()...()()()()...()n n n x x y y x x y y x x y y x x x x x x --+--++--=⎡⎤-+-++-⎣⎦（需理解并会代入数据）法2121()()ˆ()niii nii x x y y bx x ==--=-∑∑（题目给出不用记忆）[]1122222212...,...n n n x y x y x y nx y x x x nx ++-⋅=⎡⎤+++-⎣⎦（这个公式需要自己记忆，稍微简单些）（4） 求常数ˆa，既ˆˆa y bx =- 最后写出写出回归方程ˆˆˆybx a =+。
可以改写为：ˆˆy bx a =-（ˆy y 与不做区分） 例．已知,x y 之间的一组数据：求y 与x 的回归方程：解：（1）先求变量x 的平均值，既1(0123) 1.54x =+++= （2）求变量y 的平均值，既1(1357)44y =+++= （3）求变量x 的系数ˆb，有两个方法 法1ˆb= []11223344222212342222()()()()()()()()()()()()(0 1.5)(14)(1 1.5)(34)(2 1.5)(54)(3 1.5)(74)57(0 1.5)(1 1.5)(2 1.5)(3 1.5)x x y y x x y y x x y y x x y y x x x x x x x x --+--+--+--=⎡⎤-+-+-+-⎣⎦--+--+--+--==⎡⎤-+-+-+-⎣⎦法2ˆb=[][]11222222222212...011325374 1.5457...0123n n n x y x y x y nx y x x x nx ++-⋅⨯+⨯+⨯+⨯-⨯⨯==⎡⎤⎡⎤+++-+++⎣⎦⎣⎦(4)求常数ˆa，既525ˆˆ4 1.577a y bx =-=-⨯= 最后写出写出回归方程525ˆˆˆ77ybx a x =+=+第二公式：独立性检验两个分类变量的独立性检验：注意：数据a 具有两个属性1x ，1y 。