非线性回归函数
一元非线性回归分析
模型，并预测第14年的销售额预测值。
年序号 t
1 2 3 4 5 6 7
年销售额 Y
年序号t
3
8
8
9
12
10
10
11
25
12
14
13
18
年销售额 Y
36 32 57 70 115 150
预测结果：
年销售额的指数拟合结果
年销售额Y
年销售额估计值
160
140
120
100
80
60
40
20
0
年
0
2
4
6
8
10
X
3
二.指数函数
指数函数 Y aebX 设 V ln Y 则 V ln a (b ln e)X
Y
Y
a
O
X
(b> 0)
a
O
X
(b< 0)
4
三.对数函数
对数函数 Y a bln X 设 U ln X 则 Y a bU
Y
Y
O
X
(b> 0)
O (b< 0)
X
5
四.双曲线函数
双曲线函数
一元非线性回归分析
• 非线性回归分析方法就是用一条曲线来拟合因变 量对于自变量的依赖关系。根据问题的性质，拟 合曲线可以是指数曲线、对数曲线、平方根曲线 以及多项式曲线等。具体采用何种曲线主要由两 方面的因素决定。一方面就是自变量与因变量之 间本来就存在着一种内在函数依赖关系，而这种 依赖关系是分析者根据自己的知识背景和经验已 经了解的。另一方面，根据由自变量和因变量观 测值作出的散点图，可以看出它们之间的依赖关 系。
《非线性回归分析》课件
封装式
• 基于模型的错误率和复 杂性进行特征选择。
• 常用的封装方法包括递 归特征消除法和遗传算 法等。
嵌入式
• 特征选择和模型训练同 时进行。
• 与算法结合在一起的特 征选择方法，例如正则 化（Lasso、Ridge）。
数据处理方法：缺失值填充、异常值 处理等
1
网格搜索
通过预定义的参数空间中的方格进行搜
随机搜索
2
索。
在预定义的参数空间中进行随机搜索。
3
贝叶斯调参
使用贝叶斯优化方法对超参数进行优化。
集成学习在非线性回归中的应用
集成学习是一种将若干个基学习器集成在一起以获得更好分类效果的方法，也可以用于非线性回归建模中。
1 堆叠
使用多层模型来组成一个 超级学习器，每个模型继 承前一模型的输出做为自 己的输入。
不可避免地存在数据缺失、异常值等问题，需要使用相应的方法对其进行处理。这是非线性回归 分析中至关重要的一环。
1 缺失值填充
常见的方法包括插值法、代入法和主成分分析等。
2 异常值处理
常见的方法包括删除、截尾、平滑等。
3 特征缩放和标准化
为了提高模型的计算速度和准确性，需要对特征进行缩放和标准化。
偏差-方差平衡与模型复杂度
一种广泛用于图像识别和计算机 视觉领域的神经网络。
循环神经网络
一种用于处理序列数据的神经网 络，如自然语言处理。
sklearn库在非线性回归中的应用
scikit-learn是Python中最受欢迎的机器学习库之一，可以用于非线性回归的建模、评估和调参。
1 模型建立
scikit-learn提供各种非线 性回归算法的实现，如 KNN回归、决策树回归和 支持向量机回归等。
非线性回归分析的入门知识
非线性回归分析的入门知识在统计学和机器学习领域，回归分析是一种重要的数据分析方法，用于研究自变量和因变量之间的关系。
在实际问题中，很多情况下自变量和因变量之间的关系并不是简单的线性关系，而是呈现出一种复杂的非线性关系。
因此，非线性回归分析就应运而生，用于描述和预测这种非线性关系。
本文将介绍非线性回归分析的入门知识，包括非线性回归模型的基本概念、常见的非线性回归模型以及参数估计方法等内容。
一、非线性回归模型的基本概念在回归分析中，线性回归模型是最简单和最常用的模型之一，其数学表达式为：$$Y = \beta_0 + \beta_1X_1 + \beta_2X_2 + ... + \beta_pX_p +\varepsilon$$其中，$Y$表示因变量，$X_1, X_2, ..., X_p$表示自变量，$\beta_0, \beta_1, \beta_2, ..., \beta_p$表示模型的参数，$\varepsilon$表示误差项。
线性回归模型的关键特点是因变量$Y$与自变量$X$之间呈线性关系。
而非线性回归模型则允许因变量$Y$与自变量$X$之间呈现非线性关系，其数学表达式可以是各种形式的非线性函数，例如指数函数、对数函数、多项式函数等。
一般来说，非线性回归模型可以表示为：$$Y = f(X, \beta) + \varepsilon$$其中，$f(X, \beta)$表示非线性函数，$\beta$表示模型的参数。
非线性回归模型的关键在于确定合适的非线性函数形式$f(X,\beta)$以及估计参数$\beta$。
二、常见的非线性回归模型1. 多项式回归模型多项式回归模型是一种简单且常见的非线性回归模型，其形式为： $$Y = \beta_0 + \beta_1X + \beta_2X^2 + ... + \beta_nX^n +\varepsilon$$其中，$X^2, X^3, ..., X^n$表示自变量$X$的高次项，$\beta_0, \beta_1, \beta_2, ..., \beta_n$表示模型的参数。
R语言用nls做非线性回归以及函数模型的参数估计
R语⾔⽤nls做⾮线性回归以及函数模型的参数估计⾮线性回归是在对变量的⾮线性关系有⼀定认识前提下，对⾮线性函数的参数进⾏最优化的过程，最优化后的参数会使得模型的RSS（残差平⽅和）达到最⼩。
在R语⾔中最为常⽤的⾮线性回归建模函数是nls，下⾯以car包中的USPop数据集为例来讲解其⽤法。
数据中population表⽰⼈⼝数，year表⽰年份。
如果将⼆者绘制散点图可以发现它们之间的⾮线性关系。
在建⽴⾮线性回归模型时需要事先确定两件事，⼀个是⾮线性函数形式，另⼀个是参数初始值。
⼀、模型拟合对于⼈⼝模型可以采⽤Logistic增长函数形式，它考虑了初期的指数增长以及总资源的限制。
其函数形式如下。
⾸先载⼊car包以便读取数据，然后使⽤nls函数进⾏建模，其中theta1、theta2、theta3表⽰三个待估计参数，start设置了参数初始值，设定trace为真以显⽰迭代过程。
nls函数默认采⽤Gauss-Newton⽅法寻找极值，迭代过程中第⼀列为RSS值，后⾯三列是各参数估计值。
然后⽤summary返回回归结果。
library(car)pop.mod1 <- nls(population ~ theta1/(1+exp(-(theta2+theta3*year))),start=list(theta1 = 400, theta2 = -49, theta3 = 0.025), data=USPop, trace=T)summary(pop.mod) 还有⼀种更为简便的⽅法就是采⽤内置⾃启动模型(self-starting Models)，此时我们只需要指定函数形式，⽽不需要指定参数初始值。
本例的logistic函数所对应的selfstarting函数名为SSlogispop.mod2 <- nls(population ~ SSlogis(year,phi1,phi2,phi3),data=USPop)⼆、判断拟合效果⾮线性回归模型建⽴后需要判断拟合效果，因为有时候参数最优化过程会捕捉到局部极值点⽽⾮全局极值点。
非线性回归分析常见模型
非线性回归常见模型一．基本内容模型一xc e c y 21=，其中21,c c 为常数.将xc ec y 21=两边取对数，得x c c e c y xc 211ln )ln(ln 2+==，令21,ln ,ln c b c a y z ===，从而得到z 与x 的线性经验回归方程a bx z +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.模型二221c x c y +=，其中21,c c 为常数.令a c b c x t ===212,,，则变换后得到y 与t 的线性经验回归方程a bt y +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.模型三21c x c y +=，其中21,c c 为常数.a cbc x t ===21,,，则变换后得到y 与t 的线性经验回归方程a bt y +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.模型四反比例函数模型：1y a b x=+令xt 1=，则变换后得到y 与t 的线性经验回归方程a bt y +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.模型五三角函数模型：sin y a b x=+令x t sin =，则变换后得到y 与t 的线性经验回归方程a bt y +=，用公式求即可，这样就建立了y 与x 非线性经验回归方程.二．例题分析例1．用模型e kx y a =拟合一组数据组()(),1,2,,7i i x y i =⋅⋅⋅，其中1277x x x ++⋅⋅⋅+=；设ln z y =，得变换后的线性回归方程为ˆ4zx =+，则127y y y ⋅⋅⋅=（）A．70e B．70C．35e D．35【解析】因为1277x x x ++⋅⋅⋅+=，所以1x =，45z x =+=，即()127127ln ...ln ln ...ln 577y y y y y y +++==，所以35127e y y y ⋅⋅⋅=.故选：C例2．一只红铃虫产卵数y 和温度x 有关，现测得一组数据()(),1,2,,10i i x y i =⋅⋅⋅，可用模型21e c x y c =拟合，设ln z y =，其变换后的线性回归方程为4zbx =- ，若1210300x x x ++⋅⋅⋅+=，501210e y y y ⋅⋅⋅=，e 为自然常数，则12c c =________.【解析】21e c x y c =经过ln z y =变换后，得到21ln ln z y c x c ==+，根据题意1ln 4c =-，故41e c -=，又1210300x x x ++⋅⋅⋅+=，故30x =，5012101210e ln ln ln 50y y y y y y ⋅⋅⋅=⇒++⋅⋅⋅+=，故5z =，于是回归方程为4zbx =- 一定经过(30,5)，故ˆ3045b -=，解得ˆ0.3b =，即20.3c =，于是12c c =40.3e -.故答案为：40.3e -.该景点为了预测2023年的旅游人数，建立了模型①：由最小二乘法公式求得的数据如下表所示，并根据数据绘制了如图所示的散点图.。
非线性回归 方法
非线性回归方法非线性回归是机器学习中的一种重要方法，用于建立输入和输出之间的非线性关系模型。
线性回归假设输入和输出之间存在线性关系，而非线性回归则允许更复杂的模型形式，可以更好地适应现实世界中的复杂数据。
下面将介绍几种常见的非线性回归方法，并说明它们的原理、应用场景和优缺点。
1. 多项式回归多项式回归通过引入高次多项式来拟合数据。
例如，在一元情况下，一阶多项式即为线性回归，二阶多项式即为二次曲线拟合，三阶多项式即为三次曲线拟合，依此类推。
多项式回归在数据不规则变化的情况下能够提供相对灵活的拟合能力，但随着多项式次数的增加，模型的复杂度也会增加，容易出现过拟合问题。
2. 非参数回归非参数回归方法直接从数据中学习模型的形式，并不对模型的形式做出先验假设。
常见的非参数回归方法包括局部加权回归（LWLR）、核回归（Kernel Regression）等。
局部加权回归通过给予离目标点较近的样本更大的权重来进行回归，从而更注重对于特定区域的拟合能力。
核回归使用核函数对每个样本进行加权，相当于在每个样本周围放置一个核函数，并将它们叠加起来作为最终的拟合函数。
非参数回归方法的优点是具有较强的灵活性，可以适应各种不同形状的数据分布，但计算复杂度较高。
3. 支持向量回归（SVR）支持向量回归是一种基于支持向量机的非线性回归方法。
它通过寻找一个超平面，使得样本点离该超平面的距离最小，并且在一定的松弛度下允许一些样本点离超平面的距离在一定范围内。
SVR通过引入核函数，能够有效地处理高维特征空间和非线性关系。
SVR的优点是对异常点的鲁棒性较好，并且可以很好地处理小样本问题，但在处理大规模数据集时计算开销较大。
4. 决策树回归决策树回归使用决策树来进行回归问题的建模。
决策树将输入空间划分为多个子空间，并在每个子空间上拟合一个线性模型。
决策树能够处理离散特征和连续特征，并且对异常点相对较鲁棒。
决策树回归的缺点是容易过拟合，因此需要采取剪枝等策略进行降低模型复杂度。
计量经济学_詹姆斯斯托克_第8章_非线性的回归模型
Ln(TestScore) = 6.336 + 0.0554 ln(Incomei) (0.006) (0.0021)
假设 Income 从$10,000 增加到$11,000（或者 10%）。
则 TestScore 增加大约 0.0554 10% = 0.554%。
如果 TestScore = 650, 意味着测试成绩预计会增加
非线性的回归模型
非线性的回归函数
“非线性”的含义：
（1）非线性的函数 自变量与解释变量之间的非线性
函 数形式。
（2）非线性的回归 参数与随机项的非线性形式。
非线性的回归函数
一、多项式回归 二、对数回归 三、自变量的交互作用 四、其他非线性形式的回归 五*、非线性回归（参数非线性）
一、多项式回归
1、指数函数曲线
指数函数方程有两种形式：
yˆ aebx yˆ abx
y a＞0，b＞0
a＞0，b＜0
x
图11.1方yˆ 程 aebx 的图象
二、对数函数曲线
对数函数方程的一般表达式为：
yˆ a b ln x
y
b＞0
b＜0
x
图11.2 方程yˆ =a+blnx 的图象
（2）根据拟合程度的好坏来确定（如，利用spss 的相关功能） 在社会科学领域里，阶数不会太高！
一、多项式回归
形式： Y 0 1X 2 X 2 ...r X r u
（2）多项式的本质 泰勒展开
一、多项式回归
形式： Y 0 1X 2 X 2 ...r X r u
Y——收入； D1——性别（1——男；0——女） D2——学历（1——大学学历；0——没有）
《非线性回归》课件
灵活性高
非线性回归模型形式多样，可以根据 实际数据和问题选择合适的模型，能 够更好地适应数据变化。
解释性强
非线性回归模型可以提供直观和易于 理解的解释结果，有助于更好地理解 数据和现象。
预测准确
非线性回归模型在某些情况下可以提 供更准确的预测结果，尤其是在数据 存在非线性关系的情况下。
缺点
模型选择主观性
势。
政策制定依据
政府和决策者可以利用非线性回归模型来评估不同政策方案的影响，从而制定更符合实 际情况的政策。例如，通过分析税收政策和经济增长之间的关系，可以制定更合理的税
收政策。
生物学领域
生态学研究
在生态学研究中，非线性回归模型被广 泛应用于分析物种数量变化、种群动态 和生态系统稳定性等方面。通过建立非 线性回归模型，可以揭示生态系统中物 种之间的相互作用和环境因素对种群变 化的影响。
模型诊断与检验
诊断图
通过绘制诊断图，可以直观地观察模型是否满足回归分析的假设条件，如线性关系、误差同方差性等 。
显著性检验
通过显著性检验，如F检验、t检验等，可以检验模型中各个参数的显著性水平，从而判断模型是否具 有统计意义。
04
非线性回归在实践中的应用
经济学领域
描述经济现象
非线性回归模型可以用来描述和解释经济现象，例如消费行为、投资回报、经济增长等 。通过建立非线性回归模型，可以分析影响经济指标的各种因素，并预测未来的发展趋
VS
生物医学研究
在生物医学研究中，非线性回归模型被用 于分析药物疗效、疾病传播和生理过程等 方面。例如，通过分析药物浓度与治疗效 果之间的关系，可以制定更有效的治疗方 案。
医学领域
流行病学研究
在流行病学研究中，非线性回归模型被用于 分析疾病发病率和死亡率与各种因素之间的 关系。通过建立非线性回归模型，可以揭示 环境因素、生活方式和遗传因素对健康的影 响。
第四章 非线性回归与非线性约束
具体检验时，用来对原假设进行检验的似然比统 用来对原假设进行检验的似然比统 具体检验 计量定义为： 计量定义为： L( β R ) LR = −2(ln L( β R ) − ln L( βUR )) = −2 ln L( βUR )
LR ~ χ , m为限制条件的个数。
2 m 2 若LR大于给定显著性水平下的χ m临界值，
2
exp[−
1 2σ
2
(Yi − f ( X 1i , X 2i , L X ki , β1 , β 2 ,L β p )) 2 ]
则N个观测值的对数似然函数为 LnL = ∑ p (Yi , X i β ) = − ( N / 2) ln(2π ) − ( N / 2) ln(σ )
2
− (σ / 2)∑ (Yi − f ( X 1i , X 2i , L X ki , β1 , β 2 , L β p ))
L( β R ) 则似然比定义为λ = . L( βUR )
L( β R ) 则似然比定义为λ = . L( βUR )
L越大表明对数据的拟合程度越好，分母来自无条 越大表明对数据的拟合程度越好， 越大表明对数据的拟合程度越好 件模型，变量个数越多，拟合越好， 件模型，变量个数越多，拟合越好，因此分子小于分 似然比在0到 间 母，似然比在 到1间。分子是在原假设成立下参数的 极大似然函数值，是零假设的最佳表示。 极大似然函数值，是零假设的最佳表示。而分母则表 示在在任意情况下参数的极大似然函数值。 示在在任意情况下参数的极大似然函数值。比值的最 大极限值为1，其值靠近1， 大极限值为 ，其值靠近 ，说明局部的最大和全局最 大近似，零假设成立可能性就越大。 大近似，零假设成立可能性就越大。
设L( βUR )代表没有限制条件时似然函数 的极大值, L( β R )代表有限制条件时似然函数的极大值,
多元线性回归和非线性回归
２
SSR R SST
2 ˆ ( y y ) i 2 ( y y ) i i 1 i 1 n
n
,x ,x 称 y 关于 x 1 2, p 的样本复相关系数，R 的大小可以
反映作为一个整体的 x ,x ,x 1 2, p与 y 的线性相关的密切 程度.
修正多重决定系数(adjusted multiple coefficient of determination)
回归参数的估计
估计的多元线性回归的方程
(estimated multiple linear regression equation)
1.
2. 3.
ˆ ,b ˆ ,b ˆ, ˆ 估计回归方程 ,b 用样本统计量 b 0 1 2 p 中的 参数 b 时得到的方程 , b , b , , b 0 1 2 p 由最小二乘法求得 一般形式为
ˆ ˆ ˆ ˆ ˆ y b b x b x b x 0 1 1 2 2 p p
ˆ, ˆ, ˆ, ˆ是 b , b , b , , b b , b 0 1 2 p 0 b 1 b 2 p
估计值 ˆ 是 y 的估计值 y
参数的最小二乘法
1. 使因变量的观察值与估计值之间的离差平方和 ˆ, ˆ, ˆ, ˆ 。即 b b , b 达到最小来求得 b 0 1 2 p
i 1
3. 确定显著性水平和分子自由度p、分母自由度np-1找出临界值F 4. 作出决策：若F>F ，拒绝H0
方差分析表
前面的这些计算结果可以列成表格的形式，称为方差分析表. 方差分析表
方差来源 平方和 回归 残差 总和 SSR SSE SST 自由度 p 方差 SSR / p F 值
非线性回归问题教学设计
非线性回归问题教学设计引言：非线性回归是统计学和机器学习中的一个重要概念。
与线性回归不同，非线性回归模型的自变量和因变量之间的关系不是线性的，而是可以通过非线性函数来描述。
非线性回归问题具有很高的实际应用价值，例如在金融、经济学、生物学等领域中，非线性回归模型可以更好地拟合数据，进行预测和分析。
本文将介绍非线性回归问题的基本概念和方法，并设计一套教学方案，帮助学生理解和应用非线性回归模型。
一、非线性回归问题的基本概念1.1 非线性回归模型的定义非线性回归模型是指自变量和因变量之间的关系不能通过线性函数来描述的回归模型。
通常情况下，非线性回归模型可以表示为：y = f(x; θ) + ε，其中y表示因变量，x表示自变量，f(x; θ)表示非线性函数，θ表示待估计的参数，ε表示噪声项。
1.2 非线性回归模型的特点与线性回归模型相比，非线性回归模型具有以下特点：- 非线性回归模型的参数估计更加复杂，通常需要使用优化算法进行求解。
- 非线性回归模型的预测能力更强，可以更好地拟合复杂的数据。
- 非线性回归模型的解释性较差，因为非线性函数的形式通常比较复杂，难以直观地解释。
二、非线性回归问题的解决方法2.1 非线性回归模型的建立为了解决非线性回归问题，需要选择合适的非线性函数来描述自变量和因变量之间的关系。
一般情况下，非线性函数可以通过以下方式来选择：- 根据经验和领域知识选择合适的非线性函数形式。
- 根据拟合效果和模型评估指标选择最优的非线性函数形式。
2.2 参数估计和模型评估确定非线性函数形式之后，需要使用合适的方法来估计模型参数。
常用的参数估计方法包括最小二乘法、最大似然估计和梯度下降法等。
估计得到模型参数之后，还需要进行模型评估，评估模型的拟合效果和预测能力。
常用的模型评估指标包括均方误差、残差分析和决定系数等。
三、非线性回归问题的教学设计基于以上理论基础，我们设计了以下教学方案，帮助学生理解和应用非线性回归模型：3.1 理论讲解首先，我们将对非线性回归问题的基本概念和特点进行理论讲解。
SPSSAU_进阶方法_非线性回归
非线性回归非线性模型非线性函数非线性表达式SPSSAU非线性回归模型如果数学模型为非线性关系，比如人口学增长模型Logistic（S模型），其模式公式为：y = b1 / (1 + exp(b2 + b3 * x))，其中y为人口数量，x为年份（实际数据为第n年，数字从0年起，依次顺序增加），b1，b2和b3分别为三个估计参数，exp为自然指数的意思。
此数学表达式并非线性表达式，因此不能使用SPSSAU的线性回归进行拟合。
诸如此类非线性关系（即不是直接关系）的非线性模型，可使用非线性回归进行研究。
SPSSAU当前提供约50类非线性函数表达式，涵盖绝大多数非线性函数表达式。
如下图：备注：图中出现的b1,b2,b3等代表待估计参数；exp表示自然指数，ln表示自然对数，cos表示余弦函数；“**”表示指数的意思。
进行非线性回归模型构建时，通常分为三步。
第一步：首先需要结合专业知识选择正确的构建模型，比如人口增长预测时使用logistic模型，经济学研究的抛物线二次曲线模型等。
第二步：设置参数初始值；与线性回归不同，非线性回归模型数学原理上使用迭代思想计算参数估计值，因而对初始值的不同设置，很可能会导致不同的结果，因而初始值设置较为重要，其可使用模型求解更为精确，并且有助于模型快速迭代收敛。
关于初始值的设置在案例中有更详细说明。
第三步：模型预测。
在得到参数拟合值后，并且拟合效果在认可范围内时，那么可使用模型进行预测数据，输入X的数据信息，对应得到Y的预测值。
特别提示：关于初始值。
初始值是由研究人员输入的一个‘大概’值，即参数的大概估计值，大概预期的值，与此同时，也可设置参数的范围，即上下界，但通常情况下不设置上下界值，除非认为有必要，通常不需要设置上下界值。
关于初始值的设置方法。
通常包括两种，一是结合专业知识进行判断，二是利用模型公式时的特殊点（比如X=0时，Y=？）去求解得到。
专业知识判断上，某参数的实际意义为数据的最大值，那么就设定该参数为最大值即可。
非线性回归
非线性回归一、可化为线性回归的曲线回归在实际问题当中，有许多回归模型的被解释变量y 与解释变量x 之间的关系都不是线性的，其中一些回归模型通过对自变量或因变量的函数变换可以转化为线性关系，利用线性回归求解未知参数，并作回归诊断。
如下列模型。
εββ++=x e y 10-------（1） εββββ+++++=p p x x x y 2210--------（2） εe ae y bx =--------------------（3） ε+=bx ae y -------------（4）对于（1）式，只需令x e x ='即可化为y 对x '是线性的形式εββ+'+=x y 10，需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。
对于（2）式，可以令1x =x ,2x =2x ,…, p x =p x ,于是得到y 关于1x ,2x ,…, p x 的线性表达式εββββ+++++=p p x x x y 22110对与（3）式，对等式两边同时去自然数对数，得ε++=bx a y ln ln ,令 y y ln =',a ln 0=β,b =1β，于是得到y '关于x 的一元线性回归模型： εββ++='x y 10。
对于（4）式，当b 未知时，不能通过对等式两边同时取自然数对数的方法将回归模型线性化，只能用非线性最小二乘方法求解。
回归模型（3）可以线性化，而（4）不可以线性化，两个回归模型有相同的回归函数bx ae ，只是误差项ε的形式不同。
（3）式的误差项称为乘性误差项，（4）式的误差项称为加性误差项。
因而一个非线性回归模型是否可以线性化，不仅与回归函数的形式有关，而且与误差项的形式有关，误差项的形式还可以有其他多种形式。
乘性误差项模型和加性误差项模型所得的结果有一定差异，其中乘性误差项模型认为t y 本身是异方差的，而t y ln 是等方差的。
SAS学习系列25.非线性回归
25. 非线性回归现实世界中严格的线性模型并不多见，它们或多或少都带有某种程度的近似；在不少情况下，非线性模型可能更加符合实际。
对变量间非线性相关问题的曲线拟合，处理的方法主要有：（1）首先确定非线性模型的函数类型，对于其中可线性化问题则通过变量变换将其线性化，从而归结为前面的多元线性回归问题来解决；（2）若实际问题的曲线类型不易确定时，由于任意曲线皆可由多项式来逼近，故常可用多项式回归来拟合曲线；（3）若变量间非线性关系式已知（多数未知），且难以用变量变换法将其线性化，则进行数值迭代的非线性回归分析。
（一）可变换为线性的非线性回归在很多场合，可以对非线性模型进行线性化处理，尤其是可变换为线性的非线性回归，运用最小二乘法进行推断，对线性化后的线性模型，可以应用REG过程步进行计算。
例1 有实验数据如下：试分别采用指数回归（y =ae bx ）方法进行回归分析。
代码：data exam25_1;input x y;cards;1.1 109.951.2 40.451.3 20.091.4 24.531.5 11.021.6 7.391.7 4.951.82.721.9 1.822 1.492.1 0.822.2 0.32.3 0.22.4 0.22;run;proc sgplot data = exam25_1; scatter x = x y = y;run;proc corr data = exam25_1; var x y;run;data new1;set exam25_1;v = log(y);run;proc sgplot data = new1; scatter x = x y = v;title'变量代换后数据';run;proc reg data = new1;var x v;model v = x;print cli;title'残差图';plot residual. * predicted.;run;data new2;set exam25_1;y1 = 14530.28*exp(-4.73895*x);run;proc gplot data = new2;plot y*x=1 y1*x=2 /overlay;symbol v=dot i=none cv=red;symbol2i=sm color=blue;title'指数回归图';run;运行结果：程序说明：（1）调整后的R2=0.9831，说明拟合程度很好；F检验的P值=0.0001<α=0.05，拒绝原假设，故直线回归的斜率不为0；（2）将线性回归系数代入，得到原回归方程y =14530.28*e−4.73895x（3）残差图趋势，符合残差随机正态分布的假设（不带其它明显趋势）。
回归模型的演变史
回归模型的演变史回归模型是统计学中的一种重要方法，用于研究变量之间的关系。
它的演变史可以追溯到19世纪初，当时的统计学家们开始尝试用数学方法来描述变量之间的关系。
最早的回归模型是线性回归模型，它最早由法国数学家勒让德提出。
他发现，一些自然现象的变化可以用一条直线来描述，这就是线性回归模型的基本思想。
线性回归模型的公式为y = a + bx，其中y是因变量，x是自变量，a和b是常数。
这个模型可以用来预测因变量y的值，只需要知道自变量x的值即可。
随着统计学的发展，人们发现线性回归模型并不能完全描述变量之间的关系。
于是，他们开始尝试用非线性模型来描述这些关系。
这就是非线性回归模型的诞生。
非线性回归模型的公式为y = f(x)，其中f(x)是一个非线性函数。
这个模型可以用来描述因变量y和自变量x之间的复杂关系。
在20世纪60年代，统计学家们开始尝试用多元回归模型来描述多个自变量和一个因变量之间的关系。
多元回归模型的公式为y = a + b1x1 + b2x2 + ... + bnxn，其中x1、x2、...、xn是自变量，b1、b2、...、bn是常数。
这个模型可以用来预测因变量y的值，只需要知道自变量x1、x2、...、xn的值即可。
随着计算机技术的发展，人们开始尝试用机器学习算法来构建回归模型。
这就是机器学习回归模型的诞生。
机器学习回归模型可以自动学习变量之间的关系，从而预测因变量的值。
它可以处理大量的数据，并且可以自动调整模型参数，以提高预测精度。
回归模型是统计学中的一种重要方法，它可以用来描述变量之间的关系，并且可以用来预测因变量的值。
随着时间的推移，回归模型不断演变，从线性回归模型到非线性回归模型，再到多元回归模型和机器学习回归模型。
这些模型的出现，为我们研究变量之间的关系提供了更多的选择。
多重共线性和非线性回归及解决方法
多重共线性和非线性回归的问题（1）多重共线性问题我们都知道在进行多元回归的时候，特别是进行经济上指标回归的时候，很多变量存在共同趋势相关性，让我们得不到希望的回归模型。
这里经常用到的有三种方法，而不同的方法有不同的目的，我们分别来看看：第一个，是最熟悉也是最方便的——逐步回归法。
逐步回归法是根据自变量与因变量相关性的大小，将自变量一个一个选入方法中，并且每选入一个自变量都进行一次检验。
最终留在模型里的自变量是对因变量有最大显著性的，而剔除的自变量是与因变量无显著线性相关性的，以及与其他自变量存在共线性的。
用逐步回归法做的多元回归分析，通常自变量不宜太多，一般十几个以下，而且你的数据量要是变量个数3倍以上才可以，不然做出来的回归模型误差较大。
比如说你有10个变量，数据只有15组，然后做拟合回归，得到9个自变量的系数，虽然可以得到，但是精度不高。
这个方法我们不仅可以找到对因变量影响显著的几个自变量，还可以得到一个精确的预测模型，进行预测，这个非常重要的。
而往往通过逐步回归只能得到几个自变量进入方程中，有时甚至只有一两个，令我们非常失望，这是因为自变量很多都存在共线性，被剔除了，这时可以通过第二个方法来做回归。
第二个，通过因子分析（或主成分分析）再进行回归。
这种方法用的也很多，而且可以很好的解决自变量间的多重共线性。
首先通过因子分析将几个存在共线性的自变量合为一个因子，再用因子分析得到的几个因子和因变量做回归分析，这里的因子之间没有显著的线性相关性，根本谈不上共线性的问题。
通过这种方法可以得到哪个因子对因变量存在显著的相关性，哪个因子没有显著的相关性，再从因子中的变量对因子的载荷来看，得知哪个变量对因变量的影响大小关系。
而这个方法只能得到这些信息，第一它不是得到一个精确的，可以预测的回归模型；第二这种方法不知道有显著影响的因子中每个变量是不是都对因变量有显著的影响，比如说因子分析得到三个因子，用这三个因子和因变量做回归分析，得到第一和第二个因子对因变量有显著的影响，而在第一个因子中有4个变量组成，第二个因子有3个变量组成，这里就不知道这7个变量是否都对因变量存在显著的影响；第三它不能得到每个变量对因变量准确的影响大小关系，而我们可以通过逐步回归法直观的看到自变量前面的系数大小，从而判断自变量对因变量影响的大小。
计量经济学-非线性回归函数
Coef. Std. Err.
t P>|t| [95% Conf. Interval]
• -------------+----------------------------------------------------------------
•
avginc | 5.018677 .7073505 7.10 0.000
• ------------------------------------------------------------------------------
• . dis "Adjusted Rsquared = " _result(8) • Adjusted Rsquared = .56146052
由检验结果可知，拒绝总体回归为线性形式的假设。
14
2. 对数形式
• ln(X) 表示 X 的自然对数
• 对数变换将变量的变化表示为百分率变化。
ln(x+∆x) –
ln(x)
=
ln 1 +
∆x x
∆x x
( d ln( x) = 1 ) dx x
例如：
ln(1.01) = .00995 0.01; ln(1.10) = .0953 0.10
三种对数回归模型
情形 I. 线性-对数 II. 对数-线性 III. 对数-对数
总体回归函数 Yi = β0 + β1ln(Xi) + ui ln(Yi) = β0 + β1Xi + ui ln(Yi) = β0 + β1ln(Xi) + ui
15
16
I. 线性——对数回归模型
Y = β0 + β1ln(X)