NLS and Numerical optimization

线性模型作为非线性模型的近似

利用Monte Carlo模拟的方法观察线性模型对非线性模型的近似。 设DGP为：y=10+0.2*exp(2*x)+u，x为[1，3]区间的均匀分布。利用线 性模型与指数模型分别回归模型，并计算x对y的（平均）边际影响与 （平均）弹性。（数据文件：nonlin）

（1）线性模型对非线性模型的近似程度取决于高阶部分是否充分小。
1 非线性最小二乘法 ——案例（Logistic function）

数学模型表达式：
k yt 1 e f (t )
一般地，f (t) = a0 + a1 t + a2 t 2 + … + an t n ， 常见形式为 f(t) = a0 - a t。 即： k k k yt y t 1 e( a0 at ) 1 be at 1 beat ut

1 非线性最小二乘法 ——案例
利用NLS方法估计非线性消费函数。（数据文件：usmacro） （1）回归模型 . nl (realcons = {alpha} + {beta}*realgdp^{gamma}) . nl (realcons={alpha=0}+{beta=0.5}*realgdp^{gamma=1}) . nl (realcons = {alpha} + {beta}*realgdp^{gamma}), initial(alpha 0 beta 0.5 gamma 1) （2）计算边际消费倾向 . nl (realcons = {alpha} + {beta}*x^{gamma=1}), variables(realgdp) . mfx, at(mean) （3）计算收入inc=3000美元时的边际消费倾向， . mfx at(realgdp=3000)
（2）线性模型不能体现变量结构关系的变化
（3）样本外预测存在严重偏差
1 非线性最小二乘法

对一般的非线性模型， OLS得不到其解析解。
y f ( X, β) u S ( β) u [ yi f ( Xi ; β)]2
i 1 2 i i 1 n f ( Xi ; β) S ( β) 2 [ yi f ( Xi ; β)] 0 β β i 1 n n
1
β (0) g (0) g (0) ' g (0) y f ( X, β (0) )
1
β ( j 1) β ( j ) g ( j ) g ( j ) ' g ( j ) y f ( X, β ( j ) )
1
1 非线性最小二乘法
1 非线性最小二乘法
f ( X, β) f ( X, β (0) ) g (0) '(β β (0) ) R y f ( X, β) u f ( X, β (0) ) g (0) '(β β (0) ) R u g (0) ' β f ( X, β 0 ) g (0) ' β (0) u1 y f ( X, β (0) ) g (0) ' β (0) g (0) ' β u1 β (1) g (0) g (0) ' g (0) y f ( X, β (0) ) g (0) ' β(0)
NLS与数值最优化

线性模型可以作为非线性模型的近似 非线性最小二乘法 数值最优化 梯度方法

Stata最优化方法
线性模型作为非线性模型的近似

线性模型作为非线性模型的近似
y 0 1e 2 x u y 0 1 2 e x |x x0 ( x x0 ) u 0 1 2 e x0 x0 1 2 e x0 x u 0* 1* x u
y 0 1e 2 x
S ( β) 1 n 2 xi [ y e ]0 i 0 1 2 i 1 0 1 n S ( β) u [ yi 0 1e 2 xi ]e 2 xi 0 2 i 1 1 S ( β) 1 n [ yi 0 1e 2 xi ] 2 xi e 2 xi 0 2 i 1 2

1 非线性最小二乘法 ——案例

估计CES和GCD生产函数模型。（数据：production; zellner） 。
CES :ln y 0 m / ln K (1 ) L u
（1）回归模型 . nl ( lnout={beta0}{scale=1}/{rho=1}*ln( {delta=0.5}*capital^(-{rho}) +(1-{delta})*labor^(-{rho}) ) ) , variables(capital labor) (2)资本劳动力的要素替代弹性为1/(1+rho)。 . nlcom (el: 1/(1+_b[rho:_cons])) (3)规模报酬系数为m，资本、劳动力的产出弹性为 . mfx, dyex varlist(capital labor) at(mean) (4)检验规模报酬不变假设，即m=1。 . test _b[scale:_cons]=1

ห้องสมุดไป่ตู้
这种迭代估计方法必须设定初始值和停止法则。初始值的 选择对于迅速找到最优解非常重要。如果目标函数不是严 格的凹函数或凸函数，或者存在多个局部最优值，可以设 定多个初始值，观察最优解。如果不同的初始值得到相同 的最优解，则结论是比较稳健的。 停止法则用以设定满足一定的标准后终止迭代过程，否则 迭代过程会无限继续下去。可用的停止法则包括：目标函 数Q((j+1))- Q ((j))没有明显的变化，或者g(j)的每个元素都 非常小，或者(j+1) - (j)没有明显变化等。迭代法则也可以 同时设定最高迭代次数n，如果经过n次迭代仍然没有能够 达到收敛，则停止迭代。