第4章非线性回归模型的
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i ,l 1 i ,l i ,l
• 注意：在应用迭代线性化法时，迭代过 程有可能并不收敛。这是因为迭代过程 是否收敛往往与参数初始估计值的选择 有关，这时候我们应换一组参数估计值 再进行迭代。此外，迭代线性化法不能 保证残差平方和达到最小，它可能使残 差平方和收敛于某一局部极小值，而不 是真正的极小值。
直接优化法（Direct Optimization Method） • 这种方法是根据残差平方和极小化的必 要条件，对每个参数求偏导数，并令它 们等于零，然后求解参数。 • 由于求偏导数的方程组是非线性方程组， 计算上困难很大，所以这种方法很少被 人采用。
迭代线性化法（Iterative Linearzation Method） • 这种方法的基本思想是：首先通过泰勒 极数展开将模型的非线性函数在某一组 初始参数估计值附近线性化，然后对这 一线性化的函数应用普通最小二乘法， 得到一组新的参数估计值。接着是使非 线性函数在新的参数估计值附近线性化， 对新的线性化模型应用普通最小二乘法， 又得到一组新的参数估计值。
• 第三步， 将非线性函数f在这组新的参数估计 值 1,1, 2,1, p,1 附近作泰勒极数展开，线性化后得 到一个新的标准线性回归模型。对这个新的标准 线性回归模型再应用普通最小二乘法，又得到一 组新的最小二乘估计量 1,2 , 2,2 , p,2 • 重复这一过程一直到参数估计值收敛为止，既对 于预先给定的任意小的正数 0 ，不等式成立 为止。
0
• 在泰勒极数展开式*中，前两项就是非线 性函数f的一个线性近似。舍掉二阶和二 阶以上的高阶项，得*的线性近似
f Y f ( X 1 , X 2 , X k ; 1, 0 , 2, 0 , p , 0 ) ( i i ,0 ) i 1 i 0
• 例题，写出利用迭代线性化法估计下面 的非线性消费函数模型的具体步骤
C 0 1Y
2
4.3 案例分析
p
f f f Z1 , Z2 ,Zp p 0 1 0 2 0
• 得到
（#）
Y 1Z1 2 Z2 p Z p
• 第二步，对标准线性回归模型#式应用普 通最小二乘法估计未知参数。得到一组 新的最小二乘估计量 1,1, 2,1, p,1
第4章非线性回归模型的线性化
1 变量间的非线性关系 2 线性化方法 3 案例分析
4.1 变量间的非线性关系
对于非线性回归模型，按其形式和估计方法的不 同，可以分为三种类型： 1 非标准线性回归模型 Y 例： f ( X , X ,, X ) f ( X , X ,, X ) f ( X , X ,, X ) 2 可线性化的非线性回归模型 例： Y AK L e 3 不可线性化的非线性回归模型 x x 例： Y 0 1e 2e
• 不断重复上述过程，直至参数估计值收 敛为止。即l+1组参数估计值与第l组参数 估计值没有显著差别时为止。 • 这个方法的一个优点是计算效率比较高， 另一个优点是因为每一次迭代都是一次 线性回归，因此可以进行标准的显著性 检验、拟合优度检验等各种统计检验。
具体步骤
• 第一步， • 根据经济理论和历史统计资料，选定 ( , , ) 作为未知参数(1, , 2, , p, )的一组初始估计值。接 着将模型 Y f ( X1, X 2 , X k ; 1, 2 , p ) 中的非线 性函数f在这组初始估计值附近作泰勒极数展开， 得 （*）
p
• 移项整理后得到
p f f Y f ( X 1 , X 2 , X k ; 1, 0 , 2, 0 , p , 0 ) i , 0 i i 1 i 0 i 1 i 0 p
• 令
f Y Y f ( X 1 , X 2 , X k ; 1,0 , 2,0 , p , 0 ) i , 0 i 0 i 1
1, 0 2, 0 p,0
f Y f ( X 1 , X 2 , X k ; 1, 0 , 2, 0 , p , 0 ) ( i i,0 ) i 1 i 0
p
1 p p 2 f ( i i , 0 )( j j ,Байду номын сангаас0 ) 2 i 1 j 1 i j
3 不可线性化的非线性回归模型的线性化估计方法 （1）直接搜索法 （2）直接优化法 （3）迭代线性化法
直接搜索法（Direct Search Method）
• 这种方法是将模型的参数的每一个参数都选择 一组数值，然后将所有可能的参数值组合代入 方程，使残差平方和达到最小的那一组参数值 组合，就作为未知参数值的估计值。 • 如果非线性模型只有一个或两个未知参数，这 种方法可能比较有效。如果非线性模型的未知 参数比较多，这种方法的计算量就很大。 • 比如，如果有四个参数，每个参数有10个不同 的取值。请计算需要考虑多少种组合
（3）对数函数模型
Yi ln X i i
（4）S-型曲线模型
Yi 1 e X i i
2 可线性化的非线性回归模型的线性化方法 （1）指数函数模型 Yi AebX i i
（2）冥函数模型
Yi AX1i X 2i X ki e
1 2 k i
0 1 1 1 2 k 2 2 1 2 k p p 1 2 k
1 1
2 2
4.2 线性化方法
1 非标准线性回归模型的线性化方法-变量替换法 （1）多项式函数模型
Yi 0 1 X i 2 X i 2 k X ik i
（2）双曲线函数模型
1 1 i YI Xi
• 注意：在应用迭代线性化法时，迭代过 程有可能并不收敛。这是因为迭代过程 是否收敛往往与参数初始估计值的选择 有关，这时候我们应换一组参数估计值 再进行迭代。此外，迭代线性化法不能 保证残差平方和达到最小，它可能使残 差平方和收敛于某一局部极小值，而不 是真正的极小值。
直接优化法（Direct Optimization Method） • 这种方法是根据残差平方和极小化的必 要条件，对每个参数求偏导数，并令它 们等于零，然后求解参数。 • 由于求偏导数的方程组是非线性方程组， 计算上困难很大，所以这种方法很少被 人采用。
迭代线性化法（Iterative Linearzation Method） • 这种方法的基本思想是：首先通过泰勒 极数展开将模型的非线性函数在某一组 初始参数估计值附近线性化，然后对这 一线性化的函数应用普通最小二乘法， 得到一组新的参数估计值。接着是使非 线性函数在新的参数估计值附近线性化， 对新的线性化模型应用普通最小二乘法， 又得到一组新的参数估计值。
• 第三步， 将非线性函数f在这组新的参数估计 值 1,1, 2,1, p,1 附近作泰勒极数展开，线性化后得 到一个新的标准线性回归模型。对这个新的标准 线性回归模型再应用普通最小二乘法，又得到一 组新的最小二乘估计量 1,2 , 2,2 , p,2 • 重复这一过程一直到参数估计值收敛为止，既对 于预先给定的任意小的正数 0 ，不等式成立 为止。
0
• 在泰勒极数展开式*中，前两项就是非线 性函数f的一个线性近似。舍掉二阶和二 阶以上的高阶项，得*的线性近似
f Y f ( X 1 , X 2 , X k ; 1, 0 , 2, 0 , p , 0 ) ( i i ,0 ) i 1 i 0
• 例题，写出利用迭代线性化法估计下面 的非线性消费函数模型的具体步骤
C 0 1Y
2
4.3 案例分析
p
f f f Z1 , Z2 ,Zp p 0 1 0 2 0
• 得到
（#）
Y 1Z1 2 Z2 p Z p
• 第二步，对标准线性回归模型#式应用普 通最小二乘法估计未知参数。得到一组 新的最小二乘估计量 1,1, 2,1, p,1
第4章非线性回归模型的线性化
1 变量间的非线性关系 2 线性化方法 3 案例分析
4.1 变量间的非线性关系
对于非线性回归模型，按其形式和估计方法的不 同，可以分为三种类型： 1 非标准线性回归模型 Y 例： f ( X , X ,, X ) f ( X , X ,, X ) f ( X , X ,, X ) 2 可线性化的非线性回归模型 例： Y AK L e 3 不可线性化的非线性回归模型 x x 例： Y 0 1e 2e
• 不断重复上述过程，直至参数估计值收 敛为止。即l+1组参数估计值与第l组参数 估计值没有显著差别时为止。 • 这个方法的一个优点是计算效率比较高， 另一个优点是因为每一次迭代都是一次 线性回归，因此可以进行标准的显著性 检验、拟合优度检验等各种统计检验。
具体步骤
• 第一步， • 根据经济理论和历史统计资料，选定 ( , , ) 作为未知参数(1, , 2, , p, )的一组初始估计值。接 着将模型 Y f ( X1, X 2 , X k ; 1, 2 , p ) 中的非线 性函数f在这组初始估计值附近作泰勒极数展开， 得 （*）
p
• 移项整理后得到
p f f Y f ( X 1 , X 2 , X k ; 1, 0 , 2, 0 , p , 0 ) i , 0 i i 1 i 0 i 1 i 0 p
• 令
f Y Y f ( X 1 , X 2 , X k ; 1,0 , 2,0 , p , 0 ) i , 0 i 0 i 1
1, 0 2, 0 p,0
f Y f ( X 1 , X 2 , X k ; 1, 0 , 2, 0 , p , 0 ) ( i i,0 ) i 1 i 0
p
1 p p 2 f ( i i , 0 )( j j ,Байду номын сангаас0 ) 2 i 1 j 1 i j
3 不可线性化的非线性回归模型的线性化估计方法 （1）直接搜索法 （2）直接优化法 （3）迭代线性化法
直接搜索法（Direct Search Method）
• 这种方法是将模型的参数的每一个参数都选择 一组数值，然后将所有可能的参数值组合代入 方程，使残差平方和达到最小的那一组参数值 组合，就作为未知参数值的估计值。 • 如果非线性模型只有一个或两个未知参数，这 种方法可能比较有效。如果非线性模型的未知 参数比较多，这种方法的计算量就很大。 • 比如，如果有四个参数，每个参数有10个不同 的取值。请计算需要考虑多少种组合
（3）对数函数模型
Yi ln X i i
（4）S-型曲线模型
Yi 1 e X i i
2 可线性化的非线性回归模型的线性化方法 （1）指数函数模型 Yi AebX i i
（2）冥函数模型
Yi AX1i X 2i X ki e
1 2 k i
0 1 1 1 2 k 2 2 1 2 k p p 1 2 k
1 1
2 2
4.2 线性化方法
1 非标准线性回归模型的线性化方法-变量替换法 （1）多项式函数模型
Yi 0 1 X i 2 X i 2 k X ik i
（2）双曲线函数模型
1 1 i YI Xi