多元回归与多项式回归
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
思考题及作业
1、何谓偏回归及偏相关系数、通径系数、及决定系数？ 2、求解求逆紧凑法的公式有哪些性质？这些性质有何用处？ 3、试述偏相关系数、复相关系数及简单相关系数的区别？ 4、习题作业：《标准化综合测试题》第九章 1—4题
参考书 1．贵州农学院(主编).2001.《生物统计附试验设计》教材.中国农业出 版社. 172~197页 2．莫惠栋著.1992.农业试验统计.上海科学技术出版社.467~580页
b1
B
b2
b3
4 Y 4
3
AB=Y
（9—6）
其中：A为系数矩阵；B为所要解的偏回归系数的列向量；Y为正规方程组等号右
边的常数项的列向量。如果对方程（9—6）的两边都从左边乘以A的逆矩阵，即
A－1，我们可得
A－1AB=A－1Y
（9—7）
∵A－1A=E，EB=B。这里E是单位矩阵，它是一个特别重要的对称矩阵，它的
线性回归是最基本的回归关系。这里介绍的多元回归，也是多元线性回归。 多元线性回归与一元线性回归的原理完全相同，只是计算方法比较复杂而已。
一、配置多元回归方程的一般方法
设y为一依变量，它受xl、x2、x3……xm的m个自变量的影响，我们可以在它 们之间配置一个线性回归方程如下：
yˆ =b0+b1x1+b2x2+b3x3+……bmxm
b1、b2、b3…bm还是利用最小二乘法来确定，即选取这样的b1、b2、b3…bm，使 离回归平方和（剩余平方和）。
SSE=SS离回归=∑(y－ yˆ)2 =∑[y－(b0+b1x1+b2x2+b3x3+……bmxm)]2
达：到极小S值S1。b1用 S求P1偏2b2微分SP的13b方3 法可得出SPb11m、bmb2、SbP13…y bm必须满足下列正规方程
SS1b1 SP12b2 SP1y SP21b1 SS2b2 SP2 y
SS1 SP21
SP12 SS2
SS1SS2 SP122
SS1y SP12
SP2 y SS2
b1
SS1y SS2 SP12 SP2 y SS1SS2 SP122
SS1 SP1y
b2
SP21 SS2 y
主对角线上元素都等于1，而对角线以外的元素都等于0。
单位矩阵的性质相当于一般数学中的1。∴方程（9－7）可变为：
B=A－1Y
（9—8）
当我们算出了A的逆矩阵（A－1）代入（9—8），即可得方程b的解。对于例2
资料，由于其系数矩阵的逆矩阵为：
a11 a12 a13 1 c11 c12 c13 *
A1 a21 a22
SS1SP2 y SP1y SP12 SS1SS2 SP122
（9—4） （9—5）
例1．
53bb11
5b2 2b2
26 18
26 2 518 b1 3 2 52 2
318 5 26 b2 3 2 52 4
当需要解三元或三元以上方程组时，则用以下计算方法。目前最为流行的是求
SP21b1 SS2b2 SP23b3 SP2mbm SP2 y
SP31b1 SP32b2 SS3b3 SP3mbm SP3y
(9—3)
上述方程S组Sm的1b1系 S数Pm项2b，2 按SP主m3b对3 角线上为SS各mb变m 量S的Pmy离均差平方和，SS1、SS2、 SS3……SSm。其余则为各自变量两两相互的离均差乘积和，并依主对角线为轴左 右对称相等（SPij=SPji），常数项为各自变量同依变量y的离均差乘积和，SP1y， SP2y，SP3y……SPmy。
a
23
c21
c 22
第一节 多元回归与多元相关
1、阐述多元回归的概念 2、重点介绍正规方程组的解法
世界上的事情是复杂的，生物现象尤其这样。在生物现象中，变量与变量的关 系往往不是简单的一对一的关系，而是很多变量相互之间都有关联。在极大多数 的实际问题中，一个变量不是受一个而是受多个变量的影响。要研究一个依变量 与多个自变量间的关系，就需要用多元回归分析和多元相关分析的方法。
10b1 7b2 4b3 4
例2． 7b1 7b2 3b3 4
4b1 3b2 4b3 3
这些方程用矩阵的形式表示为：
10 7 4 b1 4
7
7
3
b2
4Leabharlann Baidu
4 3 4 b3 3
或记为
a11 a12 a13 10 7 4
A a21
a 22
a 23
7
7
3
a31 a32 a33 4 3 4
（9—1）
其中b0为常数项， b0 y b1x1 b2x2 b3x3 bmxm
（9—2）
b1、b2、b3…bm为y对xl、x2、x3…xm的偏回归系数。b1=by1.2，3……m，b2=by2.1，3……m， b3=by3.1，2……m，……，bm=bym.1，2，3……(m－1)。b1=by1.2，3……m表示当x2、x3……xm诸 变量都固定时，自变量xl变化一个单位而使依变量y平均改变的值，这就是y对x1 的偏回归系数，或称为回归系数。其余各偏回归系数都具有相应的含义。
第九章 多元回归与多项式回归
学习要求
了解多元回归、偏相关系数、通径分析、多项式回归的概念；理解多 元回归、多项式回归关系的显著性检验及准确度测定的意义；掌握正 规方程组求解求逆紧凑法的步骤及建立最优回归方程、通径分析方法。
重点与难点
重点：涉及本章统计量的含义，建立最优回归方程及通径分析方法 难点：求解求逆紧凑法的应用
解求逆紧凑法。
2．消元法 消元法求解的原理是利用乘或除法使方程组中两方程式的同一项具
有相同的系数，然后将此两式相加或相减使该项系数为零，从而消去一元。逐次
消元，最后得一方程及各元之解（略）。
以上两种方法都无求逆过程，而逆矩阵元素是偏回归系数显著性检验所不可缺 少的。故以上两种方法不常用。
3．矩阵法 正规方程组的求解可用矩阵法来进行。
解这个正规方程组，即得b1、b2、b3…bm代入公式9—2求得b0，再一起代人公 式9—1，就得到多元归归方程。
二、正规方程组的解法
正规方程组的解法，与一般方程组的解法相同，已在一般数学教科书中介绍过 ，如行列式法、消元法等。本章将重点介绍求解求逆紧凑法。
1、行列式法 常用于解低元的正规方程组。如二元正规方程组：
1、何谓偏回归及偏相关系数、通径系数、及决定系数？ 2、求解求逆紧凑法的公式有哪些性质？这些性质有何用处？ 3、试述偏相关系数、复相关系数及简单相关系数的区别？ 4、习题作业：《标准化综合测试题》第九章 1—4题
参考书 1．贵州农学院(主编).2001.《生物统计附试验设计》教材.中国农业出 版社. 172~197页 2．莫惠栋著.1992.农业试验统计.上海科学技术出版社.467~580页
b1
B
b2
b3
4 Y 4
3
AB=Y
（9—6）
其中：A为系数矩阵；B为所要解的偏回归系数的列向量；Y为正规方程组等号右
边的常数项的列向量。如果对方程（9—6）的两边都从左边乘以A的逆矩阵，即
A－1，我们可得
A－1AB=A－1Y
（9—7）
∵A－1A=E，EB=B。这里E是单位矩阵，它是一个特别重要的对称矩阵，它的
线性回归是最基本的回归关系。这里介绍的多元回归，也是多元线性回归。 多元线性回归与一元线性回归的原理完全相同，只是计算方法比较复杂而已。
一、配置多元回归方程的一般方法
设y为一依变量，它受xl、x2、x3……xm的m个自变量的影响，我们可以在它 们之间配置一个线性回归方程如下：
yˆ =b0+b1x1+b2x2+b3x3+……bmxm
b1、b2、b3…bm还是利用最小二乘法来确定，即选取这样的b1、b2、b3…bm，使 离回归平方和（剩余平方和）。
SSE=SS离回归=∑(y－ yˆ)2 =∑[y－(b0+b1x1+b2x2+b3x3+……bmxm)]2
达：到极小S值S1。b1用 S求P1偏2b2微分SP的13b方3 法可得出SPb11m、bmb2、SbP13…y bm必须满足下列正规方程
SS1b1 SP12b2 SP1y SP21b1 SS2b2 SP2 y
SS1 SP21
SP12 SS2
SS1SS2 SP122
SS1y SP12
SP2 y SS2
b1
SS1y SS2 SP12 SP2 y SS1SS2 SP122
SS1 SP1y
b2
SP21 SS2 y
主对角线上元素都等于1，而对角线以外的元素都等于0。
单位矩阵的性质相当于一般数学中的1。∴方程（9－7）可变为：
B=A－1Y
（9—8）
当我们算出了A的逆矩阵（A－1）代入（9—8），即可得方程b的解。对于例2
资料，由于其系数矩阵的逆矩阵为：
a11 a12 a13 1 c11 c12 c13 *
A1 a21 a22
SS1SP2 y SP1y SP12 SS1SS2 SP122
（9—4） （9—5）
例1．
53bb11
5b2 2b2
26 18
26 2 518 b1 3 2 52 2
318 5 26 b2 3 2 52 4
当需要解三元或三元以上方程组时，则用以下计算方法。目前最为流行的是求
SP21b1 SS2b2 SP23b3 SP2mbm SP2 y
SP31b1 SP32b2 SS3b3 SP3mbm SP3y
(9—3)
上述方程S组Sm的1b1系 S数Pm项2b，2 按SP主m3b对3 角线上为SS各mb变m 量S的Pmy离均差平方和，SS1、SS2、 SS3……SSm。其余则为各自变量两两相互的离均差乘积和，并依主对角线为轴左 右对称相等（SPij=SPji），常数项为各自变量同依变量y的离均差乘积和，SP1y， SP2y，SP3y……SPmy。
a
23
c21
c 22
第一节 多元回归与多元相关
1、阐述多元回归的概念 2、重点介绍正规方程组的解法
世界上的事情是复杂的，生物现象尤其这样。在生物现象中，变量与变量的关 系往往不是简单的一对一的关系，而是很多变量相互之间都有关联。在极大多数 的实际问题中，一个变量不是受一个而是受多个变量的影响。要研究一个依变量 与多个自变量间的关系，就需要用多元回归分析和多元相关分析的方法。
10b1 7b2 4b3 4
例2． 7b1 7b2 3b3 4
4b1 3b2 4b3 3
这些方程用矩阵的形式表示为：
10 7 4 b1 4
7
7
3
b2
4Leabharlann Baidu
4 3 4 b3 3
或记为
a11 a12 a13 10 7 4
A a21
a 22
a 23
7
7
3
a31 a32 a33 4 3 4
（9—1）
其中b0为常数项， b0 y b1x1 b2x2 b3x3 bmxm
（9—2）
b1、b2、b3…bm为y对xl、x2、x3…xm的偏回归系数。b1=by1.2，3……m，b2=by2.1，3……m， b3=by3.1，2……m，……，bm=bym.1，2，3……(m－1)。b1=by1.2，3……m表示当x2、x3……xm诸 变量都固定时，自变量xl变化一个单位而使依变量y平均改变的值，这就是y对x1 的偏回归系数，或称为回归系数。其余各偏回归系数都具有相应的含义。
第九章 多元回归与多项式回归
学习要求
了解多元回归、偏相关系数、通径分析、多项式回归的概念；理解多 元回归、多项式回归关系的显著性检验及准确度测定的意义；掌握正 规方程组求解求逆紧凑法的步骤及建立最优回归方程、通径分析方法。
重点与难点
重点：涉及本章统计量的含义，建立最优回归方程及通径分析方法 难点：求解求逆紧凑法的应用
解求逆紧凑法。
2．消元法 消元法求解的原理是利用乘或除法使方程组中两方程式的同一项具
有相同的系数，然后将此两式相加或相减使该项系数为零，从而消去一元。逐次
消元，最后得一方程及各元之解（略）。
以上两种方法都无求逆过程，而逆矩阵元素是偏回归系数显著性检验所不可缺 少的。故以上两种方法不常用。
3．矩阵法 正规方程组的求解可用矩阵法来进行。
解这个正规方程组，即得b1、b2、b3…bm代入公式9—2求得b0，再一起代人公 式9—1，就得到多元归归方程。
二、正规方程组的解法
正规方程组的解法，与一般方程组的解法相同，已在一般数学教科书中介绍过 ，如行列式法、消元法等。本章将重点介绍求解求逆紧凑法。
1、行列式法 常用于解低元的正规方程组。如二元正规方程组：