第九章多元回归与多项式回归
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第九章 多元回归与多项式回归
学习要求
了解多元回归、偏相关系数、通径分析、多项式回归的概念；理解多 元回归、多项式回归关系的显著性检验及准确度测定的意义；掌握正 规方程组求解求逆紧凑法的步骤及建立最优回归方程、通径分析方法。
重点与难点
重点：涉及本章统计量的含义，建立最优回归方程及通径分析方法 难点：求解求逆紧凑法的应用
（9—4）
（9—5）
3b1 5b2 26 例1． 5b1 2b2 18
3 2 5 3 2 5 当需要解三元或三元以上方程组时，则用以下计算方法。目前最为流行的是求 解求逆紧凑法。 2．消元法 消元法求解的原理是利用乘或除法使方程组中两方程式的同一项具 有相同的系数，然后将此两式相加或相减使该项系数为零，从而消去一元。逐次 消元，最后得一方程及各元之解（略）。
这些方程用矩阵的形式表示为：
10 7 4 7 7 3 4 3 4 b1 4 b 4 2 b3 3
a13 10 7 4 a 23 7 7 3 a 33 4 3 4
式中： l —变换的次数，a(l+1)—变换 l 次后的元素，a(l)—变换 l 次时的元素， k—每次变换的主行列标号，akk—变换行主单元的元素，i—元素a的行标，j—元 素a的列标。9.1式用于变换主行（k）主元素的变换；9.2式用于变换主行除主元 素外其它元素的变换；9.3式用于变换主列（k）除主元素外其它元素的变换； 9.4式用于除变换主行主列元素外其它各元素的变换。
2 2
b1
26 2 5 18
2
b2
3 18 5 26
4
以上两种方法都无求逆过程，而逆矩阵元素是偏回归系数显著性检验所不可缺 少的。故以上两种方法不常用。 3．矩阵法 正规方程组的求解可用矩阵法来进行。
10b1 7b2 4b3 4 例2． 7b1 7b2 3b3 4 4b 3b 4b 3 2 3 1
（9—2） b1、b2、b3…bm为y对xl、x2、x3…xm的偏回归系数。b1=by1.2，3……m，b2=by2.1，3……m， b3=by3.1，2……m，……，bm=bym.1，2，3……(m－1)。b1=by1.2，3……m表示当x2、x3……xm诸 变量都固定时，自变量xl变化一个单位而使依变量y平均改变的值，这就是y对x1 的偏回归系数，或称为回归系数。其余各偏回归系数都具有相应的含义。
当l=1，k=2，i=1、3，j=1、3、4时，应用9—9公式可将A(1) 变换成A(2)
A (1) 0.1 0.7 0.4 0.4 0 . 7 2 . 1 0 . 2 1 .2 0.4 0.2 2.4 1.4
m估计标准误离回归标准误q离回归平方和m自变量数cij高斯乘数即逆矩阵主对角线元素n变量数据数仍以实例为例由前计算已知110001187220001671330089707q450184n54所以dfnm154315028422f检验f检验需要求出各偏回归均方然后与离回归均方进行比较求出fmsbimsnm1i12m917在多元线性回归中回归平方和u表示所有自变量对y平方和的总影响某一自变最的偏回归平方和表示该自变量对y平方和的影响所以我们可以用取消该自变量后回归平方和的减少数值表示该自变量的偏回归平方和
求解求逆紧凑法是在采用矩阵法时却省去了单位矩阵，而将单位 矩阵处的计算结果前移到系数矩阵的位置，而不是附在系数矩阵后。 即在系数矩阵后仍附常数项的列向量，成为一个增广矩阵后用轮消 法消元。最后在系数矩阵处得逆矩阵元素，常数项不变仍为各元之 解。
求解求逆紧凑法的应用步骤
仍以例2资料为例，说明其紧凑法求解求逆计算 （1）列出增广矩阵
如：当 l =0，k=1，i=2、3，j=2、3、4时，应用9—9公式可将A(0) 变换成A(1) 10 7 4 4 0.1 0.7 0.4 0.4 A ( 0) 7 7 3 4 → A (1) 0.7 2.1 0.2 1.2 4 3 4 3 0.4 0.2 2.4 1.4 其中各元素的变换是： ①按9.1式将A(0)中待变换的主元素10取倒数得：1/10=0.1 ②按9.2式将A(0)中待变换主行(k=1)除10外，其它元素均被主元素10除得： 7/10=0.7、4/10=0.4、4/10=0.4 ③按9.3式将A(0)中待变换主列(k=1)除10外，其它元素均被主元素10除后改变符 号 得： －7/10=－0.7、－4/10=－0.4 ④按9.4式将A(0)中除主行主列外，其它各元素的变换是：用该元素减去同行同 列中位于与主元素(10)相对应的两元素相乘后被主元素(10)除所得的差。如：i =2， j=2、3、4时，元素7、3、4同行中位于与主元素(10)相对应的元素均为7，同列中 位于与主元素(10)相对应的元素分别为7、4、4。则： 7－7×7/10=2.1 3－7×4/10=0.2 4－7×4/10=1.2 类似地，当i =3，j=2、3、4时，A(0)中元素3、4、3可变换成： 3－4×7/10=0.2 4－4×4/10=2.4 3－4×4/10=1.4
正规方程组的解法，与一般方程组的解法相同，已在一般数学教科书中介绍过 ，如行列式法、消元法等。本章将重点介绍求解求逆紧凑法。
1、行列式法 常用于解低元的正规方程组。如二元正规方程组：
SS1b1 SP b2 SP y 12 1 SP21b1 SS2 b2 SP2 y
SS1 SP21
SP 12 SS1 SS2 SP 2 12 SS2
SS1 y b1 SP2 y
SS1 b2 SP21
SP 12 SS2
SP y 1 SS 2 y SS1 SP2 y SP y SP 1 12 SS1 SS 2 SP 2 12
SS1 y SS2 SP SP2 y 12 SS1 SS2 SP 2 12
A 1 a11 a 21 a 31 a12 a 22 a 32
1
a13 a 23 a 33
1
c11 c 21 c 31
c12 c 22 c 32
c13 c 23Байду номын сангаас c 33
*
10 7 4 0.380 0.320 0.141 A 即： 1 7 7 3 0.320 0.480 0.040 4 3 4 0.141 0.040 0.423 代入方程（9—8）得：
A( 0 )
a11 a21 a31
a12
a13
a22 a32
a23 a33
a14 10 7 4 4 a24 7 7 3 4 a34 4 3 4 3
9.1 ( j k) (i k ) (i、j k） 9.2 9.3 9.4
b1、b2、b3…bm还是利用最小二乘法来确定，即选取这样的b1、b2、b3…bm，使 离回归平方和（剩余平方和）。 ˆ SSE=SS离回归=∑(y－ y)2 =∑[y－(b0+b1x1+b2x2+b3x3+……bmxm)]2 达到极小值。用求偏微分的方法可得出b1、b2、b3…bm必须满足下列正规方程 SS1b1 SP b2 SP b3 SPm bm SP y 12 13 1 1 ： 21 23 2 2 SP b1 SS2b2 SP b3 SP mbm SP y (9—3) SP b1 SP b2 SS3b3 SP mbm SP y 31 32 3 3 SSm1b1 SP 2b2 SP 3b3 SSm bm SP m m my 上述方程组的系数项，按主对角线上为各变量的离均差平方和，SS1 、SS2 、 SS3……SSm。其余则为各自变量两两相互的离均差乘积和，并依主对角线为轴左 右对称相等（SPij=SPji），常数项为各自变量同依变量y的离均差乘积和，SP1y， SP2y，SP3y……SPmy。 解这个正规方程组，即得b1、b2、b3…bm代入公式9—2求得b0，再一起代人公 式9—1，就得到多元归归方程。 二、正规方程组的解法
或记为
a11 A a 21 a 31 a12 a 22 a 32
b1 B b2 b3
4 Y 4 3
AB=Y （9—6） 其中：A为系数矩阵；B为所要解的偏回归系数的列向量；Y为正规方程组等号右 边的常数项的列向量。如果对方程（9—6）的两边都从左边乘以A的逆矩阵，即 A－1，我们可得 A－1AB=A－1Y （9—7）
b1 0.380 0.320 0.141 b 0.320 0.480 0.040 2 b3 0.141 0.040 0.423 4 4 3
注 *逆矩阵一般用C表示（C=A－1），故其元素用cij表示，亦具有对称性，它在统计学中常 称之为高斯乘数。由矩阵法求解，常称之高斯解法。
∵A－1A=E，EB=B。这里E是单位矩阵，它是一个特别重要的对称矩阵，它的 主对角线上元素都等于1，而对角线以外的元素都等于0。 单位矩阵的性质相当于一般数学中的1。∴方程（9－7）可变为： B=A－1Y （9—8） 当我们算出了A的逆矩阵（A－1）代入（9—8），即可得方程b的解。对于例2 资料，由于其系数矩阵的逆矩阵为：
第一节 多元回归与多元相关
1、阐述多元回归的概念 2、重点介绍正规方程组的解法 世界上的事情是复杂的，生物现象尤其这样。在生物现象中，变量与变量的关 系往往不是简单的一对一的关系，而是很多变量相互之间都有关联。在极大多数 的实际问题中，一个变量不是受一个而是受多个变量的影响。要研究一个依变量 与多个自变量间的关系，就需要用多元回归分析和多元相关分析的方法。 线性回归是最基本的回归关系。这里介绍的多元回归，也是多元线性回归。 多元线性回归与一元线性回归的原理完全相同，只是计算方法比较复杂而已。 一、配置多元回归方程的一般方法 设y为一依变量，它受xl、x2、x3……xm的m个自变量的影响，我们可以在它 们之间配置一个线性回归方程如下： ˆ y =b0+b1x1+b2x2+b3x3+……bmxm （9—1） 其中b0为常数项， b0 y b1 x1 b2 x2 b3 x3 bm xm
即： b1=0.380×4+(－0.320)×4+(－0.141)×3=－0.181 b2=(－0.320)×4+0.480×4+(－0.040)×3=0.519 b3=(－0.141)×4+(－0.040)×4+0.423×3=0.541 关于逆矩阵的计算，我们仍可用消元法中的轮消法来求逆矩阵元 素。其方法是在系数矩阵后附单位矩阵而不是附常数项的列向量。 求得逆矩阵元素（cij ）后，即可将其乘常数项的列向量而求解， 如前述。由于求解求逆的工作量较大，特别是在具有较多的元时。 因此一般用计算机同时进行求解求逆，考虑到节省计算机的内存数 ，故目多采用的是求解求逆紧凑法。 4．求解求逆紧凑法
（2）应用下列公式（紧凑式轮消法）对各元素进行变换
a (l 1) kk1) (l a kj (l 1) a ik a (l 1) ij
(l 1 a kk) (l (l a kj) a kk) (l (l a ik ) a kk) ( (l (l (l a ijl ) a ik ) a kj) a kk)
思考题及作业
1、何谓偏回归及偏相关系数、通径系数、及决定系数？ 2、求解求逆紧凑法的公式有哪些性质？这些性质有何用处？ 3、试述偏相关系数、复相关系数及简单相关系数的区别？ 4、习题作业：《标准化综合测试题》第九章 1—4题 参考书 1．贵州农学院(主编).2001.《生物统计附试验设计》教材.中国农业出 版社. 172~197页 2．莫惠栋著.1992.农业试验统计.上海科学技术出版社.467~580页
学习要求
了解多元回归、偏相关系数、通径分析、多项式回归的概念；理解多 元回归、多项式回归关系的显著性检验及准确度测定的意义；掌握正 规方程组求解求逆紧凑法的步骤及建立最优回归方程、通径分析方法。
重点与难点
重点：涉及本章统计量的含义，建立最优回归方程及通径分析方法 难点：求解求逆紧凑法的应用
（9—4）
（9—5）
3b1 5b2 26 例1． 5b1 2b2 18
3 2 5 3 2 5 当需要解三元或三元以上方程组时，则用以下计算方法。目前最为流行的是求 解求逆紧凑法。 2．消元法 消元法求解的原理是利用乘或除法使方程组中两方程式的同一项具 有相同的系数，然后将此两式相加或相减使该项系数为零，从而消去一元。逐次 消元，最后得一方程及各元之解（略）。
这些方程用矩阵的形式表示为：
10 7 4 7 7 3 4 3 4 b1 4 b 4 2 b3 3
a13 10 7 4 a 23 7 7 3 a 33 4 3 4
式中： l —变换的次数，a(l+1)—变换 l 次后的元素，a(l)—变换 l 次时的元素， k—每次变换的主行列标号，akk—变换行主单元的元素，i—元素a的行标，j—元 素a的列标。9.1式用于变换主行（k）主元素的变换；9.2式用于变换主行除主元 素外其它元素的变换；9.3式用于变换主列（k）除主元素外其它元素的变换； 9.4式用于除变换主行主列元素外其它各元素的变换。
2 2
b1
26 2 5 18
2
b2
3 18 5 26
4
以上两种方法都无求逆过程，而逆矩阵元素是偏回归系数显著性检验所不可缺 少的。故以上两种方法不常用。 3．矩阵法 正规方程组的求解可用矩阵法来进行。
10b1 7b2 4b3 4 例2． 7b1 7b2 3b3 4 4b 3b 4b 3 2 3 1
（9—2） b1、b2、b3…bm为y对xl、x2、x3…xm的偏回归系数。b1=by1.2，3……m，b2=by2.1，3……m， b3=by3.1，2……m，……，bm=bym.1，2，3……(m－1)。b1=by1.2，3……m表示当x2、x3……xm诸 变量都固定时，自变量xl变化一个单位而使依变量y平均改变的值，这就是y对x1 的偏回归系数，或称为回归系数。其余各偏回归系数都具有相应的含义。
当l=1，k=2，i=1、3，j=1、3、4时，应用9—9公式可将A(1) 变换成A(2)
A (1) 0.1 0.7 0.4 0.4 0 . 7 2 . 1 0 . 2 1 .2 0.4 0.2 2.4 1.4
m估计标准误离回归标准误q离回归平方和m自变量数cij高斯乘数即逆矩阵主对角线元素n变量数据数仍以实例为例由前计算已知110001187220001671330089707q450184n54所以dfnm154315028422f检验f检验需要求出各偏回归均方然后与离回归均方进行比较求出fmsbimsnm1i12m917在多元线性回归中回归平方和u表示所有自变量对y平方和的总影响某一自变最的偏回归平方和表示该自变量对y平方和的影响所以我们可以用取消该自变量后回归平方和的减少数值表示该自变量的偏回归平方和
求解求逆紧凑法是在采用矩阵法时却省去了单位矩阵，而将单位 矩阵处的计算结果前移到系数矩阵的位置，而不是附在系数矩阵后。 即在系数矩阵后仍附常数项的列向量，成为一个增广矩阵后用轮消 法消元。最后在系数矩阵处得逆矩阵元素，常数项不变仍为各元之 解。
求解求逆紧凑法的应用步骤
仍以例2资料为例，说明其紧凑法求解求逆计算 （1）列出增广矩阵
如：当 l =0，k=1，i=2、3，j=2、3、4时，应用9—9公式可将A(0) 变换成A(1) 10 7 4 4 0.1 0.7 0.4 0.4 A ( 0) 7 7 3 4 → A (1) 0.7 2.1 0.2 1.2 4 3 4 3 0.4 0.2 2.4 1.4 其中各元素的变换是： ①按9.1式将A(0)中待变换的主元素10取倒数得：1/10=0.1 ②按9.2式将A(0)中待变换主行(k=1)除10外，其它元素均被主元素10除得： 7/10=0.7、4/10=0.4、4/10=0.4 ③按9.3式将A(0)中待变换主列(k=1)除10外，其它元素均被主元素10除后改变符 号 得： －7/10=－0.7、－4/10=－0.4 ④按9.4式将A(0)中除主行主列外，其它各元素的变换是：用该元素减去同行同 列中位于与主元素(10)相对应的两元素相乘后被主元素(10)除所得的差。如：i =2， j=2、3、4时，元素7、3、4同行中位于与主元素(10)相对应的元素均为7，同列中 位于与主元素(10)相对应的元素分别为7、4、4。则： 7－7×7/10=2.1 3－7×4/10=0.2 4－7×4/10=1.2 类似地，当i =3，j=2、3、4时，A(0)中元素3、4、3可变换成： 3－4×7/10=0.2 4－4×4/10=2.4 3－4×4/10=1.4
正规方程组的解法，与一般方程组的解法相同，已在一般数学教科书中介绍过 ，如行列式法、消元法等。本章将重点介绍求解求逆紧凑法。
1、行列式法 常用于解低元的正规方程组。如二元正规方程组：
SS1b1 SP b2 SP y 12 1 SP21b1 SS2 b2 SP2 y
SS1 SP21
SP 12 SS1 SS2 SP 2 12 SS2
SS1 y b1 SP2 y
SS1 b2 SP21
SP 12 SS2
SP y 1 SS 2 y SS1 SP2 y SP y SP 1 12 SS1 SS 2 SP 2 12
SS1 y SS2 SP SP2 y 12 SS1 SS2 SP 2 12
A 1 a11 a 21 a 31 a12 a 22 a 32
1
a13 a 23 a 33
1
c11 c 21 c 31
c12 c 22 c 32
c13 c 23Байду номын сангаас c 33
*
10 7 4 0.380 0.320 0.141 A 即： 1 7 7 3 0.320 0.480 0.040 4 3 4 0.141 0.040 0.423 代入方程（9—8）得：
A( 0 )
a11 a21 a31
a12
a13
a22 a32
a23 a33
a14 10 7 4 4 a24 7 7 3 4 a34 4 3 4 3
9.1 ( j k) (i k ) (i、j k） 9.2 9.3 9.4
b1、b2、b3…bm还是利用最小二乘法来确定，即选取这样的b1、b2、b3…bm，使 离回归平方和（剩余平方和）。 ˆ SSE=SS离回归=∑(y－ y)2 =∑[y－(b0+b1x1+b2x2+b3x3+……bmxm)]2 达到极小值。用求偏微分的方法可得出b1、b2、b3…bm必须满足下列正规方程 SS1b1 SP b2 SP b3 SPm bm SP y 12 13 1 1 ： 21 23 2 2 SP b1 SS2b2 SP b3 SP mbm SP y (9—3) SP b1 SP b2 SS3b3 SP mbm SP y 31 32 3 3 SSm1b1 SP 2b2 SP 3b3 SSm bm SP m m my 上述方程组的系数项，按主对角线上为各变量的离均差平方和，SS1 、SS2 、 SS3……SSm。其余则为各自变量两两相互的离均差乘积和，并依主对角线为轴左 右对称相等（SPij=SPji），常数项为各自变量同依变量y的离均差乘积和，SP1y， SP2y，SP3y……SPmy。 解这个正规方程组，即得b1、b2、b3…bm代入公式9—2求得b0，再一起代人公 式9—1，就得到多元归归方程。 二、正规方程组的解法
或记为
a11 A a 21 a 31 a12 a 22 a 32
b1 B b2 b3
4 Y 4 3
AB=Y （9—6） 其中：A为系数矩阵；B为所要解的偏回归系数的列向量；Y为正规方程组等号右 边的常数项的列向量。如果对方程（9—6）的两边都从左边乘以A的逆矩阵，即 A－1，我们可得 A－1AB=A－1Y （9—7）
b1 0.380 0.320 0.141 b 0.320 0.480 0.040 2 b3 0.141 0.040 0.423 4 4 3
注 *逆矩阵一般用C表示（C=A－1），故其元素用cij表示，亦具有对称性，它在统计学中常 称之为高斯乘数。由矩阵法求解，常称之高斯解法。
∵A－1A=E，EB=B。这里E是单位矩阵，它是一个特别重要的对称矩阵，它的 主对角线上元素都等于1，而对角线以外的元素都等于0。 单位矩阵的性质相当于一般数学中的1。∴方程（9－7）可变为： B=A－1Y （9—8） 当我们算出了A的逆矩阵（A－1）代入（9—8），即可得方程b的解。对于例2 资料，由于其系数矩阵的逆矩阵为：
第一节 多元回归与多元相关
1、阐述多元回归的概念 2、重点介绍正规方程组的解法 世界上的事情是复杂的，生物现象尤其这样。在生物现象中，变量与变量的关 系往往不是简单的一对一的关系，而是很多变量相互之间都有关联。在极大多数 的实际问题中，一个变量不是受一个而是受多个变量的影响。要研究一个依变量 与多个自变量间的关系，就需要用多元回归分析和多元相关分析的方法。 线性回归是最基本的回归关系。这里介绍的多元回归，也是多元线性回归。 多元线性回归与一元线性回归的原理完全相同，只是计算方法比较复杂而已。 一、配置多元回归方程的一般方法 设y为一依变量，它受xl、x2、x3……xm的m个自变量的影响，我们可以在它 们之间配置一个线性回归方程如下： ˆ y =b0+b1x1+b2x2+b3x3+……bmxm （9—1） 其中b0为常数项， b0 y b1 x1 b2 x2 b3 x3 bm xm
即： b1=0.380×4+(－0.320)×4+(－0.141)×3=－0.181 b2=(－0.320)×4+0.480×4+(－0.040)×3=0.519 b3=(－0.141)×4+(－0.040)×4+0.423×3=0.541 关于逆矩阵的计算，我们仍可用消元法中的轮消法来求逆矩阵元 素。其方法是在系数矩阵后附单位矩阵而不是附常数项的列向量。 求得逆矩阵元素（cij ）后，即可将其乘常数项的列向量而求解， 如前述。由于求解求逆的工作量较大，特别是在具有较多的元时。 因此一般用计算机同时进行求解求逆，考虑到节省计算机的内存数 ，故目多采用的是求解求逆紧凑法。 4．求解求逆紧凑法
（2）应用下列公式（紧凑式轮消法）对各元素进行变换
a (l 1) kk1) (l a kj (l 1) a ik a (l 1) ij
(l 1 a kk) (l (l a kj) a kk) (l (l a ik ) a kk) ( (l (l (l a ijl ) a ik ) a kj) a kk)
思考题及作业
1、何谓偏回归及偏相关系数、通径系数、及决定系数？ 2、求解求逆紧凑法的公式有哪些性质？这些性质有何用处？ 3、试述偏相关系数、复相关系数及简单相关系数的区别？ 4、习题作业：《标准化综合测试题》第九章 1—4题 参考书 1．贵州农学院(主编).2001.《生物统计附试验设计》教材.中国农业出 版社. 172~197页 2．莫惠栋著.1992.农业试验统计.上海科学技术出版社.467~580页