集美大学-实用统计方法,信计专业

第一章：最小二乘估计、检验统计量 ●β的最小二乘估计：选择β时的误差项的平方和最小21()nTii S βεεε===∑，最后导出1()T T X X X Y β∧-=●β的最大释然估计：21122221221111()exp{()}exp{()}22(2)(2)ni i i n n j nnL Y X X S ββββσσπσπσ=-=-+=-∑也是使得()S β所以和上面相同。

【作业2】考虑回归模型：1122i i i i Y X X ββε=++， 1,2i n = 其中(1,2)i i n ε= 互不相关且()0i E ε=，2()i Var εσ= （1）求1β和2β的最小二乘估计（2）设2~(0,)i N εσ求1β，2β的极大似然估计，它们和（1）中的最小二乘估计是否相同？解：（1）最小二乘估计： 令12n Y Y Y Y ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ ，1121212212n n X X X X X X X ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ ，12βββ⎛⎫= ⎪⎝⎭，12n εεεε⎛⎫⎪⎪= ⎪ ⎪⎝⎭则该回归模型课简化为：Y X βε=+，要使误差项的平方和：2^22211221111()()()()()n n nTTi i ij j i i i i i j i S Y X Y X Y X Y X X βεεεβββββ=======--=-=-+∑∑∑∑达到最小，则分别对1β，2β求偏导并令其为0，得：211()2()0(1,2)n i ij j ik i j k S Y X X k δββδβ===--==∑∑即：2211111(),(1,2)nnniikijik j ij ik j i i j j i Y X XX X X k ββ========∑∑∑∑∑，即：T T X X X Y β=()()2T rank X X rank X == ，1()T X X -∴存在所以解正规方程即得：12βββ⎛⎫= ⎪⎝⎭的最小二乘估计112()T T X X X Y βββ∧∧-∧⎛⎫ ⎪== ⎪ ⎪⎝⎭，即为所求。

（2）2~(0,)i N εσ ，则(1,2)i Y i n = 相互独立，且21122~(,)i i i Y N X X ββσ+ 所以12(,,)Tn Y Y Y Y = 的似然函数为：21122221221111()exp{()}exp{()}22(2)(2)ni i i n n j nnL Y X X S ββββσσπσπσ=-=-+=-∑求β∧使()L β达最大，即使()S β达最小，1()TTX X X Y β∧-= 即1β，2β的极大似然估计和（1）中最小二乘估计相同【作业6】在某水源问题的研究中，考虑下述回归模型：01122312,1,2i i i i i i Y X X X X i n βββββε=++++=写出下列情况下的约简模型，检验统计量及检验准则：（1）340ββ==（3）125ββ==解：（1）约简模型01122(1,2)i i i i Y X X i n βββε=+++= ，检验统计量()()()R FFSSE R SSE F f f F SSE F f --=1212343412()()(,)(,,,)(,|,)SSE R SSE F SSE x x SSE x x x x SSR x x x x -=-= 3R f n =-，5F f n =-，34123412(,|,)(,|,)225SSR x x x x SSR x x x x F SSE MSE n ==-， 检验准则：检验假设034134:0:H H ββββ==⎧⎨≠⎩，给定显著性水平α，则0000(2,5),(2,5),F F F n H F F F n H αα≤-⎧⎨>-⎩若的观测值接受若的观测值拒绝（2）因为125ββ==，所以约简模型：0123125)i i i Y X X X X βββε=++++（1203125)(1,2)i i i Y X X X X i n βββε-+=++= （检验统计量1203125)(1,2)i i iY X X X X i n βββε-+=++= （3R f n =-，5F f n =-，()()()()~(2,5)()R F FSSE R SSE F f f SSE R SSE F F F n SSE F MSF f ---==- 假设检验012112:5:H H ββββ==⎧⎨≠⎩，则0000(2,5),(2,5),F F F n H F F F n H αα≤-⎧⎨>-⎩若的观测值接受若的观测值拒绝第二章：● 1.主成分分析：11122122(,)(,)(,)(,)Cov X X Cov X X Cov X X Cov X X ⎛⎫∑= ⎪⎝⎭，(,)ij Cov X X ρ=方法：①由协方差矩阵求特征值；②正交单位化特征向量i e （将特征值代入，算出X ，可以得到关系式，再加上22121X X ++= ）③各个主成分就是T i i Y e X =；④第一主成分即为最大λ除以λ总和● 2.相关矩阵：另外，在各个变量方差差别太大的情况下，需要将协方差矩阵∑转换成相关矩阵ρ【作业1】设总体()12TX X X =的协方差矩阵为5222E ⎛⎫= ⎪⎝⎭，求X 的主成分1Y 和2Y 并计算第一主成分1Y 的贡献率解：设特征值为λ，52022λλ-∴=-，得126,1λλ==，相应的特征向量155Te ⎛= ⎝⎭，255Te ⎛=- ⎝⎭因此X的主成分1112T Y e X X X ==，2212T Y e X X X ==- ，第一主成分的贡献率为661+=85.7% 【作业2】变换协方差矩阵5222⎛⎫∑=⎪⎝⎭为相关矩阵ρ （1）求其标准化变量的主成分*1Y 和*2Y 及第一主成分*1Y 的贡献率；（2）与第一题中的结果作比较有什么差异？ （3）计算*1Y 与*1X ，*1Y 与*2X 及*2Y 与*1X 之间的相关系数，其中*1X 与*2X 为1X 与2X 的标准化变量，这些量有何统计意义？解：（1）11115ρ⎛⎛⎪== ⎪⎪⎪ ⎪⎭⎝⎭得其特征值及其相应的正交单位化特征向量：*115λ=+，得*1Te =⎝⎭，*215λ=-，*2Te =⎝⎭则*X的两个主成分：)()***112112212Y X X X X μμ==-+-)()***2121122122102Y X X X X μμ=-=---，第一主成分的贡献率为：1581.6%2+=（2）第一主成分的贡献率有所下降，且1X ，2X2和2，即2X 的相对重要性得到提升********112112211111())()2(,)()12222Var Y Var X X Var X X X Var X λ=+=++===********212112221111())()2(,)()12222Var Y Var X X Var X X X Var X λ==-+===*********111211112(,)(,)(,)(,)222222510Cov Y X Cov X X X X X X X =+=+=+⋅=*****12122(,)(,)2222510Cov Y X Cov X X X =+=+=*****21121(,)(,)2222Cov Y X Cov X X X =-=-=**11**,Y X ρ∴==**12**,YX ρ==**21**,Y Xρ==统计意义：它反应了变量之间的相关程度，因为*1Y是第一主成分，所以相关度比较高第三章：距离判别和Bayes判别1.距离判别：①计算样本均值()()11k nk kk iikx xnμ∧====∑②协方差矩阵()()()()11()()1knk k k k Ti ikikS x x x xn==---∑③无偏估计112212(1)(1)2n S n Sn n∧∧-+-∑=+-④判断1∑是否等于2∑，得出判别函数W（x）分以下两种情况：若不等()()()()11212211()T TW x x x x xμμμμ--=-∑---∑-，若相等112()TW x xμμμ∧∧∧-⎛⎫⎛⎫=-∑-⎪⎪⎝⎭⎝⎭注：这里需要求逆矩阵：用矩阵行变换1A I I A-⋅=⋅2.Bayes判别：概率密度函数：1()f x和2()f x，先验概率分布为12,q q误判损失为(2|1),(1|2)c c，则判别函数为：1212112221()(1|2),()(2|1)()(1|2),()(2|1)f x q cx Gf x q cf x q cx Gf x q c⎧∈≥⎪⎪⎨⎪∈<⎪⎩若若【作业1】设1G2G为两个二维总体，从中分别抽取容量为3的训练样本如下：12137:2447x xG，12269:5748x xG（1）求两样本的样本均值向量(1)(2),x x和样本协方差矩阵1S2S；（2）假定两总体协方差矩阵相等，记为∑，用1S2S联合估计∑；（3）建立距离判别法的判别准则；（4）设有一新样品()012,(2,7)T Tx x x==，利用（3）中判别准则判定它属于哪一个。

解：（1）(1)1(3,6)Txμ∧==，(2)2(5,8)Txμ∧==，3(1)(1)(1)(1)1101123111()()(01)(12)(11)12136 3122Ti iiS x x x x=⎡-⎤⎛⎫⎛⎫⎛⎫⎛⎫=--=+--+=⎢⎥⎪ ⎪ ⎪ ⎪--⎝⎭⎝⎭⎝⎭⎝⎭⎣⎦∑3(2)(2)(2)(2)2110121 111()()(11)(01)(10)11012 3122Ti iiS x x x x=⎡-⎤⎛⎫⎛⎫⎛⎫⎛⎫=--=+-+-=⎢⎥⎪ ⎪ ⎪ ⎪--⎝⎭⎝⎭⎝⎭⎝⎭⎣⎦∑（2）121211(31)(31)22123324S S S S⎛⎫-+-+∑=== ⎪+-⎝⎭（3）由上可知12∑=∑=∑，(1)1(3,6)Txμ∧==，(2)2(5,8)Txμ∧==，可求得12111--⎛⎫∑= ⎪-⎝⎭，()122,2Tμμ∧∧-=--判别函数估计()()()()11212121()()()4,72,24,72,08211T T T TW x x x x x x μμμ∧∧∧--⎛⎫⎡⎤=-∑-=---=---=- ⎪⎣⎦-⎝⎭当12()0,()0,W x x G W x x G ≥∈⎧⎨<∉⎩， 即11224,4,x x G x x G ≤∈⎧⎨>∉⎩（4）把()02,7Tx =代入判别函数，可知()40W x =>，所以01x G ∈【作业3】已知两总体的概率密度函数分别为1()f x 和2()f x ，且总体的先验概率分布为120.2,0.8q q ==误判损失为(2|1)50,(1|2)100c c ==.（1）按总期望损失达到最小，建立Bayes 判别准则；（2）设有一新样品0x 满足1020()0.3,()0.5f x f x ==，判定0x 的归属问题 解：（1）要使总期望损失L 最小，根据题目已知条件可建立Bayes 判别准则：1212112221()(1|2)0.8100,8()(2|1)0.250()(1|2),8()(2|1)f x q c x G f x q c f x q c x G f x q c ⋅⎧∈≥==⎪⋅⎪⎨⎪∈<=⎪⎩若若 （2）把1020()0.3,()0.5f x f x ==代入判别函数可得1020()0.30.68()0.5f x f x ==<，所以0x 属于2G 第四章：谱系聚类和模糊聚类● 1.谱系聚类：有三种方法，最短距离法、最长距离法、类平均法 方法：参考【作业1】，三种方法主要在于合并时产生新类的元素不同（min ，max ，avg ） 对样品的距离矩阵不管用什么方法每次都是选取最小距离来做对于变量的相关系数矩阵不管用什么方法每次都是用最大的系数来做， ● 2.模糊聚类：褶积的计算：（把i 行和j 行写下来，两行中相对应列的元素取最小（两两比较），得到一行，在这行中取最大）方法：①计算相似系数矩阵R 或样品的距离矩阵D ；②对于距离矩阵D 由1,11max{}ijij ij i j nd a d ≤≤=-+得到模糊矩阵A ；③判断模糊等价矩阵：计算褶积2422,A A A A A A =∙=∙ 直到2kk AA =，kA 就是一个模糊等价矩阵记为()ij A a =～～；④对ij a ～按从大到小排列；⑤依次从大开始取，得到λ-截阵（ij a λ≥取1，否则取0），元素1的归为一类；画图；【作业1】考虑下列四个样品的距离矩阵{1}{2}{3}{4}{1}0{2}10{3}1120{4}5340D ⎛⎫ ⎪⎪=⎪ ⎪⎝⎭（1）用最短距离法、最长距离法和类平均法对这4个样品聚类，画出聚类谱系图；（2）将D 转化为模糊矩阵，利用模糊聚类法作聚类分析，画出谱系图。