随机模型方法及应用1范文

随机模型、方法及其应用（一）一元线性回归第一节大数定律与数理统计的若干知识§1﹒1 大数定律及中心极限定理大数定律（low of large numbers）及中心极限定理（central limit theorem）不仅为概率论（theary of probability）提供统计方面的理论保证，而且也为数理统计（mathematical statistics）的理论和方法奠定了坚实的理论基础。

1﹒1﹒1 ЧебЫШв不等式（２．１）1﹒1﹒2 Bernoulli大数定律（２．２）1﹒1﹒3 ЧебЫШв大数定律（２．３）（２．４）1﹒1﹒4 Хинчин大数定律（２．５）（２．６）1﹒1﹒5 Lèvy－Lindeberg中心极限定理（２．７）（２．８）１﹒１﹒6 De Moivre-Laplace中心极限定理（２．９）12（２．１０）§1﹒2 基本统计量和常用统计分布在数理统计中，统计量（statistic）及其分布被广泛用于参数估计（parameters estimation）和假设检验等统计推断（statistical inference）的过程中，1﹒2﹒1统计量的定义及常用统计量定义２．１sample），定义２．２常用的统计量有１、样本均值（sample mean）：（２．１１）MATLAB: mean(x)２、样本方差（sample variance）：（２．１２）13３、样本标准差（sample standard deviation）：（２．１３）４、修正的样本方差（repaired sample variance）：（２．１４）MATLAB: var(x)５、修正的样本标准差（repaired sample standard deviation）：（２．１５）1．２．２常用统计分布：设随机变量（randomvariable（２．１６）（２．１７）MATLAB: chi2cdf(x,n)并且有14（２．１８）（２．１９）图２．１２）定理２．１（２．２０）３）定理２．２（２．２１）15４）定理２．３（Fisher）（２．２２）则随机变量（２．２３）１）（２．２４）图２．２16２）定理２．４（２．２５）则随机变量（２．２６）1718图２．３第二节 一元线性回归的若干问题§2﹒1 简单线性回归分析设随机变量y 与随机变量x 之间存在某种相关关系，对于x 的取定的一组不完全相同的值n x x x ,,21，作独立实验得到n 对观察结果：()k k y x ,，n k ,,2,1 =（２７）其中k y 是随机变量y 在k x x =时的观测结果。

２﹒１﹒１ 简单线性回归模型及其基本理论假设假设变量y 与自变量x 之间的相关关系可由下式表示：ε++=bx a y （２８）其中()2,0~σεN ，a 和b 是未知（回归）参数，称式（２８）为一元回归模型。

由（２７）、（２８）可得k k k bx a y ε++= （２９）其中()2,0~σεN k ，且相互独立。

当利用样本()k k y x ,，n k ,,2,1 =，得到参数a 和b 的估计a ˆ和b ˆ， 那么对于给定的x ，取x b a yˆˆˆ+= （３０） 作为bx a +的估计，并称式（３０）为y 关于x 的线性回归方程，其图形称为回归直线。

２﹒１﹒２ 简单线性回归模型的基本特征19１、 由k k k bx a y ε++=，知k y 是随机变量；２、 ()()()k k k k k k bx a E bx a bx a E y E +=++=++=εε； ３、 ()()()2σεε==++=k k k k D bx a D y D ； ４、 ()()0,0,=⇒=j i j i y y Cov Cov εε； ５、 ()k k k k k bx a y y E y ε=--=-； ６、 ()2,~σk k bx a N y +。

２﹒１﹒３ 回归参数的最小二乘估计１、最小二乘估计准则：()[]∑=--=nk kk ba bx a yb a Q 12,min ˆ,ˆ （３１） ５、 回归参数的最小二乘估计⎪⎪⎩⎪⎪⎨⎧--=-=∑∑==n k k n k k k x n x y x n y x b x b y a 1221ˆˆˆ， （３２） 其中∑==n k k x n x 11，∑==nk k y n y 11。

３、回归参数的最小二乘估计的统计特性１） 线性性：a ˆ和b ˆ都是ky 的线性组合； ２） 无偏性：()a aE =ˆ和()b b E =ˆ ３） 方差最小性：a ˆ和b ˆ的最小二乘估计都是a 和b 的所有线性无偏 估计中方差最小的。

４） 2σ的估计、可决系数与相关系数20定义：总偏差平方和()∑=-=nk k T y y S 12误差平方和 ()∑=-=nk k k E yy S 12ˆ， 回归平方和 ()∑=-=nk k R y yS 12ˆ 总偏差平方和的分解：R E T S S S += 由于()()22σ-=n S E E ，所以2-=n S MS EE 是2σ的一个无偏估计。

EMS 称为平均误差平方和，1RR S MS =称为平均回归平方和。

定义：ER RT R S S S S S +==2γ （３３） 为可决系数，2γγ±= （３４） 或()()()()∑∑∑===----=nk knk knk k ky yx xy y x x12121γ （３５）为相关系数。

５）回归效果的显著性检验与方差分析表21由最小二乘法求得的线性回归方程是否具有实用价值，需要通过假设检验才能确定。

如果线性假设符合实际，则b 不应为零，因此，需要检验的假设为：0:0=b H ，0:1≠b H （１） F 检验法 采用统计量：ERMS MS F =，当0:0=b H 为真时，()2,1~-n F F ； 对于给定的显著性水平α，如果()2,11->-n F F α，则应拒绝0H ，认为线性回归效果显著；如果()2,11-<-n F F α，则应接受0H ，即认为线性回归效果不显著。

这一分析过程可由方差分析表给出：方差分析表（２） t 检验法：采用统计量xxE l MS b t ˆ=， （３６）22其中()∑=-=nk k xx x x l 12，当0:0=b H 为真时，()2~-n t t ；对于给定的显著性水平α，如果()22->n t t α，则应拒绝0H ，认为线性回归效果显著；如果()22-<n t t α，则应接受0H ，即认为线性回归效果不显著。

６） 回归参数的假设检验和参数估计 （１）回归参数b 的假设检验和区间估计 记{}()∑=-==nk kExxE x xMS l MS bs 122ˆ （３７）那么{}()2~ˆˆ--n t bs b b （３８）假设检验0:0=b H ，0:1≠b H 的统计量为{}bs b t ˆ0ˆ-=，因此，对于给定的显著性水平α，如果()22->n t t α，则应拒绝0H ；否则接受0H 。

回归参数b 的置信度为()%1100α-的置信区间为：(){}⎪⎪⎭⎫⎝⎛-±bs n t b ˆ2ˆ2α （３９） （３） 回归参数a 的置信区间：回归参数a 的置信度为()%1100α-的 置信区间为：(){}⎪⎪⎭⎫ ⎝⎛-±a s n t a ˆ2ˆ2α （４０）23注：在做线性回归分析时，一般将分析结果记为：{}(){}()a s as x b a yˆˆˆˆˆ+= （４１）７） 预测对于任何给定的0x x =，00bx a y +=的点估计0ˆy可由回归方计算，在小样本情况下，0y 的置信度为()%1100α-的置信区间为：()()⎪⎪⎭⎫⎝⎛-++-±-xxE l x x n MS n t y 20210112ˆα （４２） 大样本时，0y 的置信度为()%1100α-的置信区间为：⎪⎪⎭⎫ ⎝⎛±-E MS z y 210ˆα （４３） §１.３常用的几种典型曲线双曲线（Hyperbola ）：bax x y x b a y +=⇔+=1 （４４） １） 对数曲线（Logarithm Curve ）x b a y ln += （４５）２） 多项式曲线（Polynomial Curve ）m m x a x a a y +++= 10 （４６） ３） 指数曲线（Exponent Curve ）x ae y = （４７）５） S 型曲线24xbea y -+=1（４８） 上述曲线图示如下：§１.３问题与实验某建材实验室在作陶粒混凝土强度实验中，考察每立方米混凝土的水泥用量()kg x 对28天后的混凝土抗压强度()2/cm kg y 的影响，并测得如下数据：（１） 求y 关于x 的线性回归方程，并问：每立方米混凝土中增加kg1水泥时，可提高的抗压强度是多少？（２） 检验线性回归效果的显著性()05.0=α； （３） 求回归参数b 的区间估计()95.01=-α； （４） 求kg x 5.220=时，y 的预测值与预测区间。

回归直线方程： 283.1030399.0ˆ+=x y， 总体方差点估计： 2393.0ˆ2=σ总体方差区间估计： ()5107283.330399.0-⨯± 回归效果显著性检验：１、利用F 检验法：()2,19646.4105225.595.03-=>⨯=n F F ２、利用t 检验法：()22281.23137.74975.0-=>=n t tkg x 5.220=时，y 的预测值: 3626.16ˆ5.22==x y预测区间: ()0323.23626.16±图2.5附程序：Linear_Regression_Model.m%Linear Regression Modelclear allx=150:10:260;y=[56.9 58.3 61.6 64.6 68.1 71.3 74.1 77.4 80.2 82.6 86.4 89.7]; L=length(x);[P,S]=polyfit(x,y,1);z=P(1).*x+P(2);fity=polyval(P,x);Prey=polyval(P,22.5)plot(x,y,'r*',x,fity)Meanx=mean(x);Meany=mean(y);Lxx=(L-1)*var(x);St=(L-1)*var(y);Sr=0;Se=0;for k=1:LSe=Se+(y(k)-z(k))^2;Sr=Sr+(z(k)-Meany)^2;endMSe=Se/(L-2);r=Sr/StF=Sr/MSe % if P(1)=0 F~F(1,n-2).Sb=MSe/LxxT=abs(P(1)/(MSe/Lxx)^.5) % if P(1)=0 T~t(n-2).Falgfa=finv(0.95,1,L-2)Talgfa=tinv(0.975,L-2)Nalgfa=norminv(0.975,0,1)title('Linear Regression Model')gtext('----------- Regression Beeline')hold on%Solving the prediction Intervalt=20:.5:260;26prey=polyval(P,t);if L<45prey1=prey-Talgfa*(MSe*(1+1/L+(t-Meanx).^2/Lxx)).^.5; prey2=prey+Talgfa*(MSe*(1+1/L+(t-Meanx).^2/Lxx)).^.5; elseprey1=prey-Nalgfa*(MSe)^.5;prey2=prey+Nalgfa*(MSe)^.5;endplot(t,prey,t,prey1,'r',t,prey2,'r')P=poly2sym(P);P=vpa(P,5)%H=polytool(x,y,1,0.05,22.5)1.50 1.65 1.80 1.952.10 2.25 2.402.55 2.70 2.853.00 3.15 3.30 3.453.60 3.75 3.904.05 4.20 4.35 4.504.65 4.80 4.955.10 5.25 5.40 5.555.70 5.851.772.07 2.26 2.41 2.61 2.69 2.872.75 2.983.08 3.04 3.32 3.28 3.623.48 3.70 3.74 3.71 3.65 3.93 3.914.14 4.19 4.37 4.31 4.25 4.41 4.33 4.48 4.5328回归曲线方程： x yln 9553.10566.1ˆ+=， 总体方差点估计： 2393.0ˆ2=σ总体方差区间估计： ()5107283.330399.0-⨯± 回归效果显著性检验：29１、利用F 检验法：()2,19646.4105225.595.03-=>⨯=n F F ２、利用t 检验法：()22281.23137.74975.0-=>=n t tkg x 5.220=时，y 的预测值: 3626.16ˆ5.22==x y预测区间: ()0323.23626.16± 1.9553*x+1.0566附程序：Nonlinear_Regression_Model01.m%Linear Regression Model clear alls=1.5:0.15:5.85;y=[1.77 2.07 2.26 2.41 2.61 2.69 2.87 2.75 2.98 3.08 3.04 3.32 3.28 3.62 3.48...3.70 3.74 3.71 3.65 3.93 3.914.14 4.19 4.37 4.31 4.25 4.41 4.33 4.48 4.53];L=length(s); x=log(s);[P,S]=polyfit(x,y,1); LP=length(P); z=zeros(1,L); for i=1:LPz=z+P(i).*x.^(LP-i); endfity=polyval(P,x); plot(s,y,'r*',s,fity)title('Nonlinear Regression Model') gtext('----------- Regression Curve') Meanx=mean(x); Meany=mean(y); Lxx=(L-1)*var(x); St=(L-1)*var(y); Sr=0;Se=0; for k=1:LSe=Se+(y(k)-z(k))^2;Sr=Sr+(z(k)-Meany)^2;endSe=SeMSe=Se/(L-2)F=Sr/MSe % if P(1)=0 F~F(1,n-2).T=abs(P(1)/(MSe/Lxx)^.5) % if P(1)=0 T~t(n-2).Falgfa=finv(0.95,1,L-2)Talgfa=tinv(0.975,L-2)hold onl=0.5:.5:12;t=log(l);prey=polyval(P,t);if L<45prey1=prey-Talgfa*(MSe*(1+1/L+(t-Meanx).^2/Lxx)).^.5;prey2=prey+Talgfa*(MSe*(1+1/L+(t-Meanx).^2/Lxx)).^.5;elseprey1=prey-Nalgfa*(MSe)^.5;prey2=prey+Nalgfa*(MSe)^.5;endplot(l,prey,l,prey1,'r',l,prey2,'r')P=poly2sym(P);P=vpa(P,5)附程序：Nonlinear_Regression_Model02.m%Linear Regression Modelclear allx=1.5:0.15:5.85;y=[1.77 2.07 2.26 2.41 2.61 2.69 2.87 2.75 2.98 3.08 3.04 3.32 3.28 3.62 3.48...3.70 3.74 3.71 3.65 3.93 3.914.14 4.19 4.37 4.31 4.25 4.414.33 4.48 4.53]L=length(x);30n=input('The Degree n of The Polynomial Pn(x) n = ');[P,S]=polyfit(x,y,n);LP=length(P);z=zeros(1,L);for i=1:LPz=z+P(i).*x.^(LP-i);endfity=polyval(P,x);plot(x,y,'*',x,fity)Meany=mean(y);Lxx=(L-1)*var(x);St=(L-1)*var(y);Sr=0;Se=0;for k=1:LSe=Se+(y(k)-z(k))^2;Sr=Sr+(z(k)-Meany)^2;endSe=SeMSe=Se/(L-2)F=Sr/MSe % if P(1)=0 F~F(1,n-2).T=abs(P(1)/(MSe/Lxx)^.5) % if P(1)=0 T~t(n-2).Falgfa=finv(0.95,1,L-2)Talgfa=tinv(0.975,L-2)P=poly2sym(P);P=vpa(P,5)31。