随机模型方法及应用1范文
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
随机模型、方法及其应用（一）
一元线性回归
第一节大数定律与数理统计的若干知识
§1﹒1 大数定律及中心极限定理
大数定律（low of large numbers）及中心极限定理（central limit theorem）不仅为概率论（theary of probability）提供统计方面的理论保证，而且也为数理统计（mathematical statistics）的理论和方法奠定了坚实的理论基础。
1﹒1﹒1 ЧебЫШв不等式
（２．１）
1﹒1﹒2 Bernoulli大数定律
（２．２）1﹒1﹒3 ЧебЫШв大数定律
（２．３）
（２．４）
1﹒1﹒4 Хинчин大数定律
（２．５）
（２．６）1﹒1﹒5 Lèvy－Lindeberg中心极限定理
（２．７）
（２．８）１﹒１﹒6 De Moivre-Laplace中心极限定理
（２．９）
12
（２．１０）
§1﹒2 基本统计量和常用统计分布
在数理统计中，统计量（statistic）及其分布被广泛用于参数估计（parameters estimation）和假设检验等统计推断（statistical inference）的过程中，
1﹒2﹒1
统计量的定义及常用统计量
定义２．１
sample），
定义２．２
常用的统计量有
１、样本均值（sample mean）：
（２．１１）MATLAB: mean(x)
２、样本方差（sample variance）：
（２．１２）
13
３、样本标准差（sample standard deviation）：
（２．１３）４、修正的样本方差（repaired sample variance）：
（２．１４）MATLAB: var(x)
５、修正的样本标准差（repaired sample standard deviation）：
（２．１５）1．２．２常用统计分布
：设随机变量（random
variable
（２．１６）
（２．１７）
MATLAB: chi2cdf(x,n)
并且有
14
（２．１８）
（２．１９）
图２．１
２）定理２．１
（２．２０）３）定理２．２
（２．２１）
15
４）定理２．３（Fisher）
（２．２２）
则随机变量
（２．２３）
１）
（２．２４）
图２．２
16
２）定理２．４
（２．２５）
则随机变量
（２．２６）
17
18
图２．３
第二节 一元线性回归的若干问题
§2﹒1 简单线性回归分析
设随机变量y 与随机变量x 之间存在某种相关关系，对于x 的取定的一组不完全相同的值n x x x ,,21，作独立实验得到n 对观察结果：
()k k y x ,，n k ,,2,1 =
（２７）
其中k y 是随机变量y 在k x x =时的观测结果。
２﹒１﹒１ 简单线性回归模型及其基本理论假设
假设变量y 与自变量x 之间的相关关系可由下式表示：
ε++=bx a y （２８）
其中(
)2
,0~σεN ，a 和b 是未知（回归）参数，称式（２８）为一元
回归模型。
由（２７）、（２８）可得
k k k bx a y ε++= （２９）
其中(
)2
,0~σ
εN k ，且相互独立。
当利用样本()k k y x ,，n k ,,2,1 =，得到参数a 和b 的估计a ˆ和b ˆ， 那么对于给定的x ，取
x b a y
ˆˆˆ+= （３０） 作为bx a +的估计，并称式（３０）为y 关于x 的线性回归方程，其图形称为回归直线。
２﹒１﹒２ 简单线性回归模型的基本特征
19
１、 由
k k k bx a y ε++=，知k y 是随机变量；
２、 ()()()k k k k k k bx a E bx a bx a E y E +=++=++=εε； ３、 ()()()2σεε==++=k k k k D bx a D y D ； ４、 ()()0,0,=⇒=j i j i y y Cov Cov εε； ５、 ()k k k k k bx a y y E y ε=--=-； ６、 ()
2,~σk k bx a N y +。
２﹒１﹒３ 回归参数的最小二乘估计
１、最小二乘估计准则：
()
[]∑=--=n
k k
k b
a bx a y
b a Q 1
2,min ˆ,ˆ （３１） ５、 回归参数的最小二乘估计
⎪⎪⎩
⎪⎪⎨⎧--=-=∑∑==n k k n k k k x n x y x n y x b x b y a 122
1
ˆˆˆ， （３２） 其中∑==n k k x n x 11，∑==n
k k y n y 1
1。
３、回归参数的最小二乘估计的统计特性
１） 线性性：a ˆ和b ˆ都是k
y 的线性组合； ２） 无偏性：()a a
E =ˆ和()
b b E =ˆ ３） 方差最小性：a ˆ和b ˆ的最小二乘估计都是a 和b 的所有线性无偏 估计中方差最小的。
４） 2σ的估计、可决系数与相关系数