正态分布
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f ( x) 1 x2 exp( ) 2 2 π
正态分布（Normal distribution）又名高斯分布（Gaussian distribution），是 一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方 面有着重大的影响力。若随机变量X服从一个数学期望为μ、方差为σ^2的高 斯分布，记为N(μ，σ^2)。其概率密度函数为正态分布的期望值μ决定了其位 置，其标准差σ决定了分布的幅度。因其曲线呈钟形，因此人们又经常称之为 钟形曲线。我们通常所说的标准正态分布是μ = 0,σ = 1的正态分布。
• 书中115页说极大似然估计是Fisher提出来的，实际上， 最早是高斯提出，后来Fisher把它进一步发展了， 高斯还 因此“算”出了正态分布。然后又和最小二乘法建立了联 系。高斯的贡献真是极其大啊。 • 首先假设：极大似然估计值=算数平均值 • 然后高斯证明了所有的概率密度函数中，唯一满足这个性 质的就是： 2
• 高尔顿钉板：
• 93页课本： 独立同分布的中心极限定理：
X
i 1
n
i
n N (0,1)
n
多么奇妙的性质，随意的一个概率分布中生成的随机变量， 在序列和(或者等价的求算术平均)的操作之下，表现出如 此一致的行为，统一的规约到正态分布。 概率学家们进一步的研究结果更加令人惊讶，序列求和最 终要导出正态分布的条件并不需要这么苛刻，即X1,⋯,Xn 并不独立，也不具有相同的概率分布形式，很多时候他们 求和的最终归宿仍然是正态分布。
• 致谢：
• 正态分布的今世前世今生- rickjin(靳志辉) • 伽玛分布参数的极大似然估计数值解法-高等函授学报：自然科学版2011年 第5期 • 科学松鼠会创办者-姬十三 • 香港浸会大学数学讲座教授-汤涛 • 数理统计学简史-陈希孺 • Stigler, Stephen M. The History of Statistics: The Measurement of Uncertainty before 1900 • 高斯，皮尔逊，麦克斯韦，惠更斯、帕斯卡、费马、贝努利，棣莫弗， 拉普拉斯，费希尔，皮尔逊，戈塞特等等。
• 对其作傅里叶变换：
1 1 F（） 2π e 2 π
• • • • • • •
x2 2
e
ix
1 dx e 2 π
x2 2
泊松分布Poisson(λ)在λ较大时逼近正态分布N(λ,λ) 二项分布B(n,p)在n很大逼近正态分布N(np,np(1−p)) χ2(n)在n很大的时候接近正态分布N(n,2n) t分布在n很大时接近标准正态分布N(0,1) 正态分布的共轭分布还是正态分布 几乎所有的极大似然估计在样本量n增大的时候都趋近于正态分布 Cramer分解定理：如果X,Y是独立的随机变量，且S=X+Y是正态分布， 那么X,Y也是正态分布 • 如果X,Y独立且满足正态分布N(μ,σ2)，那么X+Y,X−Y独立且同分布， 而正态分布是唯一满足这一性质的概率分布 • 对于两个正态分布X,Y,如果X,Y不相关则意味着X,Y独立，而正态分布 是唯一满足这一性质的概率分布
正态分布
--概率统计报告
-- 2012.物理萃英.高琛琛
1.定义 2.历史 3.简单讨论及重要性
定义：若随机变量服从一个位置参数为、尺度参数为的概率分布，且其概率密度函数 为 1 ( x )2 f ( x) exp( ) 2 2 2 π
则这个随机变量就称为正态随机变量，正态随机变量服从的分布就称为正态分布，记 作，读作服从，或服从正态分布。当时，正态分布就成为标准正态分布 ：
f ( x)
பைடு நூலகம்
1 x exp( ) 2 2 π
• 对于最小二乘公式中涉及的每个误差,有ei∼N(0,σ2),则 (e1,⋯,en)的联合概率分布为正态分布密度函数的乘积。 要使得这个概率最大，必须使得 ∑x2 取最小值，这正好就 是最小二乘法的要求。
• 古典概率论发源于赌博，惠更斯、帕斯卡、费马、贝努利都是古典概 率的奠基人，他们那会研究的概率问题大都来自赌桌上，最早的概率 论问题是赌徒梅累在1654年向帕斯卡提出的如何分赌金的问题。统计 学中的总体均值之所以被称为期望(Expectation)，就是源自惠更斯、 帕斯卡这些人研究平均情况下一个赌徒在赌桌上可以期望自己赢得多 少钱。 • 棣莫弗，欧拉，拉普拉斯，勒让德和高斯共同努力正态分布从不知名 到扬名全世界作出积极大的贡献。尤其是高斯，这位天才更是将正态 分布和最小二乘法联系在一起，并使得正态分布在统计误差分析中确 立了自己的定位，否则正态分布就不会被称为高斯分布了。 • 伟大的麦克斯韦速率分布率：
2 mv mv m vz m m m f(v) ) ) ) exp( exp( exp( π 2 KT 2 KT π 2 KT 2 KT π 2 KT 2 KT 2 x 1 2 1 2 2 y 1 2
• 后来，由于试验数据量有限，依赖于近似正态分布的传统 方法开始招致质疑，这促使人们研究这种情况下正确的统 计方法问题。 • 在这个背景之下，统计学三大分布χ2分布、t分布、F分布 逐步登上历史舞台。正态分布在数理统计学中不再是一枝 独秀，数理统计的领地基本上是被这三大分布抢走了半壁 江山。不过这对正态分布而言并非坏事，因为他们都是以 正态分布为基础的！ • 在数理统计学中，除了以正态分布为基础的小样本理论获 得了空前的胜利，其它分布上都没有成功的案例，这不能 不让人对正态分布刮目相看。在随后的发展中，相关回归 分析、多元分析、方差分析、因子分析、布朗运动、高斯 过程等等诸多统计分析方法陆续登上了历史舞台，而这些 和正态分布密切相关的方法，成为推动现代统计学飞速发 展的一个强大动力。
正态分布（Normal distribution）又名高斯分布（Gaussian distribution），是 一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方 面有着重大的影响力。若随机变量X服从一个数学期望为μ、方差为σ^2的高 斯分布，记为N(μ，σ^2)。其概率密度函数为正态分布的期望值μ决定了其位 置，其标准差σ决定了分布的幅度。因其曲线呈钟形，因此人们又经常称之为 钟形曲线。我们通常所说的标准正态分布是μ = 0,σ = 1的正态分布。
• 书中115页说极大似然估计是Fisher提出来的，实际上， 最早是高斯提出，后来Fisher把它进一步发展了， 高斯还 因此“算”出了正态分布。然后又和最小二乘法建立了联 系。高斯的贡献真是极其大啊。 • 首先假设：极大似然估计值=算数平均值 • 然后高斯证明了所有的概率密度函数中，唯一满足这个性 质的就是： 2
• 高尔顿钉板：
• 93页课本： 独立同分布的中心极限定理：
X
i 1
n
i
n N (0,1)
n
多么奇妙的性质，随意的一个概率分布中生成的随机变量， 在序列和(或者等价的求算术平均)的操作之下，表现出如 此一致的行为，统一的规约到正态分布。 概率学家们进一步的研究结果更加令人惊讶，序列求和最 终要导出正态分布的条件并不需要这么苛刻，即X1,⋯,Xn 并不独立，也不具有相同的概率分布形式，很多时候他们 求和的最终归宿仍然是正态分布。
• 致谢：
• 正态分布的今世前世今生- rickjin(靳志辉) • 伽玛分布参数的极大似然估计数值解法-高等函授学报：自然科学版2011年 第5期 • 科学松鼠会创办者-姬十三 • 香港浸会大学数学讲座教授-汤涛 • 数理统计学简史-陈希孺 • Stigler, Stephen M. The History of Statistics: The Measurement of Uncertainty before 1900 • 高斯，皮尔逊，麦克斯韦，惠更斯、帕斯卡、费马、贝努利，棣莫弗， 拉普拉斯，费希尔，皮尔逊，戈塞特等等。
• 对其作傅里叶变换：
1 1 F（） 2π e 2 π
• • • • • • •
x2 2
e
ix
1 dx e 2 π
x2 2
泊松分布Poisson(λ)在λ较大时逼近正态分布N(λ,λ) 二项分布B(n,p)在n很大逼近正态分布N(np,np(1−p)) χ2(n)在n很大的时候接近正态分布N(n,2n) t分布在n很大时接近标准正态分布N(0,1) 正态分布的共轭分布还是正态分布 几乎所有的极大似然估计在样本量n增大的时候都趋近于正态分布 Cramer分解定理：如果X,Y是独立的随机变量，且S=X+Y是正态分布， 那么X,Y也是正态分布 • 如果X,Y独立且满足正态分布N(μ,σ2)，那么X+Y,X−Y独立且同分布， 而正态分布是唯一满足这一性质的概率分布 • 对于两个正态分布X,Y,如果X,Y不相关则意味着X,Y独立，而正态分布 是唯一满足这一性质的概率分布
正态分布
--概率统计报告
-- 2012.物理萃英.高琛琛
1.定义 2.历史 3.简单讨论及重要性
定义：若随机变量服从一个位置参数为、尺度参数为的概率分布，且其概率密度函数 为 1 ( x )2 f ( x) exp( ) 2 2 2 π
则这个随机变量就称为正态随机变量，正态随机变量服从的分布就称为正态分布，记 作，读作服从，或服从正态分布。当时，正态分布就成为标准正态分布 ：
f ( x)
பைடு நூலகம்
1 x exp( ) 2 2 π
• 对于最小二乘公式中涉及的每个误差,有ei∼N(0,σ2),则 (e1,⋯,en)的联合概率分布为正态分布密度函数的乘积。 要使得这个概率最大，必须使得 ∑x2 取最小值，这正好就 是最小二乘法的要求。
• 古典概率论发源于赌博，惠更斯、帕斯卡、费马、贝努利都是古典概 率的奠基人，他们那会研究的概率问题大都来自赌桌上，最早的概率 论问题是赌徒梅累在1654年向帕斯卡提出的如何分赌金的问题。统计 学中的总体均值之所以被称为期望(Expectation)，就是源自惠更斯、 帕斯卡这些人研究平均情况下一个赌徒在赌桌上可以期望自己赢得多 少钱。 • 棣莫弗，欧拉，拉普拉斯，勒让德和高斯共同努力正态分布从不知名 到扬名全世界作出积极大的贡献。尤其是高斯，这位天才更是将正态 分布和最小二乘法联系在一起，并使得正态分布在统计误差分析中确 立了自己的定位，否则正态分布就不会被称为高斯分布了。 • 伟大的麦克斯韦速率分布率：
2 mv mv m vz m m m f(v) ) ) ) exp( exp( exp( π 2 KT 2 KT π 2 KT 2 KT π 2 KT 2 KT 2 x 1 2 1 2 2 y 1 2
• 后来，由于试验数据量有限，依赖于近似正态分布的传统 方法开始招致质疑，这促使人们研究这种情况下正确的统 计方法问题。 • 在这个背景之下，统计学三大分布χ2分布、t分布、F分布 逐步登上历史舞台。正态分布在数理统计学中不再是一枝 独秀，数理统计的领地基本上是被这三大分布抢走了半壁 江山。不过这对正态分布而言并非坏事，因为他们都是以 正态分布为基础的！ • 在数理统计学中，除了以正态分布为基础的小样本理论获 得了空前的胜利，其它分布上都没有成功的案例，这不能 不让人对正态分布刮目相看。在随后的发展中，相关回归 分析、多元分析、方差分析、因子分析、布朗运动、高斯 过程等等诸多统计分析方法陆续登上了历史舞台，而这些 和正态分布密切相关的方法，成为推动现代统计学飞速发 展的一个强大动力。