极大似然估计的题库
机器学习题库
机器学习题库一、 极大似然1、 ML estimation of exponential model (10)A Gaussian distribution is often used to model data on the real line, but is sometimesinappropriate when the data are often close to zero but constrained to be nonnegative. In such cases one can fit an exponential distribution, whose probability density function is given by()1xb p x e b-=Given N observations x i drawn from such a distribution:(a) Write down the likelihood as a function of the scale parameter b.(b) Write down the derivative of the log likelihood.(c) Give a simple expression for the ML estimate for b.2、换成Poisson 分布：()|,0,1,2,...!x e p x y x θθθ-==()()()()()1111log |log log !log log !N Ni i i i N N i i i i l p x x x x N x θθθθθθ======--⎡⎤=--⎢⎥⎣⎦∑∑∑∑3、二、 贝叶斯假设在考试的多项选择中，考生知道正确答案的概率为p ，猜测答案的概率为1-p ，并且假设考生知道正确答案答对题的概率为1，猜中正确答案的概率为1，其中m 为多选项的数目。
极大似然法
极大似然估计的不变性
• 分为X析的：期可望先值求，在的指极数大分似布然场估合计，，有由于E元( X件)的平1均，寿它命是即
的函数，故可用极大似然估计的不变原则，求其极大似然
估计．
n
•
解：（１）写出似然函数：L()
n
e e xi
xi
n
i 1
i 1
n
（２）取对数得对数似然函数： l() n ln xi i 1
• 2、把样本联合概率函数（或联合密度）中自变量看
成已知常数，而把参数 看作自变量，得到似然函数
L( )
• 3、求似然函数 L( ) 的最大值点（常转化为求对数似
然函数 l( ) 的最大值点）；
• 4、在最大值点的表达式中，用样本值代入就得参数 的极大似然估计值．
极大似然估计的不变性
• 求未知参数 的某种函数 g( )的极大似然估计可用极大
n
L( ) L(x1, x2 ,, xn ; ) p(xi ; ) i1
称 L( )为似然函数．
求总体参数 的极大似然估计值的问题就是求似
然函数 L( )的最大值问题．
似然函数与极大似然估计
• ２、连续分布场合：
设总体 X 是连续离散型随机变量，其概率密
度函数为 f (x; ) ，若取得样本观察值为
取x1值, x为2 ,(x1,,xxn2，,则, 因xn为)时随联机合点密(度X1函, X数2 ,值,为X n )
n
f (xi ; ) 。所以，按极大似然法，应选
择i1 的值使此概率达到最大．我们取 )
再按前述方法求参数
的极大似然估i1计值．
极大似然函数
极大似然估计，是以极大似然函数为基础。 所谓“似然函数”，就是构造一个以观察数据和
总结机器学习笔试题
1. 在回归模型中，下列哪一项在权衡欠拟合（under-fitting）和过拟合（over-fitting）中影响最大？A. 多项式阶数B. 更新权重w 时，使用的是矩阵求逆还是梯度下降C. 使用常数项答案：A解析：选择合适的多项式阶数非常重要。
如果阶数过大，模型就会更加复杂，容易发生过拟合；如果阶数较小，模型就会过于简单，容易发生欠拟合。
如果有对过拟合和欠拟合概念不清楚的，见下图所示：2. 假设你有以下数据：输入和输出都只有一个变量。
使用线性回归模型（y=wx+b）来拟合数据。
那么使用留一法（Leave-One Out）交叉验证得到的均方误差是多少？A. 10/27B. 39/27C. 49/27D. 55/27答案：C解析：留一法，简单来说就是假设有N 个样本，将每一个样本作为测试样本，其它N-1 个样本作为训练样本。
这样得到N 个分类器，N个测试结果。
用这N 个结果的平均值来衡量模型的性能。
对于该题，我们先画出 3 个样本点的坐标：使用两个点进行线性拟合，分成三种情况，如下图所示：第一种情况下，回归模型是y = 2，误差E1 = 1。
第二种情况下，回归模型是y = -x + 4，误差E2 = 2。
第三种情况下，回归模型是y = -1/3x + 2,误差E3 = 2/3。
则总的均方误差为：3. 下列关于极大似然估计（Maximum Likelihood Estimate，MLE），说法正确的是（多选）？A. MLE 可能并不存在B. MLE 总是存在C. 如果MLE 存在，那么它的解可能不是唯一的D. 如果MLE 存在，那么它的解一定是唯一的答案：AC解析：如果极大似然函数L(θ)在极大值处不连续，一阶导数不存在，则MLE 不存在，如下图所示：另一种情况是MLE 并不唯一，极大值对应两个θ。
如下图所示：4. 如果我们说“线性回归”模型完美地拟合了训练样本（训练样本误差为零），则下面哪个说法是正确的？A. 测试样本误差始终为零B. 测试样本误差不可能为零C. 以上答案都不对答案：C解析：根据训练样本误差为零，无法推断测试样本误差是否为零。
(完整版)概率论与数理统计试题库
《概率论与数理统计》试题(1)判断题(本题共15分，每小题3分。
正确打“V” ，错误打“X” )⑴对任意事件A和B ,必有P(AB)=P(A)P(B) ()⑵ 设A、B是Q中的随机事件,则(A U B)-B=A ()⑶ 若X服从参数为入的普哇松分布，则EX=DX⑷假设检验基本思想的依据是小概率事件原理1 n _⑸ 样本方差S：= —(X i X )2是母体方差DX的无偏估计(n i i、(20分)设A、B、C是Q中的随机事件，将下列事件用A、B、C表示出来(1) 仅A发生，B、C都不发生;(2) 代B,C中至少有两个发生；(3) 代B,C中不多于两个发生;(4) 代B,C中恰有两个发生；(5) 代B,C中至多有一个发生。
三、(15分)把长为a的棒任意折成三段，求它们可以构成三角形的概率四、(10分)已知离散型随机变量X的分布列为X 2 1 0 1 31 1 1 1 11P5 6 5 15 302 求Y X的分布列.1五、(10分)设随机变量X具有密度函数f(x) -e|x|, V x V2求X的数学期望和方差•六、(15分)某保险公司多年的资料表明，在索赔户中，被盗索赔户占20%，以随机抽查100个索赔户中因被盗而向保险公司索赔的户数，求P(14 X 30).七、(15分)设X1 ,X2,L ,X n是来自几何分布k 1P(X k) p(1 p) , k 1,2,L , 0 p 1 ,的样本，试求未知参数p的极大似然估计•X表示在x 0 0.5 1 1.5 2①(x ) 0.500 0.691 0.841 0.933 0.9772.5 30.994 0.999《概率论与数理统计》试题（1）评分标准⑴ X;（2） X;⑶“；⑷"；（5） X o 解(1) ABC(2)ABU AC U BC 或 ABC U ABC U ABC U ABC ；(3) AUBUC 或 ABC U ABC U ABC U ABC U ABC U ABC U ABC ； (4) ABC U ABC U ABC ；(5) AB U AC U BC 或 ABC U ABC U ABC U ABC六解X “ P(14 ^b(k;100,0.20), EX=100 X 0.2=20, DX=100 X 0.2 X 0.8=16.-- --5分 分 30 20 14 20、 X 30) ( --------- )( --------------- ) ------------------ V16 J16 ------10(2.5) ( 1.5)=0.994+0.933—10.927. -------------------------------------n——15分七解n x nL(X 1, L ,x n ；p)p(1 p)x i1 p n(1 p)i1---------5分 -------------------------------------- 10 分每小题4分；解 设A '三段可构成三角形'又三段的长分别为x,y,a x y ,Oxa, 0 ya, Oxy a ，不等式构成平面域S .Aa A 发生 0 x —, 02不等式确定S 的子域A , 所以a a y , x y a2 2------------------------------------ 10A 的面积 1S 的面积 4---------------------------------------- 15则 分分分四 解Y 的分布列为Y 0 1 4 91 7 1 11P — ----- — —5 30 5 30Y 的取值正确得2分， 分布列对一组得 2分； 五 解 EXx 2 凶 dx 0, （因为被积函数为奇函数）2D X EX 22 x 1 |x| 1 —e dx x 2e x dx22 xx e0 2 xe x dx 0------------------------- 4 分 2[ xe x 0e x dx] 2.In L n In p d In L n dp p (X i n )l n(1 p),i 1 X i n @0, --------------------------- 10 分 解似然方程 n n X in i 1 得p 的极大似然估计 ------------------------------------------------------------------- 15 分 《概率论与数理统计》期末试题(2) 与解答一、填空题(每小题 3分，共15分) 1. 设事件 代B 仅发生一个的概率为 0.3，且P(A) P(B) 0.5，则 代B 至少有一个不发 生的概率为 ___________ . 2. __________________________________________________________________________ 设随机变量X 服从泊松分布，且P(X 1) 4P(X 2)，则P(X 3) _______________________ . 23. _______________________ 设随机变量X 在区间(0,2)上服从均匀分布，则随机变量Y X 在区间(0,4)内的概率 密度为f Y (y) . 的指数分布，P(X 1) e 2，则4. 设随机变量 X,Y 相互独立，且均服从参数为5._______ , P{min( X ,Y) 1} = ____ 设总体X 的概率密度为 (1)x , 0 x 1, f (x)0, 其它 1.X 1 ,X 2, ,X n 是来自X 的样本，则未知参数 的极大似然估计量为 ___________解：1. P(AB AB) 0.3即 0.3 P(AB) P(AB) P(A) P(AB) P(B) P(AB) 0.5 2P(AB)2所以 P(AB) 0.1P(A B) P(AB) 1 P(AB) 092.P(X 1) P(X 0) P(X 1) e e , P(X 2) e由 P(X 1) 4P(X 2)知e e2 2e即2 21 0解得1，故P(X3)1 1 e . 63•设丫的分布函数为F Y (y), X 的分布函数为F x (x)，密度为f x (x)则F Y (V ) P(Y y) P(X 2 y) P( ...y X ,y) FxG.y) F x ( ,y) 因为 X ~U (0, 2)，所以 F X ( ,y) 0,即 F Y (y) F X G. y)1.ln x in i 1二、单项选择题(每小题 3分，共15分)1 .设A, B,C 为三个事件，且 A, B 相互独立，则以下结论中不正确的是(A) 若P(C) 1,则AC 与BC 也独立. (B) 若P(C) 1,则AUC 与B 也独立. (C) 若P(C) 0,则AUC 与B 也独立.J(y) F Y (y)1 _2丁x(J)0 y 4, 另解 在(0,2)上函数y 所以 2x 严格单调，反函数为h(y)其它..5f Y (y) Afx(7?)诙4孑 0 ,其它.y 4,4. P(X 1) 1 P(X P{min( X ,Y) 1} 111) eP{min( X,Y) 4 e ・ 1} P(X 1)P(Y 1)5.似然函数为L(X 1 ,L ,X n ；n(i 1n1)Xi(1叽1_ X )解似然方程得 ln L n ln(1)ln x i ln x i i 1@0的极大似然估计为EX X(D )若C B ，则A 与C 也独立• ()2•设随机变量 X~N(0,1), X 的分布函数为(x)，贝U P(|X| 2)的值为(A )2[1 (2)] . ( B )2 (2)1 .(C ) 2(2).( D )1 2 (2).()3•设随机变量 X 和Y 不相关，则下列结论中正确的是(A ) X 与 Y 独立. (B ) D(X Y) DX DY .(C ) D(X Y) DX DY .(D ) D(XY) DXDY .()4•设离散型随机变量 X 和Y 的联合概率分布为(X,Y) (1,1) (1,2) (1,3) (2,1) (2,2) (2,3) P1 1 1 1 691832. X ~ N(0,1)所以 P(| X | 2) 1 P(| X | 2)1 P(2 X1 (2) ( 2) 1 [2 (2) 1] 2[1 (2)]若X,Y 独立，则 7的值为2 112(A ) -, —(A ) J—99991 15 1 (C ), — (D ) — , . ()6618185 •设总体X 的数学期望为,X 1,X 2丄,X n为来自X 的样本，则下列结论中正确的是(A ) X i 是的无偏估计量 (B ) X i 是 的极大似然估计量(C ) X 1是 的相合(一致)估计量(D ) X i 不是 的估计量.() 解：1.因为概率为1的事件和概率为 0的事件与任何事件独立，所以( A ), (B ), (C )可见A 与C 不独立.2)应选(A )都是正确的，只能选(事实上由图EX X12 3 P(X 2, Y 2)1 1 1 11— — ■ 1 、69183(- )(-391 1 23321 1丄92 918故应(A).3•由不相关的等价条件知应选(B ) 4•若X,Y 独立则有)P(X 2)P(Y 2)f(o三、(7分)已知一批产品中90%是合格品，检查时，一个合格品被误认为是次品的概率为0.05，一个次品被误认为是合格品的概率为0.02，求(1) 一个产品经检查后被认为是合格品的概率；(2) 一个经检查后被认为是合格品的产品确是合格品的概率解：设A ‘任取一产品，经检验认为是合格品’B ‘任取一产品确是合格品’则(1) P(A) P(B)P(A|B) P(B)P(A|B)0.9 0.95 0.1 0.02 0.857.P(AB) 0.9 0.95 (2) P(B| A) 0.9977 .P(A) 0.857四、(12分)从学校乘汽车到火车站的途中有3个交通岗，假设在各个交通岗遇到红灯的事件是相互独立的，并且概率都是2/5.设X为途中遇到红灯的次数，求X的分布列、分布函数、数学期望和方差.解：X的概率分布为k2 k3 3 kP(X k) cf(5)k(5)3kX 0 1 2即P27 54 36 125 125 12X的分布函数为0 , x 0,27125 ,0 x 1,F(x )81 1 x 2, 125117 2 x3, 1251 , x 3.2 6 EX3 --5 5DX c 2 3 183 --5 5 25五、(10分)设二维随机变量(X,Y)在区域 D匀分布.求(1)(X,Y)关于X的边缘概率密度;38125{(x,y)|x 0, y 0, x y 1}上服从均(2)Z X Y的分布函数与概率密(1) (X ,Y)的概率密度为f(x, y) 2, (x, y) D 0,其它.k 0,1,2,3.2 2x, 0 x 1f(x，y)dy0 ,其它(2)利用公式f Z(z) f (x, z x)dx其中f(x,z x) 2, 0 x 1,0 z x 1 x0,其它2, 0 x 1, x z 1.0,其它.当z 0 或z 1 时f z (z) 0z的分布函数为z z0 z 1 时f z(z) 2 q dx 2x02z 故Z的概率密度为f z(z)2z, 0 z 1,0,其它.0, z 0 0, z 0,fZ⑵z zf Z(y)dy 02ydy,0 z 1 2z , 0 z 1,1,1 z 1.z 1或利用分布函数法0 , z 0,F Z(Z) P(Z z) P(X Y z) 2dxdy, 0 z 1D11 , z 1.0 , z 0,2z , 0 z 1,1 , z 1.f z (z) F z⑵2z,0 ,0 z 1,其它.六、（10分）向一目标射击，目标中心为坐标原点，已知命中点的横坐标X和纵坐标Y相互独立，且均服从N（0,22）分布.求（1）命中环形区域D ｛（ x, y） |1 x2 y2 2｝的概率；（2）命中点到目标中心距离Z X Y2的数学期望.D (1)P{X,Y) D} f(x,y)dxdyDx28dxdy 8rdrdf x(X)4 41 2 -8re 8 rdrd1 e 8 r 2dr 8 04 0r2re 丁r 2e T dr 02冷dr阪七、（11分）设某机器生产的零件长度（单位： cm ） X 〜N （ , 2），今抽取容量为样本，测得样本均值 X 10,样本方差s 2 0.16. （ 1）求的置信度为0.952区间；（2）检验假设H 。
深度学习之最大似然估计
深度学习之最⼤似然估计⼀、定义⼆、知识解读 极⼤似然估计，通俗理解来说，就是利⽤已知的样本结果信息，反推最具有可能（最⼤概率）导致这些样本结果出现的模型参数值！ 换句话说，极⼤似然估计提供了⼀种给定观察数据来评估模型参数的⽅法，即：“模型已定，参数未知”。
可能有⼩伙伴就要说了，还是有点抽象呀。
我们这样想，⼀当模型满⾜某个分布，它的参数值我通过极⼤似然估计法求出来的话。
⽐如正态分布中公式如下： 如果我通过极⼤似然估计，得到模型中参数和的值，那么这个模型的均值和⽅差以及其它所有的信息我们是不是就知道了呢。
确实是这样的。
极⼤似然估计中采样需满⾜⼀个重要的假设，就是所有的采样都是独⽴同分布的。
下⾯我通过俩个例⼦来帮助理解⼀下最⼤似然估计 但是⾸先看⼀下似然函数的理解： 对于这个函数：输⼊有两个：x表⽰某⼀个具体的数据；表⽰模型的参数 如果是已知确定的，是变量，这个函数叫做概率函数(probability function)，它描述对于不同的样本点，其出现概率是多少。
如果是已知确定的，是变量，这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数，出现这个样本点的概率是多少。
这有点像“⼀菜两吃”的意思。
其实这样的形式我们以前也不是没遇到过。
例如， , 即x的y次⽅。
如果x是已知确定的(例如x=2)，这就是 , 这是指数函数。
如果y是已知确定的(例如y=2)，这就是，这是⼆次函数。
同⼀个数学形式，从不同的变量⾓度观察，可以有不同的名字。
这么说应该清楚了吧？如果还没讲清楚，别急，下⽂会有具体例⼦。
现在真要先讲讲MLE了。
例⼦⼀ 别⼈博客的⼀个例⼦。
假如有⼀个罐⼦，⾥⾯有⿊⽩两种颜⾊的球，数⽬多少不知，两种颜⾊的⽐例也不知。
我们想知道罐中⽩球和⿊球的⽐例，但我们不能把罐中的球全部拿出来数。
现在我们可以每次任意从已经摇匀的罐中拿⼀个球出来，记录球的颜⾊，然后把拿出来的球再放回罐中。
数理统计总复习(题型归纳)
56学 考题8（2005级 256学时） 三 、 ( 本 题 8 分 ) 设 X 1 , X 2 , L , X n为 服 从 泊 松 分 布 )的 π(λ )的总体X的一个样本，求λ的极大似然估计量。
32 考题9（2004级 32学时） 三、(本题8分)设总体X的概率密度为： ( θ + 1) x θ , 0 < x < 1, f ( x) = 0, 其它 其中θ > −1是未知参数，X 1 , X 2 , L , X n为总体X 的一个容量为n简单随机样本，求参数θ的极大 似然估计量。
考题5（2007级 64学时 作业P153 四） 七、(本题8分)设X 1 , L , X n为总体X的样本， X的密度函数为： 0< x<1 θ, f ( x , θ) = 1 − θ, 1 ≤ x < 2；其中未知参数θ > 0 0, 其他 设N为样本值x1 , L , xn中小于1的个数，求θ的极 大似然估计。
1 2 n
32学 考题4（2007级 32学时） 10分 六、(本题10分)设随机变量X的概率密度为 2x 2 , 0< x<θ f ( x) = θ ，其中未知参数θ > 0, 0, 其他 X 1 , L , X n是样本，求θ的矩估计和最大似然估计。
（此题和2008级的第三大题一样的.)
： 解（1）检验假设H 0：σ 2 = 1，H 1：σ 2 ≠ 1； ( n − 1) S 2 取统计量：χ 2 = 2 σ0
2 拒绝域为：χ 2 ≤ χ 2 α ( n − 1) = χ 0.975 ( 9) = 2.70 1−
或χ 2 ≥ χ 2 ( n − 1) = χ α
2
2 2 0.025
概率论习题库
一、单项选择题（每小题3分，共15分）1．设,A B 为两个随机事件，且B A ⊂，则下列式子正确的是A ．)()(A PB A P =⋃ B ．()()P AB P A =C ．()()|P B A P B =D ．()()()P B A P B P A -=-2. 设),(~2σμN X ,那么当σ增大时，{}-P X μσ<=A ．增大B ．不变C ．减少D ．增减不定 3．设()()()()~,E X-1X 21,X P poission λλ-==⎡⎤⎣⎦分布且则 Ａ．1 B. 2 C ．3 D ．04．设),(~2σμN X ，其中μ已知,2σ未知,123X , X ,X ,为其样本， 下列各项不是统计量的是 Ａ. 321X X X ++ Ｂ. {}123min X ,X ,X Ｃ. 23i 2i 1X σ=∑Ｄ．1X μ-5．在0H 为原假设，1H 为备择假设的假设检验中，显著性水平为α是A.}{00成立接受H H PB.}{11成立接受H H PC.}{10成立接受H H PD.}{01成立接受H H P1．A 2.B 3.A 4.C 5.D一、单项选择题（每小题3分，共15分）1．设,A B 为两个随机事件，且A B ⊂，则下面正确的等式是：(A))()()(A P B P A B P -=-； (B))(1)(A P AB P -=； (C))()|(B P A B P =； (D))()|(A P B A P =。
2. 设X ~2(,)N μσ,那么概率{2}P X μ<+(A) 随μ增加而变大; (B) 随μ增加而减小； (C) 随σ增加而不变; (D) 随σ增加而减小3. 设1{0,0}5P X Y ≥≥=,2{0}{0}5P X P Y ≥=≥=,则{max{,}0}P X Y ≥=(A) 15; (B) 25; (C) 35; (D) 454. 设总体X ,12,,,n X X X ⋅⋅⋅是取自总体X 的一个样本, X 为样本均值，则不是总体期望μ的无偏估计量的是 (A) X ; (B) 1ni i X =∑; (C) 1230.20.30.5X X X ++; (D) 123X X X +-5. 设总体X ~()2,N μσ，其中2σ已知, μ未知,123, ,X X X 为其样本， 下列各项中不是统计量的是(A) 123X X X ++; (B) {}123min ,,X X X ; (C) 2321i i X σ=∑; (D) 1X μ-1. (A) 2．(D) 3．(C) 4. (B) 5. (D)一、单项选择题（每小题3分，共15分）1．在一个确定的假设检验的问题中，与判断结果无关的因素有（ ）(A) 检验统计量 (B)显著性水平 (C) 样本值 (D)样本容量2. 设X ~2(,)N μσ,那么概率{2}P X μ<+(A) 随μ增大而变大; (B) 随μ增大而减小； (C) 随μ增大而不变; (D) 随σ增大而不变3．对于任意随机变量Y X ,，若)()()(Y E X E XY E =，则（ ）。
《概率论与数理统计》试题库
《概率论与数理统计》试题库陇南师范⾼等专科学校数信学院《概率论与数理统计》试题库⼆〇⼀四年⼋⽉⼗⼆⽇整理题库⽬录《概率论与数理统计》题库（⼀） (3)《概率论与数理统计》题库（⼆） (5)《概率论与数理统计》题库（三） (6)《概率论与数理统计》题库（四） (8)《概率论与数理统计》题库（五） (10)《概率论与数理统计》题库（六） (11)《概率论与数理统计》题库（七） (13)《概率论与数理统计》题库（⼋） (15)《概率论与数理统计》题库（九） (17)《概率论与数理统计》题库（⼗） (19)《概率论与数理统计》题库（⼗⼀） (21)《概率论与数理统计》题库（⼗⼆） (23)《概率论与数理统计》题库（⼗三） (25)《概率论与数理统计》题库（⼗四） (27)概率论与数理统计模拟试题1 (29)概率论与数理统计模拟试题2 (31)《概率论与数理统计》题库（⼀）⼀、填空题（10×3＝30分）1、随机变量相互独⽴，且～P(2.3)，～P(2.7)，，则，。
2、随机变量ξ～N(0,4)，则ξ的密度函数f(x)＝，D(2ξ＋1)= 。
3、随机变量～N(0,4;2,9;0),则，。
4、随机变量ξ～b(10,0.5)，则E(ξ)= ，D(ξ)= 。
5、随机变量ξ的密度函数是，则C= ，。
⼆、设事件，P(A)=0.5,P(B)=0.3,P(AB)=0.2,试计算的值。
三、已知离散型随机变量的分布列为：求的分布列。
四、设随机变量相互独⽴，且～U[0,2],～，求的联合密度函数五、掷20个骰⼦，求这20个骰⼦出现的点数之和的数学期望。
六、设相互独⽴，且，，试求:的数学期望和⽅差。
七、两名⼤学⽣约定在时间12时和13时之间于预定地点见⾯，先到者等⼀刻钟后离去，假定每个⼤学⽣可以在12时到13时之间的任意时刻到达，求他们相遇的概率。
⼋、设与的分布列为试问：为何值时，与相互独⽴？《概率论与数理统计》题库（⼆）⼀、填空题1、随机变量相互独⽴，且～P(0.27)，～P(1.73)，，则，。
(完整word版)极大似然估计的题库
1.设总体X 的概率密度函数是1, 01(;)0, x x f x a αα-⎧<<=⎨⎩其它 其中0α>为未知参数。
12, , , n x x x K 是一组样本值，求参数α的最大似然估计。
解：似然函数1111nnn ii i i L x x αααα--===∏=∏1ln ln (1)ln nii L n x αα==+-∑1ln ln 0ni i d L n x d αα==+=∑ 1ˆln nii nxα==-∑2、设总体X 的概率密度函数是1 01(;)0 x x f x a αα⎧+<<=⎨⎩（）其它123,,,,n x x x x K 是一组样本值，求参数α的最大似然估计。
解：似然函数11(1)(1)nnni i i i L x x αααα===∏+=+∏1ln ln(1)ln ni i L n x αα==++∑ 1ln ln 01ni i d L nx d αα==+=+∑ 1ˆ1ln nii nxα==--∑3、设总体X 的概率密度函数是22exp{}, 0()0, x x x f x λλ⎧->=⎨⎩其它λ>0为未知参数，123,,,,n x x x x K 是一组样本值，求参数λ的最大似然估计。
解：似然函数22111(2exp{})(2exp{})nnnnn i i i ii i i L x x x xλλλλ====∏-=∏-∑211ln ln(2)ln nniii i L n x xλλ===+-∑∑21ln 0n i i d L n x d αλ==-=∑21ˆnii nxα==∑4、设总体的概率密度函数是233exp{}, 0()0, x x x f x λλ⎧->=⎨⎩其它其中λ>0是未知参数，123,,,,n x x x x K 是一组样本值，求参数λ的最大似然估计。
解：似然函数2323111(3exp{})(3exp{})nnnnn ii i ii i i L x x x xλλλλ====∏-=∏-∑2311ln ln(3)ln nnii i i L n xx λλ===+-∑∑31ln 0n i i d L n x d αλ==-=∑ 31ˆnii nxλ==∑5、设总体X 服从参数为1θ的指数分布，123,,,,n x x x x K 是一组样本值，求参数θ的最大似然估计。
习题课
得 的置信区间为
0.226 (x 2.5706, 6 0.226 x 2.5706 ) 6
(14.713,
15.187 )
(3)
求总体方差置信区间用
( n 1) S 2 ( n 1) S 2 ( 2 , 2 ) ( n 1) 1 ( n 1)
2 2
n ( 1) x 0 xi 1, i 1, 2, i , f ( xi ) i 1 0, 其它
n
n
ln L( ) n ln( 1) ln xi
0 xi 1, i 1, 2, n
i 1
n
ln L( ) n ln( 1) ln xi
k 2(n 1) 2 2
1 k 2( n 1)
4、
某工厂生产一批滚珠, 其直径 X 服从
正态分布 N( 2), 现从某天的产品中随机 抽取 6 件, 测得直径为 15.1 , 14.8 , 15.2 , 14.9 , 14.6 , 15.1 (1) 若 2=0.06, 求 的置信区间 (2) 若 2未知,求 的置信区间 (3) 求方差 2的置信区间.
得方差比
2 1 2 2
的置信区间为 ( 0.18, 1.61 )
查表得
代入区间
t0.025 (28) 2.0484
1 1 ( X Y ) t ( n1 n2 2) S 2 n n 1 2
1 2的置信区间为
பைடு நூலகம்
(0.3544 , 2.5544 )
(2)
求方差比
2 1 S1 S 2 F (n 1, n 1) , 2 2 1 2
极大似然估计
极大似然估计极大似然估计极大似然估计方法在金融领域中的应用十分广泛。
该方法利用已知的概率密度函数形式，构造对数似然函数，然后最大化该似然函数从而求得概率密度函数中所含的参数估计量。
比如：对GARCH(1,1)模型中的参数估计中，如果均值方程中的扰动项服从正态分布，则我们可以利用正态分布的概率密度函数对所含参数进行估计。
1．极大似然估计基本原理 (1)参数估计下面以线性回归中系数的极大似然估计为例来说明极大似然估计基本原理。
考虑线性回归：Y X βε=+，2~(0,)Y X N εβσ=−则对于X 和Y 的每一对观测值(,)i i X Y ，这里，i X 为行向量，其概率密度函数形式如下： 21(,)())2i i i i Y X f X Y βσ−=− 给定N 对相互独立的观测值(,)i i X Y ，1,2,...,i N =，样本中所有观测值的总体概率密度函数(,)L βσ为单个观测值概率密度函数的乘积，即：211(,)())2Ni i i Y X L ββσσ=−=− （1） 极大似然估计要给出参数(,)βσ的估计量使得（1）式最大。
由于（1）式为乘积的形式，直接对最大化（1）式求解最优解，比较麻烦。
因此，采用似然函数的对数形式：2211(,)[()]2Ni i i LnL Ln Y X βσβσ==−−∑然后求解以下最优化问题：22(,)11max (,)[()]2Ni i i LnL Ln Y X βσβσβσ==−−∑ （2）最后得到的参数(,)βσ的估计量与普通最小二乘法得到的结果一样。
因此，当普通最小二乘法回归方程中的残差服从正态分布时，普通最小二乘估计与极大似然估计的结果是一样的。
更一般地，我们用θ表示需要估计的参数向量，相应地对数似然函数为：()LnL θ。
(2)参数估计的标准误差求解优化问题（2），虽然给出了参数θ的估计量ˆθ，但并没有给出估计的标准误差。
如果对数似然函数()LnL θ在其估计量ˆθ处的二阶倒数的期望是已知的，则极大似然估计量的渐进协方差矩阵1[()]I θ−满足：2111()()()[()]{[]}{[()()]}LnL LnL LnL I E E θθθθθθθθ−−−∂∂∂=−=′′∂∂∂∂ （3）通常情况下()LnL θ是一个非常复杂的非线性函数，我们很难得到（3）式中期望值的解析解形式。
极大似然估计
所 以 x ( n )是 的 最 大 似 然 估 计 .
的
一个观察值，则样本的联合概率分布
L(1 , 2 , m ) P { X 1 x 1 , X 2 x 2 X n x n }
p( xi ;1 , 2 , m )
i 1 n
-------似然函数
应 选 取 使 L ( 1 , 2 , , m ) 达 到 最 大 值 的 ˆ1 , ˆ 2 , , ˆm 作 为 1 , 2 , , m的 估 计 值 是 最 合 理 的 。
1
( xi ) 0 2 i1 n n 1 2 ( xi ) 0 4 2 2 2 i 1
n
n
ˆ X n 2 1 ( X X )2 . ˆ i
n i 1
例 5 . 设 总 体 X 服 从 [ 0 , ]上 的 均 匀 分 布 , 求 未 知 参 数 的 极 大 似 然 估 计 。
2
解
X ~ ( x; , )
2
1 2 π
( xi ) 2
2 2
(x ) 2
2
2
e
,
L( , )
2 i 1
n
1 2π
e
( 2 )
2
n 2
1 2
2
n
i1
( xi )
2
e
( 2 )
2
n 2
1 2
2
n
i1
2 . 若 X 是 连 续 型 随 机 变 量 ， X ~ f ( x ; 1 , 2 , , m )，
《概率论与数理统计》题库及答案
《概率论与数理统计》题库及答案一、填空题1．设有两门高射炮，每一门击中飞机的概率都是0.6，则同时发射一发炮弹而击中飞机的概率为 .若有一架敌机入侵领空，欲以99%以上的概率及中它，至少需 ＿＿＿门高射炮.2．设ξ在[0，1]上服从均匀分布，则ξ的概率分布函数F (x )= ＿＿＿,P (ξ≤2)= ＿＿＿.3．设母体)4,30(~N ξ，),,,(4321ξξξξ为来自ξ的一个容量为4的样本，则样本均值~ξ＿＿＿，=>)30(ξP ＿＿＿,),,,(4321ξξξξ的概率密度为＿＿＿.4. 将一枚均匀硬币掷四次，则四次中恰好出现两次正面朝上的概率为＿＿＿.5． 两封信随机地投入四个邮筒, 则前两个邮筒没有信的概率为_______, 第一个邮筒只有一封信的概率为_________.6． 一批产品的废品率为0.2, 每次抽取1个, 观察后放回去, 下次再任取1个, 共取3次, 则3次中恰有两次取到废品的概率为_________.7．设ξ具有概率密度⎩⎨⎧<<+=其他031)(x b ax x f ，又)21(2)32(<<=<<ξξP P ，则a = ,b = .8．设ξ与η相互独立，ξ～N (0,1)，η～N (1,2)，令ζ=ξ＋2η，则E ζ=＿＿＿,D ζ=＿＿＿, ζ的概率密度函数为＿＿＿.9．已知B A ⊂，P (A )=0.1,P (B )=0.5,则P (AB )= ＿＿＿,P (A +B )= ＿＿＿,=)(B A P ＿＿＿,P (A |B )= ＿＿＿，=+)(B A P ＿＿＿.10．设)4,3(~N ξ，则使得)()(c P c P ≤=>ξξ成立的=c ＿＿＿. 11．已知1-=ξE ，3=ξD ，则 =-)]2(3[2ξE ＿＿＿.12. 小概率原理认为：小概率事件在一次试验中是不会发生的，如果发生了则要 ． 13. 相关系数的取值范围是 ．14. 设总体),(~2σξa N ，2σ已知，),...,(1n X X 为来自ξ的一个样本，如检验00:a a H =（常数），则在0H 成立条件下，检验统计量服从 分布．15. 设总体ξ的概率分布列为),...,(,1)0(,)1(1n X X p P p P -====ξξ为来自ξ的一个样本，则=)(X D ．16. 设ξ的密度函数为⎩⎨⎧<≥=-0,00,2)(2x x e x f x 当当，则=ξD ．17. 设),(ηξ的密度函数为⎩⎨⎧≤≤≤≤=其它,010,10,4),(y x xy y x f ， 则η的边沿密=)(y f ．18. =+==⊂)(,5.0)(,1.0)(,B A P B P A P B A 则 ．19. 若,5.0)(,6.0)(==B P A P 7.0)(=+B A P ，则=)(AB P ． 20. 公交车每5分钟发一辆，则乘客等车时间不超过3分钟的概率为 ．21. ⎪⎩⎪⎨⎧<<=其他,020,cos )(πx x A x f 为密度函数，则=A ．22. 两随机变量ξ与η的方差分别为25及36，相关系数为0.4，则=-)(ηξD . 23. 设)1,0(~N ξ，)(~2n χη，且ξ与η相互独立，则统计量~nηξ． 二、选择题1．若事件A 、B 为互逆事件，则=)(B A P （ ）A. 0B. 0.5C. 1D. Φ2．在四次重复贝努里试验中，事件A 至少发生一次的概率为80/81，则A 在每次试验中发生的概率p 为（ ）A.4532 B. 31 C.32D. 1－4532 3．若两个随机变量ξ和η的相关系数0=ξηρ，则下列结论正确的是（ ）.A. ()ηξηξD D D -=-B. ()ηξηξD D D +=+C. ()ηξξηD D D =D. ξ和η相互独立4． 设A 、B 、C 为三个事件，则A 、B 、C 至少发生一个的事件应表示为（ ）A. ABCB. A ＋B ＋CC. C B AD. C B A5． 每次试验成功的概率为)10(<<p p ，重复进行试验直到第n 次才取得)1(n r r ≤≤次成功的概率为（ ）.A. r n r r n p p C --)1(B. rn r r n p p C ----)1(11 C. rn r p p --)1( D. r n r r n p pC -----)1(1116． 设（ξ,η）具有概率密度函数⎪⎩⎪⎨⎧<<<<+=其他020,20)sin(),(ππy x y x A y x f ，则A=( )A. 0.1B. 0.5C. 1D. 27． 设),(~2σμξN ，且μ=0，12=σ，令βαξη+=，则D η=( )(α、β为常数)A.βα-B. βα+C.α ④2α 8． 已知ξ的概率密度函数为f (x ),则（ ）A.0≤f (x )≤1B.P (ξ=x )=f (x )C.⎰+∞∞-=1)(dx x f D.P (ξ=x )≤f (x )≤19． 若母体ξ的方差为2σ，则2σ的无偏估计为（ ）A.21S n n -B.2SC.21S n n- D.S 10．设A ，B 为两事件，B A ⊂，则不能推出结论（ ）A. )()(A P AB P =B. )()(B P B A P =⋃C.)()()(B P A P B A P -=D. )()()(A P B P B A P -= 11. 若事件A 、B 互不相容，则=)(B A PA ．0.5B ．0C ．1D ．0.25 12. 设事件A 、B 相互独立，已知5.0)(,25.0)(==B P A P ，则=-)(B A P A ．12.0 B ．125.0 C ．25.0 D ．5.013. 设随机变量ξ的概率密度函数为⎪⎩⎪⎨⎧≤≤-≤≤=其它,021,210,)(x x x x x f ，则=≤)1.5(ξPA ．0.875B ．⎰-5.10)2dx x （ C ．⎰-5.11)2dx x （ D ．⎰∞--5.1)2xdx x （14. 设)(x f 为连续型随机变量ξ的概率密度，)(x F 为ξ的分布函数，则下列正确的是 A ．)()(x f x F = B ．1)(0<<x f C ．)()(x F x P ==ξ D ．⎰∞+∞-=1)(dx x f15. 设),(ηξ的概率密度为⎩⎨⎧≥≥=+-其它,00,0,),()(y x Ce y x f y x ，则C =A ． 1B ．0.5C ．0.25D ．216. 设随机变量ξ的概率密度函数为⎩⎨⎧<≥=-0,00,)(x x e x f x λλ ， 则=ξEA ．λB ．λ1 C ．2λ D ．21λ17. 设A 、B 、C 为三个事件，则A 、B 、C 恰有两个发生的事件应表示为 A.C B A BC A C AB ++ B. AC BC AB ++ C.ABC C B A BC A C AB +++ D. C A C B B A ++18. 袋中有5个黑球，3个白球，大小相同，一次随机地摸出4个球，其中恰有3个白球的概率为 A ．83 B ．81)83(5 C ．81)83(348C D ．485C19. 设)1,0(~),4,(~2N a N ηξ记),1(),4(21≥=-≤=ηξp p a p p 则下列正确的是 A ．21p p = B ．21p p ≠ C ．21p p < D ．21p p >20. 设ξ的概率密度为⎩⎨⎧<<=其它,010,)(2x Ax x f ， 则A =A ．31 B ．3 C ．21D ．221. 已知连续型随机变量ξ的概率密度为)(x f ，)(x F 为ξ的分布函数，则下列正确的是 A ．)()(x f x P ==ξ B ．1)(=⎰∞+∞-dx x f xC ．1)(0≤≤x FD ．)()(x f x P =≤ξ22. 设随机变量ξ的概率密度函数为)(x f ，如果（ ），恒有1)(0≤≤x f ．A ．),1(~2σξN B ．)1,2(~N ξ C ．),(~2σξa N D ．),0(~2σξN三、计算题1．如果在1500件产品中有1000件不合格品，如从中任抽150件检查，求查得不合格品数的数学期望；如从中有放回抽取150次，每次抽一件，求查得不合格品数的数学期望和方差.2． 如果n ξξξ,,,21 是n 个相互独立、同分布的随机变量，μξ=i E ，),,2,1(8n i D i ==ξ.对于∑==ni i n 11ξξ，写出ξ所满足的切贝晓夫不等式，并估计)4|(|<-μξP .3．在密度函数(),1)(ααx x f +=10<<x 中求参数α 的矩估计和极大似然估计.4． 已知随机变量ξ～N (0，1)，求(1) ξηe =的概率密度； (2) ||ξζ=的概率密度.5． 全班20人中有8人学过日语，现从全班20人中任抽3人参加中日友好活动，令ξ为3人中学过日语的人数，求(1) 3人中至少有1人学过日语的概率； (2) ξ的概率分布列及E ξ.6． 设总体ξ服从指数分布，其概率密度函数为⎪⎩⎪⎨⎧<≤=-001)(1x x ex f x θθ，（θ>0）试求参数θ的矩估计和极大似然估计.7．一个盒子中共有10个球，其中有5个白球，5个黑球，从中不放回地抽两次，每次抽一个球，求（1） 两次都抽到白球的概率； （2） 第二次才抽到白球的概率； （3）第二次抽到白球的概率.8．已知ξ～N (0，1)，求（1）ξe 的概率密度； （2）2ξ的概率密度.9．设总体X ～N(μ,1), ),,(1n X X 为来自X 的一个样本，试求参数μ的矩估计和最大似然估计. 10． 设母体ξ具有指数分布，密度函数为⎩⎨⎧<≤=-00),(x xe xf xλλλ（0>λ），试求参数λ的矩估计和极大似然估计.11. 袋子中有5件某类产品，其中正品3件，次品2件，现从中任意抽取2件，求2件中至少有1件是正品的概率12. 一条生产线生产甲、乙两种工件，已知该生产线有三分之一的时间生产甲种工件，此时停机的概率为0.3，有三分之二的时间生产乙种工件，此时停机的概率为0.4．如该生产线停机，求它是在生产甲种工件的概率. 13. 有3人同时走进一栋五层楼房的入口，设每人进入1至5层是等可能的，求没有两人进入同一层的概率. 14. 某地区高考数学成绩服从正态分布)6,90(~2N ξ，某考生数学成绩为96分，问比他成绩低的考生占多少？（)8413.0)1(=Φ。
2021年大学基础课概率论与数理统计必考题及答案(含解析)
2021年大学基础课概率论与数理统计必考题及答案（含解析）一、单选题1、设总体X 服从正态分布()212,,,,,n N X X X μσ是来自X 的样本，则2σ的最大似然估计为（A ）()211n i i X X n =-∑ （B ）()2111n i i X X n =--∑ （C ）211n i i X n =∑ （D ）2X 【答案】A2、假设随机变量X 的分布函数为F(x),密度函数为f(x).若X 与-X 有相同的分布函数，则下列各式中正确的是A ）F(x) = F(-x); B) F(x) = - F(-x);C) f (x) = f (-x); D) f (x) = - f (-x).【答案】C3、在一次假设检验中，下列说法正确的是___ ____(A)第一类错误和第二类错误同时都要犯(B)如果备择假设是正确的，但作出的决策是拒绝备择假设，则犯了第一类错误(C)增大样本容量，则犯两类错误的概率都要变小(D)如果原假设是错误的，但作出的决策是接受备择假设，则犯了第二类错误【答案】C4、设n X X ,,1 是来自总体X 的样本，且μ=EX ，则下列是μ的无偏估计的是（ ）)(A ∑-=111n i i X n )(B ∑=-n i i X n 111 )(C ∑=ni i X n 21 )(D ∑-=-1111n i i X n 【答案】D5、 设123,,X X X 相互独立同服从参数3λ=的泊松分布，令1231()3Y X X X =++，则2()E Y =A ）1.B ）9.C ）10.D ）6.【答案】C6、在一次假设检验中，下列说法正确的是______(A)既可能犯第一类错误也可能犯第二类错误(B)如果备择假设是正确的，但作出的决策是拒绝备择假设，则犯了第一类错误(C)增大样本容量，则犯两类错误的概率都不变(D)如果原假设是错误的，但作出的决策是接受备择假设，则犯了第二类错误【答案】A7、1621,,,X X X 是来自总体），10(N ~X 的一部分样本，设：216292821X X Y X X Z ++=++= ，则YZ ~（ ） )(A )1,0(N )(B )16(t )(C )16(2χ )(D )8,8(F【答案】D8、设是未知参数的一个估计量，若，则是的___ _____(A)极大似然估计 (B)矩法估计 (C)相合估计 (D)有偏估计【答案】D9、设 ()2~,X N μσ，其中μ已知,2σ未知,1234,,,X X X X 为其样本， 下列各项不是统计量的是＿＿＿＿ (Ａ)4114i i X X ==∑ (Ｂ)142X X μ+- (Ｃ)42211()i i K X X σ==-∑ (Ｄ)4211()3i i S X X ==-∑ 【答案】C10、对于事件A ，B ，下列命题正确的是（A ）若A ，B 互不相容，则A 与B 也互不相容。
应用统计学：参数估计习题及答案
简答题1、矩估计的推断思路如何？有何优劣？2、极大似然估计的推断思路如何？有何优劣？3、什么是抽样误差？抽样误差的大小受哪些因素影响？4、简述点估计和区间估计的区别和特点。
5、确定重复抽样必要样本单位数应考虑哪些因素？计算题1、对于未知参数的泊松分布和正态分布分别使用矩法和极大似然法进行点估计，并考量估计结果符合什么标准2、某学校用不重复随机抽样方法选取100名高中学生，占学生总数的10%，学生平均体重为50公斤，标准差为48.36公斤。
要求在可靠程度为95%（t=1.96）的条件下，推断该校全部高中学生平均体重的范围是多少？3、某县拟对该县20000小麦进行简单随机抽样调查，推断平均亩产量。
根据过去抽样调查经验，平均亩产量的标准差为100公斤，抽样平均误差为40公斤。
现在要求可靠程度为95.45%（t=2）的条件下，这次抽样的亩数应至少为多少？4、某地区对小麦的单位面积产量进行抽样调查，随机抽选25公顷，计算得平均每公顷产量9000公斤，每公顷产量的标准差为1200公斤。
试估计每公顷产量在8520-9480公斤的概率是多少？（P(t=1)=0.6827, P(t=2)=0.9545, P(t=3)=0.9973）5、某厂有甲、乙两车间都生产同种电器产品，为调查该厂电器产品的电流强度情况，按产量等比例类型抽样方法抽取样本，资料如下：样本容量（个）平均电流强度（安培）电流强度标准差（安培）合格率（%）甲车间20 1.5 0.8 90乙车间40 1.6 0.6 95试推断：（1）在95.45%（t=2）的概率保证下推断该厂生产的全部该种电器产品的平均电流强度的可能范围（2）以同样条件推断其合格率的可能范围（3）比较两车间产品质量6、采用简单随机重复和不重复抽样的方法在2000件产品中抽查200件，其中合格品190件，要求：（1）计算样本合格品率及其抽样平均误差（2）以95.45%的概率保证程度对该批产品合格品率和合格品数量进行区间估计。
(完整版)数理统计课后习题答案—杨虎
习题一、基本概念1．解： 设12345,,,,X X X X X 为总体的样本1）51151~(1,) (,,)(1)i ix x i X B p f x x p p -==-∏555(1)11(1),5x x i i p p x x -==-=∑2）λλλλλ55155151!!),,( )(~-==-∏∏==e x ex x x f P X i ixi i xi3）5155111~(,) (,,),,1,...,5()i X U a b f x x a xi b i b a b a ===≤≤=--∏所以5151,,1,...,5()(,,)0,a xi b i b a f x x ⎧≤≤=⎪-=⎨⎪⎩其他 4）()⎪⎭⎫ ⎝⎛-==∑∏=-=-5122/55125121exp 221),,( )1,(~2i i i x x e x x f N X i ππμ 2.解： 由题意得：因为0110,(),1,n k k k x x k F x x x x n x x ++<⎧⎪⎪≤<⎨⎪≥⎪⎩，所以40,00.3,010.65,12()0.8,230.9,341,4x x x F x x x x <⎧⎪≤<⎪⎪≤<⎨≤<⎪⎪≤<⎪≥⎩3．解：它近似服从均值为172，方差为5.64的正态分布，即(172,5.64)N 4．解：()55-5 510/2- -⎪⎪⎭⎫ ⎝⎛<<-=⎪⎪⎭⎫ ⎝⎛<=<k X k P k X P k X P μμμ 因k 较大()()()()()()()-555(15)2510.950.95P X k k k k k k k μ<≈Φ-Φ-=Φ--Φ=Φ-=Φ=,5 1.65,0.33k k ==查表1 0.9 0.8 0.7 0.6 0.5 0.4 0.30.2 0.11 2 3 4 xy5．解：()-5250.853.8 1.1429 1.7143(1.7143)( 1.14296.3/6X P X P ⎛⎫<<=-<<=Φ-Φ- ⎪⎝⎭）0.9564(10.8729)0.8293=--=6．解：()()()~(20,0.3),~(20,0.2),~(0,0.5),0.3 0.30.3Y N Z N Y Z Y Z N P Y Z P Y Z P Y Z -->=->+-<-设与相互独立，0.42430.42431(0.4243)(1(0.4243))22(0.4243)P P ⎫⎫=>=+<-⎪⎪⎭⎭=-Φ+-Φ=-Φ220.66280.6744=-⨯= 7.解：101010222111~(0,4),~(0,1),2111 10.05,0.95444444ii i i i i i i X X N N c c c P X P X P X ===⎛⎫⎛⎫⎛⎫>=-≤=≤= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭∑∑∑则查卡方分位数表 c/4=18.31,c=73.24 8．解：由已知条件得：(1,),1()iX Y B p p F μ=-由i X 互相独立，知i Y 也互相独立，所以1(,),1().niX i Y B n p p F μ==-∑9.解: 1))1(,)1(,2p Np DX ES np Np n DX X D Np EX X E -==-==== 2)λλλ======DX ES nn DX X D EX X E 2,, 3)()()12,12,2222a b DX ES n a b n DX X D b a EX X E -==-==+==4)1,1,2======DX ES nn DX X D EX X E μ 10.解：1)()22212)1()1()1()1(σ-=-=-=-=-∑=n DX n ES n S n E X X E ni i2)()222242221(1)(1)(1), ~(1)nii n S n S DXX D n S D n σχσσ=⎛⎫---=-=- ⎪⎝⎭∑ ()2412(1)nii DXX n σ=∴-=-∑ 11.解：ππππππn X E dt e dy ey dy ey X nE Y E nn DY X E EY N X n Y n N X t y y 2)(,2)1(222222||21)(),11,0(),1,0(~),/1,0(~)102222==Γ==========-∞+-∞+-∞+∞-⎰⎰⎰ 令ππππππ211,2)1(222222||21),1,0(~)21102222===Γ====∑∑⎰⎰⎰==-∞+-∞+-∞+∞-n i i n i i t x x X E n X n E dt e dx ex dx ex X E N X12.解：1)()2224X E X E X E n μμ-=-=()244100.1X X D E n n⎡⎤=+=+≤⎢⎥⎣⎦ 40n ∴≥2)2222,2u u X u E u e du u du +∞+∞---∞===⎰⎰222220022002(1)0.1,80010,254.6,255u uutue du ue duue d e dtE X En nμπ+∞+∞--+∞+∞--===Γ=-==≤≥≥=∴≥⎰⎰⎰⎰3) ()()111P X P X Pμμ⎛-≤=-≤-≤=≤≤⎝⎭0.975210.95,2221.96,15.36,162u n n⎛⎛⎫⎛=Φ-Φ-=Φ-≥⎪⎪⎝⎭⎝⎭⎝⎭≥=≥≥13.解：()()()112221111111,n ni ii iY XY X a X na X an b b n bEY EX a S Sb b==⎛⎫=-=-=-⎪⎝⎭=-=∑∑14．解：1）12345~(0,2),~(0,3)X X N X X X N+++~~(0,1)N N1111,, 2.23c d n∴===2）()2345222212~(2),~(1)3X X XX Xχχ+++()()22122234523~(2,1),,2,123XX F c m n X X X +===++15.解： 设1(1,)p F n α-=，即()1(1P F p P p α≤=-⇔≤≤=-((12(2(12P T P T pP T p p P T ⇔≤-≤=-⇔≤=-⇔≤=-122112()()(1,)p p p t n tn F n α---=∴==16．解：()()()()()()()()()121222222221212222212121212212221212~(0,2),~(0,~~(0,1)~~(2)2210.1,2X X N X X N N N X X X X t P t P X X X X X X X X X X t P X X X X c χχ+-+⎛⎫⎛⎫++>=> ⎪ ⎪ ⎪ ⎪++-++-⎝⎭⎝⎭⎧⎫+⎪⎪=-≤=⎨⎬++-⎪⎪⎩⎭=0.9(1,2)8.532tF ==17.证明： 1）2211122211()0,(),(0,)1(1)(1)n n n n n E X X D X X X X N nnn S n t n σσχσ+++++-=-=∴---=-又2）2211111()0,(),(0,)n n n n n E XX D X X X X N nnσσ+++++-=-=∴- 3）2211111()0,(),(0,)n n E X X D X X X X N nnσσ---=-=∴- 18. 解：()()()62,47.61,96.125.0,975.025.0,95.0125.0225.0/25.025.0975.0≥≥=≥≥Φ≥-Φ=⎪⎪⎭⎫ ⎝⎛≤-≤-=≤-n n u n n n n n X n P X P σμσμ 19.解[,]0,1,[,](),(),0,[,]1,X U a b x a x a b x af x F x a x b b a b a x a b x b ≤⎧⎧⎪∈-⎪⎪∴==<≤-⎨⎨-⎪⎪∉⎩>⎪⎩1(1)()(1())()n f x n F x f x -∴=-111()1(),[,]0,[,]1(),[,]()(())()0,[,]n n n n b a n x a b b a b a x a b x a n x a b f x n F x f x b a b ax a b ----⎧∈⎪=--⎨⎪∉⎩-⎧∈⎪==--⎨⎪∉⎩20.解：()()()()()()()55(1)(1)11515555555(5)111011011011101211121(1(1))1(11(1))1(1)0.5785121515 1.5(1.5)0.93320.70772i i i i i i i i i i P X P X P X P X X P X P XP X P =====<=-≥=-≥=--≤⎛-⎫⎛⎫=--≤- ⎪⎪⎝⎭⎝⎭=--Φ-=--+Φ=-Φ=-⎛⎫<==<=<=Φ== ⎪⎝⎭∏∏∏∏∏21. 解：1)因为21~(0,)mii XN m σ=∑，从而~(0,1)miXN ∑2221~()m ni i m Xn χσ+=+∑，所以~()miX t n ξ=2）因为22211~()mii Xm χσ=∑，22211~()m n i i m X n χσ+=+∑所以2121~(,)mi i m ni i m n X F m n m X =+=+∑∑3)因为21~(0,)m i i X N m σ=∑，21~(0,)m n i i m X N n σ+=+∑所以2212()~(1)mi i X m χσ=∑，2212()~(1)m ni i m X n χσ+=+∑故222221111~(2)m m n i i i i m X X m n χσσ+==+⎛⎫⎛⎫+ ⎪ ⎪⎝⎭⎝⎭∑∑ 22.解：由Th1.4.1 (2)()(),95.047.321),1(~122222=⎪⎪⎭⎫⎝⎛≤---σχσS n P n S n查表:n 121,n 22-==23.解： 由推论1.4.3(2)05.095.0139.2139.2),14,19(~222122212221=-=⎪⎪⎭⎫ ⎝⎛≤-=⎪⎪⎭⎫ ⎝⎛>S S P S S P F S S 24.解： 1)()()94.005.099.057.3785.10)20(~),1,0(~),,0(~2201222220122=-=≤≤=⎪⎭⎫ ⎝⎛-=---∑∑==χχχσμσμσμσμP X XN X N X i i i ii i2)()895.01.0995.058.381965.11),19(~192222222012=-=⎪⎪⎭⎫ ⎝⎛≤≤=-∑=σχσσS P S X Xi i25. 解： 1)()4532.07734.0221)75.0(21431435/2080380=⨯-=+Φ-=⎪⎭⎫ ⎝⎛≤-=⎪⎪⎭⎫ ⎝⎛>-=>-U P X P X P2)()()05.01975.021064.21064.25/2674.780380=+⨯-=≤-=⎪⎪⎭⎫ ⎝⎛>-=>-T P X P X P 26.解： 1)8413.0120472.4472.4=⎪⎪⎭⎫ ⎝⎛<-=⎪⎪⎭⎫ ⎝⎛<-=⎪⎭⎫ ⎝⎛+<σσσa X P a X P a XP 2)2222222222223132222222S P S P S P S P σσσσσσσσ⎛⎫⎛⎫⎛⎫⎛⎫-<=-<-<=<<=<< ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭22199.528.50.950.050.9S P σ⎛⎫=<<=-= ⎪⎝⎭3)3676.3,328.120,1.020,9.02012020/1===⎪⎪⎭⎫ ⎝⎛≤=⎪⎪⎭⎫⎝⎛≤-=⎪⎪⎭⎫⎝⎛>-=⎪⎪⎭⎫⎝⎛>-=⎪⎪⎭⎫ ⎝⎛>-c c c T P c T P c S X P c S X P c X S P μμμ27．解：22cov(,)(,))(1()()1cov(,)()1(,)1j i j j i j i j i j i j i j X X X X r X X X X D X n D X X D X X nX X X X E X X X X X X X X nr X X X X n σσ----=---=-=--=---=-∴--=--28.解：()2221212)1(2)1(,)1(,21),2,2(~σσμ-=-=-=-===+=∑∑==+n ES n ET S n Y Y T X Y n Y N X X Y Y Y ni i ni i in i i 令习题二、参数估计1．解：矩估计()1 3.40.10.20.90.80.70.766X =+++++=()()11111ln ln(1)ln nnni i i i nii L x x L n x αααααα===⎡⎤=+=+⎣⎦=++∏∏∑121ln ln 01ˆ10.2112ln n i i n ii d n L x d n x αααα====+=+=--=∑∑3077.0121ˆ,212)1()1(110121=--==++=++=+=⎰++X XX x dx x EX αααααααα所以12112ˆˆ,11ln n ii X nX X αα=⎛⎫⎪- ⎪==-+-⎪ ⎪⎝⎭∑，12ˆˆ0.3079,0.2112αα≈≈ 2．解： 1）3077.02ˆ,21====X X EX θθ111ln 0nni L nL θθθ====-=∏无解，依定义：21ˆmax ii nX θ≤≤= 2）矩法：211ˆˆ1.2,0.472212EX DX θθ====极大似然估计：22ˆˆ1.1,0.1833212EX DX θθ====3． 1）解：矩法估计：111ˆ,EX X Xλλ===最大似然估计：111,ln ln niii nnx x ni i i L eeL n L x λλλλλ=--==∑===-∑∏2111ˆln 0,ni ni ii d n nL x d Xxλλλ===-===∑∑2)解：~()X P λ矩估计：X X EX ===1ˆ,λλ最大似然估计：1,ln ln ixnxnn i i iiL eeL n nx x x xλλλλλλ--====-+-∑∏∏2ˆln 0,d nx L n X d λλλ=-+==3）解：矩估计：()2,212b a a bEX DX -+==联立方程：()2*221ˆ2ˆa X b X a bX b a M ⎧=-⎪→+⎧=⎪⎪⎨-⎪=⎪⎩⎨=+⎪⎩极大似然估计：依照定义，11ˆˆmin ,max i ii ni na Xb X ≤≤≤≤== 4) 解： 矩估计：00ln EX dx xxθθ+∞+∞==⎰，不存在22111,ln ln 2ln nnni i i i iL L n x x x θθθ=====-∑∏∏ln 0n L αθ∂==∂，无解；故，依照定义，(1)ˆX θ= 5)解： 矩法：()/0()(1)(2)x txEX edx t e dt αβααβαββ+∞+∞---==+=Γ+Γ⎰⎰ Xαβ=+=2222()(1)2(2)(3)t EX t e dt αβααββ+∞-=+=Γ+Γ+Γ⎰ 222222122()i M X nααββαββ=++=++==∑22222*2111ˆˆi M X X X M nX βαβ=-=-==-=∑即11ˆˆX X αβ====极大似然估计：()()/1111exp ,ln ln i nx ni n L enx n L n nx αβαβαβββββ---=⎡⎤==--=--+⎢⎥⎣⎦∏2ln 0,ln ()0n n nL L x ααββββ∂∂===-+-=∂∂ α无解，依定义有：(1)(1)ˆˆ,L L X X X X αβα==-=- 7)解： 矩法：22223222(2)x x tx EX dx dte dt Xθθθ+∞+∞+∞---=====⎰⎰⎰ˆMθ=极大似然估计：22222211iixnxn ni ii iL x eθθ--==∑⎛⎫⎛== ⎪⎝⎝⎭∏222ln ln43ln ln iixL n n n xθθ=---∑∑233ˆln20,iLxnLθθθθ∂=-+==∂∑8)解：矩法：2222222222022222223(1)(1)[(1)](1)(1)(1)1221x x x x x xxxd dEX x xd dd dq Xdq dq qθθθθθθθθθθθθθ∞∞∞-===∞==--=-=---=====-∑∑∑∑2ˆM Xθ=极大似然估计：22221(1)(1)(1)(1)ln2ln(2)ln(1)ln(1)inx n nx ni iiiL x xL n nx n xθθθθθθ--==--=--=+--+-∏∏∑222ˆln0,1Ln nx nLXθθθθ∂-=-==∂-4解：11112112(,,)(1)(1)ln(,,)ln(1)ln(1)n ni ii i i iy yny y nninL p y y y p p p pL p y y y ny p n y p==--=∑∑=-=-=+--∏12(,,)0(1)ny pd L p y y y ndp p p-==-ˆp Y=记001,;0,i i i iy x a y x a=≥=<则(1,)iY B p；5.解：1,ln lninx n nxiL e e L n nxλλλλλλ--====-∏711120000ˆln 0,,2010001000i i i d n L nx X x v d X λλλ==-=====∑ 1ˆ0.05Xλ== 6解：因为其寿命服从正态分布，所以极大似然估计为：2211ˆˆ,()ni i x x n μσμ===-∑ 根据样本数据得到：2ˆˆ997.1,17235.811μσ==。
机器学习题库
机器学习题库一、 极大似然1、 (10)A , . ,()1xb p x e b-=N a :(a)a b.(b) . (c) a b.2、换成分布：()|,0,1,2,...!x ep x y x θθθ-==()()()()()1111log |log log !log log !NNi i i i NNi i i i l p x x x x N x θθθθθθ======--⎡⎤=--⎢⎥⎣⎦∑∑∑∑二、 贝叶斯1、 贝叶斯公式应用假设在考试的多项选择中，考生知道正确答案的概率为p ，猜测答案的概率为1，并且假设考生知道正确答案答对题的概率为1，猜中正确答案的概率为1m ，其中m 为多选项的数目。
那么已知考生答对题目，求他知道正确答案的概率。
：()()()(),|11p known correct pp known correct p known p p m==+- 2、a ()|p x θ a θ, a a ()|p θγ γ,()()()()|,|||p X p X p p θγαθθγθγ'==与先验的分布族相同(a)λ:()|x p x e λλλ-=()()1|,Gamma eααβλβλαβλα--=Γ _a . 1,,Nx x K ()11|,,N N p xx x +K .(b)a()()1|1k p x k θθθ-==-a , θ. .(c)()|p θγ a ()|p x θ;()()11|,...,|MM m m m p w p θγγθγ==∑, 1.(d) (c) a a , .; ,α(e) ( , 20) a ; ., .三、判断题（1）给定n个数据点，如果其中一半用于训练，另一半用于测试，则训练误差和测试误差之间的差别会随着n的增加而减小。
（2）极大似然估计是无偏估计且在所有的无偏估计中方差最小，所以极大似然估计的风险最小。
（３）回归函数A和B，如果A比B更简单，则A几乎一定会比B在测试集上表现更好。
极大似然估计
E ( )
U (0, )
ˆ 2
ˆ ( n )
2 易见, 不是 2的无偏估计量 ˆL
注 极大似然估计量不一定 是无偏估计量
极大似然估计有一个简单但很有用的性质
性质 （极大似然估计的不变 性） ˆ是f ( x; )中参数的极大似然估计，并且 函数 设
ˆ )是u( )的 ˆ u( u u( )具有单值反函数 ( u)，则u 极大似然估计， 这里 ，Ц 为u( )的值域
例1 设ξ1,ξ2,…, ξn是取自母体 ξ~b(1, p) 的一个子样， 0 1分布 求参数p的极大似然估计.
解：的概率函数为 : P ( x ) p x (1 p)1 x ( x 0,1)
(1)似然函数 : L( p; x1 ,, xn ) p (1 p)
x
e ,
x 0,1,2,, 0
n n
i 1
xi
n
x1 ! x2 ! xn !
e n ,
( 2) ln L ( xi ) ln ln( xi ! ) n
i 1 i 1
d ln L i 1 令 n0 d ˆ ( 3)
0 1分布 b( n, p) P ( )
N ( , 2 )
常用概率分布的参数估 计表 矩估计 极大似然估计
ˆ p ˆ p n ˆ p
ˆ p
n
ˆ
ˆ
ˆ
1 n ˆ ( i )2 n i 1 1 ˆ
2
ˆ
1 n ˆ ( i )2 n i 1 1 ˆ
xi i 1 np )
xi
矩估计和极大似然估计
=θ2+(θ+μ)2
注意到 令 θ μ X , 2 θ M 2 . DX = E ( X2 )－( EX )2=θ2
2 1 ˆ M2 (Xi X ) , n i 1 ˆ X M . μ n
2
14
第二节
极大似然估计
第七章
极大似然估计
15
极大似然估计法: 定义7.1 设 是
1, 第i次取到不合格品； Xi i 1, 2, , n. 0, 第i次取到合格品.
解 因 p=EX, 故 p 的矩估计量为
1 ˆ X X i f n ( A) p n i 1
(即出现不合格产品的频率).
9
n
例5
设总体X ~ U [a, b], a, b未知；X 1 , , X n
1100
可用两种方法：矩法估计 和极大似然估计.
28
1 x e , x0 X : p( x; ) ( 0) 0 , other
1）矩法估计
令 X
1 EX x e dx 0 则可得 的矩法估计量为：ˆ X .
x
1 n A1 X i X n i 1
1 ˆ 则 x (0 75 1 90 6 1) 1.22 250
ˆ 1.22。 所以 X 估计 下面我们通过几个例子说明利用矩估计法求 未知参数的过程。
6
例2
22
令
即
所以参数
的极大似然估计量为
23
例3
解
设 X1, X2, …, Xn 是取自总体X 的一个样本,
，求参数λ的极大似然估计值。
似然函数为:
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.设总体X 的概率密度函数是
1, 01
(;)0, x x f x a αα-⎧<<=⎨
⎩
其它 其中0α>为未知参数。
12, , , n x x x 是一组样本值，求参数α
的最大似然估计。
解：似然函数1
111n
n
n i
i i i L x x αααα--===∏=∏
1
ln ln (1)
ln n
i
i L n x αα==+-∑
1
ln ln 0n
i i d L n x d αα==+=∑ 1
ˆln n
i
i n
x
α==-∑
2、设总体X 的概率密度函数是
1 01
(;)0 x x f x a αα⎧+<<=⎨
⎩（）其它
123,,,
,n x x x x 是一组样本值，求参数α的最大似然估计。
解：似然函数1
1
(1)(1)n
n
n
i i i i L x x α
ααα===∏+=+∏
1ln ln(1)ln n
i i L n x αα==++∑ 1
ln ln 01n
i i d L n
x d αα==+=+∑ 1
ˆ1ln n
i
i n
x
α
==--∑
3、设总体X 的概率密度函数是
22exp{}, 0
()0, x x x f x λλ⎧->=⎨⎩
其它
λ>0为未知参数，123,,,,n x x x x 是一组样本值，求参数λ的最大似然估计。
解：似然函数2
2
1
1
1
(2exp{})(2exp{})n
n
n
n
n i i i i
i i i L x x x x
λλλλ
====∏-=∏-∑
2
1
1
ln ln(2)ln n
n
i
i
i i L n x x
λλ===+
-∑∑
2
1
ln 0n i i d L n x d αλ==-=∑
21
ˆn
i
i n
x
α
==∑
4、设总体的概率密度函数是
233exp{}, 0
()0, x x x f x λλ⎧->=⎨
⎩其它
其中λ>0是未知参数，123,,,
,n x x x x 是一组样本值，求参数λ的最大似然估计。
解：似然函数23
2
3
1
1
1
(3exp{})(3exp{})n
n
n
n
n i
i i i
i i i L x x x x
λλλλ
====∏-=∏-∑
2
31
1
ln ln(3)ln n
n
i
i i i L n x
x λλ===+
-∑∑
3
1
ln 0n i i d L n x d αλ==-=∑ 31
ˆn
i
i n
x
λ==∑
5、设总体X 服从参数为
1
θ
的指数分布，123,,,,n x x x x 是一组样本值，求参数θ的最大似
然估计。
解： 1
1
1
1
1
1n
i
i i n
n
x x i L e
e
θ
θθ
θ=--∑=⎛⎫=∏
= ⎪⎝⎭
1
11ln ln n
i i L n x θθ=⎛⎫=-∑ ⎪⎝⎭
21ln 10n i i d L n x d θθθ==-+∑= 1
1ˆn
i i x x n θ==∑=
6、设总体X 的概率密度函数是
21
()2
(;), x f x x μμ--=-∞<<+∞
12,,,n x x x 是一组样本值，求参数μ的最大似然估计？
解：似然函数
()(
)
()2122
11
1exp 2i n
n
x i n
i i L x μμ--==⎧⎫==
-∑-⎨⎬⎩⎭
()2
11ln ln 2()22n i i n L x πμ==--∑-
1
ln ()0n i i d L x d μμ==∑-= 11ˆn
i i x x n μ
==∑=
7、设总体X 服从（1）参数为λ的泊松分布()!
x
P e x λλλ-=
（x =0，1， ），其中0λ>为
未知参数，（2）0-1概率分布为1-P{= }=(1-),0,1x
x
X x p p x =；（3）正态分布),(2
σμN ；
（4）参数为λ的指数分布
123,,,,n x x x x 是一组样本值，求对应参数最大似然估计。
思考以下三个问题
（1）求最大似然估计值还是最大似然估计量？ （2）对所得的估计量证明是否无偏估计量？
（3）给定具体一组观察值的结果，是否可以得到具体的最大似然估计值。