机器学习第一阶段练习题

机器学习第一阶段练习题

一、选择题

1. 以下三阶泰勒展开式错误的一项是（B ）

A. 3231211x !x !x e x +++=

B. 323

1211x x x )x ln(++=+ C. 331x !x x sin -= D. 321x x x x

-11+++= 分析：3231211x x -

x )x ln(+=+ 2. 以下不属于凸函数一项的是（D ）

A. y=-log x

B. y=x log x

C. y=||x||p

D. y=e ax

分析：a 应该限定取值范围：a ≥1或a ≤0

3. 以下说法错误的一项是（C ）

A. 负梯度方向是使函数值下降最快的方向

B. 当目标函数是凸函数时，梯度下降法的解是全局最优解

C. 梯度下降法比牛顿法收敛速度快

D. 拟牛顿法不需要计算Hesse 矩阵

分析：牛顿法需要二阶求导，梯度下降法只需一阶，因此牛顿法比梯度下降法更快收敛

4. 一般，k-NN 最近邻方法在（B ）的情况下效果较好

A. 样本较多但典型性不好

B. 样本较少但典型性好

C. 样本呈团状分布

D. 样本呈链状分布

分析：k 近邻算法对较多且典型不好的，团状，链状的样本不具有太大的优势

5. 机器学习中L1正则化和L2正则化的区别是？（A ）

A. 使用L1可以得到稀疏的权值，使用L2可以得到平滑的权值

B. 使用L1可以得到平滑的权值，使用L2可以得到平滑的权值

C 使用L1可以得到平滑的权值，使用L2可以得到稀疏的权值

D.使用L1可以得到稀疏的权值，使用L2可以得到稀疏的权值

分析：L1正则化偏向于稀疏，它会自动进行特征选择，去掉一些没用的特征，也就是将这些特征对应的权重置为0。L2主要功能是为了防止过拟合，当要求参数越小时，说明模型越简单，而模型越简单则，越趋向于平滑，从而防止过拟合。

二、公式推理题

1. 请写出通过条件概率公式和全概率公式推出贝叶斯公式的过程 分析：条件概率：)

A (P )A

B (P )A |B (P )B (P )AB (P )B |A (P ==， 全概率：∑=i

i

i )B (P )B |A (P )A (P 贝叶斯公式：∑=j

j j i i i )

B (P )B |A (P )B (P )B |A (P )A |B (P 2. 请写出正态分布的概率密度函数、期望、以及方差

分析：概率密度函数：02122

2>=--σ,e σπ)x (f σ)μx (；期望：μ)x (E =；方差：2σ)x (D =

三、简答题

1. 求函数R x ,x )x (f x

∈=的最小值 分析：令,x t x =两边取对数：,x ln x lnt =两边对t 求导：,x *

x x ln 't *t 11+= 令t ’=0：10-==+e x ,1 lnx 那么：，则e e t 1

-=即为f(x)最小值。

2. 欠拟合和过拟合的原因分别有哪些？如何避免？

分析：

欠拟合的原因：模型复杂度过低，不能很好的拟合所有的数据，训练误差大；

避免欠拟合：增加模型复杂度，如采用高阶模型（预测）或者引入更多特征（分类）等。 过拟合的原因：模型复杂度过高，训练数据过少，训练误差小，测试误差大；

避免过拟合：降低模型复杂度，如加上正则惩罚项，如L1，L2，增加训练数据等。

3. 列举聚类算法有哪些相似性度量准则及公式（至少四个）

分析：曼哈顿距离：∑=-=n i i i |y x |)y ,x (d 1；欧氏距离：p n i p i i )|y x |()y ,x (d 1

1

∑=-=；

Jaccard 系数：|

B A ||B A |)B ,A (J ⋃⋂=；余弦相似度：|b ||a |b a θcos T ⋅=； 皮尔森系数：Y X XY σσ)Y ,X (COV ρ⋅=

；相对熵（K-L 距离）：)x (q )x (p log E )q ||p (D )x (p = 4. 若要对以下图案进行聚类分析需要采用哪种聚类方法，简述理由和该方法步骤

分析：该图案为非凸状的，因此不能使用基于距离的聚类算法（k-means 、k-medoids 等），可选择密度聚类（DBSCAN 等）、网格聚类（STING ）等非距离的方法。

5.简述UserCF和ItemCF算法的相同点与不同点分析：