大数据复习提纲

1、线性判别函数的正负和数值大小的几何意义

正（负）表示样本点位于判别界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。

2、感知器算法特点

收敛性：经过算法的有限次迭代运算后，求出了一个使所有样本都能正确分类的W，则称算法是收敛的。感知器算法是在模式类别线性可分条件下才是收敛的。

感知器算法只对线性可分样本有收敛的解，对非线性可分样本集会造成训练过程的震荡，这也是它的缺点。

3、聂曼-皮尔逊判决准则、最小最大判决准则等区别

聂曼-皮尔逊判决准则主要用于某一种判决错误较另一种判决错误更为重要情况；

最小最大判别准则主要用于先验概率未知的情况。

4、马式距离较之于欧式距离的优点

优点：马氏距离不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关。由标准化数据和中心化数据(即原始数据与均值之差）计算出的二点之间的马氏距离相同。马氏距离还可以排除变量之间的相关性的干扰。缺点：夸大了变化微小的变量的作用。受协方差矩阵不稳定的影响，马氏距离并不总是能顺利计算出。尺度不变性；考虑了模式的分布

5、关联规则的经典算法有哪些

Apriori 算法；FP-tree；基于划分的算法

Apriori算法、GRI算法、Carma

6、分类的过程或步骤

答案一：ppt上的

1、模型构建（归纳）

通过对训练集合的归纳，建立分类模型。

2、预测应用（推论）

根据建立的分类模型，对测试集合进行测试。

答案二：老师版本的

训练样本的收集训练集的预处理、模型的选择、模型的训练（问老师后理解整理）

7、分类评价标准

1）正确率（accuracy）就是被分对的样本数除以所有的样本数，通常来说，正确率越高，分类器越好；

2）错误率（error rate)

错误率则与正确率相反，描述被分类器错分的比例，error rate = (FP+FN)/(P+N)，对某一个实例来说，分对与分错是互斥事件，所以 accuracy =1 - error rate；

3）灵敏度（sensitive）

sensitive = TP/P，表示的是所有正例中被分对的比例，衡量了分类器对正例的识别能力；

4）特效度（specificity)

specificity = TN/N，表示的是所有负例中被分对的比例，衡量了分类器对负例的识别能力；5）精度（precision）

精度是精确性的度量，表示被分为正例的示例中实际为正例的比例， precision=TP/（TP+FP）；6）召回率（recall）

召回率是覆盖面的度量，度量有多个正例被分为正例， recall=TP/(TP+FN)=TP/P= sensitive，可以看到召回率与灵敏度是一样的。

正确率：它表示的预测结果正确比例。包括正例和负例。

精确度：它表示的是预测是正例的结果中，实际为正例的比例。

召回率：它表示的是实际为正例样本中，预测也为正例的比例。

综合指标：F1=2*精确率*召回率/精确率+召回率，它实际上精确度和召回率的一个综合指标。

8、支持向量机及常见的核函数选择

SVM的目的是寻找泛化能力好的决策函数，即由有限样本量的训练样本所得的决策函数，在对独立的测试样本做预测分类时，任然保证较小的误差。

本质：求解凸二次优化问题，能够保证所找到的极值解就是全局最优解。

支持向量机的标准：使两类样本到分类面的最短距离之和尽可能大

支持向量机基本思想：通过训练误差和类间宽度之间的权衡，得到一个最优超平面

支持向量机是利用分类间隔的思想进行训练的，它依赖于对数据的预处理,即在更高维的空间表达原始模式。通过适当的到一个足够高维的非线性映射，分别属于两类的原始数据就能够被一个超平面来分隔。

支持向量机的基本思想可以概括为：首先通过非线性变换将输入空间变换到一个高维空间，然后在这个新空间中求取最优线性分类面，而这种非线性变换是通过定义适当的内积函数来实现的。支持向量机求得的分类函数形式上类似于一个神经网络，其输出是若干中间层节点的线性组合，而每一个中间层节点对应于输入样本与一个支持向量的内积，因此也被叫做支持向量网络。

9、什么是数据样本、什么是机器学习

样本：研究中实际观测或调查的一个个体叫样本

机器学习：机器学习通过从数据里提取规则或模式来把数据转换成信息。经典定义：利用经验改善系统自身的性能，随着该领域的发展，主要做智能数据分析。

机器学习：利用经验改善系统自身的性能随着该领域的发展，主要做智能数据分析

10、机器学习的一般步骤

1、问题识别、数据理解：明确系统与组织之间的关键问题，分析数据的价值和质量

2、数据准备、数据预处理：将数据汇集在一起，形成数据挖掘库或数据集市

3、模型选择：通过分析，选择几个合适的模型

4、训练模型：使用机器学习算法或统计方法对大量的数据进行建模分析，从而获得对系统最适合的模型

5、模型测试：将真实数据带入模型，进行运算

6、模型验证：模型评价包含两个方面：功能性评价，和服务性评价

11. 样本属性的主要类型

属性有四种类型：

1、连续性属性

2、二值离散型

3、多值离散型

4、混合类型

12．信息增益

信息增益是特征选择中的一个重要指标，来衡量一个属性区分以上数据样本的能力,它定义为一个特征能够为分类系统带来多少信息，带来的信息越多，该特征越重要。信息增益量越大，这个属性作为一棵树的根节点就能使这棵树更简洁. 信息增益就是前后信息的差值，在决策树分类问题中，即就是决策树在进行属性选择划分前和划分后的信息差值。

信息增益 = 先验熵（信息熵）-条件熵 （表示信息消除随机不确定性的程度）

13．核函数SVM 的判别方程

14. Adaboost 的判别函数

))()((1x h x H sign T

t t t ∑==α 16.聚类分析有哪些主要距离度量方法

欧氏距离（Euclidean distance ）:

曼哈顿距离（Manhattan distance ）:

闵可夫斯基距离（Minkowski distance: 17、频繁项集

频繁项集：有一系列集合，这些集合有些相同的元素，集合中同时出现频率高的元素形成一个子集，满足一定阈值条件，就是频繁项集。频繁项集：在所有训练元组中同时出现的次数超过人工定义的阈值的项集称为频繁项集。

18、支持度

项目集 X 的支持度 support (X) 是 D 中事务包含 X 的百分比，它是概率P (X)：

support (X) = P (X) = (包含 X 的事务数 / D 的事务总数)×100%

若 support(X) 不小于指定的最小支持度，则称 X 为频繁项目集(简称频集)，否则称 X 为非频繁项目集(简称非频集) 。

支持度：项集同时出现的次数

**()sgn(

,)i i i f x y x x b α=<>+∑支持向量****()():()1:()11[,,] or 2

1[max *min *]2T i T i i y i i y i b w x w x b x x ωω+-=-==-<>+<>=-+∑=-=d k jk ik j i x x x x d 12)(),(∑=-=d k jk ik j i x x x x d 1

),(q d k q jk ik j i x x x x d /11)

(),(∑=-=