数据的标准化处理及实际应用

数据的标准化处理及实际应用

数据标准化处理是数据挖掘一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标即处于同一数量级，适合进行综合对比评价。

极差法

极差法是对原始数据的线性变换，首先计算指标值得最小值、最大值，计算极差，通过极差法将指标值映射到[0-1]之间。公式为：

新数据=（原数据-极小值）/（极大值-极小值）

Z-score 标准化法

SPSS默认的数据标准化方法即是Z得分法，这种方法基于原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1。公式为：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

数据标准化的另外一个实用之处

在实际应用中，数据标准化不只是用于指标的可比性处理，还有一些非常实用的用处，利用标准化方法将指标归到最适于我们观测的范围，更加直观。且看案例：

有一组数据，是学生参加某次社会公益活动的数据，其中有一指标为：在校综合评价指数，反映学生在校综合表现水平。

可以看出这个指标的范围为[0-140],但这个范围不太符合我们在学校里的习惯，在学校里经常用[0-100]的百分制，60分以上基本认可为及格，现在这个范围不能直观的反映学生在校表现水平。此时，极差法是一个非常好的选择，我们可以将[0-140]数值，映射到[0-100]，便于直观对比学生的表现。

公式为：（原数据-极小值）/（极大值-极小值）*100

我们再来看看结果：

此时，[0-100]的范围非常符合我们日常的比较标准，能直观的反映学生的在校综合表现，已经达到目的。