预测评价指标RMSE、MSE、MAE、MAPE、SMAPE

预测评价指标RMSE、MSE、MAE、MAPE、SMAPE
预测评价指标RMSE、MSE、MAE、MAPE、SMAPE
2019-02-21 10:50:31 阅读数 10947
版权声明：本⽂为博主原创⽂章，遵循版权协议，转载请附上原⽂出处链接和本声明。

本⽂链接：
假设：
预测值：yˆ={y1ˆ,y2ˆ,...,ynˆ}\mathbf{\hat{y}}=\{\hat{y_1}, \hat{y_2} , ... , \hat{y_n}\}y^={y1^,y2^,...,yn^}
真实值：y={y1,y2,...,yn}\mathbf{y}=\{y_1, y_2, ..., y_n\}y={y1,y2,...,yn}
MSE
均⽅误差（Mean Square Error）
MSE=1n∑ni=1(yˆi−yi)2MSE=\frac{1}{n} \sum_{i=1}^{n} (\hat{y}_i - y_i)^2MSE=n1i=1∑n(y^i−yi)2
范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越⼤，该值越⼤。

RMSE
均⽅根误差（Root Mean Square Error），其实就是MSE加了个根号，这样数量级上⽐较直观，⽐如RMSE=10，可以认为回归效果相⽐真实值平均相差10。

RMSE=1n∑ni=1(yˆi−yi)2−−−−−−−−−−−−−−√RMSE=\sqrt{\frac{1}{n} \sum_{i=1}^{n} (\hat{y}_i - y_i)^2}RMSE=n1i=1∑n(y^i−yi)2
范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越⼤，该值越⼤。

MAE
平均绝对误差（Mean Absolute Error）
MAE=1n∑ni=1∣yˆi−yi∣MAE=\frac{1}{n} \sum_{i=1}^{n} |\hat{y}_i - y_i|MAE=n1i=1∑n∣y^i−yi∣
范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越⼤，该值越⼤。

MAPE
平均绝对百分⽐误差（Mean Absolute Percentage Error）
MAPE=100%n∑ni=1∣∣yˆi−yiyi∣∣MAPE=\frac{100\%}{n}\sum_{i=1}^n \left |\frac{ \hat{y}_i - y_i }{ y_i } \right
|MAPE=n100%i=1∑n∣∣∣∣​y i y^i−yi∣∣∣∣​
范围[0,+∞)，MAPE 为0%表⽰完美模型，MAPE ⼤于 100 %则表⽰劣质模型。

可以看到，MAPE跟MAE很像，就是多了个分母。

注意点：当真实值有数据等于0时，存在分母0除问题，该公式不可⽤！
SMAPE
对称平均绝对百分⽐误差（Symmetric Mean Absolute Percentage Error）
SMAPE=100%n∑ni=1∣yˆi−yi∣(∣yˆi∣+∣yi∣)/2SMAPE=\frac{100\%}{n}\sum_{i=1}^n \frac{ |\hat{y}_i - y_i| }{ (|\hat{y}_i| + |y_i|)/2
}SMAPE=n100%i=1∑n(∣y^i∣+∣yi∣)/2∣y^i−yi∣
注意点：当真实值有数据等于0，⽽预测值也等于0时，存在分母0除问题，该公式不可⽤！
Python代码
# coding=utf-8
import numpy as np
from sklearn import metrics
# MAPE和SMAPE需要⾃⼰实现
def mape(y_true, y_pred):
return np.mean(np.abs((y_pred - y_true) / y_true)) * 100
def smape(y_true, y_pred):
return 2.0 * np.mean(np.abs(y_pred - y_true) / (np.abs(y_pred) + np.abs(y_true))) * 100
y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0])
y_pred = np.array([1.0, 4.5, 3.5, 5.0, 8.0, 4.5, 1.0])
# MSE
print(metrics.mean_squared_error(y_true, y_pred)) # 8.107142857142858
# RMSE
print(np.sqrt(metrics.mean_squared_error(y_true, y_pred))) # 2.847304489713536
# MAE
print(metrics.mean_absolute_error(y_true, y_pred)) # 1.9285714285714286
# MAPE
print(mape(y_true, y_pred)) # 76.07142857142858
# SMAPE
print(smape(y_true, y_pred)) # 57.76942355889724
MAPE 平均绝对百分误差
2018-09-03 16:49:00 阅读数 4821
from fbprophet.diagnostics import performance_metrics
df_p = performance_metrics(df_cv)
df_p.head()
horizon mse rmse mae mape coverage
329737 days0.4819700.6942410.5029300.0583710.673367
3537 days0.4809910.6935350.5020070.0582620.675879
220737 days0.4809360.6934960.5019280.0582570.675879
293437 days0.4814550.6938700.5029990.0583930.675879
39337 days0.4839900.6956940.5034180.0584940.675879
mape平均绝对百分误差
定义
1.
def evalmape(preds, dtrain):
2.
gaps = dtrain.get_label()
3.
err = abs(gaps-preds)/gaps
4.
err[(gaps==0)] = 0
5.
err = np.mean(err)*100
6.
return 'error',err
回归评价指标：MSE、RMSE、MAE、R2、Adjusted R2 2019-05-28 11:04:32 阅读数 446更多
分类专栏：
原
回归评价指标：MSE、RMSE、MAE、R2、Adjusted R2 2018年11⽉22⽇ 14:36:01
1、均⽅误差：MSE（Mean Squared Error）
其中，为测试集上真实值-预测值。

2、均⽅根误差：RMSE（Root Mean Squard Error）
可以看出，RMSE=sqrt（MSE）。

3、平均绝对误差：MAE（Mean Absolute Error）
以上各指标，根据不同业务，会有不同的值⼤⼩，不具有可读性，因此还可以使⽤以下⽅式进⾏评测。

4、决定系数：R2（R-Square）
其中，分⼦部分表⽰真实值与预测值的平⽅差之和，类似于均⽅差 MSE；分母部分表⽰真实值与均值的平⽅差之和，类似于⽅差 Var。

根据 R-Squared 的取值，来判断模型的好坏，其取值范围为[0,1]：
如果结果是 0，说明模型拟合效果很差；
如果结果是 1，说明模型⽆错误。

⼀般来说，R-Squared 越⼤，表⽰模型拟合效果越好。

R-Squared 反映的是⼤概有多准，因为，随着样本数量的增加，R-Square必然增加，⽆法真正定量说明准确程度，只能⼤概定量。

5、校正决定系数（Adjusted R-Square）
其中，n 是样本数量，p 是特征数量。

Adjusted R-Square 抵消样本数量对 R-Square的影响，做到了真正的 0~1，越⼤越好。

python中可以直接调⽤
1.
from sklearn.metrics import mean_squared_error #均⽅误差
2.
from sklearn.metrics import mean_absolute_error #平⽅绝对误差
3.
from sklearn.metrics import r2_score#R square
4.
#调⽤
5.
MSE：mean_squared_error(y_test,y_predict)
6.
RMSE:np.sqrt(mean_squared_error(y_test,y_predict))
7.
MAE：mean_absolute_error(y_test,y_predict)
8.
R2：r2_score(y_test,y_predict)
9.
Adjusted_R2：:1-((1-r2_score(y_test,y_predict))*(n-1))/(n-p-1) 1。