ARIMA时间序列建模过程——原理及python实现

result_arima = arima_mod.fit()
result_arima_pre = result_arima.predict(start='2011', end='2011')
print(result_arma_pre)
print(result_arima_pre)
如果对序列使用了差分，最后则需要对结果进行还原操作：
from statsmodels.graphics.tsaplots import acf,pacf,plot_acf,plot_pacf
from statsmodels.tsa.arima_model import ARMA
from statsmodels.tsa.arima_model import ARIMA
time_series_.index = pd.Index(sm.tsa.datetools.dates_from_range('1978','2010'))
time_series_.plot(figsize=(12,8))
plt.show()
3.1异常值及缺失值处理
异常值一般采用移动中位数方法：
frompandasimportrolling_median
output['value']['Critical Value(1%)'] = t[4]['1%']
output['value']['Critical Value(5%)'] = t[4]['5%']
output['value']['Critical Value(10%)'] = t[4]['10%']
model = ARMA(data_ts, order=(p,q))
try:
results_ARMA = model.fit()
except:
continue
bic = results_ARMA.bic
if bic < init_bic:
init_p = p
init_q = q
init_bic = bic
p--代表预测模型中采用的时序数据本身的滞后数(lags) ,也叫做AR/Auto-Regressive项;
d--代表时序数据需要进行几阶差分化，才是稳定的，也叫Integrated项;
q--代表预测模型中采用的预测误差的滞后数(lags)，也叫做MA/Moving Average项。
差分：假设y表示t时刻的Y的差分。
print(output)
###————————————————-——result—————————————————--———#####
value
Test Statistic Value 0.807369
p-value 0.991754
Lags Used 1
Number of Observations Used 31
# realI.append(str(time_series_log.index[i]).split(' ')[0].split('-')[0])
# preI.append(str(time_series_log.index[i]).split(' ')[0].split('-')[0])
# for i in range(len(time_series)):
return init_bic, init_p, init_q
3.5模型拟合
b,p,q = proper_model(time_series, 10)
arima_mod = ARIMA(time_series_,order=(p,0,q))
arma_mod = ARMA(time_series_,order=(p,q))
# print(result_arma_pre)
# v0 = time_series_log[0]
# realV = []
# realI = []
# preV = []
# preI = []
# realV.append(v0)
# preV.append(v0)
# for i in range(len(time_series_log)):
output['value']['Test Statistic Value'] = t[0]
output['value']['p-value'] = t[1]
output['value']['Lags Used'] = t[2]
output['value']['Number of Observations Used'] = t[3]
自相关系数ACF
偏相关系数PACF
模型选择
拖尾
p阶截尾
AR(p)
q阶截尾
拖尾
MA(q)
p阶拖尾
q阶拖尾
ARMA(p, q)
同时，还可利用aic、bic统计量自动确定。
plot_acf(time_series)#acf图
plot_pacf(time_series)#pacf图
plt.show()
#bic最小化选择最优参数，aic同理
from statsmodels.stats.diagnostic importacorr_ljungbox
p_value = acorr_ljungbox(result_arima.resid.values.squeeze(), lags=5)[1]
print(p_value)
3.6模型预测
result_arma_pre = result_arma.predict(start='2011', end='2011')
if d=0, yt=Yt, if d=1, yt=Yt−Yt−1, if d=2, yt=(Yt−Yt−1)−(Yt−1−Yt−2)=Yt−2Yt−1+Yt−2
ARIMA的预测模型可以表示为：
Y的预测值=白噪音+1个或多个时刻的加权+一个或多个时刻的预测误差。
假设p，q，d已知，
ARIMA用数学形式表示为：
ytˆ=μ+ϕ1∗yt−1+...+ϕp∗yt−p+θ1∗et−1+...+θq∗et−q
其中,ϕ表示AR的系数，θ表示MA的系数
3.Python建模
##构
import matplotlib.pyplot as plt
import statsmodels.api as sm
threshold =3#指的是判定一个点为异常的阈值
df['pandas'] = rolling_median(df['u'], window=3, center=True).fillna(method='bfill').fillna(method='ffill')
#df['u']是原始数据，df['pandas']是求移动中位数后的结果，window指的是移动平均的窗口宽度
result_arma = arma_mod.fit()
3.6模型检测
假设检验，判断（诊断）残差序列是否为白噪声序列从而确定模型优劣。Ljung-Box test是对randomness的检验,或者说是对时间序列是否存在滞后相关的一种统计检验。对于滞后相关的检验，我们常常采用的方法还包括计算ACF和PCAF并观察其图像，但是无论是ACF还是PACF都仅仅考虑是否存在某一特定滞后阶数的相关。LB检验则是基于一系列滞后阶数，判断序列总体的相关性或者说随机性是否存在。给定置信值a（0.05、0.01...），如果p值大于a值则接受原假定，即序列为白噪声序列，否认序列存在相关性。
# v = v0+time_series[i]
Critical Value(1%) -3.66143
Critical Value(5%) -2.96053
Critical Value(10%) -2.61932
3.3不平稳处理
1）对数处理。对数处理可以减小数据的波动；
time_series_log = np.log(time_series_)
time_series_log.plot(figsize=(8,6))
1. ARIMA的优缺点
优点：模型十分简单，只需要内生变量而不需要借助其他外生变量。
缺点：要求时序数据是稳定的（stationary），或者是通过差分化(differencing)后是稳定的;本质上只能捕捉线性关系，而不能捕捉非线性关系。
2. ARIMA的参数与数学形式
ARIMA模型有三个参数:p,d,q。
#序列化
time_series_ = pd.Series([151.0, 188.46, 199.38, 219.75, 241.55, 262.58, 328.22, 396.26, 442.04, 517.77, 626.52, 717.08, 824.38, 913.38, 1088.39, 1325.83, 1700.92, 2109.38, 2499.77, 2856.47, 3114.02, 3229.29, 3545.39, 3880.53, 4212.82, 4757.45, 5633.24, 6590.19, 7617.47, 9333.4, 11328.92, 12961.1, 15967.61])