神经网络对时间序列的处理(1)

神经网络对时间序列的处理

Georg Dorffner

奥地利维也纳大学人工智能研究所医疗控制论和人工智能部门

摘要：

本文介绍了神经网络在时间序列处理的最常见类型，即模式识别和时空模式的预测。重视神经网络模型和更多经典时间序列的处理方法之间的关系，尤其是预测。文章首先通过介绍基本的时间序列加工、讨论了前馈以及递归神经网络,和他们非线性模型在时空模式的依赖能力方面。

1.介绍

世界是一直在变的。无论我们观察还是措施——个物理价值,诸如温度和自由交易的价格好—在不同的时间点。经典模式识别,并且与它的很大一部分神经网络应用中,主要涉及了检测系统模式以一个数组的形式返回(静态模式)。典型的应用包括输入向量的分类成多个类别之一(判别分析),或近似描述之间的可见的依赖关系(倒退)。当随时间变化而变化也被考虑进去，额外的,时间维就是补充。虽然在很大程度上这一问题仍然可以被经典模式识别,一些附加的重要方面仍然起作用。统计领域的时空数据分析这种关注(例如具有一定的时空维度的数据)，通常是被称为时间序列处理。

本文旨在介绍利用神经网络的基本原理为时间序列处理。作为一个教程，它自然只能触及表面的这个行业,留下许多重要的细节都没动。不过,概述最相关方面的工作基础,形成了这个领域的佼佼者。这篇文章是很有参考价值的一个指南,并给出了更远、更详细的文学。关于神经网络学习算法的基本知识建筑已被假定。

2.时间序列处理

2.1．基本要素

在正式的条件,时间序列是一系列向量,根据t：~x(t)：t =0；1；…… (1)。

向量的组成部分可以是任何可观察变量,诸如：

1）在一幢建筑里的空气温度

2）在给定的证券交易所的某些产品价格

3）在一个特定城市新出生的人数

4）在一个特定社区的水的总消费金额

从理论上讲,x ~可以被看作是时间变量t的连续函数。然而用于实际目的时,时间是通常被看作离散的时间间隔,这就导致在每个时间间隔的终点产生x的实体。这就是为什么一个人说话的时间顺序或系列。时间间隔的尺寸通常依手边问题,可以是任何东西,从几秒,几小时到几天,甚至几年。

在许多情况下,可观察量只有在离散的时间间隔(例如，在每一个小时,或天某一商品的价格)必然会形成时间序列。在其他情况下(例一个城市的新出生的人数)，价值观必须累积或均一段时间间隔(如每月引起的出生人数)得到系列。在时间确实是连续的领域(例如当温度在某一地点是可见) 一个人必须点测量变量的藉所选择的时间间隔来获得一个系列（如每个小时的温度）。这就是所谓的抽样。取样频率就是所测量时段的点个数，在这种情况下是一个非常重要的参数，因为不同频率能从本质上改变所获得时间序列的主要特点。

值得注意的是,有另一个领域非常密切相关,即加工时间序列信号处理。例如语音识别，即异常模式心电图的发现（ECGs），或脑电图的自动分级（EEGs）。一个信号,当采样成一串值的离散的时间间隔时,构成上述定义的时间序列。因此和时间序列信号处理没有一个正式的区别。在普遍的应用程序中可以发现不同（例如单个信号的识别和滤波;时间序列处理的预测），自然的时间序列(一个采样间隔时间信号通常是一小段时间,而在时间序列处理区间常是小时)。但这只是一个从原型中的应用的观察,并没有明确的边界。因此,时间序列处理可借鉴对信号处理的方法探索,反之亦然。神经网络应用程序在信号处理的概述在文献【54,51】。

如果矢量~ x只含有一个组件,在许多应用场合情况中,有的说是一个单变量的时间序列,否则它就是一个多元。它非常仰赖棘手问题的单变量治疗是否会导致图案识别的结果。如果几个可观察量相互影响（例如空气温度和消耗的水量）一个多变量分析治疗（即基于几个可观察量的分析{~x超过一个变量}）将被标明。在大多数讨论中，我们依然遵循单变量的事件序列处理。

2.2处理类型

根据时间序列分析的目的,时间序列分析的典型应用可以分为:

1.时间序列未来发展的预测

2.时间序列的分类或分成几类的一部分

3.根据参数模型对时间序列的描述

4.一个时间序列映射到另一个

应用1在文献中肯定是最普遍传播的。从计量能源规划大量的时间序列问题涉及预测未来价值的矢量x -为了决定交易策略或以便优化产品（1.后面参考给出了一个IEEE的程序的例子，这造成一个关于神经网络信号处理的年度会议）。问题描述如下：找到一个函数（K代表x的值）。例如为了获得一个矢量x在时间t+d的估计量，给出了x到t的值，再加上一些额外的自变量π：

d被称为预测的滞后。通常，d=1，也就是说随后的向量应该估算出来,但可以采取任何价值大于1时,(例如5天前能耗的预测)。为了简单起见，我忽略了额外的变量π。虽然如此，我们应该注意加入这些特征（如房间的大小温度是决定因素）在某些应用场合起决定性作用。

在这种方式思考的话，选择的方法越来越近似F，函数近似值的估测将很困难。从这个意义上说,它可以比作函数逼近或观测矢量静力的回归问题,有许多方法可以应用领域,以及在这里(见,比如,(18),介绍)。当讨论神经网络的预测方法时，这个观察将很重要。

通常预测效果的评价是由计算一个误差测度E在一些时间序列的元素,例如验证或测试设置:

（3）

e是一个函数测量之间的误差估计(预测)和实际排序的元素。通常情况下,一个距离度量(欧氏或其他),是在这里用,但会根据问题的作用,任何函数可以使用(如函数计算成本预测造成~ x(t + d)不正确)。在许多预测问题中,~ x(t + d)的准确值并不是必需的,只有说明是否~ x(t + d)变大(上升)或变小（下降）,或基本不变。如果是这样的情况,问题变成了分类问题,映射序列(或部份）上升或下降(也许常量)。

在更广泛的来说，分类时间序列（上次的第二类）可以表示为一个找函数Fc：指使多个类别的时间系列:

C是有效分类的集合。和函数逼近没有本质区别（公式2）。换句话说,分类可以看作是一种特殊的函数逼近,这个函数逼近连续向量。来自不同问题(即是被分离的,而不是寻求向量之间的依赖关系的近似){一个能够影响推导了什么函数公式能被使用},通过关这个方法对性能进行了评价。通常,一个错误函数在这公式上：

输入的百分比表达来自不能很好的分配预期的阶段。是克罗内克尔记号。例如=1 如果i=j，则E=0.否则 Ci是输入量i 的已知量。再一次,这之间的区别(倒退)近似分类(歧视)相同的向量模式识别不考虑时域维度。因此,大量的结果与方法可用于领域的时间序列分类。另一个不同时间序列的领域里分类处理(除进入日益分类/下落的)通常是回顾性{即没有时间滞后}而不是预期在未来(预测)。

应用类型3 {建模时间序列}被隐含的包含在大多数情况下,1(预测)和2(分类)。2当方程F功能可以被认为是时间序列模型能够产生系列,以连续替代输入量进行评估。为了使信息有用,一个模型应该有更少的参数估计量的自由度比F)时间序列元素。因为后者号码是潜在的无限的,这主要是指功能外应该仅仅依靠一个有限的和固定参数的数量,我们将会(见下面),并不意味着它只能依靠有界一些过去的序列元素)。除了用于预测和分类模型也可用于描述的时间序列,它的参数被视为一种系列的特点,可在后续的分析(如随后的分类,连同定态薛定功能)。这可以与建模过程,目的是在观测矢量压缩的纯空间域(如按实现一个自动组合映射与神经网络,[13])。

最后,当建模是一种映射到时间序列模型的参数(如发现自己通过时间序列为复制系列)、一个时间序列映射到另一个,不同的,一个是可以想象的一样(应用类型4)。一个简单的例子是预测系列的价值(例如。石油的价格给了他的价值观的另一个(例如利率)。更复杂的应用可能包括分开的模拟两个时间序列,想找一个函数作图分给他们。因为在这种简单的模式中,时间序列之间的映射是一种特殊的时间序列加工(以上讨论),在更复杂的情况下,它很不常见,这个应用程序类型将不会进一步探讨。然而状态矢量空间模型(下面讨论),可以在此背景下查看。

在下文中,我将着重讨论预测问题,而记住其他应用类型的关系很密切这种类型的。

2.3时间序列的特殊转换

上述的考虑隐含假定理论模型的准确时间序列(也就是得出一可以找到最小误差测度到任何想要的学位。在实际的应用实例,这种假设是不现实的。由于测量误差和未知或无法控制的影响因素,一个几乎总是要承担的,即使最优化模型将产生一个残差e所组成,不能被删除。通常,这个错误是认为,噪音过程的结果,即随机产生由一个不知名的来源。因此,方程2有被扩充如下:

这种噪声~ e(t)不能列入模型中。然而,许多方法呈现一定的特征(例如的噪音。高斯白噪声),主要描述的参数(如均值和标准偏差)可以包含在建模过程。这样做,例如,在预测只给一个人不能预测估计估计价值,而且多少这个值可以被噪音。这就是所谓的焦点拱模型研究[4]。