Learning Latent ODEs With Graph RNN for Multi-Channel Time Series Forecasting

introduction

先介绍任务的重要性，再介绍时空模型的两种架构，再介绍ODE和别的结合，（此前的模型已经将NODE应用于分解神经架构，而我们尝试在耦合神经架构上进行探索）最后说自己把ODE引入耦合神经架构上。

多通道时间序列预测的重要性

多通道时间序列预测在现实世界中的各种应用中扮演着关键角色，例如交通流量预测和能源网平衡。最近的研究已经证实了其有效性。多通道时间序列本质上是由传感器捕获的单变量信号的组合，这些信号是相互关联和互相影响的。为了准确预测这些多通道信号，必须精确地建模其中固有的时空模式。

时空模型的主要架构

时空模型通常分为两种主要架构：分解神经架构和耦合神经架构。

分解神经架构

这种架构独立捕捉非线性时间和空间模式。图神经网络（GNN）被广泛用于捕捉空间特征，而基于卷积神经网络（CNN）的方法如时间卷积网络（TCN）或基于注意力机制的模型则用于建模时间特征。例如：

  • STGNN 通过一系列包含TCN和GCN层的块来组装模型。
  • MTGNN 交替采用变体TCN和可学习的GCN层。
  • GMAN 混合了跨图和时间空间的两种注意力机制，通过乘法运算融合时间和空间模式。

耦合神经架构

这种架构通过将GNN集成到循环神经网络（RNN）中，同时捕捉时间和空间特征。例如：

  • DCRNN 使用基于双向图随机游走的门控循环单元来建模时空依赖性。
  • AGCRN 结合自适应GCN和GRU来从多通道信号中学习。

然而，在耦合神经架构中，图RNN的表示能力受到RNN固有的离散时间间隔的限制。

神经常微分方程（NODE）

神经常微分方程（NODE）代表了一种将神经网络转换为连续结构的创新范式。许多结合NODE与其他类型神经网络的模型已经出现，例如：

  • ODE-RNN
  • Graph ODE
  • Generative NODE
  • ODE-transformer

在时空GNN领域的一些进展也表明了NODE的有效性。例如：

  • STGODE 通过图ODE替换GCN以捕捉更深层次的图信息。
  • MTGODE 结合神经ODE在图和多块结构中实现连续性。

新方法

本文引入了结合可学习和有向图卷积层的连续递归神经网络，以在潜在空间中建模时空动态。此前的模型已经将NODE应用于分解神经架构，而我们尝试在耦合神经架构上进行探索。此外，在前述模型中，dt表示网络层，而我们将dt表示为实际时间间隔。由于dt的时间表示，自然将NODE与ODE建模方法结合。

快慢动态

快慢动态的概念在物理学、生物学和神经科学等多尺度建模领域中广泛存在，启发了新型增强NODE方法的设计。这种方法增强了NODE建模的能力，并将多尺度理论引入NODE。同时，在没有给定图结构的情况下进行图卷积操作仍然是一个巨大的挑战。此前的工作，如MTGNN和AGCRN，已经探索了这个问题。在这些基础上，研究人员还研究了随时间演变的动态图结构，以表示时空交互。

总体来说，AGCRN仍然被认为是一个相对不错的提议。然而，AGCRN仅在无向图上运行。对此，我们基于AGCRN提出了一种可学习和有向的图卷积层，以有效捕捉信号通道之间的空间相关性。

参考文献

  1. Wu, Y., et al. (2023). TimesNet.
  2. Wang, L., et al. (2024). Fourier Transform for Time Series.
  3. Dempster, A., Petitjean, F., & Webb, G. I. (2020). ROCKET: Exceptionally fast and accurate time series classification using random convolutional kernels. Data Mining and Knowledge Discovery.