近期值得关注的4个时序大模型研究 (qq.com)
ICML 2024 时间序列（Time Series）和时空数据（Spatial-Temporal）论文总结【抢先版】 (qq.com)
https://github.com/thuml/Time-Series-Library
清华大学最新深度时序模型综述+5k star开源代码！ (qq.com)

idea

  • 时频。（单模态。）
    - 一致性对时间序列进行自监督对比预训练自监督 时序 2022-TFC-Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency one to one or one to many——利用 earset 的信息预训练。然后迁移到实验室耳机的数据集、实验室眼镜的数据集、眼镜耳机的其他数据集，说明可跨设备识别表情姿态等。——做一个 all wearble, 因为这篇主要探究 eeg 到别的， HAR 2 GESTURE 的效果只有 0.78，我们可以加上 imu 的 earset 和一些其他 wearble 的数据，形成一个新的可穿戴 imu 时序通用的网络。
    - 上面这个是促进时域和频域表征，while pushing them apart from other signals. 因此 Time-series representation learning via Time-Frequency Fusion Contrasting 这篇提出用 kenal pca 融合时频域的增强的数据，融合后的数据和原始数据作为正对。
    • 结合时频域的对比学习和多通路，训练一个 online 时序数据和我的 imu 时序数据/训练我的 video 和我的 imu 数据/四个模态视频 landmarks 和 imu 时域频域，交换 pathways，（不愿意上传图像但可以上传 landmarks，）
  • Token. Chronos 通过缩放和量化将时间序列值转换为固定词汇表中的标记

统一表征

挑战

  • 1）多领域时间动态： 统一模型通过在不同数据源上共同训练来学习通用知识，但是时间序列数据在不同领域的时间动态方面存在广泛变异（He 等，2023）。此外，时间序列数据可能具有异构的数据表示，例如变量数量、传感器定义和观测长度。这种时间序列数据的异构性阻碍了为其他领域开发的统一模型的使用（Zhang 等，2023）。因此，必须设计和训练一个统一模型，以捕获通用的时间动态，从而将其转移到新的下游数据集，而不考虑数据表示。
  • 2）不同的任务规范： 时间序列数据上的常见任务具有根本不同的目标。例如，预测涉及预测时间序列中的未来值，类似于回归问题，而分类是在整个样本上进行的离散决策过程。此外，不同数据集上的相同任务可能需要不同的规范，例如在长度上变化的生成任务和具有多个类别的识别任务。现有的时间序列模型（Zhou 等，2023；Wu 等，2023）定义了任务特定的模块来处理每个任务，这会影响它们适应不同类型任务的能力。统一模型必须能够适应用户对任务规范的变化。
  • 3）需要任务特定的时间序列模块： 统一模型在各种任务之间使用共享权重，增强了它们的泛化能力。然而，以前方法中每个数据集的不同任务特定模块需要对这些模块进行微调。这个过程通常需要精细调整的训练参数以及每个任务的适度数据集大小，阻碍了对新任务的快速适应。这种策略与设计用于同时处理多个任务的统一模型的概念相矛盾。

创新点

  • 轻量级。
  • 可解释性，信息瓶颈

方法

  • 频谱信息。自适应频谱块

  • 卷积。交互卷积

  • Token 标记。提示、序列和任务标记。提示微调

  • 拆分成多个 patch。历史信息。

  • 对比学习

  • 表示学习

  • 生成。条件时间序列生成，扩散模型

  • 数学。因果推理，基于拓扑的算法、后代分层拓扑、条件独立准则

  • 第一类模型是基于MLP的建模方法。这类模型很简单，以历史序列作为输入，通过一个全连接网络，映射到输出维度

  • 第二类模型是基于RNN的建模方法，核心是基于RNN的自回归建模能力，对历史规律进行捕捉，并自回归的逐个解码出未来每个时间步的预测结果；

  • 第三类模型是基于CNN的建模方法，包括基础的1D建模，以及在TimesNet中提出的2D建模方法；

  • 第四类模型是基于GNN的建模方法，主要用在多变量时间序列建模中，将各个变量之间的关系，通过图学习的方式刻画出来；

  • 第五类模型是基于Transformer的建模方法（捕捉长期和复杂的多变量关系），也是目前最常见的模型。文中又根据attention的建模维度，进一步分为point-wise、patch-wise、series-wise类型。Point-wise就是最基础的Transformer，每个时间步之间计算attention score（不足以捕捉时态数据的局部语义信息；patch-wise就是PatchTST中的方法，将相邻几个时间步的序列聚合成patch，attention作用到patch之间；series-wise指的是iTransformer这种方法，将一个序列作为整体，attention主要用在变量间关系的计算。

paper method content 优点 link
2024 UniCL：A Universal Contrastive Learning Framework for Large Time Series Models。 频谱
2024 UniTS Building a Unified Time Series Model. Token
Chronos: Learning the Language of Time Series Token
Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting
  • 2024 UniCL：A Universal Contrastive Learning Framework for Large Time Series Models。利用频谱信息生成模式保留、多样化和低偏差的时间序列数据. 没有公开代码——利用频谱信息提升算法能力
  • 2024 UniTS Building a Unified Time Series Model. 三个 token：提示、序列和任务标记。共享参数处理各种任务，而无需使用任何特定任务的模块。1）基于提示的通用任务规范： UNITS 使用基于提示的框架将各种任务转换为统一的标记表示，为所有任务创建通用规范。2）数据域不可知网络： UNITS 在序列和变量维度上都使用自注意力来适应各种数据形状。我们引入了一个动态线性算子来模拟任意长度序列中数据点之间的密集关系。因此，UNITS 可以处理具有不同变量和长度的多领域时间序列，而无需修改网络结构。3）具有完全共享权重的统一模型： 利用通用任务规范和数据域不可知网络，UNITS 在各任务之间具有共享权重。为了提高 UNITS 的泛化能力，引入了一个统一的掩码重构预训练方案，用于处理统一模型内的生成和识别任务。结合了多任务、零样本、少样本和提示学习UniTS：构建统一的时间序列模型 UniTS: Building a Unified Time Series Model-CSDN博客
  • Chronos: Learning the Language of Time Series。缩放和量化将时间序列值转换为固定词汇表中的标记，并使用交叉熵损失训练现有的基于 Transformer 的语言模型架构来处理这些标记化的时间序列
  • Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting 基于解码器 Transformer 架构的通用单变量概率时间序列预测基础模型，它将滞后值作为协变量

LLM

paper content 优点 link
TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS（ICLR 2024）
  • TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS（ICLR 2024）我们首先使用文本原型（text prototypes）重新编程输入的时间序列，然后将其输入到冻结的 LLM 中，以对齐这两种模态。为了增强 LLM 处理时间序列数据的推理能力，作者提出了 Prompt-as-Prefix（PaP），它丰富了输入上下文，并指导了重新编程输入 patch 的转换。来自 LLM 的转换后的时间序列补丁最终被投影以获得预测