对比学习-2024-ICLR-SoftCLT
对比相似的时间序列实例或时间序列中相邻时间戳的值会忽略其内在的相关性,从而导致学习到的表征质量下降。
- 标准的对比学习CL目标可能对TS表示学习有害,因为在CL中忽略了时间序列TS中类似TS实例和时间戳附近值的固有相关性,而这种相关性可能是一种强大的自我监督。例如,动态时间扭曲(DTW)等距离指标已被广泛用于测量 TS 数据的相似性,而对比 TS 数据可能会丢失此类信息。此外,在自然 TS 数据中,时间戳相近的值通常是相似的,因此像以前的 CL 方法(Eldele 等人,2021 年;Yue 等人,2022 年)那样对所有时间戳不同的值进行同等程度的惩罚对比可能不是最优的。
- 如何考虑时间序列数据的相似性,以更好地进行对比表示学习?为此,我们提出了时间序列软对比学习(SoftCLT)。具体来说,我们建议不仅考虑正对的 InfoNCE 损失(Oord 等人,2018 年),还要考虑所有其他对的 InfoNCE 损失,并在实例性 CL 和时间性 CL 中计算其加权求和,其中实例性 CL 对比的是 TS 实例的表征,而时间性 CL 对比的是单个 TS 中时间戳的表征,如图 1 所示。我们建议在实例性 CL 中根据 TS 之间的距离进行软分配,在时间性 CL 中根据时间戳的差异进行软分配。如果我们将软分配替换为硬分配(负为 0 或正为 1),那么提出的损失就变成了对比损失。
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 chiblog!