chiblog

对比相似的时间序列实例或时间序列中相邻时间戳的值会忽略其内在的相关性，从而导致学习到的表征质量下降。 标准的对比学习CL目标可能对TS表示学习有害，因为在CL中忽略了时间序列TS中类似TS实例和时间戳附近值的固有相关性，而这种相关性可能是一种强大的自我监督。例如，动态时间扭曲（DTW）等距离指标已被广泛用于测量 TS 数据的相似性，而对比 TS 数据可能会丢失此类信息。此外，在自然 TS 数据中，时间戳相近的值通常是相似的，因此像以前的 CL 方法（Eldele 等人，2021 年；Yue 等人，2022 年）那样对所有时间戳不同的值进行同等程度的惩罚对比可能不是最优的。 如何考虑时间序列数据的相似性，以更好地进行对比表示学习？为此，我们提出了时间序列软对比学习（SoftCLT）。具体来说，我们建议不仅考虑正对的 InfoNCE 损失（Oord 等人，2018 年），还要考虑所有其他对的 InfoNCE 损失，并在实例性 CL 和时间性 CL 中计算其加权求和，其中实例性 CL 对比的是 TS 实例的表征，而时间性 CL 对比的是单个 TS 中时间戳的表征，如图 1 所示。我们建议在 ...

SimCLR: 一种视觉表征对比学习的简单框架《A Simple Framework for Contrastive Learning of Visual Representations》(对比学习、数据增强算子组合，二次增强、投影头、实验细节很nice)，好文章，值得反复看 - ZERO- - 博客园 (cnblogs.com) 论文解读（SimCLR）《A Simple Framework for Contrastive Learning of Visual Representations》 - 多发Paper哈 - 博客园 (cnblogs.com) 𝑆𝑖𝑚𝐶𝐿𝑅 最终目的是最大化同一数据示例的不同增强视图之间的一致性来学习表示，即 max similar (v 1, v 2) 核心思想：SimCLR 通过对比学习自监督地学习视觉表示。最大化同一数据样本不同增强视图在潜在空间中的相似性，最小化不同样本的相似性。 关键组件：数据增强（如随机裁剪、颜色失真、高斯模糊）、神经网络编码器（如 ResNet）、投影头（两层 MLP）、对比损失（NT-Xent Los ...

必会的六大卷积神经网络 (qq.com) 必会的六大卷积神经网络LeNet-5LeNet-5 由 Yann LeCun 设计，是最早的卷积神经网络 (CNN) 之一，主要用于手写数字识别。 它有 5 层，具有可学习的参数，并以灰度图像作为输入。 以下是其架构的详细分解： 输入层 输入：32x32 灰度图像。 3组卷积+平均池化层 卷积层通过应用滤波器从输入图像中提取特征，而平均池化层则减少空间维度，使得网络对输入图像的小平移保持不变。 第 1 层，6 个大小为 5x5 的滤波器，产生 28x28x6 的特征图。 第 2 层，使用平均池化（2x2 窗口），减少到 14x14x6。 第 3 层，16 个大小为 5x5 的滤波器，产生 10x10x16 的特征图。 第 4 层，使用平均池化（2x2 窗口），减少到 5x5x16。 第 5 层，120 个大小为 5x5 的滤波器，产生 1x1x120 的特征图。 2个完全连接层 全连接层根据从卷积层提取的特征进行分类。 第 6 层，84 个神经元，与前一层完全连接。 输出层，10 个神经元，每个数字类 ...

谷歌｜清华｜CMU近期值得关注的3个时序大模型研究 (qq.com) TimesFM论文标题：A DECODER - ONLY FOUNDATION MODEL FOR TIME - SERIES FORECASTING受到自然语言处理（NLP）领域中大型语言模型最新进展的启发，Google研究人员设计了一个时间序列基础模型TimesFM，用于预测。该模型在多种公共数据集上的即开即用零样本性能，接近于每个单独数据集上最先进的监督预测模型的准确性。模型基于预训练一个带有输入patch的解码器风格注意力模型，使用一个包含真实世界和合成数据集的大型时间序列语料库。在一系列之前未见过的预测数据集上的实验表明，该模型能够在不同的领域、预测范围和时间粒度上产生准确的零样本预测。 论文标题：Timer: Generative Pre-trained Transformers Are Large Time Series Models (ICML24)随着大型语言模型的出现，不断取得进展，展现出前所未有的能力，如少样本泛化、可扩展性和任务通用性，这些在小型深度模型中是缺失的。为了改变从零开始训练 ...

模型解释——特征重要性、LIME与SHAP - 知乎 (zhihu.com)机器学习6种模型可解释性方法汇总，你最常用哪一种？ - 知乎 (zhihu.com)分类模型的可解释性_why should i trust you论文介绍-CSDN博客oneTaken/awesome_deep_learning_interpretability: 深度学习近年来关于神经网络模型解释性的相关高引用/顶会论文(附带代码) (github.com) 基于规则的模型（Rule-based Model），例如决策树，得益于其透明的内部结构和良好的模型表达能力，仍在医疗、金融和政治等对模型可解释性要求较高的领域发挥着重要作用。然而，传统的基于规则的模型由于其离散的参数和结构而难以优化，尤其在大规模数据集上，这严重限制了规则模型的应用范围。而集成模型、软规则和模糊规则等，虽然提升了分类预测能力，但牺牲了模型可解释性。 paper 鱼和熊掌不可兼得？清华团队提出高准确率的可解释分类模型_澎湃号·湃客_澎湃新闻-The Paper论文链接：https://arxiv.org/abs/2 ...

深入研究k折交叉验证（K fold Cross Validation） - 哔哩哔哩 (bilibili.com) 微表情识别（Micro expression recognition）简述 - 知乎 (zhihu.com) 为了减少不同受试者之间面部的差异，可以基于面部特征点对所有片段进行面部配准（face register）， 简单来说，face register 首先选择一张脸作为标准人脸图像，提取其特征点；对于每个视频片段，提取视频片段中第一帧的面部特征点，并计算一个映射函数（此处使用 LWM 算法），将这帧图像的特征点映射到标准图像的特征点上；最后，将此映射作用在视频中的所有帧上。这种方法可以使所有视频片段中的人脸特征点位置相同，从而减少不同人脸的差异。 我在毕设中使用python的dlib库识别人脸特征点，进行face register，经过实验发现register可以提高模型在10-fold验证时的效果，但降低了模型在LOSO验证时的效果。由于dlib对于人脸特征点的识别并不是那么准，因此上述现象也可能是由dlib的误差导致。