chiblog

http://link.zhihu.com/?target=https%3A//github.com/sxontheway/Keep-Learning/blob/master/Research/Few_Sample_Learning.md

对抗训练浅谈：意义、方法和思考（附Keras实现） - 科学空间|Scientific Spaces 深度学习中的对抗，一般会有两个含义：一个是生成对抗网络（Generative Adversarial Networks，GAN），代表着一大类先进的生成模型；另一个则是跟对抗攻击、对抗样本相关的领域，它跟 GAN 相关，但又很不一样，它主要关心的是模型在小扰动下的稳健性。 对抗训练 【炼丹技巧】功守道：NLP中的对抗训练 + PyTorch实现 - 知乎 (zhihu.com)对抗训练浅谈：意义、方法和思考（附Keras实现） - 科学空间|Scientific Spaces Goodfellow 认为，神经网络由于其线性的特点，很容易受到线性扰动的攻击。于是，他提出了 Fast Gradient Sign Method (FGSM) ，来计算输入样本的扰动。Goodfellow 还总结了对抗训练的两个作用： 提高模型应对恶意对抗样本时的鲁棒性； 作为一种 regularization，减少 overfitting，提高泛化能力。在 NLP 任务中，对抗训练的角色不再是为了防御 ...

自监督学习 | (1) Self-supervised Learning 入门_carl 等人[]通过名为拼图的方式来构造辅助任务, 通过预测图像各个图像块的相对位置-CSDN 博客 AI论文速读 |2024[TPAMI]【综述】自监督学习在时间序列分析的分类、进展与展望 (qq.com) [[method-自监督-对比学习]] 自监督学习的方法主要可以分为 3 类： 基于上下文（Context based） 基于时序（Temporal Based） 基于对比（Contrastive Based）[[method-自监督-对比学习]] ，一个样本的多个模态为正样本，其他样本的模态为负样本。 基于生成的（Generative-based）、基于对比的（Contrastive-based）和基于对抗的（Adversarial-based）。通过这些步骤，论文旨在为时间序列数据分析中的自监督学习提供一个全面的框架，并推动该领域的研究进展。 3种生成式自监督 自回归预测（Autoregressive-based forecasting）：使用过去的时间序列数据来预测未 ...

challengeRecent advances in mobile sensing field [7, 13] come up with meta-learning algorithms [17] as their FSL solutions. However, they cannot settle the above two kinds of overhead fundamentally: (1) Data collection overhead persists. The principle of meta-learning to recognize unseen classes is to bring adequate prior knowledge from an enlarged base dataset, which could be prohibitively huge to collect. Hence, instead of completely solving the data collection overhead, meta-learning shifts t ...

AI届的新宠：小语言模型(SLM)? (qq.com)大模型一定就比小模型好？谷歌的这项研究说不一定 (qq.com)

近期值得关注的4个时序大模型研究 (qq.com)ICML 2024 时间序列（Time Series）和时空数据（Spatial-Temporal）论文总结【抢先版】 (qq.com)https://github.com/thuml/Time-Series-Library清华大学最新深度时序模型综述+5k star开源代码！ (qq.com) datamonday/Time-Series-Analysis-Tutorial: 时间序列分析教程 (github.com) idea 时频。（单模态。） - 一致性对时间序列进行自监督对比预训练对比学习-时序-2022-TFC-Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency one to one or one to many——利用 earset 的信息预训练。然后迁移到实验室耳机的数据集、实验室眼镜的数据集、眼镜耳机的其他数据集，说明可跨设备识别表情姿态等。——做一个 all wearble ...