chiblog

在变分自编码器(VAEs)的短短一年之后，一个开创性的生成家族模型出现了——生成对抗网络(GANs)，标志着一类新的生成模型的开始，其特征是两个神经网络的协作:一个生成器和一个鉴别器，涉及对抗性训练过程。生成器的目标是从随机噪声中生成真实的数据，例如图像，而鉴别器则努力区分真实数据和生成数据。在整个训练阶段，生成器和鉴别器通过竞争性学习过程不断完善自己的能力。生成器生成越来越有说服力的数据，从而比鉴别器更聪明，而鉴别器又提高了辨别真实样本和生成样本的能力。这种对抗性的相互作用在生成器生成高质量、逼真的数据时达到顶峰。在采样阶段，经过 GAN 训练后，生成器通过输入随机噪声产生新的样本。它将这些噪声转换为通常反映真实示例的数据。 深度学习GAN网络之CycleGAN - 知乎 (zhihu.com) Conditional GANs Conventional GANs are not suitable for sensor data recovery since the generated data must accurately represent the activity bein ...

时序数据增强 在时域上，使用的数据增强手段包括 jittering、scaling、time-shifts、neighborhood segments、permutation、masking magnitude wraping, mean pooling。 在频域上，本文是首次研究了如何进行频域中的时间序列数据增强 通过随机抹除或增加frequency components实现频域上的数据增强 为了避免频域上的增强对原始序列过大的变化，导致增强后的序列和原始序列不相似，会对增删的components和增删幅度做限制 删除操作——会随机选择不超过E个频率进行删除. This method selectively alters the input data by applying a binary mask generated with a specified perturbation ratio, effectively zeroing elements based on this mask, thereby serving as a method to remove compo ...

大模型开发 - 一文搞懂Encoder-Decoder工作原理_大模型encoder和decoder-CSDN博客 intro进行编码和解码与直接传输原始数据相比，有几个关键区别： 数据的表示形式： 在进行编码和解码时，数据被映射到一个潜在空间中的表示形式。编码器将原始数据转换为这个潜在表示，而解码器则将潜在表示还原为原始数据。这个潜在表示可能是数据的压缩版本，包含了数据的关键特征。 特征学习： 编码的过程可以视为对数据进行特征学习的一种方式。通过学习数据的潜在表示，系统可以捕捉数据中的模式和特征，这对于后续的任务如分类、聚类等可能很有用。 维度的减少： 编码的过程通常伴随着将数据从高维度映射到低维度的过程。这可以帮助减少数据的存储和传输成本，并提供对数据的紧凑表示。 去噪和重建： 编码和解码过程可以用于去除数据中的噪音，同时尽可能精确地还原原始数据。这在传输过程中可能有一些优势，特别是在噪音环境下。 生成新样本： 解码器可以用来生成与训练数据相似但不完全相同的新样本。这对于生成模型和一些创造性的应用是有意义的。总体而言，编码和解码的过程不仅仅是数据传输，更是数据处理和学习的 ...

[Public, Approved] Intro to Transformers - Google Slides 目前，主流的多模态大模型大多以Transformer为基础。Transformer是一种由谷歌在2017年提出的深度学习模型，主要用于自然语言处理（NLP）任务，特别是序列到序列（Sequence-to-Sequence）的学习问题，如文本生成。Transformer彻底改变了之前基于循环神经网络（RNNs）和长短期记忆网络（LSTMs）的序列建模范式，并且在性能提升上取得了显著成效。Transformer结构如下图所示： Transformer的核心构成包括： 自注意力机制（Self-Attention Mechanism）：Transformer模型摒弃了传统RNN结构的时间依赖性，通过自注意力机制实现对输入序列中任意两个位置之间的直接关联建模。每个词的位置可以同时关注整个句子中的其他所有词，计算它们之间的相关性得分，然后根据这些得分加权求和得到该位置的上下文向量表示。这种全局信息的捕获能力极大地提高了模型的表达力。 多头注意力（Multi-Head Attention ...

横向联邦学习的三种更新参数方法及论文研究 (zhihu.com) FedSGD一个端点的简单的一次平均，其中每个客户求解最小化其局部数据损失的模型，并对这些模型进行聚合以产生最终的全局模型。（这种方法在带有IID数据的凸情况下得到了广泛的研究，众所周知，在最坏情况下，产生的全局模型并不比在单个客户端上训练模型更好，所以我们需要针对联邦学习研究一种新的模型更新方法。） FedAvg 从编码器（encoder）中提炼表示并提取活动特定特征通常涉及使用某种形式的神经网络结构或特定的学习方法。以下是一些可能的方法： 注意力机制（Attention Mechanism）： 使用注意力机制可以使编码器更加关注输入数据中与活动相关的部分。通过学习到的权重，注意力机制能够使编码器的输出更集中于包含重要信息的区域，从而提炼出与活动相关的表示。 迁移学习（Transfer Learning）： 利用先前训练好的编码器（可能在大规模数据上训练过）可以通过迁移学习来提炼活动特定的表示。在训练过程中，可以固定编码器的一些层，只训练后面的层以适应特定的活动识别任务。 自监督学习（Self-Sup ...

PRML第十三章读书笔记——Sequential Data 状态空间模型、自回归模型/从左到右HMM/前向后向BW算法/和积算法/缩放因子/维特比算法、线性动态系统/卡尔曼滤波-平滑/粒子滤波-CSDN博客PRML第十四章读书笔记——Combining Models 贝叶斯模型平均、委员会bagging、提升方法/AdaBoost、决策树、条件混合模型/混合线性回归/混合逻辑回归/【层次】混合专家模型_prml14-CSDN博客 实现 K-Means 和 GMM（高斯混合模型）两个模型assignment-3 · 复旦大学-邱锡鹏/prml-21春 - 码云 - 开源中国 (gitee.com) 前馈神经网络assignment-2 · 复旦大学-邱锡鹏/prml-21春 - 码云 - 开源中国 (gitee.com) 混合模型和EM参考： PRML读书会第九章 Mixture Models and EM – 我爱自然语言处理 (52nlp.cn)PR ...

dae137ef05c260336494efc8b26df9e9e2519baee93eb574723e98770db12d3d4a24505f79f86ce1ebd535274da53d14577da0980df11c55ba51fc1cfe038b08e12b7ab84025919e3d96f3b107666b0b8cb90c9cc6c86aeae109e5f30ce835669ac1f74162feda57a56a7b33b9c3f4fbad192a53b705c203262e1dd4ce57a3dadeb8914e9d8b234207afc807f25964ef13cecf83c5956b4b47b9a6783ef25d4fd3e0b032d24e2eaed56df5ff95484ae9659b2a3af75c08fd9037becea19692fc9f5e746a2024558f7ced51233a89130135223e253904c65e9fc00d1a59c6da13bb77ee1f1ff7991fe6c756dbe323e70bb1975786aa60362bb ...

ROC曲线（Receiver Operating Characteristic Curve）是用于评估二元分类器性能的图形工具。在ROC曲线上，横轴表示False Positive Rate（FPR），纵轴表示True Positive Rate（TPR），又称为灵敏度或召回率。 True Positive Rate (TPR): 这是指在实际为正例的样本中，被正确地预测为正例的比例。 False Positive Rate (FPR): 这是指在实际为负例的样本中，被错误地预测为正例的比例。 True Positive Rate (TPR): 这是指，当有病的时候，你的模型成功地预测出了有病的概率。高TPR表示你的模型在真正有病的情况下表现良好。 False Positive Rate (FPR): 这是指，当实际上是健康的时候，你的模型错误地预测为有病的概率。高FPR表示你的模型在实际上是健康的情况下出现了错误。 现在，ROC曲线显示了在不同的阈值下，你可以通过调整模型的预测概率来改变TPR和FPR。AUC（Area Under the ROC Curve）是这条曲线下的面积。 ...

新的一岁；和世界续约；和自己续约；和家人朋友们续约；和健康快乐自由智慧美丽续约！

深度学习 (fast.ai)