chiblog

深入研究k折交叉验证（K fold Cross Validation） - 哔哩哔哩 (bilibili.com) 微表情识别（Micro expression recognition）简述 - 知乎 (zhihu.com) 为了减少不同受试者之间面部的差异，可以基于面部特征点对所有片段进行面部配准（face register）， 简单来说，face register 首先选择一张脸作为标准人脸图像，提取其特征点；对于每个视频片段，提取视频片段中第一帧的面部特征点，并计算一个映射函数（此处使用 LWM 算法），将这帧图像的特征点映射到标准图像的特征点上；最后，将此映射作用在视频中的所有帧上。这种方法可以使所有视频片段中的人脸特征点位置相同，从而减少不同人脸的差异。 我在毕设中使用python的dlib库识别人脸特征点，进行face register，经过实验发现register可以提高模型在10-fold验证时的效果，但降低了模型在LOSO验证时的效果。由于dlib对于人脸特征点的识别并不是那么准，因此上述现象也可能是由dlib的误差导致。

模型解释——特征重要性、LIME与SHAP - 知乎 (zhihu.com)机器学习6种模型可解释性方法汇总，你最常用哪一种？ - 知乎 (zhihu.com)分类模型的可解释性_why should i trust you论文介绍-CSDN博客oneTaken/awesome_deep_learning_interpretability: 深度学习近年来关于神经网络模型解释性的相关高引用/顶会论文(附带代码) (github.com) 基于规则的模型（Rule-based Model），例如决策树，得益于其透明的内部结构和良好的模型表达能力，仍在医疗、金融和政治等对模型可解释性要求较高的领域发挥着重要作用。然而，传统的基于规则的模型由于其离散的参数和结构而难以优化，尤其在大规模数据集上，这严重限制了规则模型的应用范围。而集成模型、软规则和模糊规则等，虽然提升了分类预测能力，但牺牲了模型可解释性。 paper 鱼和熊掌不可兼得？清华团队提出高准确率的可解释分类模型_澎湃号·湃客_澎湃新闻-The Paper论文链接：https://arxiv.org/abs/2 ...

在各种研究工作中，已经探索了自动编码器的结合，以提高分类器的性能。自动编码器表现出一系列的变化，每个都针对特定的目标，如去噪，特征提取，生成合成数据和降低维度。部署自编码器的核心原则是在输出端复制输入数据，同时保持最大相似度。编码器和解码器都由一个编码器和一个解码器组成，一旦编码器被训练，它与分类器的集成无缝地增强了结果。值得注意的是，在具体的研究中，自动编码器被用于消除噪声和增强结果[ 24 ]。 % 自编码器代替PCA 进行无监督特征学习 . 自编码器的变体 将自动特征学习和降维结合到一个集成神经网络中进行活动识别Autoencoders are used to replace Principal Component Analysis (PCA) for unsupervised feature learning.Variants of autoencoders integrate automatic feature learning and dimensionality reduction into a single neural network for activity rec ...

Weng, Lilian. (Jul 2021). What are diffusion models? Lil’Log. https://lilianweng.github.io/posts/2021-07-11-diffusion-models/. Diffusion models are inspired by non-equilibrium thermodynamics. They define a Markov chain of diffusion steps to slowly add random noise to data and then learn to reverse the diffusion process to construct desired data samples from the noise. Unlike VAE or flow models, diffusion models are learned with a fixed procedure and the latent variable has high dimensionality ( ...

XGBoost (极限梯度提升)原理: 提升算法: XGBoost 是梯度提升决策树的实现，旨在提高速度和性能。 梯度提升框架: 通过关注前一轮学习器的错误，结合多个弱学习器（通常是决策树）来创建一个强学习器。 优点: 高性能: 以高预测能力著称，常用于赢得机器学习竞赛的解决方案。 高效: 针对速度和内存使用进行了优化，利用并行处理。 灵活性: 支持多种目标函数和自定义评估函数。 正则化: 采用 L 1 和 L 2 正则化来防止过拟合。 缺点: 复杂性: 需要仔细调整超参数。 计算密集: 对大数据集来说资源消耗较大。 可解释性差: 相比简单模型如决策树，模型更难解释。 CatBoost (类别提升)原理: 提升算法: 类似于 XGBoost，但专门针对类别特征进行了优化。 有序提升: 利用有序提升来减少过拟合。 优点: 处理类别特征: 自动处理类别变量，减少了大量预处理工作。 快速准确: 提供高准确性且速度较快，因为实现高效。 减少过拟合: 有序提升有助于减少过拟合，相比传统提升方法更有效。 缺点: 复杂性: 超参数调整较为复杂。 资源使用: 可能会占用大量内存和计算资源。 ...

迁移：样本数据、特征、参数、关系 2.2. Knowledge Transfer The literature on knowledge transfer can be generally categorized into four main approaches based on the type of knowledge they transfer [21]: • Instance Transfer: Methods placing in this approach, mainly aim for weighting and transforming labeled instances into the target domain. Standard supervised machine learning models can be applied on transferred samples afterward. • Feature Representation Transfer: The core idea of this category’s models is abo ...

工作岗位 Trexquant公司:Trexquant | 一亩三分地 (1point3acres.com)职责 开发预测未来股票回报的市场中性中频阿尔法 调查和实施最近的学术研究 开发算法来过滤和组合阿尔法 解析用于未来alpha开发的数据集 将机器学习技术应用于alpha发现和投资组合构建工作内容 - 指导我的full-time员工推荐几篇经典的量化领域paper，通过自己阅读后理解这篇paper里提出的alpha来源然后据此自行加以修改+测试，直到产生了各项指标都通过测试的信号。。。好像我身边也是 - 在团队里，由researcher贡献各种各样的alpha idea，pm自己一般不会亲力亲为挖因子，而是只负责提供初步的方向，指导reseacher做研究，并且负责挑选、组合和管理researcher贡献的信号，类似于教授和博士生。这种模式的弊端就是每个团队的researcher要负责从idea generation, data colletion, back-testing甚至下单的整个投资流程，用来挖因子的时间精力不够，挖出的因子有限（但 ...

GitHub - liucongg/ChatGLM-Finetuning: 基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等 Paitesanshi/LLM-Agent-Survey (github.com) https://github.com/mlabonne/llm-course 初始化踩坑 OSError: Could not find kaggle.json. Make sure it‘s located in /home/user/.kaggle.-CSDN博客 Api python代码配置 (flowus.cn) ApplicationPaitesanshi/LLM-Agent-Survey (github.com) methodRAG 是 Retrieval Augmented Generation 的缩写，意为检索增强生成。它是一个将大规模语言模型与来自外部知识源的检索相结合的框 ...

对抗训练浅谈：意义、方法和思考（附Keras实现） - 科学空间|Scientific Spaces 深度学习中的对抗，一般会有两个含义：一个是生成对抗网络（Generative Adversarial Networks，GAN），代表着一大类先进的生成模型；另一个则是跟对抗攻击、对抗样本相关的领域，它跟 GAN 相关，但又很不一样，它主要关心的是模型在小扰动下的稳健性。 对抗训练 【炼丹技巧】功守道：NLP中的对抗训练 + PyTorch实现 - 知乎 (zhihu.com)对抗训练浅谈：意义、方法和思考（附Keras实现） - 科学空间|Scientific Spaces Goodfellow 认为，神经网络由于其线性的特点，很容易受到线性扰动的攻击。于是，他提出了 Fast Gradient Sign Method (FGSM) ，来计算输入样本的扰动。Goodfellow 还总结了对抗训练的两个作用： 提高模型应对恶意对抗样本时的鲁棒性； 作为一种 regularization，减少 overfitting，提高泛化能力。在 NLP 任务中，对抗训练的角色不再是为了防御 ...

challengeRecent advances in mobile sensing field [7, 13] come up with meta-learning algorithms [17] as their FSL solutions. However, they cannot settle the above two kinds of overhead fundamentally: (1) Data collection overhead persists. The principle of meta-learning to recognize unseen classes is to bring adequate prior knowledge from an enlarged base dataset, which could be prohibitively huge to collect. Hence, instead of completely solving the data collection overhead, meta-learning shifts t ...