持续学习

Continual Learning/Incremental Learning/Lifelong Learning

AI中的持续学习–机器之心 (xiaoe-tech.com)

问题描述

• 自适应算法，能从连续的信息流（任务流）中学习，不预先定义要学习的任务数量（例如分类任务中的类别）。监督学习有标签（强化学习没有标签）。

• vs迁移学习/在线学习。灾难性遗忘 catastrophic forgetting。（梯度下降，模型适应了新的数据，忘了之前的任务）

• 数据集

  • split将之前的数据集拆分成子集，即多个任务。
  • permuted 将之前的数据集形成多个分布，即多个任务。

• 持续学习的基线策略。naive(成本消耗最少), cumulative, jointTraining（acc最高）

• 任务 Task/Episode/Context

场景

task incremental已知id，class incremental未知id，domain incremental 同任务但改变数据的分布状态。

评估指标

• 

• 准确率 ACC

• 后续任务增率 Forward Transfer (FWT)

• 先前任务增率 Backward Transfer (BWT)

• Memory 内存消耗

策略

• 三大类

  • Baseline 策略

    • Naive

    • 知识蒸馏。（场景1：部署到边缘，不能直接压缩参数）

    • 猫和虎更相似-概率分布，0.009，0.001

  • 赋予参数不同权重，有用的参数不调，其他基于新任务微调

  • 其他

  • Replay

    • MIR

    • Latent Replay

    • Generative Replay

  • Network Archietect

• 总结
  Replay策略 balance（模型保留旧知识，但内存增加）

学习资源

Ref

【1】 AI中的持续学习–机器之心 (xiaoe-tech.com)