领域自适应, 即 Domain Adaptation 是迁移学习中很重要的一部分内容,目的是把分布不同的源域和目标域的数据,映射到一个特征空间中,使其在该空间中的距离尽可能近。于是在特征空间中对 source domain 训练的目标函数,就可以迁移到 target domain 上,提高 target domain 上的准确率。
特征映射网络 ,标签分类网络  和域判别网络 。
博弈 对抗(见文章)
《迁移学习》: 领域自适应(Domain Adaptation)的理论分析 - 知乎 (zhihu.com)

引入领域分类器的目的是通过对抗性学习(adversarial learning)来推动模型学习对于领域无关的特征,减少对于特定领域的依赖。这通常使用领域对抗性训练(Domain Adversarial Training)的方法来实现。下面是一些步骤和关键概念:

  1. 领域分类器(Domain Classifier):

    • 引入一个领域分类器,其任务是对输入数据进行领域分类,即判断数据来自哪个领域。这个分类器通常是一个二分类器,输出表示数据属于目标领域或非目标领域。
  2. 共享特征提取器(Shared Feature Extractor):

    • 模型包含一个共享的特征提取器,负责提取输入数据的特征表示。这个特征提取器会被用于两个任务:主任务(如分类任务)和领域分类任务。
  3. 对抗性损失(Adversarial Loss):

    • 引入对抗性损失,这是通过领域分类器与共享特征提取器之间的对抗性学习来实现的。领域分类器的目标是最大化领域分类的准确性,而特征提取器的目标是最小化领域分类的准确性。这样,特征提取器被迫学习对于领域无关的特征,因为领域分类器试图无法准确地对输入数据的领域进行分类。
  4. 整体目标函数:

    • 整体的目标函数通常由主任务的损失和对抗性损失组成,可以使用加权和的方式进行组合。主任务损失推动模型在执行实际任务时取得良好的性能,而对抗性损失推动模型学习领域无关的特征。
  • ℓ𝑚𝑖𝑥 (𝑤, 𝑟, 𝑐; 𝑿 ) = ℓ𝑎𝑐𝑡 (𝑤, 𝑟, 𝑐; 𝑿 ) − 𝛼 · ℓ𝑑𝑜𝑚(𝑤, 𝑟, 𝑑; 𝑿 )
  • 整个训练过程中,模型会努力在执行主要任务的同时,保持领域分类器难以准确判断输入数据来自哪个领域。这样,模型学到的特征就更通用,能够适应不同领域的数据。这对于让模型更好地泛化到新的领域或数据来源是有帮助的

Paper

Code

naoto0804/cross-domain-detection: Cross-Domain Weakly-Supervised Object Detection through Progressive Domain Adaptation [Inoue+, CVPR2018]. (github.com)