迁移学习(TransferLearning)的背景、历史及学习
人工智能培训网chinaai.org
迁移学习的背景、历史及学习
1、迁移学习提出背景
在机器学习、深度学习和数据挖掘的大多数任务中，我们都会假设training和inference时，采用的数据服从相同的分布（distribution）、来源于相同的特征空间（featurespace）。但在现实应用中，这个假设很难成立，往往遇到一些问题：
1、带标记的训练样本数量有限。比如，处理A领域（targetdomain）的分类问题时，缺少足够的训练样本。同时，与A领域相关的B（sourcedomain）领域，拥有大量的训练样本，但B领域与A领域处于不同的特征空间或样本服从不同的分布。
2、数据分布会发生变化。数据分布与时间、地点或其他动态因素相关，随着动态因素的变化，数据分布会发生变化，以前收集的数据已经过时，需要重新收集数据，重建模型。
这时，知识迁移（knowledgetransfer）是一个不错的选择，即把B领域中的知识迁移到A领域中来，提高A领域分类效果，不需要花大量时间去标注A领域数据。迁移学习，做为一种新的学习范式，被提出用于解决这个问题。
2、迁移学习发展历史
迁移学习的研究来源于一个观测：人类可以将以前的学到的知识应用于解决新的问题，更快的解决问题或取得更好的效果。迁移学习被赋予这样一个任务：从以前的任务当中去学习知识（knowledge）或经验，并应用于新的任务当中。换句话说，迁移学习目的是从一个或多个源任务（sourcetasks）中抽取知识、经验，然后应用于一个目标领域（targetdomain）当中去。
自年以来，迁移学习吸引了众多的研究者的目光，迁移学习有很多其他名字：学习去学习（Learningtolearn）、终身学习（life-longlearning）、推导迁移（inductivetransfer）、知识强化（knowledgeconsolidation）、上下文敏感性学习（context-sensitivelearning）、基于知识的推导偏差（knowledge-basedinductivebias）、累计/增量学习（increment/cumulativelearning）等。
2迁移学习中的符号及概念的定义
1、符号定义
领域（domain）和任务（task）定义：
领域由两个部分组成：特征空间（featurespace）X和特征空间的边缘分布P（x），其中，x={x1,x2......xn}属于X。如果两个领域不同，它们的特征空间或边缘概率分布不同。领域表示成D={X,P(x)}。
任务组成：给定一个领域D={X，P（x）}的情况下，一个任务也包含两个部分：标签空间Y和一个目标预测函数f（.）。一个任务表示为：T={Y，f（.）}。目标预测函数不能被直接观测，但可以通过训练样本学习得到。从概率论角度来看，目标预测函数f（.）可以表示为P(Y
X)。任务表示成T={Y，P（Y
X）}
一般情况下，只考虑只存在一个sourcedomainDs和一个targetdomainDt的情况。其中，源领域Ds={（xs1，ys1），（xs2,ys2）......（xsns,ysns）}，xsi属于Xs，表示源领域的观测样本，ysi属于Ys，表示源领域观测样本xsi对应的标签。目标领域Dt={（xt1，yt1）,（xt2，yt2）.......（xtnt，ytnt）}，xti属于Xt，表示目标领域观测样本，ysi属于Yt，表示目标领域xti对应的输出。通常情况下，源领域观测样本数目ns与目标领域观测样本数目nt存在如下关系：1=ntns。
2、迁移学习定义
基于以上的符号定义，给出正式的迁移学习的定义：在给定源领域Ds和源领域学习任务Ts、目标领域Dt和目标领域任务Tt的情况，且Ds不等于Dt或Ts不等于Tt，情况下；迁移学习使用源领域Ds和Ts中的知识提升或优化目标领域Dt中目标预测函数ft（.）的学习效果。
通过以上的定义可以发现：
1）、领域D=（X，P（x）），当源和目标领域D不同时，存在两种情况：
（1）Xs不等于XT，源领域和目标领域的特征空间不同；
（2）P（xs）不等于P（xt），即源空间和目标空间的特征空间相同，但观测样本X的边缘分布不同。
2）任务T={Y，P（Y
X）}，当源和目标领域T不同时，存在两种情况：
（1）Ys不等于Yt，源领域的标签空间与目标领域的标签空间不同；
（2）P（Ys
Xs）不等于P（Yt
Xt），即源领域和目标领域的条件概率分布不同。
3、迁移学习(TransferLearning)核心技术学习
《guowuyuan关于印发新一代人工智能发展规划的通知》指出：“新一代人工智能重大科技项目，聚焦基础理论和关键共性技术的前瞻布局，包括研究大数据智能、跨媒体感知计算、混合增强智能、群体智能、自主协同控制与决策等理论，研究知识计算引擎与知识服务技术、跨媒体分析推理技术、群体智能关键技术、混合增强智能新架构与新技术、自主无人控制技术等，开源共享人工智能基础理论和共性技术。”随着人工智能的发展，越来越多的机器学习应用场景的出现，现有表现比较好的监督学习需要大量的标注数据，标注数据是一项枯燥无味且花费巨大的任务，所以迁移学习受到越来越多的