迁移学习

HP 新闻
Lenovo 新闻
图像分类
新闻网页分类
研究意义
• 目前大多数成功的模型都是 依赖于大量的有标签数据
• 很多学习任务很难获得大量
的有标签数据 • 对于每一个任务都从头开始 训练，成本非常高
Andrew Ng预测未来机器学习各领域在产业界的占比
应用 从模拟中学习
应用
• 另一个需从模拟中学习的领域：
利用辅助图片数据预训练深度模型，在线跟踪时微调在目标跟踪的训练数据
非常有限的情况下，使用辅助的非跟踪训练数据进行预训练，获取对物体特
征的通用表示(general representation )，在实际跟踪时，通过利用当前跟 踪目标的有限样本信息对预训练模型微调(fine-tune), 使模型对当前跟踪目
使用较小的学习率
一个CNN（Lenet）的结构
方法 3.2 学习domain-invariant（域不变）特征
• 域不变特征：和域无关的一些一般性特征
• 通常只需要每个域中的无标签数据 • 这种一般性的特征通常用栈式的自编码器（Stacked Autoencoders）学习得到
方法
3.2.1 稀疏自编码器
目标跟踪中的应用
目标跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，得 到物体完整的运动轨迹。给定图像第一帧的目标坐标位置，计算在之后序列 图像中目标的确切位置。
在目标跟踪过程中，存在各种复杂的情况，经典的跟踪算法并不能很好的
解决各种复杂情况。在相关滤波（Correlation Filter）和深度学习（Deep Learning）的方法出现后，由于他们具有更高的鲁棒性和解决各种复杂情 况的能力，目标跟踪技术近年来几乎被相关滤波和深度学习方法所占领， 其在目标跟踪中的应用在飞速发展。
不同于检测、识别等视觉领域深度学习一统天下的趋势，深度学
习在目标跟踪领域的应用并非一帆风顺。其主要问题在于训练数
据的缺失：深度模型的魔力之一来自于对大量标注训练数据的有 效学习，而目标跟踪仅仅提供第一帧的bounding-box作为训练 数据。这种情况下，在跟踪开始针对当前目标从头训练一个深度 模型困难重重。
一些通过CNN 学到的卷积模板
AlexNet 学习得到的实例滤波器
为是捕获与解决相应任务
相wk.baidu.com的信息
一些经过卷积得 到的feature map
方法 • 利用已经训练好的模型帮助解决新的任务
• 训练好的模型包含一些通用特征，如图像里的边缘、形状组合等
• 在已有的模型的基础上，训练新的模型： 保持已有模型的参数不变
3
方法
• 对输入层到隐藏层的权重进行可视化，得到如下图所示结果：
3
方法
3.2.2 栈式自编码器 • 由多层稀疏自编码器组成的神经网络，其前一层自编码器的输出作为其 后一层自编码器的输入 • 例子（包含两个隐藏层）：
3
方法
• 将这三层结合起来构建一个包含两个隐藏层和一个最终softmax分类器 层的栈式自编码网络
机器人 • 在实际的机器人上训练模型是非 常缓慢和昂贵的 • 从模拟中学习并且将知识迁移到 现实世界的机器人上
应用 适应新的域 • 标签信息易于获取的数据和我们 实际关心的数据经常是不一样的 • 视觉任务中不同的视觉域 • 文本处理中不同的文本类型（报 纸、网络社交媒体）、不同的主 题
• 语音识别中不同的口音
迁移学习 Transfer Learning
在机器学习的经典监督学习场景中，如果要针对一些任务和域 A 训练一个模型，我们 会假设被提供了针对同一个域和任务的标签数据。可以在图中清楚地看到这一点，其 中我们的模型 A 在训练数据和测试数据中的域和任务都是一样的
两个基 本假设
同源、独立同分布 标注足够多的训练样本
we sometimes have a classification task in one domain of interest, but we only have sufficient training data in another domain of interest, where the latter data may be in a different feature space or follow a different data distribution.
应用 2.3 跨语言迁移知识 • 将知识从一种语言迁移到另一种语言 • 可靠的跨语言域的方法会允许我们借用大量的已有的英 文标签数据并将其应用在任何一种语言中，尤其是一些 缺少资源的语言
• 目前还没有比较好的方法
方法 • 迁移学习的研究历史可以追述到上世纪90年代 • 深度学习的出现导致了一系列迁移学习的新方法 使用预训练的 CNN 特征 • 较低的卷积层捕获低级图 像特征，如：边缘 • 越高的卷积层捕获越来越 高级的特征，如：人脸 • 最后的全连接层通常被认
标有更强的分类性能，这种
迁移学习的思路极大的减少了对跟踪目标
训练样本的需求，也提高了跟踪算法的性能。
实验数据
Vgg16-网络结构
对已有网络初始化
微调网络
谢谢