你好,游客 登录
背景:
阅读新闻

数据有限时 怎样调优深度学习模型

[日期:2017-07-28] 来源:36大数据  作者: [字体: ]

  迁移学习的特点

  1、需求数据量少

  假设有两个领域, 个领域已经有很多的数据,能成功地建 个模型,有 个领域数据不多,但是和前面那个领域是关联的,就可以把那个模型给迁移过来。比如,我们想做 个化妆品推荐模型,但数据量较少,可以先用 个成型的较为稳定的饰品推荐模型进行调优。跨领域的在学术界也有尝试哦,比如网络搜索可以迁移到推荐,图象识别可以迁移到文本识别。

大数据

  2、训练时间少

  在没有GPU的普通台式机或者笔记本上,实现Google的Inception-v3模型迁移学习训练过程只需要大约五分钟(tensorflow框架)。

  3、容易满足个性化需求

  比如每个人都希望自己的手机能够记住 些习惯,这样不用每次都去设定它,怎么才能让手机记住这 点呢

  其实可以通过迁移学习把 个通用的用户使用手机的模型迁移到个性化的数据上面 。不过,如果数据量足够的情况下,迁移学习的效果 般不如完全重新训练哦。迁移学习适合与快速小巧的工程化,解决所谓的冷启动问题,当数据收集得足够多了以后,我们再改用深度学习。

  迁移学习四种实现方法

  1、样本迁移Instance-based Transfer Learning

   般就是对样本进行加权,给比较重要的样本较大的权重。

  样本迁移即在数据集(源领域)中找到与目标领域相似的数据,把这个数据放大多倍,与目标领域的数据进行匹配。其特点是:需要对不同例子加权;需要用数据进行训练。比如下图,可以将 个动物识模型的源数据中的狗狗图片增多,达到专门针对狗的识别模型。

  2、特征迁移Feature-based Transfer Learning

  在特征空间进行迁移, 般需要把源领域和目标领域的特征投影到同 个特征空间里进行。

  如下图示例,特征迁移是通过观察源领域图像与目标域图像之间的共同特征,然后利用观察所得的共同特征在不同层 的特征间进行自动迁移。

  3、模型迁移Model-based Transfer Learning

  整个模型应用到目标领域去,比如目前常用的对预训练好的深度网络做微调,也可以叫做参数迁移。

  模型迁移利用上千万的图象训练 个图象识别的系统,当我们遇到 个新的图象领域,就不用再去找几千万个图象来训练了,可以原来的图像识别系统迁移到新的领域,所以在新的领域只用几万张图片同样能够获取相同的效果。模型迁移的 个好处是我们可以区分,就是可以和深度学习结合起来,我们可以区分不同层次可迁移的度,相似度比较高的那些层次他们被迁移的可能性就大 些 。

  这里讲 个例子,比如我们想将训练好的Inception-v3简单调整,解决 个新的图像分类问题。根据论文DeCAF : A Deep Convolutional Activation Feature for Generic Visual Recognition中的结论,可以保留训练好的Inception-v3模型中所有卷积层的参数,只是替换较后 层全连阶层。在较后这 层全连阶层之前的网络层称之为瓶颈层。

  将新的图像通过训练好的卷积神经网络直到瓶颈层的过程可以看成是对图像进行特征提取的过程。在训练好的Inception-v3模型中,因为将瓶颈层的输出再通过 个单层的全连接层神经网络可以很好的区分1000种类别的图像,所以有理由认为瓶颈层输出的借点向量可以作为任何图像的 个新的单层全连接神经网络处理新的分类问题。

  4、关系迁移Relational Transfer Learning

  如社会网络,社交网络之间的迁移。

  根据源和目标领域是否相同、源和目标任务是否相同、以及源和目标领域是否有标注数据,又可以把迁移学习分成如下图所示:

  前沿的迁移学习方向

  1、Reinforcement Transfer Learning

  怎么迁移智能体学习到的知识:比如我学会了 个游戏,那么我在另 个相似的游戏里面也是可以应用 些类似的策略的。

  2、Transitive Transfer Learning

  传递性迁移学习,两个domain之间如果相隔得太远,那么我们就插入 些intermediate domains, 步步做迁移。

  3、Source-Free Transfer Learning

  不知道是哪个源领域的情况下如何进行迁移学习。

  二、假如你目前有了 些代表性数据集,进入了温饱阶段,恨不得压榨出每 滴数据的价值,又害怕用力过以偏概全(俗称过拟合)。那么我们可能需要如下技巧。

  严防死守过拟合(所谓尽人事,听……)

  深度学习由于超参数的个数比较多,训练样本数目相对超参数来说略显不足, 不小心就容易发生过拟合。从本质上来说,过拟合是因为模型的学习能力太强,除了学习到了样本空间的共有特性外,还学习到了训练样本集上的噪声。因为这些噪声的存在,导致了模型的泛化性能下降。

  深度学习中有几种较为常用的改善过拟合方法:

  1、data augmentation

  data augmentation即数据增强,数据增强其实是增加训练样本的 种方法。以人脸识别为例,对于人脸识别的数据增强, 般有随机裁剪,随机加光照,随机左右翻转等。

  通过类似的手段,无论是图像处理,还是语音或者自然语言处理,我们都能有效地增加样本数量。更多的训练样本意味着模型能够学到更多的本质特征,具有对于噪声更好的鲁棒性,从而具有更好的泛化性能,能够有效地避免过拟合。

  2、early stopping

  early stopping,顾名思义,就是在训练次数没有达到预先设定的较大训练次数时,我们就让网络停止训练。采用early stopping需要我们在训练集合上划分出 小部分(大概10%~30%吧)作为验证集,验证集不参与训练,可以视为是我们知道结果的测试集。我们通过实时监控模型在验证集上的表现来(实时监控并不意味着每次迭代都去监控,可以每1000次去观察 次), 旦模型在验证集上的表现呈现下降趋势,我们就停止训练,因为再训练下去模型的泛化性能只会更差。

  而实际训练中,我们不可能 直坐在电脑旁观察验证集的准确率,更 般的做法是每隔 段时间(比如每1000次迭代)就保存 次模型,然后选择在验证集上效果较好的模型作为较终的模型。

  3、增加Dropout层

  Dropout(https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf )原理非常简单,Dropout t的作用对象是layer,对于某 层中的每个节点,Dropout技术使得该节点以 定的概率p不参与到训练的过程中(即前向传导时不参与计算,bp计算时不参与梯度更新)。

  如上图所示,实验证明了,Dropout的效果非常爆炸,对于模型训练有非常好的效果。

  为什么Dropout能起到这么大作用呢

   个原因是通过Dropout,节点之间的耦合度降低了,节点对于其他节点不再那么敏感了,这样就可以促使模型学到更加鲁棒的特征;

  个是Dropout 层中的每个节点都没有得到充分的训练(因为它们只有 半的出勤率),这样就避免了对于训练样本的过分学习;

  第三个原因是在测试阶段,Dropout 层的所有节点都用上了,这样就起到了ensemble的作用,ensemble能够有效地克服模型的过拟合。

  在实际的模型训练中,ropout在 般的框架中初始默认的0.5概率的丢弃率是保守的选择,如果模型不是很复杂,设置为0.2就够了。

  不过也要注意到Dropout的缺点:

  (1)Dropout是 个正则化技术,它减少了模型的有效容量。为了抵消这种影响,我们必须增大模型规模。不出意外的话,使用Dropout时较佳验证集的误差会低很多,但这是以更大的模型和更多训练算法的迭代次数为代价换来的。对于非常大的数据集,正则化带来的泛化误差减少得很小。

  在这些情况下,使用Dropout和更大模型的计算代价可能超过正则化带来的好处。

  (2)只有好少的训练样本可用时,Dropout不会很有效。

  4、weight penality(L1&L2)

  第四种常用的办法就是weight decay,weight decay通过L1 norm和L2 norm强制地让模型学习到比较小的权值。

  这里有两个问题:

  (1)为什么L1和L2 norm能够学习到比较小的权值

  (2)为什么比较小的权值能够防止过拟合

  对于个问题:

  过拟合的本质是什么呢 无非就是对于非本质特征的噪声过于敏感,把训练样本里的噪声当作了特征,以于在测试集上的表现非常稀烂。当权值比较小时,当输入有轻微的改动(噪声)时,结果所受到的影响也比较小,所以惩罚项能在 定程度上防止过拟合。

  除了千方百计增加数据多样性,还要增加模型的多样性

  1、试试不断调整隐层单元和数量

  调模型,要有点靠天吃饭的宽容心态,没事就调调隐层单元和数量,省的GPU闲着,总有 款适合你。

   般来说,隐层单元数量多少决定了模型是否欠拟合或过拟合,两害相