当前位置: 首页> 娱乐> 明星 > 【王树森】Few-Shot Learning (3/3):Pretraining + Fine Tuning(个人向笔记)

【王树森】Few-Shot Learning (3/3):Pretraining + Fine Tuning(个人向笔记)

时间:2025/7/9 12:16:29来源:https://blog.csdn.net/hxdxiaoming/article/details/141784833 浏览次数:0次

Preliminary

Few-Shot Learning 很简单,但是却能达到比较高的准确度,相反一些复杂的模型反而不能达到很高的准确率

1. Cosine Similarity

余弦相似度可以衡量两个向量的相似度

  • 假设两个向量的长度都是1:那么它们余弦相似度的计算方法如下
    在这里插入图片描述
  • 若长度不等于 1 ,则需要先对它们做一个归一化:
    在这里插入图片描述

2. Softmax Function

  • Softmax 函数的输入是任意 k 维的向量
  • 把向量的每个元素做指数变换,得到 k 个大于 0 的数
  • 对所有元素做归一化,使其总和为 1
  • 输入为 k 维,输出也为 k 维,输出是一个概率分布
    在这里插入图片描述
  • Softmax示例:Softmax会让最大的值变大,其余的值变小
  • Softmax 的名字很形象,是更为 soft 的 max
    在这里插入图片描述

3. Softmax Classifier

  • 假设类别有 k 个,那么输出就是 k 维的:
    在这里插入图片描述
  • W 有 k 行,每一行对应一个类别
    在这里插入图片描述

Few-Shot Prediction using Pretrained CNN

  • 我们用一个 CNN 来提取图片的特征,可以用各种方法来预训练这个 CNN,但是不同的训练方法的效果不同
    在这里插入图片描述
  • 对 Query 的图片用 CNN 提取特征向量后进行归一化,它的二范数等于一。对 Support 的三个向量也做相同的操作,然后让 q 对 Support Set的三个特征向量分别求余弦相似度后取 Softmax,显然 q 离 μ 1 \mu_1 μ1 最近,所以模型判断 Query 和 Support Set 的第一张图是一样的:
    在这里插入图片描述

Fine-Tuning

  • 研究表明预训练后再做 Fine-Tuning 能大幅度提高准确率
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
关键字:【王树森】Few-Shot Learning (3/3):Pretraining + Fine Tuning(个人向笔记)

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: