Transformer

一、注意力机制

作用：让计算机关注到有价值的信息

self-attention：

WQ矩阵：要去查询的矩阵；WK矩阵：等待被查的矩阵；WV矩阵：实际的特征信息

通过Q与K的内积来表示有多匹配

multi-headed机制

归一化与残差连接

二、Vision Transformer(VIT)

架构图

Tranformer应用到CV领域的核心：将输入数据转换成一个个的Patch

CNN的最大问题：CNN中想要获得大的感受野，必须堆叠很多卷积层(有点麻烦，效果不一定好)