当前位置: 首页> 房产> 市场 > 建站赚钱灰色_广告策划案例范文_抖音seo搜索优化_百度seo最新算法

建站赚钱灰色_广告策划案例范文_抖音seo搜索优化_百度seo最新算法

时间:2025/7/10 4:09:43来源:https://blog.csdn.net/keep_keeprogress/article/details/145518372 浏览次数:0次
建站赚钱灰色_广告策划案例范文_抖音seo搜索优化_百度seo最新算法

day10-经典神经网络ResNet

1 梯度消失问题

深层网络有个梯度消失问题:模型变深时,其错误率反而会提升,该问题非过拟合引起,主要是因为梯度消失而导致参数难以学习和更新。

2 网络创新

2015年何凯明等人提出deep residual network。在加入残存后,不能保证效果变好,但不会变差。

3 Residual结构

Residual结构是残差结构,在文章中给了两种不同的残差结构,

在ResNet-18和ResNet-34中,用的如下图中左侧图的结构,

在ResNet-50、ResNet-101和ResNet-152中,用的是下图中右侧图的结构。

右图:

1x1:通道之间进行特征融合,降维,降低参数量

3x3:特征提取

1x1:升维,和原始输入数据进行相加,形状要保持一致。特征提取。

左图可看到输入特征的channels是64,经过一个3x3的卷积核卷积之后,进行Relu激活,再经过一个3x3的卷积核进行卷积,但并没有直接激活。并且可以看到,在主分支上有一个圆弧的线从输入特征矩阵直接到加号,这个圆弧线是shortcut(捷径分支),它直接将输入特征矩阵加到经过第二次3x3的卷积核卷积之后的输出特征矩阵,再经过Relu激活函数进行激活。

右侧图输入特征的channels是256,要先经过一个1x1的卷积,降维到64,然后用3x3的卷积进行特征提取,并通过1x1的卷积进行升维到256,之后和shortcut的输入矩阵进行对应维度加法运算,在相加之后,再经过Relu激活。

4 网络结构

5 性能

通过使用残差连接,使得更深的网络具有更低的错误率。

6 变换策略影响

不同尺度的特征相加时,采用不同的维度变换策略。

三种变换策略:

(A):在升维时使用补零

(B):在升维时使用1x1卷积进行映射

(C):所有残差连接使用1x1卷积进行映射

7 代码实现

关键字:建站赚钱灰色_广告策划案例范文_抖音seo搜索优化_百度seo最新算法

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: