企业网站的制作公司_黑马培训机构可靠吗_百度搜索引擎的原理_企业网站的域名是该企业的

在复现simsam的过程中，看到在线性评估部分的训练函数中设置了model.eval,不太理解，印象中一直觉得，model.eval会影响梯度的回传，这里来拨乱反正一下。

1. 事实上，model.eval()主要影响 BatchNorm 和 Dropout 层的行为，确保它们在训练和评估时的表现一致。
   model.eval() 会做以下几件事：

• BatchNorm 层：从计算每个批次的均值和方差，变成使用训练期间保存的全局均值和方差。这有助于模型在推理时保持一致的行为。
• Dropout 层：将 Dropout 层禁用（即在训练时丢弃部分神经元的随机行为停止），以确保所有神经元参与计算。

2. 而真正影响梯度回传的实际上是requires_grad=True。只要某一层该属性为True，那么这一层就会参与前向传播和反向传播。
3. 结合simsiam的实际场景来看一下：
   在该场景中希望冻结模型的前几层（特征提取部分）并只训练后面的线性分类器部分，因此，将前面的层的 requires_grad 设置为 False，使得它们不会计算梯度和更新参数，后面的线性分类器部分保持 requires_grad=True，使其参与训练。同时在训练的过程中设置model.eval(),确保被冻结的层中的BN层的参数不会改变。

万万要搞清楚啊！