【Bug已解决】LoRA gradients not normalized by input norm → training instability (NaN) 解决方案
【Bug已解决】LoRA gradients not normalized by input norm → training instability (NaN) 解决方案
一、现象长什么样
用 LoRA 微调大模型时,经常遇到一种诡异的不稳定:loss 前几百步正常,突然变成 nan;或者某些层࿰…
2026/7/25 4:11:38