【Bug已解决】Training collapses when token embeddings are not padded to a multiple of 64 解决方案
【Bug已解决】Training collapses when token embeddings are not padded to a multiple of 64 解决方案
一、现象长什么样
在用一个自定义词表(vocab_size 不是整数)做训练时,只要 vocab_size 不是 64 的倍数,训练就会在几十步…
2026/7/22 12:43:35