大size的teacher模型，训练的样本，最后一层softmax之前的logits，当作student模型的训练目标，损失函数是2个向量的距离；
原理：logits包含更多的信息，比label(也就是1-hot vector)的信息量更大；
student也可以加上对teacher中间层feature的学习；（模型size不同的话，不好办）
一般是先训练完毕teacher模型，再开始训student模型；
也有两者同时一起训练的；
知识蒸馏：
通过很多prompts，把GPT-4的answer记录下来；用于训练自己的大模型；
 "模型蒸馏(distillation)")
