知识蒸馏通过迁移教师模型（复杂）的知识到学生模型（轻量），实现模型压缩与性能平衡。核心在于利用教师模型的软标签（概率分布）替代独热编码标签，学生模型不仅学习到教师模型输出数据的类别信息，还能够捕捉到类别之间的相似性和关系，从而提升其泛化能力
核心概念
知识蒸馏的核心目标是实现从教师模型到学生模型的知识迁移。在实际应用中，无论是大规模语言模型（LLMs）还是其他类型的神经网络模型，都会通过softmax函数输出概率分布。
-
软标签（Soft Labels）
-
教师模型输出的softmax概率分布（非独热编码），包含类别间相似性信息。
-
例：教师模型对“马”的预测为
[0.554, 0.218, 0.228]，隐含“马”与“鹿”“牛”的特征关联。
-
-
温度参数（Temperature Scaling）
- 通过调节softmax的温度参数
T，软化概率分布，放大次高概率信息。 - 公式：
Softmax ( z i / T ) = exp ( z i / T ) ∑ j exp ( z j / T ) \text{Softmax}(z_i/T) = \frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)} Softmax(zi/T)=∑jexp(zj
- 通过调节softmax的温度参数
