从分布式视角看 SFT【直接提供考试答案给学生背下来,学生只能应对背过答案的考试试卷】、RL 以及OPD(On-Policy Distillation)【学生先自己做题,老师批改,学生修改提高能力】

📅 2026/7/9 2:52:38
从分布式视角看 SFT【直接提供考试答案给学生背下来,学生只能应对背过答案的考试试卷】、RL 以及OPD(On-Policy Distillation)【学生先自己做题,老师批改,学生修改提高能力】
从分布视角看SFT、RL和OPDSFT、RL、OPD 的分布形变示意图SFT, RL, and On-Policy Distillation Through a Distributional Lens从分布式视角看 SFT、RL 以及基于策略的蒸馏技术I have been thinking about post-training methods in terms of distributions. A language model is a distribution over sequen