1.SFT
Supervised fine-tuning，“有监督微调”意味着使用有标签的数据来调整一个已预训练好的语言模型（LLM），使其更适应某一特定任务。通常LLM的预训练是无监督的，但微调过程往往是有监督的。
详解：https://zhuanlan.zhihu.com/p/650720185?utm_id=0
2.Transformer
Transformer模型（直译为“变换器”）是一种采用注意力机制的深度学习模型，这一机制可以按输入数据各部分重要性的不同而分配不同的权重。该模型主要用于自然语言处理（NLP）与计算机视觉（CV）领域。
与循环神经网络（RNN）一样，Transformer模型旨在处理自然语言等顺序输入数据，可应用于翻译、文本摘要等任务。而与RNN不同的是，Transformer模型能够一次性处理所有输入数据。注意力机制可以为输入序列中的任意位置提供上下文。如果输入数据是自然语言，则Transformer不必像RNN一样一次只处理一个单词，这种架构允许更多的并行计算，并以此减少训练时间。
Transformer模型于2017年由谷歌大脑的一个团队推出，现已逐步取代长短期记忆（LSTM）等RNN模型成为了NLP问题的首选模型。并行化优势允许其在更大的数据集上进行训练。这也促成了BERT、GPT等预训练模型的发展。这些系统使用了维基百科、Common Crawl等大型语料库进行训练，并可以针对特定任务进行微调。
详解：https://zhuanlan.zhihu.com/p/338817680?utm_medium=social&utm_oi=913044148381167616
3.pre-train
pre-train即预训练，是指在使用深度学习模型进行特定任务之前，先在一个大型且多样化的数据集上训练模型的过程。这个大型数据集通常是无标签的，或者标签的获取成本较高。通过预训练，模型可以学习到一些通用的特征，这些特征可以在后续的任务中起到重要的作用。预训练的主要目的是捕获广泛且通用的特征，这些特征可以在多个不同的任务中发挥作用。通过在大规模数据集上的训练，模型能够学习到数据的内在规律和结构，从而提高在后续任务中的性能。目前，热门的预训练方法主要有ELMo、OpenAI GPT和BERT等。
4.Embedding
在自然语言处理中，文本数据原本是离散的，即每个单词或字符都是独立的符号。但Embedding技术将这些离散的符号映射到了一个连续的向量空间中。这种映射使得相似的单词或字符在向量空间中会有相似的表示，即它们在向量空间中的距离较近。例如，在Word2Vec等预训练模型中，相似的单词（如“狗”和“犬”）在向量空间中的表示会非常接近。
