Transformer

模型架构

• Transformer是深度学习领域中的一个重要模型架构，尤其在自然语言处理（NLP）领域取得了显著的成功。Transformer模型最初由Google在2017年提出，旨在解决传统序列到序列模型在处理长距离依赖问题上的不足。传统的RNN和LSTM模型在处理长文本序列时，容易出现梯度消失或爆炸问题，导致模型性能下降。而Transformer模型通过引入自注意力机制和多头注意力机制，成功地解决了这一问题。
• 由输入部分、输出部分、编码器区域部分、解码器区域部分构成
• 

输入部分

词嵌入

• 转换离散数据为连续数据自然语言处理中的文本数据本质上是离散的符号序列。例如，单词和字符是离散的，没有直接的数值表示。神经网络和其他机器学习算法通常处理的是连续的数值数据。因此，需要一种方法将这些离散的符号转换为连续的数值向量，这就是词嵌入的作用。
• 捕捉语义关系通过适当的训练，词嵌入可以捕捉到单词之间的语义关系。比如，经过训练的词嵌入向量可以使得“king”与“queen”的距离接近于“man”与“woman”的距离。这种特性使得词嵌入向量不仅能够表示单词本身，还能反映单词间的语义相似性。

位置编码

1. 序列顺序的重要性
   在自然语言处理中，单词的顺序非常重要。例如，在句子中，“I am eating an apple” 和 “An apple I am eating” 虽然意思相近，但结构和语义上还是有些不同。因此，模型需要知道单词在句子中的位置，才能准确地理解和处理句子。

2. Transformer的结构特点
   Transformer是基于自注意力机制（Self-Attention）的模型，自注意力机制的一个特点是它对输入序列中的所有单词同时进行处理，而不是逐步处理。这使得模型缺乏顺序信息。为了弥补这一点，必须引入额外的位置信息。

3. 提供位置感知能力
   通过位置编码，可以给模型提供每个单词在序列中的位置信息，使得模型不仅能关注单词本身，还能关注单词之间的相对位置关系。这样，模型在处理时能够保留输入序列的结构信息。

4. 保持输入顺序的平移不变性
   位置编码确保了模型能够识别输入序列中的顺序，同时保证输入序列的平移不变性。即使输入序列的部分内容发生了位置变化，模型依然能够正确处理和理解。

5. 位置编码的形式
   Transformer使用的常见位置编码方法是正弦和余弦函数，这种方式能够在不同的位置生成唯一的编码，同时具有平滑的变化和良好的扩展性。

$$\begin{gathered} \text{PE}(pos,2i)=\sin \left(\frac{pos}{10000^{\frac{2i}{d_{\text{model}}}}}\right) \\ \text{PE}(pos,2i+1)=\cos \left(\frac{pos}{10000^{\frac{2i}{d_{\text{model}}}}}\right) \end{gathered}$$

其中，$pos$ 表示位置，$i$ 表示维度，$d_{\text{model}}$ 是嵌入维度。
为什么用这个编码，验证可能性：
和角公式$sin(\alpha +\beta )=sin\alpha cos\beta +cos\alpha sin\beta ,cos(\alpha +\beta )=cos\alpha cos\beta -sin\alpha sin\beta$
假设我们有两个位置 $x$ 和 $y$，并且定义：$f(i)=10000^{\frac{2i}{d_{\text{model}}}}$
有：$$\begin{gathered} P{E}_{x+y,2i}=\sin \left(\frac{x+y}{f(i)}\right)=\sin \left(\frac{x}{f(i)}\right)\cos \left(\frac{y}{f(i)}\right)+\cos \left(\frac{x}{f(i)}\right)\sin \left(\frac{y}{f(i)}\right) \\ P{E}_{x+y,2i+1}=\cos \left(\frac{x+y}{f(i)}\right)=\cos \left(\frac{x}{f(i)}\right)\cos \left(\frac{y}{f(i)}\right)-\sin \left(\frac{x}{f(i)}\right)\sin \left(\frac{y}{f(i)}\right) \end{gathered}$$
则：
$$\begin{gathered} P{E}_{x+y,2i}=P{E}_{x,2i}\cdot P{E}_{y,2i+1}+P{E}_{x,2i+1}\cdot P{E}_{y,2i+1} \\ P{E}_{x+y,2i}=P{E}_{x,2i+1}\cdot P{E}_{y,2i+1}-P{E}_{x,2i}\cdot P{E}_{y,2i} \end{gathered}$$
可以看出$Transformer$可以线性变换表示位置$x$和$y$之间的相对关系，这样构造出的线性关系可以表达各个位置的相对关系。