week4
目标:
尝试用pytorch实现一个transformer层。
内容:
import math
import torch
import torch.nn as nn# 1. 多头自注意力机制
class MultiHeadSelfAttention(nn.Module):def __init__(self, d_model32, num_heads4):super().__init__()assert d_model % …
2026/10/4 23:32:28 阅读全文 →