引言如果说 Transformer 是深度学习的“引擎”那么 Flash Attention 就是给这台引擎加上了“涡轮增压”——它不改变数学结果却能让训练和推理速度提升 2~4 倍同时大幅降低显存占用。而预训练Pretraining则是大模型的“高考”——耗时最长、花费最大需要精心编排数据、算力和超参数。本文整合了 Flash Attention 四个版本的演进史FA1→FA4以及工业界预训练的最佳实践数据配方、缩放定律、超参数调优、避坑指南帮你一次性理清这两块核心内容。一、Flash Attention重新定义 Attention 的“搬运方式”1.1 标准 Attention 的“死穴”平方级显存爆炸标准的缩放点积注意力公式如下Attention(Q,K,V)softmax(QKTdk)V \text{Attention}(Q,K,V) \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)VAttention(Q,K,V)softmax(dk​​QKT​)V问题出在中间那个QK^T矩阵上。假设序列长度n8192头维度d128用 BF16 精度2字节存储单头的注意力矩阵就占8192² × 2 ≈ 134 MB。如果模型有 32 个头单层就要吃掉134 MB × 32 ≈ 4.3 GB。当上下文长度拉到 3276832K时单头矩阵直接飙到32768² × 2 ≈ 2 GB完全存不下。更致命的是这个巨大的矩阵必须在 HBM显存和 SRAM高速缓存之间反复搬运——先写入 HBM再读出来做 Softmax再读出来乘 V。数据搬运的时间远超计算本身导致 GPU 核心大量时间在“等数据”。1.2 Flash Attention 的核心思想分块 在线 SoftmaxFlash Attention 的洞见极其简单我们根本不需要一次性把整个n×n矩阵放在内存里。关键挑战在于 Softmax 是个“霸道总裁”——它需要知道当前行所有数值的最大值和全局指数和才能算出正确结果。Flash Attention 用了一个叫“在线 Softmax”的数学技巧来解决。在线 Softmax 的更新规则假设我们手里始终维护着三个“流水账”——运行最大值m_old、运行分母和ℓ_old、运行输出O_old。每当处理一个新的分数块s_new时更新最大值m_new max(m_old, max(s_new))更新分母和ℓ_new e^{m_old - m_new} · ℓ_old Σ_j e^{s_new,j - m_new}更新输出O_new (1 / ℓ_new) · (e^{m_old - m_new} · ℓ_old · O_old e^{s_new - m_new} · V_new)这个更新在数学上等价于一次性对所有块做 Softmax但从未把完整的n×n矩阵物化出来。1.3 Flash Attention 算法双循环 块级流水线算法流程分块根据 SRAM 大小M计算块大小B_r ⌈M/(4d)⌉B_c min(⌈M/(4d)⌉, d)。将Q分成T_r个块将K, V分成T_c个块。外层循环遍历K, V块将K_j, V_j从 HBM 加载到 SRAM。内层循环遍历Q块将Q_i, O_i, m_i, ℓ_i从 HBM 加载到 SRAM。在 SRAM 内计算S_ij Q_i K_j^T / √d。用在线 Softmax 更新m_i, ℓ_i, O_i。将O_i, m_i, ℓ_i写回 HBM。关键点注意力分数块S_ij在 SRAM 中计算并立即丢弃永远不写回 HBM。1.4 复杂度对比计算量不变搬运量剧降指标标准 AttentionFlash AttentionHBM 显存占用O(n²)O(n)HBM 读写次数O(n²d)O(n²d / M)计算量 (FLOPs)O(n²d)O(n²d)完全相同端到端加速1×2~4×反直觉的结论Flash Attention 没有减少任何数学计算量甚至反向传播时因为要重算中间结果FLOPs 反而更多。但它大幅削减了最昂贵的操作——HBM 数据搬运所以端到端跑得更快。一句话总结Flash Attention 的本质是用 GPU 强大的“计算能力”去换取极其宝贵的“显存带宽”把显存瓶颈变成了计算瓶颈。二、Flash Attention 的版本演进跟着硬件瓶颈走Flash Attention 系列的演进史本质上是一部“硬件瓶颈迁移史”——每一代新 GPU 的“长板”和“短板”都不一样算法必须跟着改。2.1 Flash Attention 2给 A100 “精打细算”FA2 针对 A100Ampere 架构做了三个关键改进减少非矩阵运算 FLOPsFA1 在内循环中有不必要的缩放操作。A100 的 Tensor Core 做矩阵乘法的速度是普通标量运算的 16 倍任何非矩阵运算都会成为延迟瓶颈。FA2 重构循环把杂活降到最低。更好的序列维度并行FA1 只在 batch 和 head 维度并行FA2 额外在Q 的序列维度上并行即使 batch size 很小也能把 GPU 核心喂饱。因果掩码优化对于自回归因果注意力大约一半的块是完全被掩码掉的。FA2 直接跳过这些无效块因果注意力比双向注意力快约 2 倍。2.2 Flash Attention 3为 H100 配“专用搬运工”H100Hopper 架构的瓶颈变成了数据搬运跟不上计算。FA3 用了三个 Hopper 专属特性TMATensor Memory AcceleratorH100 有专用的硬件单元负责 HBM 和 SRAM 之间的异步数据搬运。FA3 用 TMA 让数据加载和计算重叠把内存延迟“藏”起来了。Warp 专业化把 GPU 线程束分成两组——生产者Producer负责用 TMA 加载数据消费者Consumer负责用 Tensor Core 计算。两组并行工作流水线永不空转。FP8 支持H100 做 FP8 矩阵运算的吞吐量是 BF16 的 2 倍。FA3 支持 FP8 注意力配合每块量化来保证精度。效果FA3 能达到 H100 FP16 理论峰值的 75%而 FA2 在 H100 上只能到约 35%。2.3 Flash Attention 4为 B200 用“软件模拟硬件”BlackwellB200的 Tensor Core 算力翻倍到 2.25 PFLOP/sBF16但指数运算单元和共享内存带宽的增速没跟上。这意味着矩阵乘法算得太快了反而在等慢吞吞的exp运算。FA4 用了四个“反常识”的技术全异步 MMA 流水线Blackwell 的 MMA 指令是完全异步的不像 Hopper 的 wgmma 还要等完成。FA4 重新设计流水线让 MMA、TMA 加载和 Softmax 缩放在大块上重叠把所有硬件单元都喂饱。软件模拟指数运算最骚的一招硬件自带的ex2指数单元太慢FA4 干脆不用它转而用更快的 Tensor Core 做多项式近似来模拟e^x。虽然多算了几次乘法FLOPs 变多但 Tensor Core 快得离谱整体时间反而大幅缩短。条件性跳过 Softmax 缩放当新块的最大值没超过运行最大值时实际中很常见直接跳过缩放省下寄存器操作和同步开销。反向传播用 Tensor Memory 2-CTA 模式Blackwell 有比共享内存更大的 Tensor Memory每 SM 的临时“草稿纸”FA4 在反向传播时用两个线程块协作融合dQ累加把共享内存往返次数减半。FA4 的实现首次用CuTe-DSLCUTLASS 4.x 的 Python 嵌入式 DSL编写编译速度比 C CUTLASS 模板快 20~30 倍。实测结果B200BF16head-dim 128因果seq-len 8192达到 1.13 TFLOPS/s71% 峰值比 NVIDIA 官方的 cuDNN 9.13 快 1.3 倍比 Triton 快 2.7 倍。三、预训练最佳实践工业界的“血泪经验”预训练是大模型开发中最昂贵的阶段——消耗数百万 GPU 小时需要精心编排数据、算力和超参数。以下内容 distilled 自 Llama-3、Chinchilla 和 GPT-4 的公开经验。3.1 训练目标简单但“大力出奇迹”所有现代 Decoder-Only LLM 都使用因果语言建模Causal Language ModelingLCLM−1T∑t1Tlog⁡Pθ(xt∣xt) L_{\text{CLM}} -\frac{1}{T} \sum_{t1}^{T} \log P_\theta(x_t | x_{t})LCLM​−T1​t1∑T​logPθ​(xt​∣xt​)这个目标极其简单——就是“根据前面的词预测下一个词”。但只要数据够多、模型够大这种“无聊”的填词游戏就会涌现出上下文学习、推理、指令跟随等高级能力完全不需要显式监督。3.2 数据流水线模型的“食谱”规模前沿模型如 Llama-3要吃15 万亿15T个 token。数据配方网页爬虫80%通用知识代码10%培养逻辑推理书籍/论文5%深度知识精选高质量语料5%清洗工序去重Deduplication用 MinHash 精确子串去重防止模型“死记硬背”导致隐私泄露或过拟合。质量过滤用基于困惑度的分类器、启发式规则长度、语言 ID、毒性检测筛掉低质量内容。数据混合Data Mixing用温度加权采样跨领域采样刻意给代码和数学加权——因为实验证明这能显著提升推理能力。3.3 缩放定律Scaling Laws反直觉的“省钱哲学”Hoffmann 等人Chinchilla 论文发现计算最优训练需要平衡模型大小NNN和数据量DDDNopt∝C0.50,Dopt∝C0.50 N_{\text{opt}} \propto C^{0.50}, \quad D_{\text{opt}} \propto C^{0.50}Nopt​∝C0.50,Dopt​∝C0.50按这个定律一个 70B 参数的模型理论上喂 1.4 万亿 token 就能达到最佳性价比。但现实是Llama-3 70B 实际喂了 15 万亿 token远超理论最优值。为什么要“过度训练”Overtrain因为推理成本只跟模型参数量有关跟它看过多少数据无关。你花更多电费把一个小模型“狠狠灌数据”虽然训练时多花了钱但部署时模型小、跑得快、省显卡。这是一种“用训练成本换推理成本”的精明商业策略。3.4 关键超参数读懂顶级玩家的调参表设置项Llama-3 405BLlama-3 8BQwen-2.5 72BMistral 7B训练 token 数15T15T18T8TBatch sizetoken16M4M4M4M峰值学习率8e-53e-43e-43e-4学习率调度WSDWSDCosineCosine权重衰减0.10.10.10.1上下文长度819281924096→32K8192解读训练 token 数小模型8B也喂 15T再次印证“过度训练”已是行业共识。Qwen-2.5 72B 甚至灌了 18T。Batch size405B 大模型用 1600 万 token 才更新一次梯度小模型用 4M。越大模型越需要大 batch 来稳定训练。峰值学习率大模型405B用 8e-5小模型用 3e-4。模型越大学习率要越低否则一步跨太大容易梯度爆炸。学习率调度Llama-3 用 WSDWarmup-Stable-Decay——先热启动再长时间保持高学习率“稳定搜索”最后急速衰减。Qwen 用传统的 Cosine 退火。上下文长度起步都是 8K但 Qwen 做了渐进式扩展4096→32K——先训短文本中途拉长到 32K既省早期算力又学会了长文本处理。3.5 常见失败模式避坑指南坑 1Loss 突然飙升Loss Spikes现象训练损失突然直线暴涨模型瞬间变“傻子”。原因数据里有“毒”乱码或异常格式或数值不稳定。救法Llama-3 的做法是定期保存检查点Checkpoint一旦发现 Loss 飙升直接回滚到飙升前的状态跳过那批坏数据继续训练。坑 2模型死记硬背Memorization现象模型逐字逐句复现训练数据中的私密文本如邮箱、身份证号、版权书籍。原因数据中有大量重复内容模型干脆把这一段“刻进肌肉记忆”。救法训练前极致去重训练后做“提取攻击”测试——看模型能否被诱导出训练数据原文。坑 3短训长用失败Context Length 失配现象训练时用 4K 上下文部署时想直接上 128K结果长文本后半段完全“失忆”。原因位置编码如 RoPE在训练时只见过短距离突然看到长距离就没了“距离感”。救法用长文档数据继续训练Continued Pretraining RoPE 缩放RoPE Scaling技术人为压缩位置编码的“刻度尺”。四、总结与展望Flash Attention 的演进展示了算法如何与硬件协同进化从 FA1 解决显存瓶颈到 FA2 优化 A100 计算FA3 适配 H100 的异步搬运再到 FA4 用软件模拟应对 B200 的指数运算瓶颈。其核心思想始终是“让最慢的环节变得更快”。工业级预训练则是一门平衡艺术需要在数据、模型、算力和时间之间找到最优解。结合 Flash Attention 系列带来的效率提升我们可以用相同的算力训练更大的模型、使用更长的上下文或探索更多架构创新。未来随着硬件继续演进如更快的片上存储、更专用的计算单元以及算法不断优化如稀疏注意力、混合精度训练大模型训练的效率和可及性必将进一步提升。