Transformer推理延迟突增230%?揭秘KV Cache错配、LayerNorm数值溢出、FlashAttention边界bug(生产环境真故障复盘)
更多请点击:
https://codechina.net
第一章:Transformer推理延迟突增230%?揭秘KV Cache错配、LayerNorm数值溢出、FlashAttention边界bug(生产环境真故障复盘) 某日深夜,线上大模型服务响应P99延迟从127ms…
2026/7/12 0:14:02