算法小白也能看懂：一文详解 FP32、FP16、BF16、FP8、FP4 浮点格式与大模型低精度计算
FP32 / FP16 / BF16 / FP8 / FP4 本质上都是“用不同位数来存小数”。位数越少，越省显存、越快，但越容易不准。1. 浮点数到底长什么样？一个浮点数通常被拆成三块：┌────────┬──────────────┬──────────────┐ │ 符号位 │ 指数位 │ 尾数位 │ └────────┴──────────────┴──────────────┘ 正负号 数值范围 数值精度可以把它类比成科学计数法：浮点数 ≈ 正负号 × 有效数字 × 2 指数 \text{浮点数} \approx \text{正负号} \times \text{有效数字} \times 2^{\text{指数}}浮点数
