AI-Based Measurement of Innovation: Mapping Expert Insight into Large Language Model Applications
文章主要内容总结
本文提出了一种名为MicroMix的混合精度量化框架,专门针对大型语言模型(LLMs)在NVIDIA Blackwell架构上的高效推理设计。该框架结合了基于微缩放(Microscaling, MX)数据格式的量化算法和矩阵乘法内核,通过灵活分配MXFP4、MXFP6、MXFP8精度通道,在保证模…
2026/7/27 23:54:19