llama.cpp 的 Metal/CPU 混合推理调度:Apple Silicon 上的线程绑定与内存带宽优化
llama.cpp 的 Metal/CPU 混合推理调度:Apple Silicon 上的线程绑定与内存带宽优化
一、M2 Ultra 上的 llama.cpp 推理,token/s 波动高达 40%
在 Apple M2 Ultra(24 核 CPU 76 核 GPU)上运行 llama.cpp 推理时。遇到一个令人困惑的…
2026/7/8 14:30:15