什么是GGML格式一文看懂Llama-2-7B-Chat-GGML的CPUGPU推理文件结构【免费下载链接】Llama-2-7B-Chat-GGML项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/Llama-2-7B-Chat-GGML本仓库是Llama-2-7B-Chat-GGML的 HuggingFace 镜像包含 Meta Llama 2 7B Chat 的 14 个GGML 格式量化模型文件支持CPUGPU混合本地推理。量化后70 亿参数模型可从 13GB 压缩至最低 2.87GB一台 16GB 内存的普通电脑就能流畅运行。本文将带你搞懂 GGML 格式是什么、14 个文件该怎么选、以及如何快速跑起来。1️⃣ 什么是 GGML 格式GGML 是专为 llama.cpp 推理引擎设计的张量存储格式核心特点有三个单文件存储模型权重与元数据全部打包进一个.bin文件不像 PyTorch 格式那样需要一堆配置CPUGPU 混合推理通过参数指定卸载到 GPU 的层数剩余层由 CPU 承担没有显卡也能纯 CPU 运行原生量化支持内置 2/3/4/5/6/8-bit 量化方案位宽越小文件越小、内存占用越低Llama 2 7B Chat 原版是 PyTorch fp16 格式加载至少需要 15GB 内存。本仓库的 14 个 GGML 文件将其量化到了 2~8 位文件大小从 2.87GB 到 7.16GB 不等。⚠️版本提示GGML 格式已被GGUF取代llama.cpp 自 2023-08-21 起不再支持 GGML。如果你使用最新版 llama.cpp建议改用 GGUF 格式文件这些 GGML 文件目前仍被许多第三方界面和库支持。2️⃣ 仓库文件结构速览仓库由 14 个量化模型文件 4 个辅助文件组成文件说明README.md完整文档文件清单、量化细节、运行教程、对话提示词模板config.json模型元数据声明model_type: llamaLICENSE、NoticeLlama 2 社区许可证条款14 个llama-2-7b-chat.ggmlv3.q*.bin2-bit 到 8-bit 的量化模型文件14 个模型文件的完整参数表文件名量化方法位宽大小最大内存需求特点q2_Kq2_K22.87 GB5.37 GB关键张量用 Q4_K其余 Q2_Kq3_K_Sq3_K_S32.95 GB5.45 GB全部 Q3_Kq3_K_Mq3_K_M33.28 GB5.78 GB关键张量升 Q4_Kq3_K_Lq3_K_L33.60 GB6.10 GB关键张量升 Q5_Kq4_0q4_043.79 GB6.29 GB原始 4-bit 方法q4_K_Sq4_K_S43.83 GB6.33 GB全部 Q4_Kq4_K_Mq4_K_M44.08 GB6.58 GB最均衡之选q4_1q4_144.21 GB6.71 GB原始 4-bit推理更快q5_0q5_054.63 GB7.13 GB原始 5-bit 方法q5_K_Sq5_K_S54.65 GB7.15 GB全部 Q5_Kq5_K_Mq5_K_M54.78 GB7.28 GB高质量q5_1q5_155.06 GB7.56 GB原始 5-bit精度更高q6_Kq6_K65.53 GB8.03 GB接近原始精度q8_0q8_087.16 GB9.66 GB几乎无损 fp16占用大、不推荐多数用户 内存数据按未卸载到 GPU估算将层数卸载到 GPU 后内存占用会相应降低转而消耗显存。3️⃣ 如何读懂 GGML 文件名以 llama-2-7b-chat.ggmlv3.q4_K_M.bin 为例名称段含义llama-2-7b-chat模型Llama 2 7B 对话版.ggmlv3GGML 格式第 3 版.q4_K_M量化方案4-bit k-quantM中精度档.bin文件扩展名k-quant 是什么传统 q4_0 对所有参数统一量化k-quant 采用超级块结构对attention.wv、feed_forward.w2等关键张量用更高精度其余用较低精度——在文件体积和输出质量之间取得更好的平衡。_K后面的S/M/L表示精度档位SSmall全部张量同一精度文件最小MMedium部分关键张量升级更高精度如 q4_K_M 对一半 attention.wv 用 6-bitLLarge关键张量升级更多如 q3_K_L 对关键张量用 5-bit质量最高主要 k-quant 方案的平均位宽q2_K ≈ 2.56、q3_K ≈ 3.44、q4_K ≈ 4.5、q5_K ≈ 5.5、q6_K ≈ 6.56 bit/参数。4️⃣ 根据内存选择量化版本按纯 CPU 不卸载 GPU场景的速查建议你的内存推荐文件4~6 GBq2_K / q3_K_S8 GBq3_K_M / q4_016 GBq4_K_M均衡或 q5_K_M更高质32 GBq6_K不占内存、追求极致质量q8_0实际体验中q4_K_M是多数人的首选4.08GB 文件、质量接近完整模型、推理速度快。5️⃣ 三步用 llama.cpp 跑起来第一步获取模型文件git clone https://gitcode.com/hf_mirrors/ai-gitcode/Llama-2-7B-Chat-GGML cd Llama-2-7B-Chat-GGML git lfs pull第二步确认 llama.cpp 版本这些 GGML 文件仅兼容 2023-06-06 至 2023-08-21 之间的 llama.cpp 版本最后一个支持 GGML 的提交为dadbed99更新版本仅识别 GGUF。第三步运行推理./main -t 10 -ngl 32 -m llama-2-7b-chat.ggmlv3.q4_K_M.bin -c 2048 --temp 0.7 -i -ins关键参数速记-t 10CPU 线程数改成你的物理核心数即可-ngl 32卸载到 GPU 的层数无显卡则删除该参数-c 2048上下文长度-i -ins交互对话模式自动套用 Llama-2-Chat 提示词模板除 llama.cpp 外这些文件还兼容多个流行的本地推理工具text-generation-webui最流行的 Web 界面支持 NVIDIA CUDA 加速、KoboldCpp、LM Studio、LoLLMS Web UI、ctransformers、llama-cpp-python 等。6️⃣ 常见问题 FAQQGGML 和 GGUF 到底什么区别GGUF 是 GGML 的继任者把模型权重与元数据架构、超参数、许可证等统一打包进一个文件版本管理和迁移更友好。简单原则想用最新版 llama.cpp就选 GGUF。Q下载下来的模型文件只有 135 字节模型文件通过 Git LFS 存储本地看到的只是指针文件。在仓库目录执行git lfs pull即可拉取完整的数 GB 模型文件。QLlama-2-Chat 的对话提示词模板是什么对话版需要按[INST] SYS ... /SYS ... [/INST]标签格式组装输入完整模板见 README.md用 llama.cpp 加-i -ins参数时会自动套用无需手写。Q没有显卡能跑吗可以。去掉-ngl参数即为纯 CPU 推理速度取决于 CPU 核心数与内存带宽。✅总结GGML 格式让 7B 对话模型以单个.bin文件跑进普通电脑选择口诀很简单——位宽越大质量越高、越小越省内存对大多数人来说q4_K_M 16GB 内存是最划算的组合。【免费下载链接】Llama-2-7B-Chat-GGML项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/Llama-2-7B-Chat-GGML创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考