如何快速上手gemma-4-e4b-it-qat-OptiQ-4bit5分钟本地部署指南【免费下载链接】gemma-4-e4b-it-qat-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-e4b-it-qat-OptiQ-4bitgemma-4-e4b-it-qat-OptiQ-4bit是一款基于Google Gemma-4模型优化的4-bit混合精度量化模型专为Apple Silicon设备设计通过mlx-optiq工具实现高效本地部署无需依赖PyTorch或云端服务。 模型核心优势这款模型采用敏感度引导的逐层位分配技术在保持高性能的同时显著降低资源占用混合精度设计221个敏感层使用8-bit精度122个稳健层保持4-bit实现5.17位/权重的平衡配置性能提升较均匀4-bit量化模型在六项基准测试中平均提升1.19分尤其在代码生成HumanEval 3.0%和长上下文任务HashHop 2.0%表现突出多模态支持通过optiq_vision.safetensors文件提供图像-文本输入能力轻量级部署仅需约7.0GB磁盘空间适合本地运行 准备工作系统要求Apple Silicon设备M系列芯片macOS系统Python 3.8环境至少8GB可用内存必要依赖# 安装mlx-lm框架 pip install mlx-lm # 如需图像支持额外安装mlx-optiq pip install mlx-optiq 快速部署步骤1. 获取模型文件通过Git克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/gemma-4-e4b-it-qat-OptiQ-4bit cd gemma-4-e4b-it-qat-OptiQ-4bit模型文件包含主模型权重model-00001-of-00002.safetensors、model-00002-of-00002.safetensors视觉模型optiq/optiq_vision.safetensors配置文件config.json、generation_config.json分词器文件tokenizer.json、tokenizer_config.json2. 文本生成快速启动创建Python脚本例如generate_text.pyfrom mlx_lm import load, generate model, tokenizer load(.) # 当前目录加载模型 print(generate( model, tokenizer, 解释什么是混合精度量化并说明其优势。, max_tokens256, temperature0.7, # 控制输出随机性 top_p0.9 # 核采样参数 ))运行脚本python generate_text.py3. 启动多模态交互服务如需支持图像输入使用mlx-optiq启动服务optiq serve --model . \ --drafter google/gemma-4-E4B-it-qat-q4_0-unquantized-assistant服务启动后访问本地浏览器界面即可进行文本和图像输入交互。⚙️ 高级配置选项生成参数调整修改generation_config.json文件可调整默认生成行为temperature控制随机性0-2值越高越随机top_k限制采样候选词数量top_p核采样概率阈值性能优化建议对于长文本生成可降低max_tokens值推理速度优先时可适当提高temperature精确性优先时建议设置temperature0.3-0.5top_p0.85 模型能力基准基准测试均匀4-bit量化OptiQ混合精度提升幅度MMLU5-shot57.4%57.7%0.3%GSM8K79.5%80.0%0.5%IFEval67.8%69.1%1.3%HumanEval78.7%81.7%3.0%HashHop长上下文34.0%36.0%2.0%平均能力得分64.5665.751.19 许可证信息本模型基于Google Gemma模型构建使用需遵守Gemma使用条款。模型量化部分采用Apache-2.0许可证。 常见问题Q: 模型支持哪些输入类型A: 基础支持文本输入通过mlx-optiq可支持图像文本多模态输入。Q: 如何量化自己的模型A: 使用mlx-optiq工具链optiq convert hf-model-id --target-bpw 5.0 --candidate-bits 4,8Q: 模型对硬件有什么特殊要求A: 专为Apple Silicon优化需M系列芯片支持建议至少8GB内存。【免费下载链接】gemma-4-e4b-it-qat-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-e4b-it-qat-OptiQ-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考