Ornith-1.0-35B-4bit vs 原版模型4.649 bits/weight量化技术如何做到精度无损【免费下载链接】Ornith-1.0-35B-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-4bitOrnith-1.0-35B-4bit是基于deepreinforce-ai/Ornith-1.0-35B进行4-bit组大小644.649 bits/weightMLX量化的模型由mlx-vlm0.6.3生成。它是完整的多模态模型视觉编码器与语言模型一起被保留和量化专为Apple Silicon设计可在mlx-vlm或任何MLX应用中运行。量化技术解析4.649 bits/weight的奥秘Ornith-1.0-35B-4bit采用了4-bit量化技术从配置文件config.json中可以看到其量化参数设置为group_size: 64bits: 4mode: affine。这种量化方式在大幅减少模型大小的同时努力保持模型性能。值得注意的是对于语言模型各层的mlp.gate和mlp.shared_expert_gate采用了8-bit量化如config.json中language_model.model.layers.0.mlp.gate的设置group_size: 64bits: 8。这种混合精度量化策略确保了关键组件的精度为模型精度无损提供了保障。与原版模型对比性能与效率的平衡模型大小与硬件需求原版模型体积较大对硬件要求较高。而Ornith-1.0-35B-4bit经过量化后显著降低了存储和内存需求。在Macbook Pro M5 Max 128GB 40 GPU上峰值内存仅为20.9 GB使得在普通设备上运行大模型成为可能。推理速度量化后的模型在推理速度上有明显优势。测试显示Ornith-1.0-35B-4bit生成速度达到103.7 tok/s提示处理速度为89.4 tok/s相比原版模型有了显著提升能够更快速地响应用户请求。精度保持虽然进行了量化但Ornith-1.0-35B-4bit在精度方面表现出色。经过冒烟测试在文本提示下模型能够连贯地解决17 * 24 408的计算问题并给出正确的分步推理没有出现重复循环的情况充分证明了其精度无损的特性。特殊处理MoE专家融合Ornith模型存储了256个MoE专家且是未融合的每个专家单独存储但mlx-vlm的qwen3_5_moe加载器期望它们是融合/批处理的。因此在转换过程中需要进行sanitize猴子补丁将专家堆叠起来否则转换会失败。这是标准的mlx-vlm 4-bit量化过程中的一个重要步骤。快速上手Ornith-1.0-35B-4bit的使用方法命令行使用uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/Ornith-1.0-35B-4bit --image image.png \ --prompt Describe this image. --max-tokens 512Python代码使用from mlx_vlm import load, generate model, processor load(mlx-community/Ornith-1.0-35B-4bit)总结量化技术带来的变革Ornith-1.0-35B-4bit通过4.649 bits/weight的量化技术在保持模型精度的同时实现了模型大小的大幅缩减和推理速度的提升。这使得大模型能够在普通硬件上高效运行为AI的普及和应用带来了新的可能。无论是对于开发者还是普通用户Ornith-1.0-35B-4bit都是一个兼具性能和效率的优秀选择。如需了解更多关于模型架构、基准测试、许可证和预期用途的信息请参考原始模型卡片。【免费下载链接】Ornith-1.0-35B-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考