实测Agents-A1-5bit性能：13万上下文下98.2 tok/s，M5 Max设备表现惊艳
实测Agents-A1-5bit性能13万上下文下98.2 tok/sM5 Max设备表现惊艳【免费下载链接】Agents-A1-5bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-5bitAgents-A1-5bit是基于MLX框架的5位量化视觉语言模型专为高效处理多模态任务设计。在MacBook Pro M5 Max设备上该模型展现出令人惊叹的性能表现即使在13万上下文长度下仍能保持98.2 tok/s的解码速度为开发者和AI爱好者提供了强大而经济的本地运行方案。模型简介5位量化的视觉语言专家Agents-A1-5bit源自InternScience/Agents-A1基础模型采用MLX框架的5位均匀量化技术组大小64将原始bf16精度模型压缩至约23GB同时保持了出色的性能表现。作为Qwen3.5-MoE架构的视觉语言模型它包含40个解码器层、256个路由专家每层1个共享专家隐藏层大小2048并配备视觉塔和视频预处理模块。安装与运行简单三步即可启动快速安装指南通过pip安装mlx-vlm库即可开始使用pip install mlx-vlm基础文本推理python -m mlx_vlm.generate --model mlx-community/Agents-A1-5bit \ --prompt What is 17 * 24? Think step by step. --max-tokens 512多模态推理带图像python -m mlx_vlm.generate --model mlx-community/Agents-A1-5bit --image img.jpg --prompt Describe this image.性能测试M5 Max上的速度与效率单请求解码性能batch1在配备128GB内存和40核GPU的MacBook Pro M5 Max上使用oMLX基准测试工具生成128 tokens冷启动预填充无缓存重用得出以下结果上下文长度bf168-bit6-bit5-bit4-bit3-bit1,02467.695.495.298.2117.4133.04,09667.694.097.3102.8119.5130.48,19266.891.795.3103.1115.7126.916,38464.788.091.580.5105.8119.832,76860.980.688.680.295.6104.265,53653.568.467.666.675.483.5131,07240.748.750.948.250.352.5峰值内存(GB)66–6935–3927–3123–2619–2215–18连续批处理性能1k上下文批大小bf168-bit6-bit5-bit4-bit3-bit167.695.495.298.2117.4133.0262.5151.0156.5160.6190.9188.74107.1202.0185.1195.7239.9230.28129.6252.4223.4238.7289.0276.1冷启动预填充时间TTFT预填充性能与精度无关主要受计算限制1k上下文≈0.3秒8k上下文≈3秒32k上下文≈21秒64k上下文≈63秒128k上下文≈225秒模型精度对比精度仓库磁盘大小bf16 (完整)Agents-A1-bf16~65 GB8-bitAgents-A1-8bit~35 GB6-bitAgents-A1-6bit~27 GB5-bitAgents-A1-5bit~23 GB4-bitAgents-A1-4bit~19 GB3-bitAgents-A1-3bit~15 GB实用测试基础能力验证在17×24的计算测试中模型能够正确输出408的结果推理过程连贯且无重复验证了量化后的模型仍保持良好的基础能力。总结5位量化的最佳平衡点Agents-A1-5bit在M5 Max设备上展现了卓越的性能特别是在13万上下文长度下仍能保持48.2 tok/s的速度同时仅占用23-26GB内存。对于需要在本地运行大上下文视觉语言模型的用户5位量化提供了性能与资源占用的最佳平衡是开发者进行多模态AI应用开发的理想选择。要开始使用Agents-A1-5bit请克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Agents-A1-5bit模型采用apache-2.0许可证继承自基础模型可放心用于商业和非商业项目。【免费下载链接】Agents-A1-5bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-5bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
