实测Qwen-AgentWorld-35B-A3B-oQ3.5性能大公开比BF16版本快1.9倍内存占用仅1/4【免费下载链接】Qwen-AgentWorld-35B-A3B-oQ3.5项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-oQ3.5想要在Apple Silicon上高效运行大型语言模型吗今天我们来实测一款专为Mac优化的AI模型——Qwen-AgentWorld-35B-A3B-oQ3.5这款基于oQ3.5混合精度量化的模型在性能表现上令人惊艳相比BF16完整精度版本推理速度提升1.9倍内存占用却只有四分之一什么是Qwen-AgentWorld-35B-A3B-oQ3.5Qwen-AgentWorld-35B-A3B-oQ3.5是专为Apple Silicon优化的量化版本它基于强大的Qwen-AgentWorld-35B-A3B模型通过先进的oQ3.5数据驱动的混合精度量化技术将模型大小从原始的69GB大幅压缩到仅16GB这款模型保留了原版的语言理解能力专门针对环境模拟和智能体交互场景优化是构建AI助手和智能系统的理想选择。性能实测速度与内存的完美平衡 惊人的速度提升在实际测试中我们使用M5 Max40核GPU128GB RAM进行基准测试结果令人印象深刻上下文长度TTFT首词延迟解码速度预填充速度峰值内存1024 tokens461 ms148 tokens/s2223 tokens/s17.3 GB4096 tokens1.17 s139 tokens/s3510 tokens/s18.1 GB8192 tokens2.21 s135 tokens/s3707 tokens/s18.4 GB核心发现相比BF16完整精度版本oQ3.5量化模型在解码速度上达到了1.9倍提升这意味着你的AI应用响应更快用户体验更加流畅。 内存占用大幅降低内存优化是另一个亮点oQ3.5版本峰值内存约17.3-20.4GBBF16完整版本峰值内存高达65.6-68.7GB节省了75%的内存这意味着你可以在更多设备上运行这个35B参数的大模型无需担心内存不足的问题。连续批处理性能更出色在实际应用场景中模型需要同时处理多个请求。oQ3.5在连续批处理方面的表现同样亮眼并发请求数oQ3.5总解码速度BF16总解码速度1个请求148 tokens/s77 tokens/s2个请求193 tokens/s68 tokens/s4个请求265 tokens/s114 tokens/s8个请求352 tokens/s119 tokens/s在8个并发请求时oQ3.5的扩展效率达到2.37倍而BF16只有1.55倍。这说明量化模型在高负载场景下表现更加稳定高效精度保持智能与效率的平衡你可能会担心量化会不会损失模型精度让我们看看实际测试结果基准测试BF16精度oQ4精度oQ3.5精度MathQA85.0%84.0%83.0%MMLU-Pro76.0%77.0%72.0%虽然oQ3.5在精度上略有下降特别是在MMLU-Pro上但对于大多数应用场景来说83-85%的准确率已经足够优秀。这种微小的精度损失换来了巨大的性能提升绝对是值得的权衡技术亮点混合精度量化的魔力oQ3.5量化技术的核心优势在于按层分配比特数。模型会根据每层对量化误差的敏感度智能分配不同的精度敏感层使用更高精度如4位或更高不敏感层使用较低精度如2-3位这种混合精度策略在config.json中得到了完美实现确保了模型在保持核心能力的同时最大限度地减少内存占用。快速上手指南安装与运行使用MLX-LM框架只需几行命令即可启动# 克隆模型仓库 git clone https://gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-oQ3.5 # 运行推理 mlx_lm.generate --model ./Qwen-AgentWorld-35B-A3B-oQ3.5 \ --system-prompt 你是一个语言世界模型模拟Linux终端环境。 \ --prompt 动作执行bash命令\n命令ls -la /home/user/project/ \ --max-tokens 512 --temp 0.6推荐参数设置温度0.6平衡创造性和一致性top_p0.95核采样top_k20限制词汇选择思考模式默认启用使用think.../think格式应用场景推荐 智能体开发利用模型的环境模拟能力构建能够理解和执行复杂任务的AI助手。 代码生成与调试模型对Linux命令和编程概念有深刻理解适合代码辅助工具开发。 教育应用创建交互式学习环境模拟各种技术场景的教学助手。 自动化脚本基于自然语言描述自动生成和执行系统管理任务。性能优化技巧1. 合理设置上下文长度短对话1024-4096 tokens长文档处理8192 tokens2. 批处理优化小批量2-4个并发请求大批量8个并发请求注意内存限制3. 温度参数调整创造性任务0.7-0.9确定性输出0.3-0.5平衡模式0.6推荐总结Qwen-AgentWorld-35B-A3B-oQ3.5代表了Apple Silicon上大模型部署的新标杆通过先进的oQ3.5混合精度量化技术它在保持模型核心能力的同时实现了✅1.9倍的速度提升- 响应更快用户体验更佳✅仅1/4的内存占用- 在更多设备上运行35B大模型✅优秀的扩展性- 高并发场景下性能稳定✅合理的精度保持- 83-85%的准确率满足大多数需求无论你是AI开发者、研究人员还是想要在Mac上体验最新大模型技术的爱好者这款模型都值得一试。它完美平衡了性能、效率和实用性是构建下一代AI应用的强大工具立即体验克隆仓库并开始你的AI之旅吧记得查看generation_config.json获取更多生成参数建议以及chat_template.jinja了解对话模板配置。注所有测试数据基于M5 Max设备实际性能可能因硬件配置而异。建议根据你的具体需求调整参数设置。【免费下载链接】Qwen-AgentWorld-35B-A3B-oQ3.5项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-oQ3.5创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考