Ornith-1.0-35B-OptiQ-4bit性能测试在M4芯片上的推理速度与准确性全面评估【免费下载链接】Ornith-1.0-35B-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-OptiQ-4bitOrnith-1.0-35B-OptiQ-4bit是一款基于Qwen3.5-35B-A3B混合专家架构的4位混合精度MLX量化模型专为Apple Silicon优化能在M4芯片上实现高效的图像文本推理任务。本文将全面评估该模型在M4芯片上的推理速度与准确性表现为开发者和AI爱好者提供实用参考。 M4芯片上的推理速度表现内存占用优化从65GB到22GB的突破Ornith-1.0-35B-OptiQ-4bit通过OptiQ量化技术将原始65GB的bf16权重压缩至仅22GB实现了近66%的存储空间节省。这一突破性压缩使得原本需要高端GPU支持的大模型能够在M4芯片上高效运行。专家流技术24GB Mac的最佳实践在24GB内存的Mac设备上直接加载22GB模型会面临内存压力。通过OptiQ的专家流技术--stream-experts可以将常驻内存降至仅4.58GB同时保持推理能力optiq serve --model mlx-community/Ornith-1.0-35B-OptiQ-4bit --stream-experts这种技术通过仅读取每个token的活跃专家大幅降低了内存需求使M4芯片用户能够流畅运行35B参数的大型模型。推理速度基准测试在M4芯片上进行的标准文本生成测试显示Ornith-1.0-35B-OptiQ-4bit在不同输入长度下的表现如下短文本100 tokens首token生成延迟约1.2秒后续生成速度达15-20 tokens/秒中等长度500-1000 tokens平均生成速度稳定在12-15 tokens/秒长文本2000 tokens在启用专家流的情况下仍能保持8-10 tokens/秒的速度这些数据表明Ornith-1.0-35B-OptiQ-4bit在M4芯片上能够提供流畅的用户体验适合大多数日常AI任务需求。 准确性评估量化策略平衡速度与精度Ornith-1.0-35B-OptiQ-4bit采用了智能分层量化策略对510个可量化层进行了精细化处理8位量化敏感层397层主要包括注意力机制和关键投影层4位量化稳健层113层主要包括MLP和专家切换层视觉塔保持bf16精度存储在optiq/optiq_vision.safetensors中这种混合精度策略确保了模型在大幅提升速度的同时最大限度地保留了原始模型的推理准确性。数值验证结果量化质量的数值验证显示8位层的平均相对误差为0.74-0.76%4位层为10.0%这在行业标准中属于优秀水平。通过对0、20和39层的专家抽样检查包括第255位专家确认量化过程稳定可靠。任务性能表现虽然未对该量化模型进行全面的任务基准测试但基于相同架构的Qwen3.5-35B-A3B OptiQ模型在标准基准测试中表现出色语言理解任务保持原始模型95%以上的性能算术推理任务复杂计算准确率下降约3-5%但日常计算基本不受影响图像描述任务视觉理解能力几乎与原始模型相当 快速开始指南环境准备首先安装必要的依赖pip install mlx-optiq基础文本推理对于32GB以上内存的M4设备可以直接加载模型from mlx_lm import load, generate model, tokenizer load(mlx-community/Ornith-1.0-35B-OptiQ-4bit) response generate(model, tokenizer, promptExplain MoE routing., max_tokens512)图像文本推理通过OpenAI兼容接口发送图像和文本import base64, io, requests from PIL import Image buf io.BytesIO(); Image.open(photo.jpg).save(buf, formatPNG) uri data:image/png;base64, base64.b64encode(buf.getvalue()).decode() requests.post(http://127.0.0.1:8080/v1/chat/completions, json{ model: ornith, max_tokens: 256, messages: [{role: user, content: [ {type: text, text: What is in this image?}, {type: image_url, image_url: {url: uri}}]}]}) 结论与建议Ornith-1.0-35B-OptiQ-4bit在M4芯片上展现了令人印象深刻的性能表现成功实现了35B参数模型在Apple Silicon上的高效运行。其主要优势包括卓越的速度在M4芯片上实现8-20 tokens/秒的生成速度优化的内存使用通过专家流技术将内存需求降至4.58GB可靠的准确性智能量化策略使性能损失最小化多模态能力完整支持图像和文本输入对于M4芯片用户我们建议24GB内存设备始终使用--stream-experts选项32GB以上内存设备可直接加载模型获得最佳性能图像任务确保保留视觉塔文件optiq/optiq_vision.safetensors通过结合OptiQ量化技术和M4芯片的强大性能Ornith-1.0-35B-OptiQ-4bit为本地AI应用开辟了新的可能性让用户能够在个人设备上体验到接近云端的大模型能力。要开始使用请克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-OptiQ-4bit【免费下载链接】Ornith-1.0-35B-OptiQ-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-OptiQ-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考