Inkling-Small-mlx-2bit性能基准测试如何用bench_mlx.py测量模型速度与内存占用【免费下载链接】Inkling-Small-mlx-2bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Inkling-Small-mlx-2bitInkling-Small-mlx-2bit是一款针对Apple Silicon优化的2bit量化模型基于thinkingmachines/Inkling-Small构建具备2640亿总参数约120亿活跃参数支持图像音频输入与文本输出的多模态能力。该模型专为96GB内存的Mac设计可完全驻留在统一内存中并以对话速度解码是Apple Silicon平台上高效运行大模型的理想选择。为什么需要性能基准测试在选择和部署AI模型时性能指标是关键考量因素。对于Inkling-Small-mlx-2bit这样的大模型准确了解其在特定硬件上的表现尤为重要速度评估模型的加载时间、预填充token每秒prefill tok/s和解码token每秒decode tok/s直接影响用户体验内存占用峰值内存使用情况决定了模型能否在目标设备上稳定运行硬件适配不同配置的Apple Silicon设备可能呈现差异显著的性能表现目前项目中的性能数据peak/load/tok-s列尚未完全填充需要用户在目标硬件上运行serving/bench_mlx.py来获取实际测量值。准备工作环境与依赖在运行基准测试前请确保您的系统满足以下要求Apple Silicon设备建议96GB内存以匹配2bit tiermacOS系统Python环境安装必要的依赖库pip install mlx mlx-lm transformers # 如需处理音频和图像需额外安装scipy和pillow运行基准测试的步骤1. 获取模型代码库首先克隆项目仓库到本地git clone https://gitcode.com/hf_mirrors/mlx-community/Inkling-Small-mlx-2bit cd Inkling-Small-mlx-2bit2. 调整系统内存设置对于接近内存限制的设备建议提高Metal有线内存限制sudo sysctl iogpu.wired_limit_mb180000 # 192GB内存Mac的推荐设置根据实际内存容量调整⚠️ 注意macOS会终止长时间占用过大内存的进程jetsam机制即使内存压力看似正常。如果长文本生成过程中模型意外退出请考虑尝试更低bit的模型版本。3. 执行基准测试命令使用项目提供的bench_mlx.py脚本运行基准测试python serving/bench_mlx.py --model ./Inkling-Small-mlx-2bit --tier 2bit基准测试结果解析bench_mlx.py脚本会生成包含以下关键指标的报告1. 加载时间Load Time模型从磁盘加载到内存并完成初始化所需的时间受存储设备速度和内存带宽影响。Inkling-Small-mlx-2bit采用MLX的mx.load函数实现内存映射mmap加载权重会按需分页进入内存而非一次性全部读取和复制。2. 预填充速度Prefill tok/s处理提示文本时的token生成速度通常在长文本输入时更为关键。该指标反映模型处理上下文的效率。3. 解码速度Decode tok/s生成新token时的速度直接影响对话交互的流畅度。Inkling-Small-mlx-2bit设计目标是达到对话速度conversational speed即接近人类阅读的速度。4. 峰值内存占用Peak Memory测试过程中模型使用的最大统一内存量这一数值通常大于模型文件大小因为需要为KV缓存和操作系统保留空间。对于2bit tier的模型建议确保系统有足够的内存余量。MLX架构带来的性能优势Inkling-Small-mlx-2bit在Apple Silicon上的高效表现得益于MLX框架的多项关键特性特性优势统一内存GPU和CPU共享同一块DRAM88GB模型仅需88GB系统内存无需VRAM主机内存的重复副本避免了PCIe传输瓶颈延迟内存映射加载权重按需分页进入内存大幅减少初始加载时间和内存占用原生量化矩阵乘法量化权重直接以压缩形式进行乘法运算而非先解量化为fp16在运行时节省带宽模块级精度控制支持按张量类别混合不同精度对关键路径如注意力和路由保持高精度对专家层使用低精度在性能和质量间取得平衡进阶自定义基准测试参数虽然官方未提供详细的参数说明但您可以通过查看serving/bench_mlx.py源码或运行以下命令探索可用选项python serving/bench_mlx.py --help可能的自定义方向包括测试不同上下文长度下的性能表现调整批处理大小如适用设置不同的生成参数温度、top-k等结语通过serving/bench_mlx.py工具进行性能基准测试是确保Inkling-Small-mlx-2bit在您的Apple Silicon设备上获得最佳体验的关键步骤。测试结果不仅能帮助您了解模型的实际表现还能为项目贡献有价值的硬件性能数据。如果您运行了基准测试欢迎通过项目讨论区分享您的结果帮助完善模型性能数据库让更多用户了解Inkling-Small-mlx-2bit在不同配置Apple设备上的表现。提示若要进行模型的实际使用可参考以下代码片段from inkling_mlx.load import load from inkling_mlx.generate import greedy_generate from transformers import AutoTokenizer path ./Inkling-Small-mlx-2bit model, config load(path) tok AutoTokenizer.from_pretrained(path, trust_remote_codeTrue) ids tok(The capital of France is)[input_ids] print(tok.decode(greedy_generate(model, config, ids, max_new_tokens64)))【免费下载链接】Inkling-Small-mlx-2bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Inkling-Small-mlx-2bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考