人工智能大模型多模态模型量化本地部署【免费下载链接】llmjp-4-vl-9b-mlx-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/llmjp-4-vl-9b-mlx-4bit点击查看免费下载LLM-jp-4-VL-9B 是一款面向日语与英语的多模态视觉-语言大模型本仓库 llm-jp-4-vl-9b-mlx-4bit 将其转换为 MLX 格式的 4bit 量化版本让 Apple Silicon 设备MacBook、Mac mini 等也能流畅运行这款 9B 参数的看图说话模型。这篇文章带你从零理解它的三大组件——SigLIP 视觉塔、投影器、Llama 语言模型——是如何协同完成看图 → 理解 → 回答全过程的。一、架构总览三个模块各司其职整个模型在 modeling_llmjpvl.py 中定义其设计思路继承自 InternVL 的经典范式组件作用关键配置来源vision_backboneSigLIP2 视觉塔把图像编码为 1024 个视觉向量config.json 中vision_configmlp1投影器维度对齐 PixelShuffle 下采样modeling_llmjpvl.pylanguage_modelLlama融合图文信息并逐词生成回答config.json 中llm_config权重文件 model.safetensors.index.json 也印证了这个三分法language_model.*占 743 个权重项、vision_backbone.*占 437 个、mlp1.*占 10 个。二、SigLIP 视觉塔图像如何被切成 16×16 的小块 视觉塔来自 Google 的 SigLIP2 系列siglip2-so400m-patch16-512参数写在 config.json27 层Transformer隐层维度115216 个注意力头patch_size 16一张 512×512 的图像会被切成 32×32 1024 个 16×16 的小块图像预处理缩放、归一化到 0.5±0.5由 preprocessor_config.json 定义使用SiglipImageProcessor直觉上可以这样理解视觉塔就像一位读图员把图片拆解成上千个小方块每个方块产出一个 1152 维的视觉笔记。三、动态分辨率一张图最多拆成 12 块 缩略图 与固定分辨率不同本模型支持动态分辨率dynamic_image_size: true。核心逻辑在 processing_llmjpvl.py 的dynamic_preprocess函数中根据原图宽高比从候选比例中选出最接近的一个如 2:1、3:2把图像拆成对应数量个 512×512 的 patchmin_dynamic_patch1max_dynamic_patch12若 patch 多于 1 个额外附加一张整体缩略图use_thumbnail: true兼顾细节与全局每个 512×512 patch 固定占用256 个视觉 token见 processor_config.json 的image_seq_length。处理时占位符image会被展开为|image_start| 256×N 个IMAGE占位 token |image_end|IMAGEtoken 的编号是196608定义于 constants.py。四、投影器PixelShuffle 下采样 两层 MLP⚡ 视觉塔输出是 1024 个 1152 维向量而语言模型需要 4096 维的输入——中间的翻译官就是mlp1投影器它分两步工作modeling_llmjpvl.pyPixelShuffledownsample_ratio0.5把相邻 2×2 的 4 个 patch 向量拼在一起1024 个 token 压缩为256 个 token维度则从 1152 膨胀到 4608。这一步大幅缩短序列长度让 Llama 处理更省力MLP4608 → 4096 → 4096两层线性层夹一个 GELU 激活把维度对齐到语言模型的 4096随后在 modeling_llmjpvl.py 中这些视觉向量会精准替换掉input_ids中所有IMAGE占位 token 的嵌入——这就是图文融合发生的地方。五、Llama 语言模型9B 思考型骨干 语言模型基于llm-jp/llm-jp-4-8b-thinkingconfig.json是标准 Llama 架构32 层隐层 409632 个注意力头 8 个 KV 头GQA 分组注意力推理更快rope_theta500000支持65536的长上下文位置编码词表大小 196611——比常规 Llama 大为的就是容纳IMAGE、Harmony 频道等特殊 token值得一提的是它的对话模板chat_template.jinja采用Harmony 格式系统消息声明analysis、commentary、final三个频道助手可先在 analysis 频道思考再在 final 频道给出答案并支持reasoning_effortlow/medium/high调节思考深度——这正是其thinking能力的来源。六、4bit 量化9B 模型只要 5.7GB 本仓库用 MLX 的affine 4bit 量化group_size64见 config.json压缩权重整个模型总大小约5.68GBtotal_size: 5679542240字节。每个权重都配有weightscalesbiases三个量化分量可在 Apple 芯片的内存中高效执行同时尽量保持接近原模型bfloat16的效果。七、一条命令跑起来mlx-vlm 快速体验安装后只需两行命令即可让模型看图说话详见 README.mdpip install -U mlx-vlmpython -m mlx_vlm.generate --model mlx-community/llm-jp-4-vl-9b-mlx-4bit --max-tokens 100 --temperature 0.0 --prompt Describe this image. --image path_to_image生成参数默认值max_new_tokens256、结束符|return|记录在 generation_config.json 中。小结llm-jp-4-vl-9b-mlx-4bit 的架构逻辑非常清晰SigLIP2 视觉塔负责读图16×16 分块 → 1024 个视觉向量PixelShuffle MLP 投影器负责压缩与翻译256 个 4096 维 tokenLlama 语言模型负责表达Harmony 频道下边思考边回答再叠加动态分辨率、4bit 量化与 Harmony 思考模板最终让这款 9B 多模态大模型在 Mac 上即装即用。如果你想在 Apple Silicon 上体验日语/英语双语的看图问答这个仓库是一个值得收藏的选择。赞分享人工智能大模型多模态模型量化本地部署【免费下载链接】llmjp-4-vl-9b-mlx-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/llmjp-4-vl-9b-mlx-4bit点击查看免费下载相关推荐拆解 llm-jp-4-vl-9b-mlx-4bit 的三层架构SigLIP2 视觉塔 Llama 语言模型如何看懂图片拆解 llm jp 4 vl 9b mlx 4bit 的三层架构SigLIP2 视觉塔 Llama 语言模型如何看懂图片 本文带你完整拆解多模态大模本地视觉语言模型横评llm-jp-4-vl-9b-mlx-4bit 对战 Qwen-VL、InternVL 谁更强本地视觉语言模型横评llm jp 4 vl 9b mlx 4bit 对战 Qwen VL、InternVL 谁更强 llm jp 4 vl 9b mlx 4bllm-jp-4-vl-9b-mlx-4bit的Pixel Shuffle原理视觉特征如何压缩50%喂给语言模型llm jp 4 vl 9b mlx 4bit的Pixel Shuffle原理视觉特征如何压缩50%喂给语言模型 llm jp 4 vl 9b mlx 4bi人工智能大模型多模态模型量化本地部署上一篇NFD云解析常见问题解决方案从环境配置到API调用的完整排错手册下一篇SMTP中继服务器终极指南5分钟搭建专业邮件转发服务创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考