人工智能大模型多模态基础模型本地部署【免费下载链接】MiniCPM-V-4.7-35B-A3BMiniCPM-V 4.7 是 MiniCPM-V 系列的最新模型提供 35B-A3B 变体其中 35B-A3B 是 MiniCPM-V 系列中的首个 MoE混合专家模型。它在家族现有的单图、多图和视频理解能力基础上结合了更强的基础能力、高效的视觉编码以及端侧推理特性。项目地址https://ai.gitcode.com/OpenBMB/MiniCPM-V-4.7-35B-A3B点击查看免费下载MiniCPM-V 4.7 是目前最热门的多模态大模型之一它既能看懂单图、多图还能理解视频并且是系列中首个 MoE混合专家模型。本文带你用 Ollama 一条命令拉取 openbmb/minicpm-v4.710 分钟完成本地部署零门槛体验端侧多模态推理。为什么选择端侧部署 MiniCPM-V 4.7很多新手一提到大模型就想到云端 API要注册、要充值、图片要上传到服务器。而端侧本地部署意味着隐私安全你的照片、文档、视频全部在本地处理不上传任何服务器⚡流畅可用官方数据显示MiniCPM-V 4.7 35B-A3B 在 iPhone 17 Pro Max 上仅用 3 GB 内存即可实现 13 tokens/s 的解码速度是目前首个开源且端侧推理流畅无损的 MoE 模型离线可玩没有网络也能和视觉 AI对话。而 Ollama 正是做本地部署最省心的工具——不用配环境、不用写代码一条命令就能跑起来。快速开始2 步安装 Ollama 并拉取模型第一步安装 OllamamacOS / Windows到 Ollama 官网下载安装包双击安装即可。Linux在终端执行一条命令curl -fsSL https://ollama.com/install.sh | sh安装完成后验证一下ollama -v能输出版本号就说明安装成功。第二步拉取 MiniCPM-V 4.7 模型ollama pull openbmb/minicpm-v4.7首次拉取会下载模型文件体积较大请耐心等待进度条走完。之后在终端敲ollama list就能看到模型已经就位。 小技巧拉取完成前可以先准备几张想问模型的图片风景照、文档截图、图表都行体验效果更直观。体验多模态能力发图、发多图、发视频拉取完成后启动交互式对话ollama run openbmb/minicpm-v4.7进入对话后直接在输入框粘贴图片文件路径或拖拽图片MiniCPM-V 4.7 就能看图说话️单图理解/path/to/cat.png 这张图里有什么请详细描述多图对比一次粘贴多张图片路径让它做对比分析视频理解粘贴本地视频路径如/path/to/football.mp4再问一句按时间线描述这段视频。想退出对话随时输入/bye。进阶玩法用 API 把 MiniCPM-V 4.7 接入你的应用如果你希望在自己的脚本或网页里调用模型Ollama 提供与 OpenAI 风格一致的 HTTP 接口默认监听127.0.0.1:11434。调用 /api/chat 接口发送图片Ollama 的messages支持images字段传入base64 编码的图片即可。以 Python 为例import base64, json, urllib.request with open(cat.png, rb) as f: img_b64 base64.b64encode(f.read()).decode() payload { model: openbmb/minicpm-v4.7, messages: [{ role: user, content: 这张图里有什么, images: [img_b64] }] } req urllib.request.Request( http://127.0.0.1:11434/api/chat, datajson.dumps(payload).encode(), headers{Content-Type: application/json} ) print(urllib.request.urlopen(req).read().decode())用 /v1/chat/completions 兼容 OpenAI 客户端如果现有代码已经在用 OpenAI SDK把base_url指向http://127.0.0.1:11434/v1、api_key随意填写、模型名换成openbmb/minicpm-v4.7即可平滑迁移。调优小贴士让 MiniCPM-V 4.7 更懂你在终端执行以下命令可以为模型生成一份配置文件OLLAMA.mdollama show openbmb/minicpm-v4.7 --modelfile OLLAMA.md按需修改其中的PARAMETER部分常用的几个参数参数作用建议值num_predict单次生成的最大 token 数1024temperature回答的随机性0.7top_k/top_p采样策略官方生成配置默认 top_k20、top_p0.95保持默认minicpmv4.7.think是否启用思考模式按需开启minicpmv4.7.max_slice_nums高分辨率图片最多切几片越大细节越多默认 9精细识别可调大保存后基于它创建自己的模型版本ollama create my-minicpmv -f OLLAMA.md之后用ollama run my-minicpmv就能用上自定义配置。模型仓库里都有什么本次拉取的模型完整权重仓库中除了模型文件外还包含文件说明config.json模型架构配置可看到 256 个专家、每 token 激活 8 个num_experts: 256、num_experts_per_tok: 8generation_config.json默认生成参数temperature1.0、top_k20、top_p0.95chat_template.jinja对话模板定义了图片、视频、工具调用的消息格式tokenizer.json、tokenizer_config.json分词器preprocessor_config.json、processor_config.json视觉与多模态处理器配置model.safetensors.index.json权重分片索引共 16 个 safetensors 分片README.md官方使用说明与特性介绍从 config.json 中还可以读出它的 MoE 设计总参数 35B但每个 token 只激活约 3B 参数A3B所以推理快、显存占用相对小——这就是它能在端侧流畅跑起来的关键。 想进一步定制官方还提供 GGUF、AWQ、GPTQ、int4、FP8 等量化版本以及 SGLang、vLLM、llama.cpp、SWIFT、LLaMA-Factory 等推理与微调框架支持详见 README.md。常见问题 FAQQ1什么是 MoEA3B 又是什么意思AMoEMixture of Experts混合专家把模型拆成多个专家网络每个 token 只由少数专家处理。A3B 表示总参数 35B、每 token 激活约 3B兼顾能力与速度。Q2我的电脑需要什么配置A35B 模型在 BF16 精度下建议预留 20GB 以上显存或统一内存内存较小的机器可以改用官方提供的 int4 / AWQ / GPTQ / GGUF 等量化版本。Q3发图片没反应怎么办A先确认 Ollama 版本较新且模型拉取完整ollama list查看大小是否异常再确认图片是常见格式png/jpg且路径无空格问题。Q4能微调吗A可以。MiniCPM-V 4.7 官方支持 SWIFT 与 LLaMA-Factory 微调框架还能使用 SRFTSelf-Replay Fine-Tuning低成本扩展模型能力细节见 README.md。总结 三步走安装 Ollama →ollama pull openbmb/minicpm-v4.7→ollama run openbmb/minicpm-v4.7️ 支持单图、多图、视频三种多模态输入命令行和 HTTP API 都能用️ 通过OLLAMA.md可自定义思考模式、采样策略、视觉分片等参数 数据不出本机隐私、离线、低延迟一次满足。现在就可以打开终端开始你的端侧多模态之旅吧赞分享人工智能大模型多模态基础模型本地部署【免费下载链接】MiniCPM-V-4.7-35B-A3BMiniCPM-V 4.7 是 MiniCPM-V 系列的最新模型提供 35B-A3B 变体其中 35B-A3B 是 MiniCPM-V 系列中的首个 MoE混合专家模型。它在家族现有的单图、多图和视频理解能力基础上结合了更强的基础能力、高效的视觉编码以及端侧推理特性。项目地址https://ai.gitcode.com/OpenBMB/MiniCPM-V-4.7-35B-A3B点击查看免费下载相关推荐OWASP Juice Shop 从零搭建指南5 分钟跑通旗舰级漏洞靶场OWASP Juice Shop 从零搭建指南5 分钟跑通旗舰级漏洞靶场 OWASP Juice Shop 是 OWASP 基金会旗下最知名的开源漏洞靶场一网络安全后端Xinference 中 MiniCPM-V-4.6 端侧多模态模型的部署与调用指南Xinference 中 MiniCPM V 4.6 端侧多模态模型的部署与调用指南 MiniCPM V 4.6 是 MiniCPM V 系列中面向端侧edg模型推理服务人工智能大模型本地部署多模态语音探索未来MiniCPM-V——端侧多模态大模型的革命探索未来MiniCPM V——端侧多模态大模型的革命 在人工智能的快速发展中多模态大模型已成为推动技术进步的关键力量。今天我们向您隆重介绍一款革命性的开源人工智能大模型多模态计算机视觉NLP微调openBMB创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考