QMedia 纯本地多模态模型实战：CLIP、BGE 与 Ollama LLM 全离线部署，私有数据零外泄
QMedia 纯本地多模态模型实战CLIP、BGE 与 Ollama LLM 全离线部署私有数据零外泄【免费下载链接】QmediaAn open-source AI content search engine designed specifically for content creators. Supports extraction of text, images, and short videos. Allows full local deployment (web app, RAG server, LLM server). Supports multi-modal RAG content QA.项目地址: https://gitcode.com/gh_mirrors/qm/QmediaQMedia 是一款面向内容创作者的开源 AI 内容搜索引擎支持图文与短视频的内容抽取和多模态 RAG 问答。本文带你完成 QMedia 纯本地多模态模型实战CLIP 图片嵌入、BGE 文本嵌入与 Ollama 本地 LLM 全离线部署让你的私有素材始终留在本机实现私有数据零外泄。为什么要选纯本地多模态搜索引擎当你想对自己的图片、图文笔记、短视频做语义搜索和 AI 问答时调用云端大模型 API 意味着素材要离开本机——对个人创作隐私和商业素材都是风险。QMedia 的解决方案是把整条链路搬回本地CLIP 图片嵌入模型把图片和文字映射到同一向量空间实现以文搜图BGE 文本嵌入模型对文本内容做语义向量化支撑语义检索Ollama 本地 LLM承担视频摘要、RAG 问答等语言任务本地 OCR Faster Whisper图片文字识别、视频语音转写全程离线检索和问答完全基于本地库答案还会通过内容卡片标注素材来源方便回溯QMedia 架构速览三件套各司其职QMedia 拆成三个可独立部署的服务按需组合、灵活伸缩服务职责端口mm_server多模态模型服务CLIP、BGE、OCR、视频转写、模型生命周期管理50110mmrag_server内容抽取、嵌入存储、多模态 RAG 检索与内容问答50111qmedia_webWeb 前端内容卡片展示与查询50112这种分层设计的妙处在于模型层与 RAG 应用层解耦换模型只需改配置不用动业务代码资源紧张时也可以只跑mm_server把它当作一个独立的图片编码、文本编码、视频转写、OCR 的 API 服务嵌入你自己的系统。全离线部署四步走 第一步一键克隆 QMedia 项目git clone https://gitcode.com/gh_mirrors/qm/Qmedia第二步Ollama 本地 LLM 部署步骤先安装 Ollama然后拉取一个本地 LLM。个人电脑推荐轻量的 8B 量化版性能略有损失但足够日常问答ollama run llama3:8b-instruct-q4_0如果你有独立显卡的服务器可以上llama3:70b-instruct获得更强的问答质量记得同步修改mmrag_server/config.py中的model_name。第三步配置 CLIP 与 BGE 模型并启动 mm_server用 conda 建一个干净的虚拟环境安装依赖后启动conda create -n qllm python3.11 source activate qllm cd mm_server pip install -r requirements.txt cp config.py.local config.py python main.pyconfig.py中几个核心配置项决定了纯本地多模态的能力边界配置项默认值作用clip_model_nameViT-B/32CLIP 视觉嵌入模型图片 ↔ 文本特征编码hf_embedding_model_nameBAAI/bge-small-en-v1.5BGE 文本嵌入模型多语言语义向量ocr_model_path内置 onnx 模型本地 OCR 图片文字识别源自 QAnythingaudio_model_namesmallFaster Whisper 视频转写可在本地 CPU 运行模型初始化逻辑分别在mm_server/services/clip_service.pyCLIP和mm_server/services/llm_service.pyBGE中都封装成了带缓存的服务首次调用时加载、到期自动释放。第四步启动 RAG 服务与 Web 端# 内容搜索与 RAG 问答服务 cd mmrag_server python main.py # Web 前端 cd qmedia_web pnpm dev启动时mmrag_server会自动读取assets/medias里的演示素材调用mm_server抽取结构化信息并存入本地数据库。如果你偏好容器化仓库根目录的docker-compose.yml一键拉起全部三个服务。CLIP、BGE 与 Ollama LLM 分别负责什么理解分工后你就知道每一步数据都发生了什么CLIP图片嵌入把图片编码成向量同时把你的搜索词也编码成同空间向量——搜图本质上变成了向量相似度计算。BGE文本嵌入对图文正文、笔记做语义向量化支撑关键词之外的意思相近检索。Ollama LLM语言任务基于视频转写做内容摘要并作为 RAG 问答的最终生成器回答时引用检索到的素材。OCR / Faster Whisper信息抽取图片里的文字、视频里的语音先被翻译成文本才能被上面的模型理解。RAG 服务侧的模型接线逻辑在mmrag_server/services/llm/ollama_embedding.py中嵌入模型与 Ollama LLM 的组合在这里统一装配。keep_alive 参数管好本地模型的内存 本地部署最怕模型加载完就占着显存不放手。QMedia 对每个模型都做了生命周期管理mm_server 侧每个模型配置都有独立的keep_alive单位秒闲置超时后自动释放下次调用再加载。Ollama 侧默认 5 分钟不自动释放也可以用keep_alive精细控制——-1常驻内存、0响应完立即卸载、3600保持 1 小时。小显存机器可以把video_keep_alive设为1转完立刻释放大模型按需加载互不挤占。部署验证API 文档与 Web 体验 ✅启动后访问以下地址确认服务全部就绪mm_server模型服务文档http://localhost:50110/docsmmrag_server检索问答文档http://localhost:8001/docsmm_server 的 API 文档页面展示了图片、视频、嵌入等分组接口浏览器打开 Web 端端口 50112就能用自然语言检索演示素材并发起多模态问答了。换成你的私有数据素材目录配置 ️想让搜索引擎真正服务于自己的内容库只需两步assets ├── mm_pseudo_data.json # 内容卡片数据可替换为自有数据 └── medias # 图片/视频文件替换为自有素材将assets/medias里的示例素材替换成你自己的图片和视频再删除历史生成的db文件后重启服务模型会自动重新抽取信息、建立向量索引。示例素材长这样仓库自带从此你的素材库既支持语义搜索也支持 AI 问答而所有数据从头到尾没有离开过你的机器。常见问题 FAQQ没有独立显卡能跑吗可以。CLIP ViT-B/32、BGE-small、Faster Whisper small 和 llama3:8b 量化版都能在 CPU 上运行只是速度较慢。Q想换更强的嵌入模型怎么办直接修改mm_server/config.py里的clip_model_name/hf_embedding_model_name即可模型层与业务层是解耦的。Q能只当 API 服务用吗可以。单独启动mm_server后它就是一个独立的图片编码、文本编码、视频转写、OCR 服务任何项目都能通过 API 接入。总结 QMedia 把CLIP 图片嵌入 BGE 文本嵌入 Ollama 本地 LLM 本地 OCR/Whisper组装成了一套完整的多模态内容搜索引擎四步部署即可全离线上线素材零上传、答案有来源、模型可热换。对于手握大量私有图文与短视频素材的创作者来说这是一条兼顾隐私与实用性的 AI 内容检索路径。【免费下载链接】QmediaAn open-source AI content search engine designed specifically for content creators. Supports extraction of text, images, and short videos. Allows full local deployment (web app, RAG server, LLM server). Supports multi-modal RAG content QA.项目地址: https://gitcode.com/gh_mirrors/qm/Qmedia创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
