LlamaAI本地部署实战专栏第6篇从“只会聊天的大模型”到“懂你资料的私人AI助手”使用RAG技术构建完全离线知识库问答系统。一、为什么本地大模型还需要RAG在上一篇文章中我们已经完成✅ llama-server部署✅ OpenAI API兼容接口✅ Python调用本地模型现在我们拥有用户 ↓ 本地Llama ↓ 生成答案但是很快会发现一个问题我的模型为什么不知道我的PDF、公司文档、项目代码例如用户我们公司的产品架构是什么模型抱歉我不知道。原因大模型训练数据互联网公开数据 ↓ 模型训练 ↓ 固定知识它并不知道企业内部文档最新项目资料私人笔记技术文档二、解决方案RAG技术RAG全称Retrieval Augmented Generation中文检索增强生成简单理解不要重新训练模型。而是在回答问题之前先查资料。传统LLM用户问题 ↓ LLM ↓ 生成答案RAG用户问题 ↓ 搜索知识库 ↓ 找到相关资料 ↓ 发送给LLM ↓ 生成答案三、RAG整体架构完整流程用户 | 问题 | Query Embedding | 向量数据库 | 检索相关文本 | Prompt组合 | 本地Llama | 答案四、RAG核心组成部分一个完整RAG系统包含1. 文档加载支持PDFWordMarkdownTXT网页例如技术文档.pdf 产品说明.docx 项目README.md2. 文本切片Chunk为什么需要切片假设PDF100万字不能直接PDF ↓ LLM原因超过上下文限制检索困难需要拆分原文 ↓ Chunk1 ↓ Chunk2 ↓ Chunk3例如chunk_size1000 chunk_overlap100含义每段1000字符相邻重叠100字符五、Embedding让机器理解文本计算机不能直接理解Transformer是什么需要转换文本Transformer是一种神经网络架构变成向量[ 0.123, 0.532, 0.876, ... ]这个过程叫Embedding文本向量化六、为什么不用大模型生成Embedding因为Embedding任务只需要判断文本语义相似度例如问题什么是GPU加速知识库CUDA可以利用GPU进行并行计算虽然文字不同但是语义接近。七、本地Embedding模型选择推荐中文场景BGE系列BAAI 开源的BGE系列是目前中文Embedding任务常用模型。推荐模型特点bge-small-zh轻量bge-base-zh效果好bge-large-zh高精度八、向量数据库Embedding之后需要保存文本 向量 来源信息例如{ text: CUDA是一种GPU计算平台, vector: [ 0.123, 0.543 ] }这个数据库叫向量数据库。常见方案数据库特点FAISS本地轻量Milvus企业级Chroma开发方便本文使用FAISS因为免费本地运行性能高九、构建第一个离线RAG系统环境安装pip install \ langchain \ faiss-cpu \ sentence-transformers \ pypdf十、读取PDF文档安装from pypdf import PdfReader reader PdfReader( document.pdf ) text for page in reader.pages: text page.extract_text()得到PDF全部文本十一、文本切片使用RecursiveCharacterTextSplitterfrom langchain.text_splitter import ( RecursiveCharacterTextSplitter ) splitter RecursiveCharacterTextSplitter( chunk_size1000, chunk_overlap100 ) chunks splitter.split_text(text)结果[ chunk1, chunk2, chunk3 ]十二、生成Embedding加载模型from sentence_transformers import SentenceTransformer model SentenceTransformer( BAAI/bge-small-zh ) vectorsmodel.encode( chunks )结果文本 ↓ 向量矩阵十三、建立FAISS索引安装pip install faiss-cpu代码import faiss import numpy as np dimensionvectors.shape[1] indexfaiss.IndexFlatL2( dimension ) index.add( np.array(vectors) )现在知识库建立完成。十四、用户提问检索用户GPU加速是什么首先问题Embeddingquestion_vectormodel.encode( [GPU加速是什么] )搜索distance, idsindex.search( question_vector, k3 )返回最相关3个文本。十五、拼接Prompt给Llama得到资料CUDA是一种GPU计算平台... GPU可以执行并行计算...组合请根据下面资料回答 资料 xxxx 问题 GPU加速是什么发送Prompt ↓ llama-server ↓ 生成答案十六、完整RAG流程最终PDF文件 | 文本解析 | Chunk切片 | Embedding | FAISS | 用户问题 | 相似搜索 | Prompt增强 | llama.cpp | 答案十七、RAG和重新训练模型区别很多人误认为想让模型知道我的资料需要训练。实际上大部分场景不需要。比较方式成本适合重新训练极高改变模型能力微调中等改变模型风格RAG低增加知识企业知识库优先选择RAG。十八、常见问题1. 为什么RAG回答不准确原因检索不到正确资料。优化增大chunk增加top-k使用reranker下一篇会详细优化。2. 为什么PDF读取乱码原因扫描PDF没有文字层。解决使用OCRPaddleOCRTesseract3. 为什么速度慢瓶颈可能在embedding向量搜索LLM生成需要分别优化。十九、本篇总结今天完成✅ 理解RAG原理✅ 搭建离线知识库流程✅ PDF解析✅ 文本切片✅ Embedding生成✅ FAISS向量检索✅ 对接本地Llama现在你的AI已经从普通聊天机器人升级为懂你资料的私人AI助手完整架构本地文档 ↓ RAG系统 ↓ llama.cpp Server ↓ 本地LLM ↓ AI助手下一篇预告《别只用向量搜索BM25FAISS打造工业级RAG检索系统》下一篇将解决RAG最大的痛点为什么你的知识库明明有答案AI却找不到内容包括向量搜索原理BM25关键词检索混合检索架构RRF融合排序Reranker重排序企业级RAG优化方案让你的本地AI从“能用”进入“可靠”。