这次我们来看一个面向零基础学习者的 AI 公开课主题是“Embedding”。对于刚接触 AI 和大模型的人来说Embedding 这个词听起来可能有点抽象但它却是构建智能应用尤其是 RAG检索增强生成和 AI Agent 的核心技术之一。简单说它能把文本、图片甚至声音变成计算机能“理解”和“计算”的数字向量。这篇文章不是单纯的概念讲解而是聚焦于“如何用起来”。我们会拆解 Embedding 的核心价值它到底是什么在 CPU 和 GPU 上跑起来有什么区别本地如何部署一个可用的 Embedding 模型如何通过 API 调用它来处理你自己的文本以及如何利用它来搭建一个简单的语义搜索或问答系统。无论你是开发者想集成 AI 能力还是学习者想亲手实践关注点都会落在“环境准备、模型选择、接口调用、效果验证”这些实操环节上。本文会带你完成从零理解到动手实践的完整过程。我们先快速了解 Embedding 能做什么然后准备 Python 环境接着用流行的开源模型比如bge-small-zh进行本地部署和测试最后通过一个简单的例子展示如何用 Embedding 实现文本相似度计算和问答检索。过程中会重点关注模型加载、显存/内存占用、以及如何将这套能力封装成可复用的服务。1. 核心能力速览在深入细节之前我们先通过一个表格快速把握 Embedding 技术相关的核心信息这有助于你判断是否需要继续深入以及如何规划学习路径。能力项说明与解读技术本质将非结构化数据文本、图像等转化为固定维度的数值向量一组数字。核心价值使计算机能够通过计算向量间的“距离”如余弦相似度来衡量数据间的语义相似性。主要应用场景语义搜索、问答系统RAG、文本聚类、推荐系统、AI Agent的记忆与检索模块。常见模型类型专用文本嵌入模型如 BGE、text-embedding-ada-002、多模态模型、大模型自带的嵌入层。本地部署门槛低到中。存在大量轻量级开源模型可在 CPU 或消费级 GPU 上运行。显存/内存占用模型大小决定。小型模型如bge-small-zh, 100MB可在 CPU 或 2G 显存下运行大型模型需要更多资源。启动与使用方式1. 库函数直接调用如sentence-transformers2. 启动为独立的 HTTP API 服务3. 集成到现有框架如 LangChain, LlamaIndex是否支持 API是。可自行封装或使用现成项目如FlagEmbedding提供的 API 服务。是否支持批量任务是。处理批量文本时效率远高于循环单条处理是生产环境必备能力。适合人群AI 初学者、希望为应用添加语义理解能力的开发者、研究 RAG/AI Agent 的技术人员。2. 适用场景与使用边界Embedding 技术就像为数据赋予了一把“语义尺子”它的适用场景非常广泛但同时也存在明确的边界。它非常适合解决以下问题语义搜索超越关键词匹配。用户搜索“如何养护盆栽绿植”系统能匹配到关于“室内植物浇水技巧”的文章。智能问答RAG从海量文档库中快速找到与问题最相关的片段提供给大模型生成精准答案避免“胡言乱语”。文本聚类与分类自动将相似的客服工单、用户反馈、新闻文章归到一起无需预先定义严格规则。推荐系统根据你读过的文章或看过的商品其向量表示推荐语义上相似的其他内容。AI Agent 记忆Agent 可以将交互历史、知识片段转化为向量存储需要时快速检索相关记忆来辅助决策。它的能力边界和注意事项并非万能理解Embedding 模型对文本的“理解”基于其训练数据和质量。对于训练数据中罕见或未出现的领域术语、新梗、特定行话效果可能打折扣。依赖向量数据库单纯生成向量价值有限必须配合向量数据库如 Milvus, Qdrant, Chroma, PGVector进行高效存储和检索才能发挥最大效用。跨语言与跨模态专门的英文模型处理中文可能不佳反之亦然。选择模型时需匹配任务语言。文本模型不能直接处理图像。计算开销虽然推理比大语言模型轻量但处理百万级、千万级文档时生成向量和检索本身也需要计算和存储资源规划。数据安全与隐私当处理敏感数据如公司内部文档、个人隐私信息时本地部署 Embedding 模型是保障数据不出域的关键这比调用云端 API 更安全。3. 环境准备与前置条件动手实践之前我们需要搭建一个基础的 Python 开发环境。以下清单涵盖了从零开始所需的核心组件。操作系统Windows 10/11, macOS, 或 Linux (如 Ubuntu 20.04) 均可。本文以 Windows/Linux 命令行示例为主。Python 版本推荐使用Python 3.8 到 3.11版本。这是大多数 AI 库兼容性最好的范围。可以使用python --version检查。包管理工具使用pip进行包安装。建议先升级至最新版pip install --upgrade pip。深度学习框架我们将主要使用PyTorch。请根据你的环境有无 GPU前往 PyTorch 官网 获取合适的安装命令。例如对于有 CUDA 11.8 的 GPU 环境pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118对于纯 CPU 环境pip install torch torchvision torchaudio核心 Embedding 库我们将使用sentence-transformers这是一个封装了众多优秀句子嵌入模型的库API 非常友好。pip install sentence-transformers可选向量数据库用于进阶示例为了演示完整的检索流程我们可以安装一个轻量级向量数据库chromadb。pip install chromadb硬件要求CPU现代多核处理器即可。内存建议 8GB 以上。加载模型和处理数据时会占用内存。GPU可选但推荐如果拥有 NVIDIA GPU如 GTX 1060 6G 及以上安装对应版本的 CUDA 和 PyTorch 后可以显著加速向量生成速度。本文示例会同时说明 CPU/GPU 的运行差异。磁盘空间预留 1-2GB 空间用于存放下载的模型文件。4. 安装部署与启动方式Embedding 模型的“部署”通常不是启动一个常驻服务虽然可以而是指在代码中加载模型并使用。这里我们介绍两种最常用的方式直接库调用和启动为 API 服务。4.1 方式一使用 sentence-transformers 库直接调用这是最简单、最快捷的方式适合集成到你的 Python 脚本或应用中。首先确保已安装sentence-transformers。然后在 Python 脚本中只需几行代码即可加载模型并生成向量。# embedding_demo.py from sentence_transformers import SentenceTransformer # 1. 选择并加载模型 # 首次运行会自动从 Hugging Face 下载模型国内网络可能需要配置镜像或耐心等待。 # bge-small-zh 是一个优秀的中文小模型适合入门和测试。 model_name BAAI/bge-small-zh model SentenceTransformer(model_name) # 2. 准备文本 sentences [ Embedding 技术可以将文本转化为向量。, 向量化后的文本可以用于语义相似度计算。, 今天天气真好我们出去散步吧。 ] # 3. 生成向量 (Embeddings) # 注意encode 方法默认会将文本列表批量处理效率更高。 embeddings model.encode(sentences, normalize_embeddingsTrue) # normalize_embeddingsTrue 会将向量归一化方便计算余弦相似度 print(f文本数量: {len(sentences)}) print(f向量维度: {embeddings.shape[1]}) # 通常是 384, 512, 768 等 print(f第一个文本的向量 (前10维): {embeddings[0][:10]}) # 4. 计算相似度 (示例计算第0句和第1句的余弦相似度) from sklearn.metrics.pairwise import cosine_similarity import numpy as np # 将 embeddings 转换为 2D numpy array emb_array np.array(embeddings) similarity_0_1 cosine_similarity([emb_array[0]], [emb_array[1]])[0][0] print(f句子0与句子1的语义相似度: {similarity_0_1:.4f})运行与观察 在终端执行python embedding_demo.py。首次运行会下载模型约100MB下载完成后会输出向量维度和相似度。相似度越接近1表示语义越相似。你会看到前两句关于 Embedding 的句子相似度很高可能 0.7而与第三句天气相关的句子相似度很低可能 0.3。4.2 方式二启动为独立的 HTTP API 服务对于需要跨语言调用如前端、Java应用调用或希望服务常驻的场景可以将 Embedding 模型封装成 API。我们可以使用FlagEmbedding库或FastAPI自行搭建。这里展示一个使用FastAPI搭建极简 API 服务的例子# api_server.py from fastapi import FastAPI from pydantic import BaseModel from sentence_transformers import SentenceTransformer import uvicorn from typing import List app FastAPI(titleEmbedding API Server) # 全局加载模型 (服务启动时加载一次) model SentenceTransformer(BAAI/bge-small-zh) class EmbeddingRequest(BaseModel): texts: List[str] normalize: bool True class EmbeddingResponse(BaseModel): embeddings: List[List[float]] model: str dimensions: int app.post(/embed, response_modelEmbeddingResponse) async def create_embeddings(request: EmbeddingRequest): 接收文本列表返回对应的向量列表 embeddings model.encode( request.texts, normalize_embeddingsrequest.normalize, show_progress_barFalse # API调用时关闭进度条 ) # 将 numpy array 转换为 Python list 以便 JSON 序列化 embeddings_list embeddings.tolist() return EmbeddingResponse( embeddingsembeddings_list, modelmodel.get_sentence_embedding_dimension(), dimensionslen(embeddings_list[0]) if embeddings_list else 0 ) app.get(/health) async def health_check(): return {status: healthy, model: BAAI/bge-small-zh} if __name__ __main__: # 启动服务监听本地 8000 端口 uvicorn.run(app, host0.0.0.0, port8000)启动服务安装依赖pip install fastapi uvicorn运行脚本python api_server.py看到Uvicorn running on http://0.0.0.0:8000即表示启动成功。测试 API 使用curl或 Pythonrequests库进行测试。# 使用 curl 测试 curl -X POST http://127.0.0.1:8000/embed \ -H Content-Type: application/json \ -d {texts: [什么是人工智能, AI是研究智能的学科。], normalize: true}# 使用 Python requests 测试 import requests import json url http://127.0.0.1:8000/embed payload { texts: [什么是人工智能, AI是研究智能的学科。], normalize: True } headers {Content-Type: application/json} response requests.post(url, datajson.dumps(payload), headersheaders) print(response.status_code) print(json.dumps(response.json(), indent2))5. 功能测试与效果验证现在我们通过几个具体的测试用例来验证 Embedding 模型的核心能力并观察其实际表现。5.1 测试一基础语义相似度计算这是最核心的功能测试用于验证模型是否能捕捉文本的语义信息。测试目的验证模型对同义句、相关句、无关句的区分能力。操作步骤准备三组句子对同义组[机器学习需要数据, 数据对于机器学习至关重要]相关组[我喜欢吃苹果, 水果富含维生素]无关组[编程语言有很多种, 今天的股市行情很好]使用model.encode生成每组句子的向量。计算每组句子对的余弦相似度。预期结果与判断同义组的相似度应最高通常 0.7。相关组的相似度应中等可能在 0.3 - 0.6 之间。无关组的相似度应很低接近 0 或小于 0.2。 如果结果符合此趋势说明模型基础语义能力正常。5.2 测试二长文本与批量处理能力Embedding 模型通常有最大输入长度限制如 512 个 token。我们需要测试其处理长文本和批量任务的稳定性。测试目的验证模型对长文本的编码能力及批量处理的效率。操作步骤准备一段超过 200 字的文本例如一篇短文摘要。将其输入模型观察是否报错或自动截断。准备一个包含 100 个短句的列表。分别用for循环单条处理和用encode批量处理记录时间。import time # ... 初始化 model ... long_text “””这里是你的长文本内容超过200字...“”” # 测试长文本 try: long_vec model.encode([long_text]) print(f“长文本编码成功向量维度{long_vec.shape}”) except Exception as e: print(f“长文本编码出错{e}”) # 测试批量效率 sentences [f“这是测试句子 {i}” for i in range(100)] # 批量处理 start time.time() batch_embeddings model.encode(sentences, batch_size32) # 可调整batch_size batch_time time.time() - start print(f“批量处理100句耗时{batch_time:.2f}秒”) # 单条循环处理不推荐仅作对比 start time.time() single_embeddings [] for s in sentences: single_embeddings.append(model.encode([s])[0]) single_time time.time() - start print(f“单条循环处理100句耗时{single_time:.2f}秒”) print(f“批量处理效率提升{single_time/batch_time:.1f}倍”)预期结果与判断长文本应能成功编码或给出明确截断提示。批量处理耗时应远低于单条循环处理提升5-50倍不等batch_size可根据显存/内存调整以找到最优值。5.3 测试三下游任务——简易问答检索我们将模拟一个最简单的 RAG 流程验证 Embedding 在检索环节的效果。测试目的构建一个微型知识库并通过问题检索最相关的答案片段。操作步骤构建知识库准备几段简短的文本作为“知识”。knowledge_base [ “Python是一种解释型、高级别的通用编程语言。” “Embedding技术可以将文本映射为低维稠密向量。” “FastAPI是一个用于构建API的现代、快速高性能的Web框架。” “GPU相比CPU更适合进行大规模的并行计算。” ]生成知识向量为knowledge_base中的所有文本生成向量并存储。提出问题例如“有什么技术能把文字变成数字向量”。检索答案将问题也转化为向量并计算它与知识库中所有向量的相似度返回相似度最高的文本。from sentence_transformers import util # ... 初始化 model ... # 1. 生成知识库向量 kb_embeddings model.encode(knowledge_base, normalize_embeddingsTrue) # 2. 编码问题 query “有什么技术能把文字变成数字向量” query_embedding model.encode([query], normalize_embeddingsTrue) # 3. 计算相似度并检索 cos_scores util.cos_sim(query_embedding, kb_embeddings)[0] top_results sorted(enumerate(cos_scores), keylambda x: x[1], reverseTrue) print(f“问题 ‘{query}’\n”) print(“检索结果”) for idx, score in top_results[:2]: # 取前2个最相关结果 print(f“[{score:.4f}] {knowledge_base[idx]}”)预期结果与判断 问题应能正确检索到“Embedding技术可以将文本映射为低维稠密向量。”这段知识并且相似度得分应该是所有结果中最高的。这证明了 Embedding 在语义检索中的有效性。6. 接口 API 与批量任务在实际项目中将 Embedding 能力服务化并高效处理批量任务是关键。本节基于第4.2节的 API 服务进行扩展。6.1 增强型 API 服务一个生产可用的 API 服务需要考虑更多因素如异步处理、健康检查、模型热加载、请求队列等。以下是一个增强版的示例# enhanced_api_server.py from fastapi import FastAPI, BackgroundTasks, HTTPException from pydantic import BaseModel, Field from sentence_transformers import SentenceTransformer import uvicorn import asyncio from typing import List, Optional import numpy as np from contextlib import asynccontextmanager import logging logging.basicConfig(levellogging.INFO) logger logging.getLogger(__name__) # 生命周期管理启动时加载模型关闭时清理 asynccontextmanager async def lifespan(app: FastAPI): # 启动时 logger.info(“正在加载Embedding模型...”) app.state.model SentenceTransformer(“BAAI/bge-small-zh”) app.state.model.eval() # 设置为评估模式 logger.info(f“模型加载完成维度{app.state.model.get_sentence_embedding_dimension()}”) yield # 关闭时 logger.info(“正在关闭服务清理模型...”) # 如果有GPU可以执行一些清理操作 del app.state.model app FastAPI(title“Enhanced Embedding API”, lifespanlifespan) class EmbeddingRequest(BaseModel): texts: List[str] Field(..., min_length1, max_length100, description“待编码的文本列表最多100条”) normalize: bool True batch_size: Optional[int] Field(default32, ge1, le256, description“推理批大小用于控制内存占用”) class EmbeddingResponse(BaseModel): embeddings: List[List[float]] model: str dimensions: int count: int app.post(“/v1/embeddings”, response_modelEmbeddingResponse) async def create_embeddings(request: EmbeddingRequest): “”“核心编码接口”“” try: model app.state.model # 使用传入的batch_size embeddings model.encode( request.texts, normalize_embeddingsrequest.normalize, batch_sizerequest.batch_size, show_progress_barFalse, convert_to_numpyTrue ) embeddings_list embeddings.tolist() return EmbeddingResponse( embeddingsembeddings_list, model“BAAI/bge-small-zh”, dimensionslen(embeddings_list[0]) if embeddings_list else 0, countlen(embeddings_list) ) except Exception as e: logger.error(f“编码请求失败{e}”) raise HTTPException(status_code500, detailf“内部服务错误{str(e)}”) app.get(“/v1/info”) async def get_model_info(): “”“获取模型信息”“” model app.state.model return { “model_name”: “BAAI/bge-small-zh”, “embedding_dimension”: model.get_sentence_embedding_dimension(), “max_seq_length”: model.max_seq_length if hasattr(model, ‘max_seq_length’) else 512, “device”: str(model.device) # 显示模型运行在CPU还是GPU上 } if __name__ “__main__”: # 使用更稳定的配置 uvicorn.run( app, host“0.0.0.0”, port8000, log_level“info”, timeout_keep_alive60 )6.2 批量任务处理策略当需要处理成千上万的文本时直接调用单次 API 可能效率低下或超出负载。需要设计批处理策略。策略一客户端分批调用在调用端将大任务拆分成小批次如每批100条顺序或并发调用 API。import requests import json from typing import List, Any def batch_embedding_api(texts: List[str], batch_size: int 100) - List[List[float]]: “”“将文本列表分批发送到 Embedding API”“” all_embeddings [] url “http://127.0.0.1:8000/v1/embeddings” for i in range(0, len(texts), batch_size): batch texts[i:i batch_size] payload {“texts”: batch, “normalize”: True, “batch_size”: 32} try: response requests.post(url, jsonpayload, timeout60) response.raise_for_status() result response.json() all_embeddings.extend(result[“embeddings”]) print(f“已处理批次 {i//batch_size 1}/{(len(texts)-1)//batch_size 1}”) except requests.exceptions.RequestException as e: print(f“批次 {i//batch_size 1} 处理失败{e}”) # 这里可以加入重试逻辑 raise return all_embeddings # 模拟大量文本 large_text_list [f“文档内容 {i}” for i in range(1000)] # 执行批量处理 embeddings_result batch_embedding_api(large_text_list, batch_size100)策略二服务端任务队列对于更复杂的生产环境可以在服务端使用任务队列如 Celery Redis来异步处理嵌入请求客户端提交任务后轮询或通过 Webhook 获取结果。这超出了本文基础范围但这是处理海量任务的推荐架构。7. 资源占用与性能观察理解 Embedding 模型的资源消耗对于部署和优化至关重要。我们主要关注内存/显存占用和推理速度。7.1 如何观察资源占用CPU 内存占用 在 Python 中可以使用psutil库来监控进程内存。pip install psutilimport psutil import os process psutil.Process(os.getpid()) print(f“当前进程内存占用{process.memory_info().rss / 1024 / 1024:.2f} MB”)在加载模型前后分别打印可以估算模型加载带来的内存增长。GPU 显存占用 如果使用 PyTorch 且模型在 GPU 上可以使用torch.cuda模块。import torch if torch.cuda.is_available(): print(f“GPU 名称{torch.cuda.get_device_name(0)}”) print(f“当前显存占用{torch.cuda.memory_allocated(0) / 1024**2:.2f} MB”) print(f“缓存显存占用{torch.cuda.memory_reserved(0) / 1024**2:.2f} MB”)7.2 CPU vs GPU 推理对比对于bge-small-zh这类轻量模型在 CPU 上运行完全可行。GPU 的主要优势在于批量处理时的速度。CPU 推理优点环境简单无需 CUDA 和显卡驱动。缺点处理大批量文本时速度较慢延迟高。适用场景开发测试、低并发、小批量的生产请求。GPU 推理优点利用并行计算批量处理速度可提升一个数量级10倍以上。缺点需要配置 CUDA 环境有显存容量限制。适用场景高并发、大批量、要求低延迟的生产环境。一个简单的性能测试脚本import time import torch from sentence_transformers import SentenceTransformer # 确保模型在指定设备上 device ‘cuda’ if torch.cuda.is_available() else ‘cpu’ print(f“使用设备{device}”) model SentenceTransformer(“BAAI/bge-small-zh”).to(device) # 准备测试数据 test_sentences [“这是一个测试句子。”] * 100 # 100条相同句子避免I/O影响 # 预热 _ model.encode([“warmup”]) # 测试批量编码 start time.time() embeddings model.encode(test_sentences, batch_size32, devicedevice) elapsed time.time() - start print(f“处理 {len(test_sentences)} 条句子耗时 {elapsed:.3f} 秒”) print(f“平均每条句子耗时 {elapsed/len(test_sentences)*1000:.2f} 毫秒”)运行此脚本分别在有 GPU 和无 GPU 的环境下可以直观感受到速度差异。7.3 影响性能的关键参数batch_size这是最重要的参数。增大batch_size能极大提升 GPU 利用率但会线性增加显存占用。需要根据你的显卡显存和模型大小找到平衡点如 32, 64, 128。CPU 环境下batch_size对速度影响较小主要受内存带宽限制。文本长度模型处理文本时会将其转换为 Token。文本越长计算量越大耗时越长。超过模型最大长度如512的部分通常会被截断。模型本身模型参数量如small,base,large直接影响加载速度、内存占用和推理速度。bge-small-zh在速度和效果上取得了很好的平衡。优化建议生产环境务必使用GPU 合适的batch_size。对于超长文本考虑先进行摘要或分段再对分段进行 Embedding。如果服务 QPS每秒查询率不高但单次请求文本量大可以适当调小batch_size以服务更多并发请求。8. 常见问题与排查方法在本地部署和使用 Embedding 模型时你可能会遇到以下问题。这里提供快速的排查思路。问题现象可能原因排查方式解决方案ModuleNotFoundError: No module named ‘sentence_transformers’sentence-transformers库未安装或环境错误。在终端执行 pip listgrep sentence 确认。下载模型时网络错误或极慢默认从 Hugging Face 下载国内网络可能不稳定。观察下载进度或错误信息。1. 使用国内镜像源需配置HF_ENDPOINT环境变量。2. 手动下载模型文件到本地然后从本地路径加载SentenceTransformer(‘/your/local/path’)。CUDA out of memoryGPU 显存不足通常是因为batch_size设置过大或模型太大。运行nvidia-smi查看显存占用。1. 减小encode函数的batch_size参数。2. 换用更小的模型如bge-small-zh-v1.5。3. 在 CPU 上运行model.encode(..., device‘cpu’)。生成的向量相似度不合理如所有句子相似度都接近1生成向量后没有进行归一化normalize_embeddingsTrue。检查调用encode时是否设置了normalize_embeddingsTrue。确保在计算余弦相似度前对向量进行 L2 归一化。这是标准做法。API 服务启动后无法访问防火墙阻止、端口被占用、服务绑定到127.0.0.1而非0.0.0.0。1. 检查服务日志是否有错误。2. 在本机使用curl http://127.0.0.1:端口/health测试。3. 使用 netstat -anofindstr :端口(Win) 或lsof -i:端口 (Linux/Mac) 查看端口状态。处理长文本时效果差或报错文本长度超过了模型的最大序列长度。查看模型文档或打印model.max_seq_length属性。1. 对长文本进行分段如按句号、段落分割。2. 使用支持更长上下文的模型如bge-large-zh可能支持 1024。3. 采用滑动窗口等策略处理。相似度计算时数值异常如 NaN输入了空字符串或全部是标点符号的文本导致向量模长为0归一化出错。检查输入文本。在编码前对文本进行预处理过滤掉无效文本。9. 最佳实践与使用建议掌握了基础操作后遵循一些最佳实践能让你的 Embedding 应用更稳健、高效。模型选型是第一要务中文任务优先考虑BAAI/bge-*系列如bge-small-zh,bge-base-zh,bge-large-zh它们在中文社区被广泛验证。多语言任务考虑sentence-transformers/all-MiniLM-L6-v2或intfloat/multilingual-e5-large。领域适配如果领域特殊如医学、法律寻找在该领域语料上微调过的 Embedding 模型效果会显著提升。预处理与后处理预处理清洗文本去除无关字符、HTML标签、统一编码、必要时进行分词。对于检索任务有时将长文档拆分为语义完整的“块”Chunk比整篇编码效果更好。后处理务必进行向量归一化normalize_embeddingsTrue这是正确计算余弦相似度的前提。归一化后的向量内积就等于余弦相似度。向量存储与检索不要自己用列表或数据库存向量做暴力检索。一定要用专业的向量数据库如 Chroma轻量、Qdrant性能好、Milvus功能全、PGVector与 PostgreSQL 集成。它们支持高效的近似最近邻搜索ANN能在毫秒级从百万级向量中找出最相似的几个。服务化与监控将 Embedding 模型封装为 API 服务时建议添加健康检查端点/health、性能指标请求数、平均延迟、错误率和限流机制。使用gunicorn/uvicorn配合多个工作进程workers来提高并发处理能力。成本与效果权衡在效果满足要求的前提下选择更小的模型。bge-small-zh在很多场景下已经足够好且速度快、资源消耗低。对于海量数据可以考虑先使用快速模型如bge-small-zh进行粗筛再用大模型对粗筛结果进行精排的两阶段策略。合规与安全本地部署 Embedding 模型是保障企业数据隐私的最佳方式。如果处理用户数据需遵循相关隐私政策对数据进行脱敏或获取用户授权。确保使用的开源模型许可证允许你的使用场景商用、修改等。Embedding 作为 AI 应用的“基础设施”其稳定性和效果直接影响上层应用如 RAG、推荐系统的用户体验。从一个小模型开始跑通“文本-向量-存储-检索”的全流程是理解其价值最有效的方式。之后再根据具体业务需求在模型、预处理、检索策略等环节进行迭代优化。