Nemotron-3-Embed-8B-BF16NVIDIA革命性多语言文本嵌入模型完全指南【免费下载链接】Nemotron-3-Embed-8B-BF16项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Embed-8B-BF16Nemotron-3-Embed-8B-BF16是由NVIDIA开发的革命性多语言文本嵌入模型专为检索和语义相似性任务优化提供强大的多语言和跨语言检索能力是基于文本的检索增强生成RAG系统的基础组件。截至2026年7月16日该模型在多语言RTEB排行榜上实现了最先进的性能并且已准备好投入商业使用。模型核心优势与特点 ✨突破性的多语言支持能力Nemotron-3-Embed-8B-BF16支持34种语言包括英语、阿拉伯语、中文、日语、韩语、法语、德语等主要语言能够为全球用户提供无缝的跨语言检索体验。无论是处理技术文档、学术论文还是日常文本模型都能准确捕捉语义信息实现跨语言的精准匹配。卓越的检索性能指标根据RTEBRetrieval Embedding Benchmark评估结果Nemotron-3-Embed-8B-BF16在各项关键指标上均表现优异模型名称RTEB 16平均NDCG10ViDoRe-V3文本平均NDCG10MMTEB检索平均NDCG10llama-nemotron-embed-vl-1b-v261.9852.5459.71Nemotron-3-Embed-1B-BF1672.3857.7471.04Nemotron-3-Embed-8B-BF1678.4660.6075.45优化的架构设计该模型基于Ministral-3-8B-Instruct-2512构建采用Transformer编码器架构具有以下关键参数模型参数约80亿隐藏层大小4096注意力头数32隐藏层数34最大序列长度32768模型通过对Transformer的令牌级表示应用平均池化来获得最终嵌入向量将每个输入文本编码为4096维的密集嵌入向量支持动态嵌入大小调整通过从向量起始位置切片例如保留前2048或1024维仍能保持高功能性。快速开始3种简单使用方法 方法一使用Sentence Transformers推荐新手Sentence Transformers提供了最简单的本地Python接口自动处理查询和文档提示以及归一化元数据。首先安装必要依赖pip install --upgrade torch pip install --upgrade transformers5.2.0 sentence-transformers5.4.1基本使用代码import torch from sentence_transformers import SentenceTransformer MODEL_ID nvidia/Nemotron-3-Embed-8B-BF16 model SentenceTransformer( MODEL_ID, devicecuda, model_kwargs{ dtype: torch.bfloat16, attn_implementation: flash_attention_2, }, processor_kwargs{padding_side: left}, ) model.max_seq_length 32768 # 编码查询和文档 query_embeddings model.encode_query([你的查询文本], batch_size1, convert_to_tensorTrue) document_embeddings model.encode_document([你的文档文本], batch_size1, convert_to_tensorTrue) # 计算相似度 scores model.similarity(query_embeddings, document_embeddings) print(相似度分数:, scores)方法二使用Transformers适合需要更多控制的用户当需要手动控制令牌化、池化或批处理时可以直接使用Transformers库。核心代码示例import torch import torch.nn.functional as F from transformers import AutoModel, AutoTokenizer MODEL_ID nvidia/Nemotron-3-Embed-8B-BF16 MAX_LENGTH 32768 # 加载模型和分词器 tokenizer AutoTokenizer.from_pretrained(MODEL_ID, padding_sideleft) model AutoModel.from_pretrained(MODEL_ID, dtypetorch.bfloat16).to(cuda) # 平均池化函数 def average_pool(last_hidden_state: torch.Tensor, attention_mask: torch.Tensor) - torch.Tensor: last_hidden last_hidden_state.masked_fill(~attention_mask[..., None].bool(), 0.0) return last_hidden.sum(dim1) / attention_mask.sum(dim1)[..., None] # 编码文本 def encode_texts(texts: list[str]) - torch.Tensor: encoded tokenizer(texts, max_lengthMAX_LENGTH, truncationTrue, paddingTrue, return_tensorspt).to(cuda) with torch.inference_mode(): output model(**encoded) pooled average_pool(output.last_hidden_state, encoded[attention_mask]) return F.normalize(pooled, p2, dim-1) # 使用示例 query_embeddings encode_texts([query: 你的查询文本]) document_embeddings encode_texts([passage: 你的文档文本]) similarity query_embeddings document_embeddings.T print(相似度分数:, similarity.item())方法三使用vLLM进行高效服务部署vLLM提供了高性能的服务部署选项支持BF16推理适合生产环境使用。安装vLLMpip install --upgrade vllm0.25.0 openai requests numpy启动服务vllm serve nvidia/Nemotron-3-Embed-8B-BF16 --host 0.0.0.0 --port 8000API调用示例import requests MODEL nvidia/Nemotron-3-Embed-8B-BF16 URL http://localhost:8000/v2/embed def embed(input_type: str, texts: list[str]): response requests.post( URL, json{ model: MODEL, input_type: input_type, texts: texts, embedding_types: [float], truncate: END, }, timeout120, ) return response.json()[embeddings][float] # 获取嵌入 query_embeddings embed(query, [你的查询文本]) document_embeddings embed(document, [你的文档文本])实际应用场景与案例 多语言语义搜索系统Nemotron-3-Embed-8B-BF16非常适合构建多语言语义搜索引擎。通过将用户查询和文档都转换为嵌入向量可以实现跨语言的精准匹配。例如用户用中文查询人工智能最新发展系统能返回英文、日文等多种语言的相关文档并按相关性排序。智能问答系统构建基于大型文本语料库的多语言问答应用利用最新的密集检索技术。模型能够准确理解问题意图从海量文档中找到最相关的答案段落为用户提供精准回答。RAG增强型对话系统作为RAG检索增强生成系统的核心组件Nemotron-3-Embed-8B-BF16能够为大型语言模型提供准确的上下文信息显著提升生成内容的准确性和可靠性减少幻觉问题。安装与部署指南 环境要求操作系统Linux硬件要求NVIDIA GPUAmpere、Blackwell或Hopper架构软件依赖Python 3.8、PyTorch 2.0、CUDA 11.7模型获取通过Git克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/Nemotron-3-Embed-8B-BF16依赖安装推荐使用NVIDIA PyTorch容器docker run -it --gpus all nvcr.io/nvidia/pytorch:26.06-py3 pip install --upgrade transformers5.2.0 sentence-transformers5.4.1若不使用容器可直接安装# 安装PyTorch根据你的CUDA环境选择合适的命令 pip install --upgrade torch # 安装Transformers和Sentence Transformers pip install --upgrade transformers5.2.0 sentence-transformers5.4.1性能优化与最佳实践 ⚡输入文本处理模型最大序列长度为32768对于更长的输入应进行分块或截断使用模型提供的查询和文档提示前缀query: 用于查询passage: 用于文档嵌入向量是L2归一化的因此点积和余弦相似度是等效的硬件加速启用FlashAttention-2可显著提高性能设置attn_implementationflash_attention_2在NVIDIA Hopper架构GPU如H100上可获得最佳性能对于生产环境推荐使用vLLM进行服务部署实现高吞吐量和低延迟常见问题解决加载模型时可能会出现以下警告这是正常现象不会影响模型加载或推理[transformers] Unrecognized keys in rope_parameters for rope_typeyarn: {apply_yarn_scaling}许可证与使用条款 Nemotron-3-Embed-8B-BF16模型及其相关配置文件根据OpenMDW许可证协议1.1版OpenMDW-1.1授权。该模型基于Ministral-3-8B-Instruct-2512构建后者以Apache 2.0许可证发布。使用本项目将下载并安装其他第三方开源软件项目。在使用前请查看这些开源项目的许可条款。总结与展望Nemotron-3-Embed-8B-BF16作为NVIDIA推出的革命性多语言文本嵌入模型凭借其卓越的性能和广泛的语言支持为构建下一代检索增强型AI应用提供了强大基础。无论是多语言语义搜索、智能问答系统还是RAG增强型对话机器人该模型都能显著提升应用的准确性和用户体验。随着AI技术的不断发展Nemotron系列模型将持续优化为开发者提供更强大、更高效的工具推动自然语言处理领域的创新与应用。希望本指南能帮助您快速上手Nemotron-3-Embed-8B-BF16模型开启您的多语言文本检索之旅如有任何问题或建议请查阅项目中的LICENSE和CONTRIBUTING.md文件获取更多信息。【免费下载链接】Nemotron-3-Embed-8B-BF16项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Embed-8B-BF16创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考