如何在5分钟内开始使用Nemotron-3-Embed-1B-BF16Sentence Transformers快速入门指南【免费下载链接】Nemotron-3-Embed-1B-BF16项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Embed-1B-BF16Nemotron-3-Embed-1B-BF16是由NVIDIA开发的一款功能强大的文本嵌入模型专为检索和语义相似性任务优化。它提供了强大的多语言和跨语言检索能力可作为基于文本的检索增强生成RAG系统的基础组件支持包括中文在内的34种语言。 为什么选择Nemotron-3-Embed-1B-BF16这款轻量级模型仅有11.4亿参数却在多个多语言检索基准测试中实现了同类尺寸模型中的最先进性能。它能将文本转换为2048维的密集向量嵌入非常适合构建高效的语义搜索、问答系统和RAG应用。核心优势多语言支持无缝处理34种语言包括英语、中文、阿拉伯语、法语等高效性能在保持高精度的同时模型体积小推理速度快即插即用与Sentence Transformers和Hugging Face生态系统完美集成商业友好采用OpenMDW 1.1许可证允许商业用途⚙️ 快速安装步骤1. 准备环境确保您的系统已安装Python 3.8和CUDA环境。推荐使用NVIDIA PyTorch容器以获得最佳性能pip install --upgrade torch pip install --upgrade transformers5.2.0 sentence-transformers5.4.12. 获取模型您可以直接通过Hugging Face模型ID使用模型或克隆仓库到本地git clone https://gitcode.com/hf_mirrors/nvidia/Nemotron-3-Embed-1B-BF16 基本使用方法Sentence Transformers接口推荐Sentence Transformers提供了最简单的使用方式自动处理查询和文档提示以及归一化元数据import torch from sentence_transformers import SentenceTransformer # 加载模型 model SentenceTransformer( nvidia/Nemotron-3-Embed-1B-BF16, devicecuda, model_kwargs{ dtype: torch.bfloat16, attn_implementation: flash_attention_2, # 如无FlashAttention可改为sdpa }, ) model.max_seq_length 32768 # 设置最大序列长度 # 示例查询和文档 QUERIES [ 如何用Python计算列表中元素的频率, 如何减少花粉过敏的暴露 ] DOCUMENTS [ def frequency_lists(list1):\n flattened [item for sublist in list1 for item in sublist]\n counts {}\n for item in flattened:\n if item in counts:\n counts[item] 1\n else:\n counts[item] 1\n return counts, 花粉过敏患者可通过在干燥多风的日子待在室内、避免清晨户外活动以及雨后花粉水平较低时外出等方式减少暴露。 ] # 生成嵌入 query_embeddings model.encode_query(QUERIES, convert_to_tensorTrue) document_embeddings model.encode_document(DOCUMENTS, convert_to_tensorTrue) # 计算相似度 scores model.similarity(query_embeddings, document_embeddings) print(相似度分数:) for i, query in enumerate(QUERIES): print(f查询: {query}) for j, doc in enumerate(DOCUMENTS): print(f 文档 {j1}: 分数 {scores[i][j].item():.4f})预期输出相似度分数: 查询: 如何用Python计算列表中元素的频率 文档 1: 分数 0.8125 文档 2: 分数 -0.0312 查询: 如何减少花粉过敏的暴露 文档 1: 分数 0.0214 文档 2: 分数 0.7734 关键配置参数模型的核心配置存储在config.json和config_sentence_transformers.json中主要参数包括嵌入维度2048维最大序列长度32768 tokens提示前缀查询使用query: 文档使用passage: 定义在config_sentence_transformers.json中相似度函数余弦相似度注意力实现默认使用FlashAttention-2以提高性能 使用技巧输入处理对于长文本建议分块处理每块不超过32768 tokens确保查询和文档分别使用query: 和passage: 前缀性能优化使用GPU加速模型支持BF16精度在NVIDIA GPU上性能最佳批量处理通过调整batch_size参数提高吞吐量应用场景语义搜索为文档库建立嵌入索引实现高效相似性搜索RAG系统作为检索组件为LLM提供相关上下文文本聚类将相似文本分组发现隐藏模式 许可证信息Nemotron-3-Embed-1B-BF16模型及其相关配置文件采用OpenMDW License Agreement, version 1.1 (OpenMDW-1.1)许可证。该模型基于Ministral-3-3B-Instruct-2512构建后者采用Apache 2.0许可证。️ 高级使用选项除了Sentence Transformers您还可以使用Transformers库提供对标记化、池化和批处理的手动控制vLLM支持高效的在线服务和离线推理适合生产环境部署详细示例请参考项目README.md中的Usage部分。通过本指南您已经掌握了Nemotron-3-Embed-1B-BF16的基本使用方法。这个强大的嵌入模型将帮助您构建高效的语义检索系统为您的应用带来强大的文本理解能力【免费下载链接】Nemotron-3-Embed-1B-BF16项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Embed-1B-BF16创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考