100万token上下文NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4长文本处理指南【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4是一款由NVIDIA开发的部署优化型大语言模型基于Nemotron-3-Super-120B-A12B通过Iterative Puzzle后训练压缩框架构建。该模型专为交互式、推理密集型和长上下文工作负载设计在保持出色下游任务准确性的同时显著提升推理效率尤其擅长处理百万token级别的长文本内容。 模型核心优势长上下文处理的终极解决方案 惊人的100万token上下文窗口该模型支持高达100万token的上下文长度能够轻松处理整本书籍、超长文档或复杂代码库的分析任务。在RULER 1M基准测试中模型达到了93.2%的准确率展现了其在超长文本理解方面的卓越能力。⚡ 优化的推理性能相比其母体模型Puzzle-75B-A9B将总参数从120.7B减少到75.3B活动参数从12.8B减少到9.3B同时在单节点8×B200上实现了约2倍的服务器吞吐量提升。在H100 GPU上100万token上下文的并发请求能力从1个提升到8个极大提高了长文本处理的效率。️ 混合架构设计模型采用了混合MoE架构交错使用Mamba、MoE和注意力层并支持Multi-Token Prediction (MTP)以加速文本生成。这种创新设计使其在处理长文本时既能保持高效率又能维持推理质量。 快速开始部署与使用指南 环境准备要开始使用NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4首先需要克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4推荐使用vLLM进行部署需确保安装vLLM v0.20.0或更高版本。 使用vLLM部署推荐在NVIDIA Blackwell GPU上部署NVFP4 checkpoint的命令如下vllm serve $path \ --served-model-name $model \ --port $port \ --tensor-parallel-size $tp \ --enable-expert-parallel \ --async-scheduling \ --trust-remote-code \ --mamba-backend flashinfer \ --mamba_ssm_cache_dtype float16 \ --enable-mamba-cache-stochastic-rounding \ --mamba-cache-philox-rounds 5 \ --speculative-config {method:mtp,num_speculative_tokens:3} \ --tool-call-parser qwen3_coder \ --reasoning-parser nemotron_v3 \ --enable-auto-tool-choice注意NVIDIA建议将tensor-parallel-size设置为2或4。对于MTP推荐num_speculative_tokens3作为默认值在低批次/延迟敏感部署中5或7可能更有利。 使用Transformers库确保Transformers版本≥5.3.0然后使用以下代码加载模型import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer AutoTokenizer.from_pretrained(nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4) model AutoModelForCausalLM.from_pretrained( nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue ) 长文本处理实战示例 处理超长文档以下示例展示了如何使用模型处理超长文本from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keyEMPTY) MODEL nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4 # 处理超长文档 with open(超长文档.txt, r) as f: long_document f.read() response client.chat.completions.create( modelMODEL, messages[{role: user, content: f总结以下文档的核心观点: {long_document}}], max_tokens16000, temperature0.7, top_p0.95, extra_body{chat_template_kwargs: {enable_thinking: True}} ) print(response.choices[0].message.content) 启用低功耗推理模式对于长文本处理可使用低功耗推理模式减少资源消耗response client.chat.completions.create( modelMODEL, messages[{role: user, content: 分析这份100页的技术报告并提取关键发现}], max_tokens16000, temperature0.7, top_p0.95, extra_body{chat_template_kwargs: {enable_thinking: True, low_effort: True}} ) 模型架构解析 压缩优化技术Puzzle-75B-A9B通过多阶段压缩流程构建包括异构MoE通道剪枝将专家中间维度从2688减少到1280-2688层依赖异构活动专家减少将每个token激活的专家数量从22减少到4-18层依赖Mamba SSM状态剪枝将Mamba状态大小从128减少到96通道这些优化通过configuration_nemotron_h_puzzle.py中的NemotronHPuzzleConfig类实现允许每一层拥有独立的配置参数。️ 代码架构模型实现的核心在modeling_nemotron_h_puzzle.py中通过NemotronHPuzzleBlock和NemotronHPuzzleForCausalLM类实现了异构层配置支持。这种设计允许每个层根据其特定配置进行构建最大化长文本处理效率。 性能基准测试模型在长上下文任务上表现优异以下是关键基准测试结果长上下文基准NVFP4版本AA-LCR57.1RULER 256k95.3RULER 512k94.8RULER 1M93.2这些结果表明即使在100万token的超长上下文中模型仍能保持高水平的准确性。 适用场景NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4特别适合以下长文本处理场景法律文档分析处理完整的法律合同和案例文件学术研究分析长篇论文和文献综述代码库理解处理整个代码库并生成文档书籍摘要生成整本书籍的详细摘要RAG系统作为检索增强生成系统的核心模型⚠️ 注意事项模型默认上下文大小为256k如需使用1M token上下文需调整配置长文本处理需要较大的GPU内存推荐使用NVIDIA Blackwell或Hopper架构GPU对于特别长的生成场景建议使用--api-server-count 4以提高吞吐量完整的安全考虑和伦理指南请参见safety.md和bias.md 相关资源技术报告Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs推理优化Megatron-Bridge评估工具Nemo Evaluator SDK通过本指南您应该能够充分利用NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4的强大长文本处理能力轻松应对百万token级别的文本理解和生成任务。无论是学术研究、商业分析还是创意写作这款模型都能为您提供高效、准确的AI辅助支持。【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考