大模型基础模型代码模型AI Agent人工智能【免费下载链接】Nanbeige4.3-33B项目地址https://ai.gitcode.com/hf_mirrors/Nanbeige/Nanbeige4.3-33B点击查看免费下载Nanbeige4.3-33B 是 Nanbeige4.3 系列的旗舰开源大模型它基于经典Llama 架构约 33B 参数凭借GQA 分组查询注意力和高达120M 基底的 RoPE位置编码原生支持512K524,288 tokens超长上下文。本文带你逐层拆解这份模型的架构配置看懂它小参数、长上下文、强推理背后的工程取舍。 一分钟认识 Nanbeige4.3-33B定位Nanbeige4.3 系列的教师模型主打复杂编程Agentic Coding与专业办公任务Agentic Cowork是后续小模型蒸馏的基座实力在 ~30B 量级开源模型中领跑多项基准——Terminal-Bench 2.1 得分80.9、DeepSWE65.5、AIME 202695.2上下文原生524,288 tokens512K无需位置编码外推技巧生态transformers / SGLang / vLLM 三大框架开箱即用更多背景见 README.md。 核心架构参数一览所有参数均可在 config.json 中直接找到这里整理成一张速查表项目参数名取值说明架构architecturesLlamaForCausalLM标准 decoder-only 因果语言模型层数num_hidden_layers52深度较浅、宽度较大隐层维度hidden_size7168远宽于同级常见配置注意力头数num_attention_heads56Q 头数量KV 头数num_key_value_heads8GQA 的核心7:1 分组每头维度head_dim/kv_channels12856 × 128 7168恰好等于隐层宽度FFN 中间层intermediate_size22016约为隐层宽度 3 倍激活函数hidden_actsilu与 gate/up/down 结构组成 SwiGLU归一化rms_norm_eps1e-5RMSNorm无 bias位置编码rope_theta120,000,000RoPE 基底高达 1.2 亿上下文长度max_position_embeddings524,288即 512K词表大小vocab_size166,912大词表特殊 token 见 special_tokens_map.json精度torch_dtypebfloat16BF16 存储权重 为什么选择 Llama 架构Nanbeige4.3-33B 采用的是纯 Dense稠密Llama 结构没有 MoE 专家路由每层只有固定的 7 组线性权重q/k/v/o_proj gate/up/down_proj。从权重映射文件 model.safetensors.index.json 可以看到52 层 × 每层 7 组投影 2 组 LayerNorm外加全局的embed_tokens、lm_head和末尾normPre-Norm 布局input_layernorm → 注意力 → post_attention_layernorm → FFN训练更稳定全程无 biasattention_bias: false、mlp_bias: false现代大模型的标配瘦身手段零 Dropoutattention_dropout、embd_pdrop、resid_pdrop均为 0选择标准 Llama 架构的最大好处是生态零适配成本transformers 原生识别model_type: llamaSGLang、vLLM 直接推理量化工具链GGUF、AWQ 等也完全通用。 GQA 分组注意力长上下文的省钱关键GQAGrouped-Query Attention是这份配置的亮点之一56 个 Q 头只对应 8 个 KV 头即每 7 个 Q 头共享一组 K/V。这带来的最直观收益是KV Cache 大幅缩水。我们可以手算一笔账BF16每元素 2 字节方案每 token 的 KV Cache512K 上下文所需MHA56 个 KV 头56 × 128 × 2 × 52 层 × 2B ≈1.42 MB约728 GiBGQA8 个 KV 头8 × 128 × 2 × 52 层 × 2B ≈208 KB约104 GiBKV Cache 直接缩小到1/7节省约 86%——如果没有 GQA512K 上下文在工程上几乎不可行。这也是为什么长上下文模型几乎都用 GQA的教科书式例证。 小提示config.json 和 generation_config.json 中use_cache: false只是 transformers 参考实现的默认设置避免单卡吃满显存生产部署时在 vLLM / SGLang 中会自动启用 KV Cache 与 PagedAttention 优化。 512K 超长上下文是如何实现的答案藏在两个参数里rope_theta 120,000,0001.2 亿RoPE 的旋转基底决定了位置信号的频率分辨率。对比一下Llama 2 的基底是 10,000Llama 3 是 500,000而 Nanbeige4.3-33B 直接拉到1.2 亿。基底越大高频分量越多模型在 50 万 的位置上仍能精准区分第 300,000 个 token和第 300,001 个 token长距离注意力不易混叠。rope_scaling: null这个字段为null意味着模型是原生训练支持 512K 的而不是靠 YaRN / NTK 等运行期外推技巧拉伸出来的。max_position_embeddings与seq_length一致锁定在524,288所见即所得不存在标称 512K、实际打折的问题。⚙️ 其他值得留意的架构细节SwiGLU 前馈网络silu(gate_proj(x)) ⊙ up_proj(x)再经down_proj压回 7168中间层 22016 约为隐层宽度的 3.07 倍兼顾表达力与效率词嵌入不共享tie_word_embeddings: false输入embed_tokens与输出lm_head各自独立各约 11.9 亿参数166,912 × 7168大词表166,912 个 tokenbos_token_id: 166100、eos_token_id: 166101分词器定义见 tokenizer.json 与 tokenizer_config.json初始化initializer_range: 0.02pretraining_tp: 1无预训练张量并行切分 权重分片与部署建议模型以14 个 BF16 分片发布合计约66 GB对应约 33B 参数分片文件model-00001-of-00014.safetensors model-00014-of-00014.safetensors张量索引model.safetensors.index.json471 个张量的完整映射部署时官方推荐4 卡张量并行tp-size 4/--tensor-parallel-size 4并按场景调整推理参数场景TemperatureTop_pMax New TokensAgentic / 工具调用1.00.9565,536推理 / 对话0.60.95262,144三种启动方式Transformers、SGLang、vLLM的完整命令都在 README.md 的 Quickstart 章节中。写在最后Nanbeige4.3-33B 的架构哲学可以概括为一句话用最成熟的 Llama 骨架把省做到极致。7:1 的 GQA 让 KV Cache 缩到 1/71.2 亿的 RoPE 基底换来原生的 512K 视野无 bias、RMSNorm、SwiGLU 则保证了训练的稳定性与推理的效率。对新手而言读懂这份 config.json 里的每个字段也就掌握了拆解任何开源大模型架构的通用钥匙 赞分享大模型基础模型代码模型AI Agent人工智能【免费下载链接】Nanbeige4.3-33B项目地址https://ai.gitcode.com/hf_mirrors/Nanbeige/Nanbeige4.3-33B点击查看免费下载相关推荐揭秘K2-Horizon-7B-bf16架构36层Decoder、GQA注意力与RoPE(theta10M)如何实现512K超长上下文揭秘K2 Horizon 7B bf16架构36层Decoder、GQA注意力与RoPE theta10M 如何实现512K超长上下文 K2 HorizonLlama-3.1-8B_rai_1.8.0_hybrid架构参数全解hidden 4096、32层GQA注意力与128K长上下文的秘密Llama 3.1 8B_rai_1.8.0_hybrid架构参数全解hidden 4096、32层GQA注意力与128K长上下文的秘密 Llama 3.1Agents-A1-4B架构揭秘线性注意力混合MTP如何实现262K超长上下文Agents A1 4B架构揭秘线性注意力混合MTP如何实现262K超长上下文 Agents A1 4B 是 InternScience 团队上海人工智能实上一篇dynamic-datasource方法拦截器AOP实现原理下一篇BiliTools如何通过AI视频总结功能解决长视频学习效率问题创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考