声明本文为个人技术学习笔记内容基于月之暗面官方2026年7月14日公开的技术博客整理非商业推广。一、开源模型的「3T 俱乐部」终于有人了2026年7月14日月之暗面Moonshot AI放出了 Kimi K3 的技术博客和模型参数规模达到2.8 万亿2.8T。坦白说这个数字本身就很炸裂——在 K3 之前开源模型的天花板一直在 1T 左右晃荡闭源那边 Claude Fable 5 和 GPT 5.6 Sol 早就跑到前面去了。K3 直接把天花板从 1T 拉到接近 3T让开源阵营第一次有了真正的「3T 级选手」。当然月之暗面自己也承认整体表现还是落后于 Fable 5 和 GPT 5.6 Sol但在他们的评测里K3 稳定超过了其他所有被测模型。二、核心变化不只是堆参数架构层面K3 最大的变化不是参数翻倍而是换了一套新架构KDA 混合线性注意力Kimi Delta Attention这就是那个能让百万 token 上下文跑起来的关键。传统注意力机制在超长序列下计算量爆炸KDA 换了个路子Attention Residuals注意力残差不是每层都无脑累积信息而是有选择地跨深度检索。这个理解起来有点像跳连接skip connection的进阶版Stable LatentMoE896 个专家里激活 16 个。对比 K2 的 256 选 8专家池子翻了 3.5 倍几个听起来冷门但实际挺重要的改进技术点一句话解释Quantile Balancing专家路由不需要手动调平衡超参数了路由分数分位数自动算Per-Head Muon优化器改进每个注意力头独立优化SiTU 激活函数新激活函数训练更稳Gated MLA门控多头注意力选择性更强MXFP4MXFP8 量化从 SFT 阶段就用量化感知训练省显存月之暗面说这些改进加起来相比 K2 的训练效率提升了约 2.5 倍——就是说花同样的算力能「榨」出更多智能。部署层面K3 推荐在64 加速器的超节点上跑这个门槛不低。vLLM 社区已经有对应的 KDA with Prefill Cache 实现随模型权重一起开。三、K3 和它前辈们月之暗面这一年多打得很勤快过去 12 个月里有 9 个月都在刷开源模型的规模上限型号时间K1.52025年1月K22025年7月1T开源K2 Thinking2025年11月开源K2.52026年1月未开源K2.62026年4月开源K32026年7月2.8T开源规格对比维度K2K2.5K2.6K3参数量1T~1T~1T2.8T总/激活专家256/8256/8256/8896/16上下文128K128K128K1M多模态❌✅✅✅思维链❌✅✅✅ 默认max权重开源✅❌✅✅7月27日从 K2 到 K3每隔几个月就迭代一个大版本迭代速度确实快。四、基准数据K3 在哪儿强、在哪儿弱以下数据全部来自官方技术博客。K3 评测时使用 max 思考强度温度 1.0。代码基准K3Fable 5GPT 5.6 SolOpus 4.8GPT 5.5SWE Marathon42.035.039.040.014.0Program Bench77.876.877.671.970.8Terminal-Bench 2.188.384.688.884.683.4FrontierSWE81.286.671.366.764.9DeepSWE67.570.073.059.067.0SWE Marathon 这个分差挺有意思——K3 42.0GPT 5.5 才 14.0。这块测的是复杂多文件长程编码差距这么大说明 K3 在这类任务上有明显优势。Agentic代理能力基准K3Fable 5GPT 5.6 SolBrowseComp91.288.090.4DeepSearchQAF195.094.2—Automation Bench30.829.129.7SpreadsheetBench 234.834.7*32.4*BrowseComp 和 DeepSearchQA 都是信息检索类任务K3 在这两个上拿了第一。Automation Bench 说明自动化工况下的稳定性也不错。视觉基准K3Fable 5GPT 5.6 SolOmniDocBench91.189.885.8MathVision w/ python97.898.697.8MMMU-Pro81.681.283.0ZeroBench无工具23.023.017.0OmniDocBench文档理解91.1 分大幅领先所有对手这个差距还挺明显的。五、几个让人印象深刻的案例官方博客里放了几个真正「干活」的场景不是那种跑个 demo 就完事的GPU 内核优化官方搞了个竞技场K3、Fable 5、Opus 4.8、GPT 5.6 Sol、GPT 5.5 各自在独立沙盒里限时 24 小时对 4 个 GPU 任务做剖析、重写、跑分。硬平台包括 NVIDIA H200 和某国产 GPU。K3 最终表现跟 Fable 5含回退差不多明显领先其他选手。更好玩的是在 K3 研发后期早期版本的 K3 就已经在帮团队做内核优化了——模型自己优化自己的底层代码。MiniTriton从零写 GPU 编译器K3 从零撸了一个叫 MiniTriton 的编译器类 Triton 风格基于 MLIR 做了自己的 tile 级 IR、优化 pass 和 PTX 代码生成。在一些负载上比原生 Triton 和 torch.compile 还强虽然 TF32/BF16 还在开发中。用 TensorLite 训练 nanoGPT 验证了端到端可用损失曲线能正常收敛。芯片设计K3 在 48 小时内用开源 EDA 工具和 Nangate 45nm 库独立完成了芯片设计、优化和验证。4mm² 面积146 万标准单元0.277MB SRAM100MHz 时序闭合仿真解码吞吐超 8,700 tokens/s。这颗芯片跑的是基于 K3 架构的 nano 模型——模型给自己设计了芯片。48 周的科研工作压缩到 2 小时在天体物理学这个案例里K3 花了大约 2 小时完成了这些交叉验证了 20 篇论文实现完整数值管线评估 300 种状态方程发现已发表公式里的不一致写了 3,000 行 Python 代码输出交互式 HTML 仪表盘正常来说这些工作量需要资深研究员 1-2 周。从 56 个素材剪辑成片K3 用 56 段素材剪了段品牌视频选片、动作匹配、逐帧卡点、音频处理、多轮修改全包了。高密度短视频通常专业剪辑师 1-2 天新手 3-5 天。六、还是要说的局限性官方技术博客里坦承了三个问题不是那种官方套话1. 对历史思考内容敏感K3 全程用「思考历史保留模式」训练的如果框架没有回传全部历史推理内容或者从其他模型的会话中途切到 K3生成质量会很不稳定。建议用 Kimi Code 这种兼容性验证过的框架不要中途切模型。2. 过于主动由于训练方向偏长程高难度任务遇到小问题或用户意图不明确时K3 可能自作主张。需要严格边界控制的话得在 system prompt 里写清楚约束。3. 用户体验仍有差距官方原话“与 Claude Fable 5 和 GPT 5.6 Sol 相比在用户体验上仍有一定差距。”这个坦率承认挺难得的。七、关于开源完整模型权重将在 2026 年 7 月 27 日前开放。目前 K3 已经可以在 kimi.com、Kimi AppiOS/Android/鸿蒙、Kimi Work 桌面客户端v3.1.0、Kimi Code 终端和 Kimi API 上使用。对开发者来说比较有用的信息当前默认 max 思考强度后续会增加 low/high 模式vLLM 社区已经有对应实现推荐 64 加速器的超节点部署技术报告和完整架构细节将随权重一同公布到时会更有技术深度可以挖。来源本文内容整理自月之暗面官方技术博客kimi.com/blog/kimi-k3所有基准数据为官方公布结果引用时尽量保留了评测条件说明。K3 使用 max 思考强度温度 1.0top-p 1.0。