一、模型速览项目说明发布方上海人工智能实验室InternLM / 书生团队开源时间2026-09GitHub 仓库 09-01 创建昇腾权重 09-10 放出10 月初国内媒体集中报道架构16B 参数稀疏 MoE单次推理激活约 1B Apple AToken 8 码本全离散视觉分词能力文本问答、文生图、图像理解、指令编辑、视频理解、3D 理解六任务一套权重路线encoder-free无 VAE、无 ViT底层为 LLaDA-2.0 块扩散语言模型许可证Apache 2.0可改、可商用权重状态昇腾 NPU 权重已放出英伟达权重截至 2026-10-06 仍 coming soon权重体积BF16 全量约 30GB 量级理论估算量化后约 10GB 量级理论估算官方未公布一句话它把理解 生成 视频 3D塞进一个 16B-A1B 的稀疏骨架里是把多模态统一表征从口号推到能下载权重的实验性落地。它与本专栏近期关注的统一多模态路线相似但 U2 是真正把视频与 3D 也并进同一套权重的开源尝试代价是部署目前只对昇腾成立、且没有现成的 OpenAI 式服务端。数据来源Hugging Face 模型卡internlm/InternLumina-U2、GitHub 仓库InternLM/InternLumina-U2、项目页internlm.github.io/InternLumina-U2均 Apache 2.0。关键提醒官方模型卡nvidia/目录截至 2026-10-06 仍标 coming soon英伟达卡用户暂无法下载对应权重这条是本周最需要先读清楚的。二、核心亮点为什么 U2 值得关注1. 一套权重覆盖六件事少维护一条链路。过去看懂和画出来是两套模型、两套部署、两套后处理U2 把文本、图、视频、3D 的理解与生成并到一套权重对多模态研究团队意味着少管一套服务、少对齐一套接口。2. 16B-A1B 稀疏单 token 算力开销低。总参 16B、激活约 1B同样跑一个 token 的算力摊薄比稠密 16B 低不少这是它敢落到本地至少是国产 NPU的前提。3. 8 码本全离散绕开单码本的信息坍缩。它不用 VAE/ViT视觉靠 AToken 压成 8 个码本的全离散表示输入时八码本嵌入拼成骨干一个 token输出时先空间并行去噪、再按码本深度自回归解码。赌的就是 8 码本能同时兜住局部纹理、嵌入文字、几何和高频细节。4. Apache 2.0 日零生态但硬件坑要警惕。仓库、权重、推理脚本齐全许可证宽松但英伟达权重迟迟未放本地跑目前只对昇腾 NPU 成立。这意味着能下载≠你的卡能跑部署前先确认硬件别等 clone 完才发现下不到权重来源模型卡 / OrcaRouter。三、部署实战昇腾版可运行链路环境准备官方仓库需源码依赖bashgit clone https://github.com/InternLM/InternLumina-U2.git cd InternLumina-U2 pip install -r requirements.txt下载昇腾权重并推理文生图 文本官方原生入口bashpip install -U huggingface_hub[cli] huggingface-cli download internlm/InternLumina-U2 --include ascend/* --local-dir ckpt/ascend # 文本问答 CHECKPOINTckpt/ascend SECTIONtext \ TEXT_PROMPT用三句话解释为什么天空是蓝色的。 \ bash infer_1024_sft.sh # 文生图96 步去噪CFG3.0 CHECKPOINTckpt/ascend SECTIONt2i T2I_PROMPT雪山湖泊日落 \ T2I_SIZE1024x1024 T2I_CFG3.0 T2I_TIMESTEPS96 \ bash infer_1024_sft.sh驱动脚本infer_1024_sft.sh按SECTION切任务text、t2i、mmu看图问答、edit指令改图支持双 CFG、video64 帧采样、3d需先把 GLB/GLTF 用自带 Blender 4.5 管线烘成 64 个带深度视角。图像/视频/3D 任务必须依赖 flash-attn 与 AToken 分词器缺一则起不来。效果封装Python 薄壳批量调原生入口pythonimport os import subprocess REPO /path/to/InternLumina-U2 # 改成你的实际路径 CKPT ckpt/ascend # 昇腾权重已放出英伟达版待官方放出 def run(task: str, prompt: str) - int: env {**os.environ, CHECKPOINT: CKPT} cmd [bash, infer_1024_sft.sh] if task text: env[SECTION] text env[TEXT_PROMPT] prompt elif task t2i: env[SECTION] t2i env[T2I_PROMPT] prompt env[T2I_SIZE] 1024x1024 env[T2I_CFG] 3.0 env[T2I_TIMESTEPS] 96 else: raise ValueError(f未实现的任务: {task}) return subprocess.run(cmd, cwdREPO, envenv).returncode if __name__ __main__: # 它不走 OpenAI 协议没有 /v1/chat/completions 服务这里直接调官方原生入口 run(text, 用三句话解释为什么天空是蓝色的。)接业务自己包一层 OpenAI 兼容服务端它原生没有/v1/chat/completions要接生产得自己包。下面用 FastAPI 露一个兼容端点再用 openai SDK 直调pythonfrom fastapi import FastAPI, Request, Response import subprocess, os, json app FastAPI() REPO /path/to/InternLumina-U2 CKPT ckpt/ascend app.post(/v1/chat/completions) async def chat(req: Request): data await req.json() prompt data.get(messages, [{}])[-1].get(content, ) env {**os.environ, CHECKPOINT: CKPT, SECTION: text, TEXT_PROMPT: prompt} r subprocess.run([bash, infer_1024_sft.sh], cwdREPO, envenv, capture_outputTrue, textTrue) return Response(contentjson.dumps({ object: chat.completion, model: InternLumina-U2, choices: [{message: {role: assistant, content: r.stdout[-1500:]}, finish_reason: stop}], }), media_typeapplication/json)pythonfrom openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keynot-needed) resp client.chat.completions.create( modelInternLumina-U2, messages[{role: user, content: 用三句话解释为什么天空是蓝色的。}], ) print(resp.choices[0].message.content)备选链路 / 低显存提示目前官方只放出昇腾权重未见 GGUF / 量化版发布按 16B 参数量毛估 BF16 全量约 30GB、量化后约 10GB但扩散推理需额外缓存且原生没有 CPU offload 之类兜底开关低显存卡12–16GB暂不建议硬上等官方量化或英伟达权重放出再评估。说明以上步骤来自官方 GitHub README 与项目页 Quickstartinfer_1024_sft.sh、SECTION等命名以最新仓库源码为准。本机无 GPU未做实测显存与速度均为按参数量的理论估算请读者按自有硬件验证。四、性能测评同级模型怎么选模型总参 / 激活统一多模态许可证GenEval(文生图)备注InternLumina-U216B / 1B文本图视频3DApache 2.00.81厂商自报六任务一套权重LLaDA2.0-Uni—文本图—0.89纯生成对照InternVL3-8B8B稠密仅理解Apache 2.0—理解向对照数据来源GenEval 对比 U2 0.81 / LLaDA2.0-Uni 0.89 引自项目页与 OrcaRouter其余 ChartQA 86.52、CharXiv-DQ 83.65、MathVision 33.22、DynaMath 56.37、VideoMME 51.26、MVBench 59.74、MLVU 57.03、DPG-Bench 87.10、ImgEdit 3.83、3D MM-Vet 41.8 均为模型官方项目页与 README 标注的初步、部分结果待技术报告全部为厂商自报无第三方独立复测。质量看三个维度统一性——六任务一套权重是它最大的叙事差异省部署但牺牲单任务极致性能生成——GenEval 0.81 落后于同路线的 LLaDA2.0-Uni0.89至少这项它没赢理解——ChartQA 86.52、CharXiv-DQ 83.65 等数字看着不低但均为厂商自报、待报告与复测方向性参考即可。它的长板是统一表征的覆盖广度不是某条垂线的性能冠军。为什么统一是这次最该关注的点因为传统多模态流水线要同时维护理解与生成两套模型、两套服务、两套后处理U2 把六件事并到一套权重对研究与原型是少维护一条链路。但统一也意味着单任务的天花板可能被各自专精的模型压着——挑几个顺眼数字讲全面超越正是完整对比表待出想缓冲的事。数据口径提醒除 GenEval 对比来自项目页/OrcaRouter其余均为厂商自报、待技术报告与第三方复测显存与速度官方未公布本文为按参数量的理论估算未做本机实测请读者按硬件自查。结论InternLumina-U2 是本周最值得在昇腾上试的统一多模态开源权重——16B-A1B 稀疏、Apache 2.0 宽松、方向前瞻但英伟达权重 coming soon、无 OpenAI 服务端、分数全厂商自报是它的三道约束研究与原型随便造真要落地生产先解决硬件与接口两道坎。五、使用建议部署档位速查昇腾 NPU如 910B 等拉ascend/*权重直接跑infer_1024_sft.shSECTION切任务。英伟达卡暂不可行nvidia/目录 2026-10-06 仍 coming soon等官方放出再动手。低显存 / 消费级卡暂无量化版BF16 全量约 30GB 估算门槛偏高建议观望官方后续量化或英伟达权重。接生产用 FastAPI 等自己包/v1/chat/completions兼容层再接 openai SDK。适用场景昇腾环境的多模态研究一套权重统一理解和生成的实验看重 Apache 2.0 想自由魔改架构的团队视频 / 3D 理解原型。不适用场景只有英伟达卡且等不及权重的想直接接 OpenAI 式业务 API 的需自包指望它当日常聊天 / 写代码主力的它不如正经 LLM。调优提示① 英伟达卡先盯模型卡nvidia/目录放出再动手② 图像/视频/3D 任务务必先装 flash-attn 与 AToken 分词器③ 跑 3D 理解提前装 Blender 4.5 并烘 64 视角④ 接生产先把 FastAPI 那层 HTTP 写好别指望自带服务端⑤ 文生图默认 96 步、CFG3.0步数可降以换速度但质量待自测。六、互动话题你会为了一个模型统一六件事去弄一张昇腾卡跑 InternLumina-U2还是等英伟达权重放出来再说那道硬件坎会影响你的选型吗欢迎评论区聊聊。数据来源声明架构与发布信息Hugging Face 模型卡internlm/InternLumina-U2、GitHub 仓库InternLM/InternLumina-U2、项目页internlm.github.io/InternLumina-U2均 Apache 2.0。发布时间线OrcaRouter 技术分析仓库创建 2026-09-01、9 月中旬放出昇腾版权重、英伟达版 coming soon、labindex.ai 模型卡权重 2026-09-10 昇腾版、读懂AI时代/网易号/aigc.news 10 月初报道。基准数字模型官方项目页与 README 标注为初步、部分结果待技术报告全部为厂商自报无第三方独立复测GenEval 对比 LLaDA2.0-Uni 0.89 引自项目页/OrcaRouter。显存与速度官方未公布本文为按参数量的理论估算未做本地实测。