技术解读PRISM2 用 1400 万条由真实病理报告拆解出的问答对做语言监督把千兆像素级全切片压缩进 256 个潜向量并以「基础嵌入 诊断嵌入」双输出同时服务下游迁移与临床检测。本文从工程实现角度拆解它的架构分层、监督信号构造方式与落地约束。核心要点问题病理诊断的高价值判断发生在病例级但现有病理基础模型只擅长编码微小图像块每换一个任务就要重新训练一个聚合器临床产品化成本极高。方法PRISM2 把 68.5 万份真实病理报告拆解成 1400 万个临床对话问答对用语言监督把组织形态学与诊断推理对齐产出可提示推理、可迁移复用的切片级表征。结果仅用提示推理不做任何下游训练前列腺癌、乳腺癌、乳腺淋巴结转移检测的平衡准确率达到或超过已获 FDA 授权的临床级产品P 0.05结直肠癌无复发生存预测 C-index 0.809优于同数据从零训练的专用模型 0.773。意义首次给出证据——一个通用病理基础模型无需额外训练即可达到临床授权专用模型的水平意味着病理 AI 产品的开发范式可能从一病一模型转向一模型多提示。原文End-to-end multimodal pathology foundation model with clinical dialogueNature Medicine2026-07-31 | DOI: 10.1038/s41591-026-04521-4 | PMID: 42538427计算病理学的切片级鸿沟一张常规苏木精-伊红染色Hematoxylin and Eosin, HE切片扫描成数字图像后动辄是十亿像素级的千兆图gigapixel image。病理医生看它靠的是先扫全场、再抓重点、最后落成一段诊断结论而过去两年风头最劲的病理基础模型——Virchow2、UNI2、H-Optimus-1——学会的其实只是看清一小块组织图像块tile/patch。问题就出在这里真正有临床价值的判断几乎都发生在全切片图像Whole-Slide Image, WSI乃至病例case层面需要把成千上万个图像块的信息聚合起来。当前主流做法是对每个任务单独训练一个弱监督聚合器weakly-supervised aggregator——检测前列腺癌训一个判断乳腺淋巴结转移再训一个。这条路的代价是每上一个新适应证就要重做一轮数据整理、标注与调参且样本一少就过拟合、换个机构就掉点。正如我们此前分析的 NeuroVFM 用医院真实数据训练脑影像基础模型医疗 AI 正在集体寻找同一个答案监督信号从哪来才能既便宜又贴近临床PRISM2 给出的答案是——从医生每天都在写的病理报告里来。PRISM2 由 Paige AI现已并入 Tempus AI联合微软研究院Microsoft Research与纪念斯隆-凯特琳癌症中心Memorial Sloan Kettering Cancer Center, MSK共同完成Kristen Severson 与 Siqi Liu 为共同通讯作者论文发表于Nature Medicine2026 年 7 月 31 日在线。其创新集中在三点把病理报告原子化成临床对话研究团队用 GPT-4o 将 685,507 份真实临床报告拆解为五类任务——报告生成、是非问答、开放问答、多选问答、图文匹配共1400 万个问答对。这一步的巧妙之处在于报告本来就是医生诊断推理的自然语言产物把它拆成对话等于免费获得了海量、语义丰富且临床落地的监督信号无需人工重新标注。双嵌入架构dual-embedding这是 PRISM2 与前作 PRISM 及竞品 TITAN 最本质的区别。模型同时产出两种表征——轻量的**基础嵌入base embedding负责向生物标志物预测、生存分析等新任务迁移从 38 亿参数语言模型隐状态中抽取的诊断嵌入diagnostic embedding**则专为癌症检测与分型这类临床任务调优。一套模型两种性格。提示推理即临床级性能论文明确表示PRISM2 训练成会对话并非为了做聊天机器人单轮对话只是拿来当监督信号用。但结果是意外的——仅凭一句提示prompt不做任何下游微调模型在癌症检测上就追平甚至超过了已获监管授权的商业产品。据作者所述这是首次有证据表明通用病理模型可以免训练达到临床授权专用模型的水平。技术原理让千兆像素切片学会用诊断语言自我压缩PRISM2 总参数量约 46 亿整条链路可以这样理解第一步看细节。切片先由 Virchow2 编码成大量图像块嵌入tile embeddings分辨率固定在 0.5 μm/px约 20 倍镜。第二步做压缩。切片编码器采用 Perceiver 架构5.41 亿参数1 个交叉注意力块 6 层自注意力256 个潜查询 latent queries把成千上万个图像块压缩进 256 个潜向量输出基础嵌入。这一步的关键难题是——用什么监督信号才能让压缩既紧凑又不丢下游任务需要的信息第三步对齐语言。一路通过 BioGPT 文本编码器做对比学习contrastive learning把切片表征与报告文本拉到同一语义空间另一路把 256 个潜向量经两层 MLP 适配器2900 万参数LLaVA 风格投射进 Phi-3 Mini38 亿参数解码器的输入空间让语言模型看着切片回答问题。取助手回答位的最终隐状态就是诊断嵌入。这套设计的直觉很朴素**病理学不只是视觉学科更是一门语言学科。**医生看到的形态学特征最终都要落成腺体结构紊乱“可见微浸润灶这类诊断措辞。让模型在压缩图像时被迫去预测这些措辞压缩结果自然就带上了诊断意义而不是一堆纯视觉纹理统计量。全部训练在 56 张 A100 40GB 上以 bf16 完成。数据说话免训练追平 FDA 获批产品先看训练规模——这是迄今最大的多模态切片级病理数据集维度PRISM2 规模主要对比模型全切片图像WSI2,350,518 张TITAN 约 33.6 万张Prov-GigaPath 约 17 万张临床报告685,507 份TITAN 报告 42.3 万条合成描述患者数200,692 人—问答对14,000,000 个无同类监督模型总参数约 46 亿含 Phi-3 Mini 38 亿TITAN / COBRA 显著更小再看临床性能。最有分量的对照不是学术基线而是三款已上市/获授权的商业产品任务商业对照产品监管状态PRISM2仅提示推理前列腺癌检测Paige ProstateFDA De Novo 获批平衡准确率达到同等水平P 0.05乳腺癌检测Paige BreastCE-IVD / UKCA 认证平衡准确率达到同等水平P 0.05乳腺淋巴结转移Paige BLNFDA 突破性设备认定超过对照产品无需任何额外训练需要强调这三项 PRISM2没有针对性训练过只是被问了一句是非题。而对照产品是经过专门数据整理、专门校准、专门送审的临床级软件。嵌入迁移能力则通过线性探测linear probing评估基准指标PRISM2最佳竞品MSK 生物标志物预测多任务均值AUC0.846COBRA 0.854TCGA 生物标志物预测多任务均值AUC0.781TITAN 0.784MSK 结直肠癌无复发生存C-index0.809生存嵌入微调后同数据从零训练专用模型 0.773作者对整体表现的统计学结论是克制且严谨的在全面的诊断、生物标志物与生存基准上PRISM2 嵌入从未在统计上低于既往基础模型P 0.05。换言之它的价值不在于某一项刷榜而在于没有短板 免训练可用这两件事同时成立。从实验室到临床应用前景与局限应用前景病理 AI 产品开发提速过去每个适应证要走一遍数据整理—训练聚合器—校准—送审”PRISM2 提示推理即可达临床级意味着新适应证的原型验证成本可能从数月压缩到数天。这对国内病理 AI 厂商的管线布局影响直接。罕见病种与小样本场景弱监督聚合器最怕样本少而基础模型的迁移能力恰好在小样本区间优势最大罕见肿瘤亚型的辅助判读有望受益。精准肿瘤学的预后分层结直肠癌无复发生存 C-index 0.809 已具备研究级实用性可支撑术后复发风险分层与临床试验入组富集。开放权重可复现PRISM2 模型权重已在 Hugging Face 公开非商用/非临床用途科研机构可直接复现与二次开发这一点对国内课题组的价值不亚于论文本身。当前局限作者自陈必须正视缺少位置编码Perceiver 交叉注意力未引入空间位置信息CAMELYON17 结果提示模型可能是靠局部形态猜出 N 分期空间推理能力偏弱。单一放大倍率仅使用 0.5 μm/px未做混合倍率输入对核分裂计数这类需要跨尺度上下文的任务构成硬约束。扫描中心偏倚Virchow2 与 PRISM2 均只在 MSK 扫描的切片上训练跨扫描仪、跨机构的鲁棒性尚待独立验证——这恰恰是病理 AI 落地最容易翻车的地方。训练数据存在噪声互补是非问答的误标率达 18%说明 GPT-4o 自动生成的监督信号并非无损。生物标志物提升有限相较基线优势较小作者认为需要在预训练阶段直接引入生物标志物与生存目标。结论与产业启示PRISM2 最重要的贡献不是又刷高了几个点而是验证了一条新的监督范式医院里每天堆积的病理报告本身就是最廉价、最贴近临床推理的监督信号。把它们拆成对话喂给模型就能让千兆像素切片的压缩过程带着诊断意图从而让一个通用模型免训练地追平专用产品。这与我们此前报道的 COMPASS 泛癌基础模型 形成有趣呼应——前者用多组学做通用表征后者用诊断语言做通用表征殊途同归地指向少训练、多复用。而与 MIRA 在电子病历沙盒内自主完成诊疗流程 相比PRISM2 走的是另一条务实路线不追求自主决策而是把最重的感知环节做成可复用底座。对产业界的启示很清楚病理 AI 的竞争壁垒正在从模型精度转向报告语料规模 数据治理质量。谁手上有结构化、可追溯、跨机构的病理报告库谁就掌握了下一代病理基础模型的燃料。这正是思陌智能科研服务在 AI 医疗软件开发与医疗 AI 科研服务中重点投入的方向——从医疗数据治理报告结构化、术语标准化、去标识化、基础模型微调到院内私有化部署与合规落地我们为医院病理科、科研团队与医疗器械企业提供从课题设计到工程交付的一体化支持帮助机构把沉睡的历史报告转化为可训练、可复用的科研资产。相关问题QPRISM2 能直接拿到医院当诊断软件用吗A不能。论文明确其定位是研究用基础模型公开权重也限定非商用、非临床用途。它证明的是通用模型可以达到临床级性能但真正上临床仍需完成注册检验、临床试验与监管审批全流程。Q它会取代病理医生吗A短期内不会。PRISM2 强在感知与初筛癌/非癌判断、转移检出弱在空间推理与跨尺度任务且训练数据存在 18% 级别的标签噪声、仅覆盖单一扫描中心。更现实的定位是把病理医生从大量阴性切片的机械筛查中解放出来让人力集中在疑难病例上。Q中国的医院和科研团队能怎么用起来A三条路径最现实——一是直接下载开放权重做本地科研复现与下游任务微调二是借鉴其报告拆解成问答对的监督思路用本院历史病理报告构建中文语料训练本土模型三是先做数据治理把非结构化报告标准化这是所有后续工作的前置条件。参考文献Vorontsov E, Shaikovski G, Casson A, et al. End-to-end multimodal pathology foundation model with clinical dialogue.Nat Med(2026). DOI: 10.1038/s41591-026-04521-4 | PMID: 42538427Ding T, Wagner SJ, Song AH, et al. A multimodal whole-slide foundation model for pathology (TITAN).Nat Med(2025). DOI: 10.1038/s41591-025-03982-3 | PMID: 41193692Vorontsov E, Bozkurt A, Casson A, et al. A foundation model for clinical-grade computational pathology and rare cancers detection.Nat Med30, 2924–2935 (2024). DOI: 10.1038/s41591-024-03141-0本文基于End-to-end multimodal pathology foundation model with clinical dialogueVorontsov E et al., Nature Medicine, 2026的独立解读仅供学术交流不构成临床建议。 工程实现要点数据管道685,507 份真实临床病理报告经 GPT-4o 原子化为 1,400 万个问答对覆盖报告生成、是非问答、开放问答、多选问答、图文匹配五类任务。工程价值在于把院内已有的非结构化文本资产直接转成训练燃料几乎零人工标注成本代价是引入噪声——互补是非问答的误标率达 18%。分层编码底层用 Virchow2 做 tile 级编码固定 0.5 μm/px约 20 倍镜上层 Perceiver 切片编码器5.41 亿参数1 个交叉注意力块 6 层自注意力用 256 个 latent queries 把上万个 tile 压成定长表征绕开千兆图无法整体入显存的瓶颈。双嵌入接口base embedding 取自 Perceiver 输出走线性探测迁移到生物标志物预测与生存分析diagnostic embedding 取自 Phi-3 Mini 助手回答位的最终隐状态专供癌症检测与分型。一次前向、两种下游接口避免为每个适应证单独训练聚合器。视觉-语言对齐双路监督并行——一路经 BioGPT 文本编码器做对比学习把切片表征与报告文本拉进同一语义空间另一路经两层 MLP 适配器2900 万参数LLaVA 风格把 256 个潜向量投射进 38 亿参数解码器的输入空间。模型总参约 46 亿训练在 56 张 A100 40GB 上以 bf16 完成。选型必读的硬约束Perceiver 交叉注意力未引入位置编码空间推理偏弱CAMELYON17 结果提示可能靠局部形态“猜”N 分期仅单一 0.5 μm/px 倍率核分裂计数这类跨尺度任务受限Virchow2 与 PRISM2 均只在 MSK 单中心扫描切片上训练跨扫描仪鲁棒性尚未独立验证。权重已在 Hugging Face 开放但限非商用、非临床用途。论文原文信息链接病理AI为何一病一模型难落地PRISM2 多模态病理基础模型解读免训练比肩FDA获批产品