期刊Transactions on Medical Imaging年份2022英文题目Adversarial Evolving Neural Network for Longitudinal Knee Osteoarthritis Prediction中文译为用于纵向膝骨关节炎预测的对抗演化神经网络一、摘要已有膝骨关节炎研究大多只解决当前 X 光属于 KL0–KL4 中哪一级但真正具有临床价值的一个问题是这个患者未来会不会加重未来 1 年、2 年、3 年、4 年分别可能是什么 KL 等级同时不同 KL 等级之间差异非常细微普通 CNN 容易只学习一般影像特征而没有充分利用KOA 从轻度逐渐发展到重度的疾病演化规律。因此作者提出A-ENN。核心思想是把患者当前 X 光分别与KL0, KL1, KL2, KL3, KL4五类模板影像进行比较让模型模拟“当前膝关节如果向某个 KL 等级演化影像会发生怎样的变化”由此得到五条Evolving Traces演化轨迹。随后将这些演化轨迹与原始 X 光特征一起进行分类和融合预测未来不同时间点的 KL 等级。作者进一步加入对抗学习使生成的演化轨迹更加接近真实 KL 模板的分布。最终最佳模型总体纵向分级准确率达到62.7%。纵轴KOA严重程度预测示意图。通过将输入图像与不同KL等级的模板图像进行比较和演变可获得精细的KOA模式从而从基线扫描到最多48个月的时间内预测疾病纵轴分级。二、创新点创新点一从“当前分级”扩展到“纵向分级”传统方法本文即从静态 OA 分级转向疾病进展预测。创新点二提出 Evolving Trace这是论文最核心的思想。作者认为 KOA 严重程度具有天然的 KL0→KL1→KL2→KL3→KL4渐进关系。因此建立不同 KL 等级的模板集合让输入图像分别向五种 KL 状态进行“演化”得到五组演化特征。这些特征不是普通 CNN 特征而是在描述当前患者和不同 OA 严重程度之间的差异与变化趋势。因此作者将其作为一种细粒度疾病领域知识。创新点三引入对抗学习优化演化轨迹仅使用像素级 MSE 强制生成图像接近某张模板并不合理因为不同患者的骨骼形态本身就存在个体差异。因此作者加入DiscriminatorGenerated Trace↔Real KL Template通过对抗训练不再只要求逐像素相似而是要求生成结果整体分布接近对应 KL 等级的真实影像分布。这就形成了A-ENN。三、方法3.1 Overall Framework所提出的A-ENN架构由三个关键模块组成1演化轨迹估计模块用于模拟输入图像通过对抗训练方案逐步演化为目标KL等级图像的过程2分类器用于预测输入图像及其演化轨迹的原始纵向KOA等级。3) 一种融合方案用于获得纵向KL评分的最终分级概率图。整体流程为Baseline X-ray一方面直接进入 CNN 分类器获得普通影像预测另一方面分别向 KL0–KL4 五个模板集合演化得到五组演化轨迹随后每组演化轨迹分别进入分类网络最终与原始影像预测进行融合输出 5 个时间点的纵向 KL 结果。3.2 演化轨迹估计模块Evolving Trace Estimation这个模块的目标是估计当前基线 X 光分别向不同 KL 严重程度“演化”时的影像变化模式。具体来说作者先为每个 KL 等级建立模板集合T0​,T1​,T2​,T3​,T4​然后将同一张基线 X 光 X 分别送入 5 个演化分支。每个分支都采用Convolution→Latent Representation→Deconvolution先通过卷积提取输入图像与目标 KL 等级之间的潜在关系再通过反卷积生成对应等级的估计图像 X→T^i​最终得到 T^0​,T^1​,T^2​,T^3​,T^4​这 5 个输出就是Evolving Traces演化轨迹分别反映当前患者与 KL0–KL4 不同严重程度之间的细粒度差异。训练时一方面利用MSE让生成结果接近对应 KL 等级的真实模板另一方面再加入Discriminator 对抗训练使生成的演化轨迹在整体分布上更接近真实该 KL 等级的 X 光影像。3.3融合每条演化轨迹 T^i​ 都经过分类器分别预测 Baseline、12M、24M、36M、48M 的 KL 概率。然后在 5 条轨迹之间做Maximum Pooling也就是对每个时间点、每个 KL 等级选择5 条演化轨迹中最强的预测响应得到综合的“演化预测”。原始基线 X 光 X 也单独经过分类器得到预测 y^​X再与演化预测进行加权求和最终得到 Baseline、12M、24M、36M、48M 的 KL 概率​所以可以简单概括为 5条演化轨迹Max Pooling​综合演化信息 原始影像预测​最终纵向KL分级​这里的核心是演化轨迹提供疾病进展的细粒度信息原始 X 光提供患者当前的通用影像信息两者在预测概率层进行后期融合late fusion。四、试验4.1 数据集论文使用OAI​即Osteoarthritis Initiative数据集。OAI原始队列包含4,796 名受试者。论文筛选出同时具有Baseline12-month24-month36-month48-monthKL 标签的病例。最终得到 3294 baseline knee X−rays​需要强调的是模型输入只有 baseline X-ray后续时间点影像并不作为模型输入只用其 KL 标签作为监督。数据按照 70%:10%:20%划分训练、验证和测试集并随机重复划分5次。4.2 结果作者使用三种 BackboneResNet-50VGG-19ViT。分别比较Backbone ENN A-ENN结果整体呈现 BackboneENNA-ENN​说明 Evolving Trace 和 Adversarial Training 都能够改善纵向预测。五、结论这篇论文最大的特点是没有把 KOA 当成一个普通的静态分类问题而是利用KL0→KL1→KL2→KL3→KL4​这种疾病逐渐发展的规律。作者提出 Baseline X−ray→KLTemplates→EvolvingTraces​通过比较患者当前影像与不同 KL 等级模板之间的关系显式学习疾病从轻到重的演化模式再将这些细粒度演化信息与普通 CNN 图像特征融合实现 baseline 至 48 个月的纵向 KL 分级。进一步通过对抗训练让演化轨迹在分布上更接近真实 KL 模板从而形成最终的A-ENN。最终最佳模型总体纵向准确率达到62.7%并且优于单纯 VGG19、ResNet50 和 ViT Backbone。