Masked Self-Supervised ECG Representation Learning via Multiview Information BottleneckMassMIB研究背景与动机现有12导联心电图自监督表征学习方法大多依赖对比学习contrastive learning 范式通过数据增强构造正负样本对来学习判别性表征存在以下三个核心缺陷强依赖数据增强对比学习方法如 SimCLR、MoCo、BYOL的性能高度依赖数据增强策略的质量ECG 信号的数据增强设计空间有限不当的增强会破坏心电信号的关键信息。仅关注时域建模多数方法将 ECG 直接输入 CNN/Transformer 提取时域波形特征忽略了频域蕴含的节律、周期性等关键诊断特征两个视角的信息未得到有效融合。掩码自监督在 ECG 领域尚未探索掩码表征学习如 MAE在 CV 和 NLP 中取得了巨大成功不依赖数据增强即可学到鲁棒表征但在 ECG 领域尚属空白文章发表的时间为2024截止目前为止MAE在心电领域也有一定的应用。针对上述问题作者提出了MassMIBMasked Self-Supervised Learning via Multiview Information Bottleneck将掩码自编码器与多视角信息瓶颈原理相结合在时频双视角以高比例随机掩码 ECG 片段通过重建任务学习表征并利用信息瓶颈去除双视角表征之间的冗余信息。数据集与实验任务预训练阶段在 PTB-XL、CPSC、Chapman 三个大型公开 12 导联 ECG 数据集的训练集上一次性联合自监督预训练200 epochs。微调阶段针对每个数据集的分类任务单独微调 30 epochs去掉解码器在编码器后接入全连接分类器。数据集样本量类别数标签类型采样频率评价指标PTB-XL21,83771all/ 44diag./ 19form/ 12rhythm等多标签100HzAUCmacroCPSC6,8779 类多标签100Hz降采样后F 1 F_1F1​Chapman10,6464 类SB、SR、AFIB、GSVT单标签100Hz降采样后F 1 F_1F1​架构图与核心方法整体框架分为预训练阶段和微调阶段两大板块。预训练阶段包含时域自编码器、频域自编码器、交叉注意力模块以及多视角信息瓶颈损失完整流程分为以下三步下面对着三个部分进行详解数据预处理STFT 生成双视角输入 高比例掩码对原始 12 导联 ECG 信号12×1000通过短时傅里叶变换STFT 生成时频谱图12×50×20构建时域和频域双视角输入。随后在两个视角上分别以 75% 的高比例随机掩码 时域将 ECG 信号分段随机掩盖 75% 的信号片段图中红色标记区域频域将时频谱图分 patch随机掩盖 75% 的频域 patch图中灰色标记区域双视角编码器-解码器时域编码器3 层 CNN 初步提取波形特征 → 2 层 ViT Blockembed_dim1280, 10 head→ 交叉注意力模块。频域编码器5 层 ViT Blockembed_dim120, 12 head→ 1 层 ViT Block 对齐维度 → 交叉注意力模块。在这个部分作者还做了交叉注意力用视角 1 的 Query 去查询视角 2 的 Key 和 Value实现时频双视角之间的信息交互和特征融合。编码器内部的自注意力建模视角内关系编码器之间的交叉注意力建模视角间关系公式如下S A ( Z v 1 , Z v 2 ) softmax ( Q v 1 K v 2 T D h ) V v 2 SA(Z_{v_1}, Z_{v_2}) \text{softmax}\left(\frac{Q_{v_1} K_{v_2}^T}{\sqrt{D_h}}\right) V_{v_2}SA(Zv1​​,Zv2​​)softmax(Dh​​Qv1​​Kv2​T​​)Vv2​​多视角信息瓶颈损失MIB Loss核心损失函数L M I B 1 N ∑ i 1 N { − 1 2 E ε 1 ∼ p ( ε 1 ) log ⁡ q ( y i ( 1 ) ∣ f 1 ( x i ( 1 ) , ε 1 ) ) − 1 2 E ε 2 ∼ s ( ε 2 ) log ⁡ t ( y i ( 2 ) ∣ f 2 ( x i ( 2 ) , ε 2 ) ) β D S K L [ p ( z ( 1 ) ∣ x i ( 1 ) ) ∥ s ( z ( 2 ) ∣ x i ( 2 ) ) ] } \mathcal{L}_{M I B}\frac{1}{N} \sum_{i1}^{N} \left\{ -\frac{1}{2} \mathbb{E}_{\varepsilon_{1} \sim p\left(\varepsilon_{1}\right)} \log q\left(y_{i}^{(1)} \mid f_{1}\left(x_{i}^{(1)}, \varepsilon_{1}\right)\right) -\frac{1}{2} \mathbb{E}_{\varepsilon_{2} \sim s\left(\varepsilon_{2}\right)} \log t\left(y_{i}^{(2)} \mid f_{2}\left(x_{i}^{(2)}, \varepsilon_{2}\right)\right) \beta \, D_{S K L}\left[p\left(z^{(1)} \mid x_{i}^{(1)}\right) \,\big\|\, s\left(z^{(2)} \mid x_{i}^{(2)}\right)\right] \right\}LMIB​N1​i1∑N​{−21​Eε1​∼p(ε1​)​logq(yi(1)​∣f1​(xi(1)​,ε1​))−21​Eε2​∼s(ε2​)​logt(yi(2)​∣f2​(xi(2)​,ε2​))βDSKL​[p(z(1)∣xi(1)​)​s(z(2)∣xi(2)​)]}公式解释前两项负对数似然保证两个视图都能独立识别心电疾病最大化特征与标签的互信息第三项对称 KL压缩双视图冗余信息避免时域、频域提取高度重复特征联合最小化三者最终得到紧凑、互补、富含诊断信息的时 - 频双视图心电表征。补充预训练 vs 微调的模型切换预训练时域编码器 频域编码器 交叉注意力 双解码器计算 MIB Loss。微调去掉两个解码器保留编码器和交叉注意力对两个视角的特征沿第一维做平均池化 → 拼接 → 送入全连接分类器。实验结果与结论与自监督方法对比与监督方法对比MassMIB 微调后性能不仅超越所有自监督基线在 CPSC 数据集上更比监督方法高出近 4 个百分点的F 1 F_1F1​值充分体现了自监督预训练在小标注样本场景下的优势——预训练后只需少量 epochs 微调即可超越全监督训练 230 epochs 的效果。消融实验结果局限性与发展优势不依赖数据增强采用掩码重建范式替代对比学习避免对数据增强策略的敏感依赖预训练更稳定双视角深度融合时域波形形态 频域节律周期性互补建模交叉注意力实现视角间信息交互融合质量优于简单拼接信息瓶颈去冗余(D_{SKL}) 显式约束双视角表征分布去除冗余保留互补信息提升表征紧凑性与判别力多数据集联合预训练三个异构 ECG 数据集一次性联合预训练增强模型跨数据分布泛化能力预训练-微调范式通用性强训练好的编码器可快速适配不同数据集和分类任务减少重复训练成本。局限性参数量大包含时域和频域两个完整的编码器解码器共约 2× 参数量相比传统单分支模型开销翻倍掩码策略较简单采用随机掩码未针对心电信号中 QRS 波群、ST 段等临床关键区域设计结构化掩码策略仅使用单模态 ECG 信号未融合血压、血氧、心音等其他生理信号。未来拓展方向引入 Mamba、混合专家模型MoE等轻量化架构替代 ViT在保持表达能力的同时压缩参数量和推理耗时设计 ECG 感知的结构化掩码策略如按心拍周期掩码、关键波形区域保留提升预训练效率将多视角信息瓶颈拓展至两个以上视角如时域频域小波域进一步提升表征丰富度融合多模态生理信号可穿戴单导联 ECG、心音图、血压波形等构建跨模态联合诊断框架DOI文章地址github地址源码