简介2024年泰迪杯数据挖掘挑战赛B题配套源码面向数据挖掘、人工智能与计算机视觉方向的学习者和研究者聚焦跨模态图文互检任务采用共享特征空间对比学习策略让模型在统一空间中拉近图文语义表达从而实现高效准确的图文互检。资源包共9个文件、压缩后约10KB包含4个Python脚本、2个YAML配置文件、1个依赖清单、1个说明文档及gitignore文件分别承担数据预处理、模型结构定义、训练推理配置与评估等功能整体结构紧凑、便于按模块研读。目前已有68人学习源码完整覆盖了从图文特征提取、对比学习损失构建到训练优化与评估的关键环节可帮助读者清晰理解跨模态对齐的原理与实现细节。对于备赛学生、算法入门者及跨模态检索研究者而言这是一份难得的实战参考既能快速上手复现赛题方案也能从中获得模型设计与调参的启发。1. 2024 泰迪杯 B 题在考什么跨模态图文互检不是“两个模型拼一起”看到“2024 泰迪杯数据挖掘挑战赛 B 题-基于共享特征空间对比学习的跨模态图文互检模型源码”这个标题别被一串术语吓住。拆开看就是一句话给你一批图片和一批中文文本训练一个模型输入一张图能从文本库里检索出对应句子输入一句话能从图片库里检索出对应图片。赛题最后考核的是源码能不能跑通、指标能不能复现所以源码包里真正值钱的不是某个固定的模型权重而是“共享特征空间 对比学习”这套完整链路。共享特征空间解决的是图片和文本不在同一坐标系的问题对比学习解决的是怎么用成对数据把两个模态拉到一起。适合想尽快拿到一个稳定 baseline 再慢慢往上加 trick 的参赛者也适合刚接触跨模态检索的入门者照着理解源码。2. 先把图文数据对齐预处理与 DataLoader 的三个关键设计拿到源码包后我的习惯是先看数据接口再动模型。泰迪杯 B 题的图文互检任务原始数据一般是一个图片文件夹加若干标注文件标注文件里每行或每条 JSON 记录着“图片文件名-文本”。一张图通常会配多条文本一条文本在训练集里只对应一张图这种一对多关系决定了训练样本不是按“图片数”造而是按“配对条数”造。常见做法是先建立一个配对表遍历标注文件把每条文本和它对应的图片路径存成两条等长数组再做 Dataset。如果你拿到的是 CSV最简单的方式就是 pandas 读进来按 image_id 合并。注意不要直接把图片文件夹的完整列表作为样本数那样模型会丢掉文本侧的信息等于没训练。我一般在项目里保留这层结构data/ images/ # 所有图片训练和验证按子目录分或按文件名区分 train_pairs.csv # image_name, text, split val_pairs.csv这个结构不依赖赛题原始文件的命名方式只要数据读进来后能稳定对应到 image_name 和 text 两列即可。下面按图片、文本、DataLoader 三个环节说明。2.1 图片处理ViT 和 ResNet 共用的输入 transform跨模态图文互检的图像输入可以走两条路一条是用 ResNet 系列做 CNN 特征另一条是用 ViT 做序列特征。实际在中等规模中文图文数据集上我一般先用 ViT-B/32原因是它对全局语义的捕捉能力更强ResNet 在细粒度文本匹配上输在局部纹理。无论选哪种输入都要统一成 224x224。from torchvision import transforms IMAGENET_MEAN [0.485, 0.456, 0.406] IMAGENET_STD [0.229, 0.224, 0.225] train_transform transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomResizedCrop(224, scale(0.8, 1.0)), transforms.RandomHorizontalFlip(p0.3), transforms.ToTensor(), transforms.Normalize(IMAGENET_MEAN, IMAGENET_STD), ]) val_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(IMAGENET_MEAN, IMAGENET_STD), ])train_transform 里 RandomResizedCrop 的 scale0.8~1.0并不是越狠越好。跨模态检索比分类更敏感裁掉太多会让图片失去主体而文本还在描述完整主体正样本被迫学成负样本。p0.3 的水平翻转也是同理对左右不对称的场景容易造成图文语义错位如果赛题图片里出现招牌、文字、方向箭头建议把翻转概率改成 0。val_transform 不用随机增强统一 resize 成 224保证评分时每个输入都是确定性的。Normalize 用 ImageNet 的统计值这是视觉模型的通用约定如果换了 CLIP 的图像塔mean 和 std 要用 CLIP 自己的别混用。图片读取这里有一个常见翻车点PIL 读取灰度图后只有单通道ViT 要求三通道。我一般读完后统一.convert(RGB)避免某个样本让 batch 维度炸掉。另外如果训练过程随机中断在某个损坏文件上多半是Image.open()返回 None读取函数里加 try/except 并把损坏样本替换为一张随机噪声图训练就不会中断这是做数据清洗的血泪经验。2.2 文本处理中文 BERT 的 tokenizer 和 max_length中文文本侧的标配是 BERT。我用的是预训练好的bert-base-chinese因为赛题文本基本都是中文直接用中文 BERT 比用英文 BERT 再翻译合理得多。标题只讲了“共享特征空间”没有限制文本编码器所以这个选择符合题目也能让你少走很多弯路。from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-chinese) text 一个穿红色衣服的小男孩在公园里奔跑 encoding tokenizer( text, paddingTrue, truncationTrue, max_length64, return_tensorspt, ) # encoding[input_ids].shape 为 [1, 64]paddingTrue 在这里返回的是 batch_size1 的张量所以后面要.squeeze(0)。max_length 我设过 32、48、64最后发现 64 最稳赛题描述很少超过 50 个字太长不会带来增益太短会把关键动词截掉。truncationTrue 必须开着否则超长文本会导致 tokenizer 抛异常。另一个容易忽略的是 attention_mask。BERT 在 padding 区域没有真实 token如果直接把 input_ids 送进模型padding 会被当成 [PAD] 参与注意力计算特征会被污染。Dataset 里一定要同时返回 attention_mask后续 forward 也要把它传给文本编码器。如果数据集里几乎所有文本都很短且显存很紧可以把 padding 策略改成动态先不 pad在 collate_fn 里用右侧 pad 对齐到当前 batch 最长长度。这样省显存但代码会多几行见下一节。2.3 Dataset 与 collate_fn让图片和文本在 batch 里对齐这是最容易写乱的地方。图文互检 Dataset 返回两个模态必须保证image和text一一对应。常见的错误是把 Dataset 的长度设为图片数量然后__getitem__里随机抽一条文本这样每个 epoch 看到的负样本分布不均匀还可能在验证时漏掉部分配对。我用的是“配对条数”作为数据集长度。import torch from torch.utils.data import Dataset from PIL import Image class PairDataset(Dataset): def __init__(self, image_paths, texts, transform, tokenizer, max_len64): self.image_paths image_paths self.texts texts self.transform transform self.tokenizer tokenizer self.max_len max_len def __len__(self): return len(self.image_paths) def __getitem__(self, idx): # 读取并统一通道损坏样本用全黑兜底 try: image Image.open(self.image_paths[idx]).convert(RGB) except Exception: image Image.new(RGB, (224, 224), (0, 0, 0)) image self.transform(image) encoding self.tokenizer( self.texts[idx], paddingTrue, truncationTrue, max_lengthself.max_len, return_tensorspt, ) return { image: image, input_ids: encoding[input_ids].squeeze(0), attention_mask: encoding[attention_mask].squeeze(0), }collate_fn 里不需要重新 pad因为 tokenizer 已经按 max_length 返回了定长序列。这样实现简单代价是每条文本都占 64 个 token一个 batch 里文本侧显存会比动态 padding 大一点。如果你的显存不够可以把 Dataset 里的paddingTrue改成paddingmax_length不对那样显存更浪费。我一般保持现有写法因为后面混合精度能抵消这部分开销。DataLoader 配置时建议num_workers4、pin_memoryTrue并且把collate_fn直接指向这个函数。它在 GPU 训练时能把 CPU 侧的图像解码和 tokenizer 并行起来不会让 GPU 等数据。如果打开num_workers后发现内存占用飙升可以把 worker 数降到 2或者把persistent_workersTrue打开避免反复启动进程。到这一步数据接口收工下一步是模型结构。3. 共享特征空间与对比学习双塔模型怎么搭才算“共享”3.1 为什么要共享特征空间图片特征和文本特征天然不在一个空间。图像塔输出的 768 维向量表示的是像素级语义文本塔输出的 768 维向量表示的是词法语法语义两者直接做内积没有任何意义。共享特征空间的意思是设计一组映射projection head把两种特征都投影到一个新的 D 维向量空间在这个空间里同一语义的图片和文本距离应该很近不同语义的距离要远。这是跨模态图文互检的核心假设。没有共享空间后面无论用余弦相似度还是欧氏距离都没有可比性。所以源码包的模型部分至少包含三样图像编码器、文本编码器、两个映射头。很多新手会把图像塔和文本塔的输出直接拼起来再接全连接层那是在做“多模态融合”不是“互检”。互检要求两个模态最终落在同一个可比较的特征空间所以必须让两个塔输出的向量维度一致、方向可度量。3.2 双塔编码器图像塔和文本塔各走各的图像塔我用 timm 或 torchvision 加载vit_base_patch32_224输出维度是 768。文本塔用bert-base-chinese它的pooler_output维度同样是 768。双塔不共享底层参数因为它们输入模态完全不同硬共享参数只会互相打架。import torch.nn as nn import timm from transformers import BertModel class DualEncoder(nn.Module): def __init__(self, image_encoder, text_encoder, proj_dim512, tau0.07): super().__init__() self.image_encoder image_encoder self.text_encoder text_encoder self.tau tau self.image_proj nn.Sequential( nn.Linear(768, 2048), nn.ReLU(), nn.Linear(2048, proj_dim), ) self.text_proj nn.Sequential( nn.Linear(768, 2048), nn.ReLU(), nn.Linear(2048, proj_dim), ) def encode_image(self, images): feat self.image_encoder(images) feat self.image_proj(feat) return torch.nn.functional.normalize(feat, dim-1) def encode_text(self, input_ids, attention_mask): out self.text_encoder(input_idsinput_ids, attention_maskattention_mask) feat self.text_proj(out.pooler_output) return torch.nn.functional.normalize(feat, dim-1)为什么中间层做 2048 而不是直接用 768 到 512因为对比学习里投影头的非线性越强模态对齐越稳。CLIP 原论文也用了类似结构。如果显存不够可以把 2048 改成 1024性能损失可以接受但别直接去掉中间层。还有一个容易被忽略的细节pooler_output在 BERT 中只取了 [CLS] 再经过一个全连接和 tanh语境信息会受损。如果你发现文本塔表达力不够可以改成对out.last_hidden_state做 mean pooling再过一个 Linear 把维度降到 768这种改动在小数据集上偶尔能涨 1~2 个点。3.3 特征归一化把相似度变成余弦距离不是玄学映射头输出后必须做 L2 归一化把所有特征都推到单位超球面上。这一步不是玄学归一化之后内积直接等于余弦相似度模型只需要学方向不用逆着处理不同模态特征尺度差异训练会稳定得多。如果不归一化图像特征和文本特征的 L2 范数可能差一个量级内积会被大范数的模态主导另一个模态的梯度被淹没loss 就表现成上下震荡。归一化放在投影头之后不要放在投影头之前。投影头本身需要看到非归一化的特征才能学习合适的线性变换先归一化再投影会丢掉尺度信息反而难训。这里我见过有人把normalize放在投影头前训练几天 loss 不降调回投影头后就正常了。3.4 对比损失 InfoNCE 的完整实现对比损失的经典形式是 InfoNCE也叫 CLIP loss。给定 batch 内的一组图片特征和文本特征对角线是正样本对非对角线全部是负样本。import torch import torch.nn as nn def contrastive_loss(image_features, text_features, tau0.07): # image_features: [B, D], text_features: [B, D]均已 L2 归一化 logits image_features text_features.t() / tau # [B, B] labels torch.arange(logits.shape[0], devicelogits.device) loss_i2t nn.CrossEntropyLoss()(logits, labels) loss_t2i nn.CrossEntropyLoss()(logits.t(), labels) return (loss_i2t loss_t2i) / 2labels直接取 0 到 B-1因为正样本对恰好排在 batch 对角线上。也就是说DataLoader 里同一 batch 的第 i 张图和第 i 条文本必须是一对。如果你在 collate 时把顺序打乱整个损失就废了。代码里同时算了图文方向和文本图方向分别叫作 I2T loss 和 T2I loss平均后作为最终损失。取平均能防止模型只顾其中一个模态。Loss 的值一般在 3 到 6 之间如果一开始就降到 0.1 附近先检查labels是不是写错了。投影头输出维数 proj_dim512 是我综合显存和效果后的折衷。512 已经足够容纳语义相似度再高的维数不会明显带来效果提升反而让中间矩阵变大增加显存占用。tau0.07 是 CLIP 论文里的默认值我在这个赛题上也试过 0.05、0.1最后 0.07 表现最稳温度系数如果过大相似度分布平滑负样本拉不开过小则模型只盯着最难的负样本容易震荡。4. 训练与评估跑同一个脚本单卡训练、混合精度与 RecallK有了数据和模型下一步是让整个训练循环变成可以反复运行的脚本。泰迪杯代码评审最看重的是“开箱能跑”所以我会把训练和评估写在一个入口文件里用参数控制阶段。4.1 训练脚本结构config、冻结策略和主循环训练脚本的骨架如下。重点不是每行代码多高级而是稳定可复现。import torch import timm from transformers import BertModel device torch.device(cuda if torch.cuda.is_available() else cpu) image_encoder timm.create_model(vit_base_patch32_224, pretrainedTrue) text_encoder BertModel.from_pretrained(bert-base-chinese) model DualEncoder(image_encoder, text_encoder).to(device) # 冻结文本塔底部 6 层降低过拟合风险 for name, param in model.text_encoder.named_parameters(): if encoder.layer. in name: layer_idx int(name.split(.)[2]) if layer_idx 6: param.requires_grad False我一般冻结文本编码器的底层 6 层。原因是中文文本标注量少于图片量文本塔如果完全放开容易在小数据集上过拟合图片塔预训练充分全量微调反而能把视觉细节拟合得更好。这个比例不是固定的如果数据量大可以把冻结层数降到 4 层。4.2 优化器和学习率AdamW 与 cosine 的搭配参数设置直接影响分数。我用的是 AdamW 线性 warmup cosine 衰减这是跨模态训练里比较保险的组合。optimizer torch.optim.AdamW( [p for p in model.parameters() if p.requires_grad], lr3e-5, weight_decay0.02, ) total_steps len(train_loader) * epochs warmup_steps int(total_steps * 0.05) scheduler torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_maxtotal_steps - warmup_steps, )lr3e-5 对 ViT 和 BERT 组合比较安全。如果你发现训练初期 loss 不降反升多半是 lr 偏大降到 1e-5 再跑。weight_decay0.02 是经验值调大容易欠拟合调小容易过拟合。warmup 比例 5% 是为了让 BERT 的预训练分布不要被前几百步打乱这个预热步数足够。如果数据量特别小可以把 warmup 调到 10%。4.3 混合精度和梯度累积把 batch size 变大的两个后门对比学习对 batch size 非常敏感因为 batch 里的其它样本就是负样本。B 越小负样本越少模型越容易偷懒。但 4090 也只能塞下几十张图加文本。我的组合拳是混合精度 梯度累积。scaler torch.cuda.amp.GradScaler() accum_steps 2 for step, (images, input_ids, attention_mask) in enumerate(train_loader): images images.to(device) input_ids input_ids.to(device) attention_mask attention_mask.to(device) with torch.cuda.amp.autocast(): image_features model.encode_image(images) text_features model.encode_text(input_ids, attention_mask) loss contrastive_loss(image_features, text_features, model.tau) loss loss / accum_steps scaler.scale(loss).backward() if (step 1) % accum_steps 0: scaler.step(optimizer) scaler.update() optimizer.zero_grad() scheduler.step()混合精度能让 ViT 在 3090 上从 batch 16 提升到 32。梯度累积把“显存 batch”从 32 变成“逻辑 batch”64负样本对数量成倍提升。要注意的是norm 层的平均值在混合精度下容易跑偏如果你的 loss 在混合精度开启后不稳定可以先把图像塔的 LayerNorm 层强制 float32这是排查时的候选点。梯度累积时还有一个容易踩的坑scaler.scale(loss / accum_steps)一定要放在 backward 之前让梯度按累积步数做平均否则实际学习率会被放大 accum_steps 倍。我在这一步翻过车训练曲线看起来很好但验证集一直上不去后来发现是 loss 忘了做除法。4.4 评估指标 RecallKI2T 和 T2I 怎么算才对图文互检的核心指标是 RecallK。给定一批 query模型把全部候选库的特征计算出来形成相似度矩阵然后逐行取 top-k看看正样本在第几个位置。I2T 就是用图片去召回文本T2I 就是用文本去召回图片。def recall_at_k(image_feats, text_feats, positive_indices, k10): sim image_feats text_feats.t() # [N, M] ranks torch.argsort(sim, dim1, descendingTrue) hits 0 for i in range(len(sim)): # positive_indices[i] 是第 i 张图对应的所有正文本索引列表 pos_set set(positive_indices[i]) for r in ranks[i][:k].tolist(): if r in pos_set: hits 1 break return hits / len(sim)这里用每个图片去检索全部文本positive_indices[i]存的是该图对应的多条文本编号。只要 top-k 中至少命中一条正样本就计一次命中。反过来做 T2I 时把 sim 转置以每条文本作为 query对应图片作为正样本。提交代码时要注意我这里只是演示逻辑真正跑实验时不需要逐行循环用 torch 的向量化索引能快一个数量级但逻辑完全相同。线上评分一般看 R1、R5、R10有的赛题会取三者平均。文本塔微调过头会导致 R1 极高但 R10 没变化说明模型只记住了少数强关联样本泛化不行。评估时不要用训练时那种随机增强直接用 val_transform每 epoch 结束时跑一次保留最好的权重。4.5 提交源码 zip 时需要包含什么泰迪杯这类比赛最后递交的是源码 zip不是单纯的结果。无论你怎么改包里一定要有一个README.md写清楚 Python 版本、第三方库版本、一键启动命令和每个脚本的作用。训练完的权重文件如果太大可以在 README 里说明下载方式但主程序必须在没有权重的情况下也能打印“缺权重”的明确提示而不是直接黑匣子崩掉。我见过太多优秀模型因为缺两个import在评审机器上起不来所以提交前最好在干净环境里重新跑一遍python train.py --mode test这是保证源码可落地的最后一关。5. 避坑跨模态检索里最常见的五个问题与排查看了上面这些代码真正动手时仍会遇到不少坑。下面按“现象 → 原因 → 解决”写我在这个方向上遇到过且排查过的五类问题前三个最磨人后两个最玄学。5.1 现象loss 一直在降但验证集 RecallK 纹丝不动这是对比学习最隐蔽的失败模式。原因通常是模型只学会了把 batch 内样本相互区分而不是真正学到图文语义对应关系。对比学习的正负样本来自同一个 batch如果 batch 内图片主题差异很大模型靠“纹理和颜色的不同”就能把 batch 内样本分开loss 会降但换一批数据就失效。解决一是在显存允许前提下把逻辑 batch 加大梯度累积到 64 或 128二是检查负样本是否太简单比如同一张图片的多条文本是否总在 batch 内相邻如果是需要随机打乱文本顺序。三是把温度 tau 从 0.07 降到 0.05让模型对难负样本更敏感。我建议在训练脚本里每 5 个 epoch 打印一次验证集 R1不要只看 loss。如果 loss 从 6 降到 2而 R1 一直低于 10%基本可以判断是负样本采样出现了偏差先排查 DataLoader 的配对顺序。5.2 现象I2T 分数明显高于 T2I图文效果剪刀差I2T 好、T2I 差说明图像塔的特征质量强于文本塔。原因可能是文本塔被冻结得太多或者文本标注本身描述重复度高文本塔还没学到区分不同文本的判别力。这个剪刀差在跨模态检索里非常常见因为同一个物体可以有很多种说法而图片是唯一确定的。解决把文本塔的冻结层从 6 层减到 2 层并把文本塔的 lr 单独设为图像塔的 1.5 倍分别跑一次对比。如果改动后 I2T 掉了但 T2I 涨了总体平均分可能涨。调参时要把 I2T 和 T2I 合在一起看不能单独追一边。另一个可能的原因是图像增强过强比如随机裁剪比例太激进破坏了图片主体导致图像特征质量差检查 RandomResizedCrop 的 scale 是不是设到了 0.5 以下。5.3 现象本地 R10 不错线上榜单对不上榜单对不上通常不是模型问题而是评估方式不一致。本地你可能用了全部文本作候选库而线上只取了一部分或者本地把每张图的 5 条文本都算命中线上只看最匹配的那一条。还有一种可能是数据泄露本地验证集和训练集有重复图片或重复文本导致分数虚高。解决在本地把数据按照图片文件名的 hash 筛掉与训练集重复的样本再做一次离线评估和榜单对比。如果还是差检查验证集的每条图片是不是真的都有 5 条正文本有时候某个图片只有 2 条标注代码里如果默认 5 条会把正样本总数算错Recall 自然虚高。总之先核对评估代码再怀疑模型。评估代码的边界情况比模型结构更容易被忽略这是竞赛里最常见的翻车点。5.4 现象batch size 一大就 OOM一缩就过拟合OOM 的直观原因是 ViT 和 BERT 两个大模型同时前向显存直接被两个塔吃掉。一缩 batch 到 8对比学习的负样本太少又导致过拟合。这个现象最让人进退两难。解决混合精度 梯度累积组合文本塔开启gradient_checkpointing。BERT 的反传显存能压缩 40% 左右代价是训练速度变慢。如果还不行把 ViT 换成分辨率更小的 224 但冻结前几层或直接用 ResNet50 替代 ViT显存占用立刻掉一半。文本塔的 max_length 如果设成 128改成 64文本侧显存也会大幅下降。记住显存的瓶颈往往不是图像而是 BERT 的 attention 矩阵优先处理文本侧。5.5 现象温度系数怎么调都不行相似度矩阵全成常数现象是打印出的相似度矩阵每一行数值接近相同或训练到后期所有 logits 饱和到一个常数。原因有两个方向一是 L2 归一化后特征收敛到单位球面上的同一个点模型退化到把所有输入映射成同一向量二是 tau 值过小导致 logits 巨大softmax 变成 one-hot梯度饱和。解决在映射头里加入一个 LayerNorm放在 ReLU 之后让输出特征分布稳定。这个操作能明显缓解训练退化。还可以把温度系数设为可学习参数tau nn.Parameter(torch.tensor(0.07))每次迭代按梯度微调覆盖了人工调参的盲区。遇到 logits 全等时还要冷静检查是不是model.eval()时忘记关闭 dropout导致 batch 内所有输出相同。经验是如果相似度矩阵每一行的标准差突然变成 0.001 以下先查数据再查模型最后才查损失函数。这些坑的共同点是它们都不会让训练直接崩溃只会悄悄让你做一大堆无效调参。我的建议是把“评估脚本”当成训练脚本的一部分每个 epoch 自动打印 I2T、T2I、相似度分布的标准差一旦出现异常就立刻定位而不是等两小时后才发现模型早已退化。6. 进阶验证用难负样本、特征对齐度和梯度诊断判断模型是不是真学好最后一章不写新模型只讲怎么验证并继续榨分。常规评估只能看到分数我建议加两个验证手段。6.1 难负样本给模型出卷子从验证集里随机抽一个图片找出它对应的文本作为正样本再从其它图片的文本里找出与该图片语义最像但并非正样本的一条文本组成一个“难负样本”。难负样本越多越能看出模型是不是真的理解了图像语义而不是靠整体颜色分布。实现时可以这样# sim 是 [N, M] 的相似度矩阵positive_indices[i] 是第 i 张图的全部正文本索引 hard_text_idx [] for i in range(len(sim)): scores sim[i].clone() for j in positive_indices[i]: scores[j] -1e9 hard_text_idx.append(scores.argmax().item())用这些难负样本重新算 Recall1如果比常规 Recall1 低很多比如降幅超过 20%说明模型还在用浅层特征硬扛需要加强难负样本的挖掘或增加逻辑 batch。这也是比赛后期拉开差距最常用的一招修改损失函数在 batch 内对与正样本相似度排名靠前的负样本加大惩罚。6.2 特征对齐度判断共享特征空间是不是名存实亡除了分数还要观察两个模态在共享空间里是否真正对齐。把训练集的图文特征分别取平均计算两个中心之间的距离如果距离过大说明两个模态的特征分布没有重合共享空间名存实亡。这个距离不能直接当指标但可以作为调参的指示器。我通常打印出图像特征均值和文本特征均值之差的 L2 范数理想情况下它应该随着训练逐渐缩小但不归零。如果它一直不变检查映射头是否参与训练或者是否忘了把model.text_proj放进优化器中。最后一条经验做这套跨模态图文互检模型最大的教训是永远不要在只看了 batch loss 的时候觉得模型已经训练好了。代码跑通只是起点把评估脚本、难负样本生成、相似度矩阵可视化都放在训练脚本里每跑一个 epoch 就自动出一版完整诊断报告再去做调参。这样省掉的时间远大于多写的几十行代码。希望帮到你。本文还有配套的精品资源点击获取