列表式交叉编码器微调 vs 智能体指令优化大模型重排器医保医疗流程重排序系统性研究原论文链接https://arxiv.org/html/2608.09650v1摘要医保信息检索系统中患者口语化提问与标准化临床术语存在巨大词汇鸿沟医疗流程重排序是核心业务模块。本文针对工业落地场景系统对比两类主流重排序技术路线小规模交叉编码器采用MedCPT109M、MiniLM-L1233M两类骨干搭配3种列表式排序损失、3种分层冻结策略完成微调大语言模型重排器4B参数量Qwen3-Reranker基于GPT-4.1搭建迭代智能体循环自动优化任务提示词。本文自建医疗重排序专用数据集覆盖708项医保服务、总计2647条带完整分级排序标签的患者查询样本。实验结果表明经ListNet列表损失微调的109M MedCPT交叉编码器全面优于4B大重排器NDCG3提升2.6个百分点斯皮尔曼秩相关系数提升13.3个百分点参数量仅为后者的1/37。本文完整提供LLM自动构建领域数据集流水线、18组对照网格实验、智能体提示迭代优化完整流程并总结线上系统落地取舍方案全部代码与样例数据集开源支持其他垂直领域迁移复现。关键词信息检索重排序交叉编码器列表式学习排序智能体提示优化医疗NLP大模型重排器1 引言1.1 业务背景与痛点患者咨询医保报销时检索链路分为粗召回、重排序两阶段召回器批量筛选候选医疗流程重排器根据临床相关性完成打分排序。核心难点在于词汇鸿沟患者使用口语、症状描述如“走路膝盖疼”医保目录为专业临床术语如膝关节穿刺术二者语义错位极易造成匹配错误引发理赔判定失误、大量行政冗余。现有两条技术路线各有短板零样本LLM重排器泛化能力强但4B及以上模型推理延迟高、GPU部署成本昂贵缺少医疗领域专属校准交叉编码器微调现有方案多采用点对/配对损失无法直接优化NDCG等全局排序指标完整候选列表排序效果受限。1.2 本文四大核心贡献搭建两阶段LLM自动化数据集生成流水线通过质量过滤得到2647条标注样本两名行业专家人工校验验证标注可靠性设计完整对照实验网格2种编码器骨干 × 3种列表损失 × 3层冻结策略合计18组配置系统消融各变量影响提出GPT-4.1驱动的智能体提示迭代优化框架自动挖掘领域专属提示词构建强LLM基线给出工程落地结论仅109M的领域微调交叉编码器指标全面超越4B大模型CPU即可部署具备显著算力与延迟优势。2 相关工作交叉编码器检索联合编码查询-文档对精度优于双塔编码器MedCPT、Clinical BERT等医疗预训练模型在生物检索表现突出但过往微调极少采用列表式损失LLM零样本重排Qwen3、BGE等指令微调模型可直接完成重排序但存在算力成本、领域适配短板列表式排序损失LambdaLoss、ListNet、PListMLE直接优化NDCG全局指标理论性能优于点/配对损失智能提示工程传统提示依赖人工编写本文实现自动化迭代寻优无需领域专家手动撰写专业指令。本文首次在真实医保生产任务上定量对比列表微调小型交叉编码器与智能体优化大模型重排器两套方案给出可直接复用的工业实验结论。3 任务定义与数据集构建3.1 任务数学定义输入患者查询qqq、候选医疗流程集合P{p1,...,pn}\mathcal{P}\{p_1,...,p_n\}P{p1​,...,pn​}学习打分函数f(q,pi)∈Rf(q,p_i)\in\mathbb{R}f(q,pi​)∈R输出按临床相关性降序排列结果。核心评价指标NDCGkDCGk∑i1k2yπ(i)−1log⁡2(i1) \text{DCG}k\sum_{i1}^k \frac{2^{y_{\pi(i)}}-1}{\log_2(i1)}DCGki1∑k​log2​(i1)2yπ(i)​−1​NDCGkDCGkIDCGk \text{NDCG}k\frac{\text{DCG}k}{\text{IDCG}k}NDCGkIDCGkDCGk​yiy_iyi​为真实相关性标签IDCG代表理想排序DCGNDCG归一至0~1区间。查询分为三类直接诊疗需求、症状描述、医保覆盖咨询。3.2 两阶段LLM数据集生成流水线基础素材708项医保服务领域专家映射得到1517种标准医疗流程。阶段1患者口语查询生成每条服务生成2×2\times2×流程数量条查询GPT-4o温度0.7采样维度查询意图、正式度70%关键词/30%对话口语、同义词替换强制禁止直接复制专业流程名称还原真实患者表达。采用轮询分配规则保证每类流程至少2次作为核心查询目标。阶段2相关性自动标注独立调用GPT-4o温度0对每条查询下全部候选流程做相关性排序若流程数量超过20仅保留目标流程19个随机干扰项控制输入长度。质量过滤规则仅保留目标流程排名前三的样本过滤语义不匹配噪声最终数据集共2647条查询-排序列表。人工校验随机抽取100条样本两名医保临床专家独立校验Top1/Top3匹配合理性专家A Top1通过率92%、Top3通过率92%专家B Top1通过率97%、Top3通过率97%标注一致性Cohen κ0.52中等一致源于标签分布极度倾斜证明LLM标注贴合真实临床判断。3.3 数据划分方案按查询维度切分训练/验证/测试集杜绝数据泄露训练集75%、验证集15%、测试集10%同一流程可分布在多子集但单条查询仅属于一份集。4 方法论4.1 交叉编码器微调骨干模型选用两类预训练交叉编码器MedCPT-Cross-Encoder109M基于PubMed医疗文献日志预训练医疗领域适配性强MiniLM-L12-v233M通用检索蒸馏轻量模型输入为患者查询医疗流程文本对输出一维相关性logit训练批次为完整候选排序列表全程采用列表损失计算梯度。4.2 三类列表式排序损失sis_isi​为模型输出分数yiy_iyi​为真实相关性标签LambdaLossLLambda∑i∑j:yiyj∣ΔNDCGij∣⋅log⁡(1e−(si−sj)) \mathcal{L}_{\text{Lambda}}\sum_{i}\sum_{j:y_iy_j}|\Delta\text{NDCG}_{ij}|\cdot\log(1e^{-(s_i-s_j)})LLambda​i∑​j:yi​yj​∑​∣ΔNDCGij​∣⋅log(1e−(si​−sj​))依据NDCG增益加权配对损失梯度ListNetLListNet−∑iPy(pi)log⁡Ps(pi) \mathcal{L}_{\text{ListNet}}-\sum_{i}P_{y}(p_{i})\log P_{s}(p_{i})LListNet​−i∑​Py​(pi​)logPs​(pi​)最小真实排序分布与模型softmax分布交叉熵PListMLELPListMLE−∑iwi(sπ(i)−log⁡∑j≥iexp⁡(sπ(j))) \mathcal{L}_{\text{PListMLE}}-\sum_{i}w_{i}\Big(s_{\pi(i)}-\log\sum_{j\geq i}\exp(s_{\pi(j)})\Big)LPListMLE​−i∑​wi​(sπ(i)​−logj≥i∑​exp(sπ(j)​))带位置权重的Plackett–Luce排序概率建模。4.3 三层参数冻结策略全解冻全部参数参与训练冻结嵌入层冻结词/位置/类型嵌入约78%参数可训练冻结嵌入前6层Transformer仅后6层可训练约40%参数可训练2模型 × 3损失 × 3冻结构成完整18组消融实验网格。4.4 智能体提示优化框架Qwen3-Reranker-4B基线模型4B参数量Qwen3-Reranker采用GPT-4.1迭代寻优循环固定200条验证子集计算每条NDCG3筛选最优、最差各10条样例作为对比素材元提示输入历史迭代记录正负样例GPT-4.1一次性生成5条候选提示全部候选在验证集批量打分最优候选指标提升则更新全局提示连续5轮无改善提前终止总迭代上限30轮。初始通用提示Rank the candidates by relevance to the query.迭代9轮后最优医疗专属提示Order the procedures from most to least relevant based on how thoroughly each aligns with the stated symptoms, diagnostic needs, or procedural requests in the query.提示优化收敛曲线说明横坐标迭代轮次纵坐标验证集NDCG3蓝点为每轮全部候选分数红线为历史最优值。3轮即可完成主要收益提升第9轮触发早停逻辑。5 实验设置5.1 评价指标核心指标NDCG1 / NDCG3 / NDCG5、MRR、斯皮尔曼秩相关系数模型选择、早停、超参调优均以NDCG3为主指标。5.2 基础统一训练超参网格搜索阶段学习率2×10−52\times10^{-5}2×10−5预热比例0.1权重衰减0.01梯度裁剪1.0批次为32条完整排序列表FP16混合精度最大50 epoch早停耐心5最小训练15 epoch相关性标签线性赋值候选排名n则得分n依次递减至1。5.3 Optuna精细超参调优从18组网格筛选前4最优配置采用TPE采样、50次搜索搜索空间如下超参数搜索区间学习率log均匀[5×10−6,10−4][5\times10^{-6}, 10^{-4}][5×10−6,10−4]权重衰减log均匀[10−4,0.1][10^{-4}, 0.1][10−4,0.1]预热比例均匀 [0.01, 0.3]批次大小{16, 32, 64}早停耐心{5, 10, 15}学习率调度cosine / linear每组最优超参完成5次随机种子42/123/456/789/1024训练测试集输出均值±标准差。5.4 评估规范全部模型选择、超参调优仅使用验证集400条查询测试集263条仅最终评估一次杜绝数据泄露。6 实验结果与分析6.1 18组全网格搜索结果MedCPT所有配置验证集NDCG3全面高于MiniLM最优4组均为MedCPT搭配ListNet/LambdaLoss、全解冻/冻结嵌入验证集NDCG3区间0.9611~0.9636PListMLE、冻结前6层指标显著下滑仅前4组进入精细调优环节。6.2 调优后测试集最终指标模型损失冻结策略参数NDCG1NDCG3NDCG5MRR斯皮尔曼相关MedCPT原始--109M.9135.9153.9202.8569.5845MiniLM原始--33M.9144.8804.8854.8466.4774MedCPTListNet全解冻109M.957±.003.961±.002.963±.002.924±.006.779±.011MedCPTListNet冻结嵌入109M.956±.004.960±.002.962±.003.924±.008.770±.013MedCPTLambdaLoss全解冻109M.951±.003.958±.001.958±.001.921±.008.754±.017MedCPTLambdaLoss冻结嵌入109M.951±.004.957±.003.958±.003.920±.008.748±.018Qwen3-4B优化提示--4B.941.936.940.898.646最优方案MedCPTListNet全解冻对比原生MedCPT NDCG3提升4.6pp对比4B大模型NDCG3高2.6pp斯皮尔曼相关高13.3pp参数量仅后者1/37冻结嵌入与全解冻指标差距极小冻结前6层精度大幅衰减列表损失对全局排序相关性提升幅度最大种子标准差极低0.003。6.3 损失与冻结消融结论损失横向对比验证集LambdaLoss小幅领先ListNet但测试集ListNet表现更优三类损失均可大幅提升斯皮尔曼相关10~19pp冻结策略全解冻 ≈ 冻结嵌入 冻结6层MedCPT底层医疗预训练特征鲁棒性更强冻结带来的精度损失小于MiniLM。6.4 小交叉编码器 vs 4B大模型对比最优微调109M交叉编码器在全部指标上超越提示优化后的4B Qwen3-Reranker指标差距远大于多种子标准差仅靠提示词优化无法替代领域列表式微调带来的全局排序校准能力。7 工程落地讨论与实践结论7.1 微调交叉编码器线上部署价值最优109M MedCPTListNet方案普通CPU即可批量推理4B大模型必须搭载GPU大规模线上检索场景算力、云服务成本差距极大同时推理延迟更低。微调后NDCG提升4.6个百分点全局排序相关性提升近20个百分点线上理赔匹配准确率显著改善。7.2 LLM合成数据集落地优势人工标注医疗排序数据集成本极高两阶段生成过滤流水线可低成本产出高质量垂直领域标注轮询保证流程全覆盖Top3过滤有效过滤噪声保险、临床等行业可快速复用该数据搭建方案。7.3 智能体提示优化优缺点优势仅依靠验证集数据自动挖掘领域专属话术无需医疗专家人工撰写提示迭代3轮即可显著提升基线模型指标局限仅做提示优化无法弥补大模型缺少领域列表微调的短板最终指标显著低于微调小型编码器。8 结论本文在医保理赔真实业务场景系统对比列表微调交叉编码器、智能体提示优化4B大重排器两套方案完成2骨干×3损失×3冻结共18组对照实验。实验证明109M MedCPT搭配ListNet微调全面领先4B Qwen3-RerankerNDCG3提升2.6个百分点斯皮尔曼相关提升13.3个百分点参数量仅为后者1/37。核心工程落地结论LLM两阶段流水线可低成本构建垂直领域重排序标注数据集智能体迭代寻优是快速搭建强LLM基线的高效手段线上系统算力、延迟受限场景领域微调小型交叉编码器是更优生产选型。研究局限性数据集仅来自单一医保服务商流程体系跨国家、跨保险分类泛化性未验证全部标注由GPT-4o生成会继承大模型固有偏倚人工校验仅缓解部分偏差仅测试2款交叉编码器、1款大重排器未覆盖BGE、GTE等主流重排模型冻结实验仅测试底层冻结未探索冻结顶层、微调嵌入层的反向策略。伦理说明全程无患者隐私、PHI敏感数据仅使用脱敏医保服务名称、流程、机器生成查询模型仅用于医保行政匹配辅助不用于临床诊断、诊疗方案推荐合成数据会继承GPT-4o语言偏倚对小众患者口语匹配存在潜在偏差核心结论证明小模型可替代大模型降低线上推理算力消耗绿色节能。附录附录A 18组网格验证集完整指标模型损失冻结参数NDCG1NDCG3NDCG5MRR斯皮尔曼MedCPT原始--109M.9265.9179.9222.8732.5995MedCPTLambdaLoss全解冻109M.9702.9636.9622.9427.7785MedCPTLambdaLoss冻结嵌入109M.9662.9611.9606.9360.7721MedCPTLambdaLoss冻结6层109M.9601.9497.9523.9193.7364MedCPTListNet全解冻109M.9697.9635.9612.9418.7695MedCPTListNet冻结嵌入109M.9694.9621.9607.9373.7624MedCPTListNet冻结6层109M.9583.9479.9491.9222.7145MedCPTPListMLE全解冻109M.9635.9589.9573.9257.7657MedCPTPListMLE冻结嵌入109M.9626.9594.9572.9274.7648MedCPTPListMLE冻结6层109M.9605.9492.9501.9210.7167MiniLM原始--33M.9308.8963.8964.8691.5314MiniLMLambdaLoss全解冻33M.9570.9471.9476.9099.7190MiniLMLambdaLoss冻结嵌入33M.9552.9440.9452.9094.7031MiniLMLambdaLoss冻结6层33M.9424.9288.9301.8835.6549MiniLMListNet全解冻33M.9462.9423.9412.9016.6964MiniLMListNet冻结嵌入33M.9428.9397.9392.9021.6904MiniLMListNet冻结6层33M.9340.9203.9225.8838.6270MiniLMPListMLE全解冻33M.9529.9452.9442.9013.7061MiniLMPListMLE冻结嵌入33M.9484.9429.9410.8943.6847MiniLMPListMLE冻结6层33M.9417.9266.9271.8876.6489附录B 最优4组Optuna调参结果配置学习率批次大小预热比例LambdaLoss 全解冻6.08e-5160.099LambdaLoss 冻结嵌入7.25e-5320.066ListNet 全解冻1.71e-5160.204ListNet 冻结嵌入5.53e-5320.173附录C 数据集构建完整伪代码# 输入医保服务集合S每项s对应医疗流程集合P_s# 输出训练数据集D {(查询q, 流程排序列表π)}D[]forsin全部医保服务:proc_list该服务对应的所有流程iflen(proc_list)2:continuen_query2*len(proc_list)# 轮询分配每条查询的目标流程target_seq轮询打乱后的proc_list,总长度n_queryforiinrange(n_query):target_proctarget_seq[i]# 随机采样三类生成参数意图覆盖咨询/症状描述/直接诊疗需求 正式度70%关键词短句/30%口语对话 同义词开关30%开启/70%关闭# 裁剪候选集最多20个cand_set[target_proc]iflen(proc_list)20:cand_set随机抽取19个非目标流程else:cand_setproc_list# 阶段1GPT-4o生成患者查询禁止直接复制流程名温度0.7queryGPT4o_generate(s,cand_set,target_proc,意图,正式度,同义词开关,temp0.7)# 阶段2GPT-4o做相关性全排序温度0rank_listGPT4o_rank(query,cand_set,temp0.0)# 获取目标流程在排序中的位次target_rankrank_list.index(target_proc)1# 质量过滤目标在前3才保留样本iftarget_rank3:D.append((query,rank_list))# 最终数据集总量2647条附录D 智能体提示优化搜索流程贪心树搜索逻辑每轮基于当前最优提示生成5条候选在验证集打分仅保留本轮最高分进入下一轮迭代连续5轮无提升终止迭代。附录E 并行坐标消融图说明可视化18组微调配置从基础模型到NDCG1指标变化颜色代表指标提升幅度直观看出MedCPTListNet全解冻为最优配置。参考文献完整参考文献列表见原arXiv论文涵盖临床预训练模型、列表排序损失、LLM重排、交叉编码器微调、检索优化相关文献。