1. 冷启动推荐与LLM重排当新问题遇上新工具在推荐系统的世界里“冷启动”一直是个让人头疼的老大难问题。无论是新用户刚注册还是新商品刚上架系统都面临着“两眼一抹黑”的窘境——没有历史交互数据传统的协同过滤、深度学习模型都使不上劲。我们通常的策略是依赖内容特征、热门榜单或者一些启发式规则来“硬扛”过这段时期但效果往往差强人意用户看到的要么是千篇一律的热门内容要么是与兴趣毫不相干的内容体验大打折扣。最近两年大语言模型LLM的爆发式发展给这个老问题带来了全新的解题思路。很多团队开始尝试将LLM作为推荐系统的“重排器”Re-ranker。简单来说就是在召回和粗排之后将一批候选物品比如20个的标题、描述、标签等信息连同用户的一些基础画像如注册时选择的兴趣标签一起“喂”给LLM让它基于对自然语言的深刻理解重新给这批物品打分排序输出一个更精准的Top-K列表。这个想法非常诱人LLM拥有强大的语义理解和推理能力能捕捉到“喜欢科幻电影《沙丘》的用户可能也会对涉及生态哲学和星际政治的书籍感兴趣”这种深层次的、非线性的关联而这恰恰是冷启动阶段最需要的。然而当我们兴冲冲地把LLM重排器部署上线期待着指标飙升时却常常发现事情没那么简单。模型离线评估的AUC或许很好看但线上A/B测试的长期效果却可能不尽如人意甚至带来一些意想不到的副作用。其中最核心、也最容易被忽视的两个问题就是覆盖率Coverage和曝光偏差Exposure Bias。这两个概念在传统推荐系统中已被广泛研究但在LLM重排这个新场景下它们有了新的表现形式和更严峻的挑战。如果不对其进行诊断和缓解LLM重排器很可能从一个“银弹”沦为一个制造新问题的“黑盒”。2. 诊断一LLM重排如何“窄化”你的物品覆盖率覆盖率在推荐系统中通常指系统能够推荐到的物品占总物品池的比例。一个健康的推荐系统应该有能力将长尾、小众的物品分发给可能对它们感兴趣的用户而不是永远在推荐头部热门内容。在冷启动场景下覆盖率的挑战尤为突出因为新物品本身就没有曝光机会。当我们引入LLM重排器后覆盖率问题可能会被加剧我称之为“语义窄化”效应。要理解这一点我们需要拆解LLM的工作机制。2.1 LLM的“安全牌”倾向与训练数据偏差LLM特别是经过指令微调和人类反馈强化学习RLHF的模型在生成内容时有一个内在的“安全牌”Safe Bet倾向。为了避免产生有害、冒犯或不准确的输出模型会更倾向于选择那些在训练数据中常见、被广泛认可、语义上“稳妥”的选项。在推荐重排任务中这意味着什么呢假设我们有一个图书推荐场景。候选池里既有《三体》这种广为人知的科幻经典也有一本名为《深海余烬》的相对小众的克苏鲁题材小说。当LLM接收到用户“喜欢科幻”的模糊信号时它基于海量互联网文本的训练记忆会非常“熟悉”《三体》及其相关的各种讨论、评价。相比之下《深海余烬》的信息在训练语料中可能寥寥无几。因此即使后者的内容特征与用户潜在兴趣匹配LLM也极有可能因为“不熟悉”或“缺乏信心”而给予较低的评价分数从而使其在重排后排名靠后甚至被挤出最终推荐列表。这种偏差本质上是一种训练数据分布偏差在推理阶段的再现。LLM从互联网规模的数据中学到的是整个社会的“主流”兴趣分布。它会不自觉地强化这种主流而冷落那些在数据中表征不足的长尾兴趣。这直接导致了推荐结果的“马太效应”热的愈热冷的愈冷新物品或小众物品获得曝光的机会进一步被压缩。2.2 提示工程不当引发的“关键词绑架”另一个导致覆盖率下降的常见原因是粗糙的提示Prompt设计。很多工程师在构建LLM重排提示时会直接采用类似以下的模板你是一个推荐系统助手。请根据用户的兴趣{用户兴趣标签}对以下候选物品列表进行打分排序1-10分输出分数最高的5个。 候选物品 1. 标题《三体》 描述著名科幻小说... 2. 标题《深海余烬》 描述一部关于... ...这种提示方式存在一个致命问题它没有明确要求模型去探索和发现多样性。LLM会忠实地执行“根据兴趣匹配”这个指令但它对“匹配”的理解往往是基于表面关键词的精确匹配或强相关匹配。如果用户的兴趣标签是“科幻、太空”那么包含“太空”、“星球”、“外星”等关键词的物品会获得极高权重。而像《深海余烬》这种虽然同属幻想题材但关键词更偏向“海洋、神秘、恐怖”的作品即使其内核未知恐惧、宏大叙事与科幻迷的喜好重叠也很容易被忽略。这就像让一个只会机械匹配关键词的搜索引擎来做推荐结果必然是覆盖范围狭窄。更糟糕的是LLM可能会过度解读某些关键词。例如如果用户兴趣中有“历史”LLM可能会过度偏向严格意义上的历史著作而排除那些具有历史背景的虚构小说如历史穿越文尽管后者可能同样符合用户口味。2.3 如何量化诊断覆盖率问题光有定性分析不够我们需要可量化的指标来监测LLM重排对覆盖率的影响。在与传统模型如逻辑回归、深度匹配模型的A/B测试对比中除了看核心业务指标如点击率CTR、转化率CVR必须加入覆盖率相关指标物品覆盖率Item Coverage统计一定周期内如一周被LLM重排器推送给至少一个用户的唯一物品数量除以全量物品池的大小。对比实验组LLM重排和对照组传统模型的这个比例。基尼系数Gini Coefficient或熵Entropy分析物品曝光量的分布。计算所有物品在实验组和对照组中获得的曝光次数的基尼系数。基尼系数越接近1说明曝光越集中在少数物品上分布越不均衡。LLM重排组的基尼系数显著高于对照组就是一个危险信号。长尾物品曝光率定义“长尾物品”例如过去30天曝光量位于后50%的物品。计算在实验组的全部曝光中长尾物品所占的比例。这个比例的下降直接反映了生态健康度的恶化。在我的一个实际项目中我们在一个教育视频推荐场景中接入了LLM重排。上线一周后虽然人均播放时长有微升1.2%但物品覆盖率从对照组的38%骤降至22%曝光基尼系数从0.65恶化到0.78。数据清晰地告诉我们LLM正在把流量疯狂地导向少数头部热门视频许多优质的垂直领域、新上传的教学视频完全失去了曝光机会。这就是一个典型的因未诊断覆盖率而导致的“优化近视”案例。3. 诊断二曝光偏差——LLM如何陷入自我强化的循环曝光偏差是一个比覆盖率更隐蔽、长期危害更大的问题。它指的是推荐系统所依赖的训练数据通常是用户点击/交互日志本身就已经被之前版本的推荐策略所影响。用户只能看到系统推荐的东西所以他们交互的数据天然地带有系统的“偏见”。我们用这些有偏的数据去训练模型模型又会强化这种偏见形成一个恶性循环。在LLM重排的场景下曝光偏差有了新的传导路径和放大机制。3.1 从行为反馈到语义反馈的偏差传导传统的推荐模型其偏差主要来源于用户行为日志的缺失用户没看到所以不可能有点击。而LLM重排器引入了一个新的偏差源它自身的输出会作为未来迭代的“反馈”。设想一个迭代过程初始阶段LLM基于内容特征和初始提示进行重排由于“安全牌”倾向它更多地推荐了热门物品A、B、C。数据收集用户与这些推荐结果主要是A、B、C产生交互点击、观看、购买。模型微调/提示优化工程师发现物品A、B、C的点击率很高于是他们可能会做两件事一是收集(用户特征 物品A/B/C信息 正反馈)这样的数据对LLM进行微调二是在提示词中加强“应推荐像A、B、C这类受欢迎的物品”的指令。偏差放大经过微调或提示优化的LLM在下一次推荐时会变本加厉地推荐A、B、C及其极度相似的物品因为模型从“数据”中“学到”了推荐这些就是对的。那些在第一步就没被推荐过的长尾物品D、E、F从此再也没有机会进入训练数据彻底从系统的“认知”里消失。这个过程形成了一个语义层面的“回声室”。LLM不是从真实的、无偏的用户兴趣分布中学习而是从它自己过去制造的、有偏的曝光结果中学习并不断强化这种偏差。最终系统的推荐多样性会枯竭陷入局部最优。3.2 提示词中的“历史成绩”陷阱另一种常见的加剧曝光偏差的做法是在提示词中引入物品的历史统计信息。例如候选物品 1. 标题《三体》 描述... **历史点击率15%** 2. 标题《深海余烬》 描述... **历史点击率0.5%**这看起来是给模型提供了更多“有用”信息但实际上是在向模型直接注入历史曝光偏差。历史点击率低的物品其低的原因很可能就是过去没获得足够的曝光机会冷启动问题。LLM看到0.5%的点击率会本能地认为这是一个“不受欢迎”的物品从而给予低分。这相当于用过去的系统偏差来惩罚那些本就受偏差伤害的物品让它们永无翻身之日。3.3 诊断曝光偏差的“前后对比”分析法曝光偏差难以直接在线上的单一版本中观测因为它是一个动态的、迭代的过程。一个有效的诊断方法是进行“隔离实验”构建无偏验证集在离线环境下人工构造或通过小流量随机曝光收集一份尽可能不受历史推荐策略影响的用户-物品交互数据。这份数据作为“ground truth”的近似。模拟迭代用当前LLM重排器记为V1对一批用户进行推荐模拟记录其推荐列表。然后假设用户按照“无偏验证集”中的兴趣进行反馈即如果推荐列表中的物品在验证集中用户喜欢则计为正样本用这些模拟反馈数据去微调LLM得到V2模型。评估分布变化分别用V1和V2模型在同一测试集上推荐计算并对比以下指标推荐列表的相似度如Jaccard Index如果V2和V1的推荐列表高度相似说明模型在迭代中迅速收敛可能陷入了自我强化。长尾物品排名变化观察那些在V1中排名靠后、但在无偏验证集中实际受欢迎的长尾物品在V2中的排名是否进一步下降如果是则证明曝光偏差正在放大。兴趣探索的衰减统计V2推荐列表中完全不在用户历史兴趣标签范围内但属于潜在关联兴趣的物品比例是否比V1更低这反映了模型探索新兴趣的能力在衰退。通过这种模拟我们可以在真正部署到线上之前提前预警曝光偏差的风险。在我的经验中一个未经设计的LLM重排器在3-5轮这样的模拟迭代后其推荐多样性用熵衡量可能会下降30%以上。4. 策略一设计提示与采样对抗语义窄化诊断出问题是为了解决问题。针对覆盖率下降的“语义窄化”效应我们可以在提示工程和采样策略上动手术引导LLM看得更广。4.1 改进提示词明确要求多样性与探索核心思路是将“多样性”和“探索”作为明确的优化目标写入指令。一个改进后的提示词模板如下你是一个智能推荐助手需要平衡相关性与发现性。 用户已知兴趣{兴趣标签}。 以下是20个候选物品。请执行两步操作 第一步相关性筛选从中选出10个与用户兴趣**直接相关或潜在相关**的物品。潜在相关指虽不直接匹配兴趣关键词但主题、风格、受众可能重叠。 第二步多样性排序对这10个物品从以下两个维度综合打分排序 1. 个体匹配度该物品与用户兴趣的匹配程度。 2. 列表多样性该物品与列表中已选物品的差异性。优先选择能带来新视角、补充兴趣盲区的物品。 请输出最终排序最高的5个物品并简要说明选择理由特别是基于多样性考量的理由。这个提示的改进点在于两步法先保证相关性池子再在池子内优化多样性避免了为多样性而牺牲核心相关性的风险。定义“潜在相关” explicitly引导LLM跳出关键词精确匹配的思维定式。量化多样性目标将“列表多样性”作为打分维度并要求说明理由这能激发LLM的推理能力去寻找差异化的物品。在实际测试中采用这种提示词后推荐列表的物品类型分布明显更广长尾物品的入选比例提升了约25%。4.2 引入随机性与噪声强制“开眼看世界”有时光靠“讲道理”提示词不够还需要一些“机械降神”的手段。我们可以在LLM重排的输入或输出阶段引入受控的随机性。输入阶段-候选集增强在送入LLM重排之前对召回/粗排提供的候选集进行加工。不是直接取Top-N而是采用多样化采样策略。例如使用MMRMaximal Marginal Relevance算法从更大的候选池中挑选出一个既相关又多样化的子集再交给LLM。这样就从源头上保证了LLM“有米下锅”。输出阶段-概率采样不直接采用LLM打分排序的Top-K。而是将LLM输出的分数或概率进行温度调节Temperature Scaling或Top-p核采样。例如设置一个较高的温度如T1.2使得分数差异被平滑然后根据调整后的概率分布进行随机采样。这样即使小众物品得分稍低也有一定概率被选中。这模仿了强化学习中的探索策略是打破模型固有偏见的有效手段。注意引入随机性会牺牲一部分短期确定性收益如点击率。因此需要在线上通过A/B测试精细调节随机性的强度如采样概率的权重、温度值在探索覆盖率和利用点击率之间找到最佳平衡点。一个经验性的起始点是将90%的流量按确定性排序推荐10%的流量按概率采样推荐。4.3 基于聚类的分桶排序法这是一个更工程化的策略特别适用于候选集规模较大的场景。其步骤是内容聚类离线使用物品的嵌入向量如通过Sentence-BERT生成的文本向量对所有物品进行聚类形成几十个到几百个内容簇。簇内排序将召回结果按所属的簇进行分组。配额分配设计一个简单的配额规则例如“最终5个推荐位需至少来自3个不同的簇”。LLM重排在每个簇内部使用LLM对物品进行排序选出该簇内的最优物品。全局组装根据配额规则从各簇中选取排序靠前的物品组装成最终列表。这种方法通过硬性的聚类约束从机制上保证了推荐的多样性将覆盖率的控制从LLM的“语义理解”层面上移到系统的“流程控制”层面更加稳定可靠。它的代价是可能无法实现全局最优的排序但对于冷启动初期保障生态健康而言往往是利大于弊。5. 策略二纠偏数据与模型打破循环强化要解决曝光偏差必须干预数据流和模型更新的闭环防止偏差一代代传下去并放大。5.1 构建去偏的微调数据与评估集这是治本之策。绝对不能直接用线上日志数据来微调LLM重排器。数据收集设立一个长期稳定的随机探索流量桶。例如拿出1%的流量完全随机地给用户推荐物品或按均匀分布从各聚类中采样。这部分流量产生的交互数据相对而言受历史策略影响最小更接近用户无偏的兴趣表达。这部分数据是用于模型迭代的“黄金数据”。数据增强对于从主流量桶收集的数据可以采用逆倾向评分Inverse Propensity Scoring, IPS进行纠偏。简单说就是给每条交互数据赋予一个权重这个权重与该物品历史上被曝光的概率成反比。热门物品曝光多其交互记录的权重就降低冷门物品曝光少其交互记录的权重就提高。这样在训练时模型就不会过度关注那些仅仅是因为曝光多而点击多的物品了。计算曝光概率需要依赖系统的曝光日志这是一个工程上的挑战但对于纠偏至关重要。评估集隔离用于评估模型性能的测试集必须与训练集在时间上和流量上严格隔离并且最好包含来自随机探索桶的数据以确保评估结果反映的是模型的真实泛化能力而不是对历史偏差的拟合能力。5.2 设计抗偏差的模型更新与提示迭代策略在模型更新和提示优化时要有意识地对抗偏差。多目标优化在微调LLM或设计提示词时不要只优化点击率CTR这一个目标。应该将覆盖率、基尼系数等生态健康指标作为正则化项或联合优化目标。例如可以在损失函数中加入一项惩罚模型对热门物品的过度偏好。这需要定义物品的“热度”并在训练时动态调整。定期“重启”或“回滚”建立模型性能的监控看板不仅看CTR更要紧密监控覆盖率和长尾物品曝光趋势。当发现多样性指标持续恶化时应考虑将模型回滚到早期多样性较好的版本或者用最新的去偏数据从头开始训练一个“干净”的模型而不是在已有偏差的模型上继续微调。这相当于定期打破偏差积累的循环。提示词中剔除偏差信号坚决禁止在给LLM的提示词中加入物品的历史统计指标如点击率、曝光量。这些信息对于预测“用户会不会点击”可能是有效的但它们会毒化模型对于“物品本身价值”的判断。应该让LLM专注于物品的内容语义与用户兴趣语义的匹配而不是被历史数据带偏。5.3 在线探索与利用的平衡机制在线上服务中需要一套动态机制来持续探索为系统注入新鲜血液。Bandit算法集成可以将LLM重排器与上下文Bandit算法如LinUCB结合。LLM负责给出一个“利用性”的排序Bandit算法则负责计算每个物品的“探索价值”不确定性。最终的排序分数可以是两者的加权和。对于新物品或曝光少的物品其不确定性高探索价值就大从而有更高机会排到前面。这是一个非常优雅的将经典探索策略与LLM结合的方法。动态探索配额在系统层面设定规则例如保证每天总曝光量中有X%必须分配给“新物品”如上线小于7天或“低曝光物品”如过去30天曝光量低于某个阈值。这部分配额内的流量可以绕过LLM重排或者使用一个专门为探索设计的、更鼓励多样性的LLM提示词版本。在我主导的一个电商推荐项目中我们采用了“IPS纠偏数据微调 最终列表5%强制探索配额”的组合策略。上线三个月后不仅核心GMV指标稳步提升新商品的“破冰”周期从上线到产生首次销售的平均时间缩短了40%整个商品库的动销率有销售的商品占比提升了15%。这证明打破曝光偏差的循环不仅能改善生态健康从长期看对核心业务指标也有积极的促进作用。6. 实战复盘一个教育应用冷启动重排的调优历程理论说再多不如一个真实的案例来得直观。去年我们团队在一个移动教育应用的“知识视频”板块接入了LLM重排目标是解决新用户和新视频的冷启动问题。整个过程可谓一波三折是上述诊断和策略的集中体现。6.1 第一阶段盲目上线与问题爆发最初我们设计了一个简单的提示词让LLM根据用户选择的学科标签如“初中数学”、“编程入门”和视频的标题、简介进行重排。离线评估在人工构造的测试集上相关性打分比原有规则系统高出一大截。我们满怀信心地全量上线。结果一周后的数据令人大跌眼镜核心指标人均观看视频数略有上升但平均观看完成率下降了8%。覆盖率指标视频覆盖率从35%暴跌至18%。现象我们通过人工review和用户反馈发现LLM几乎把所有流量都导向了少数几个标题“唬人”、封面吸引人但内容其实比较浅显的“网红老师”视频。而许多内容扎实、但标题平实的新人教师或深度专题视频完全得不到曝光。诊断我们立刻意识到这是典型的“安全牌”倾向和训练数据偏差。LLM从互联网文本中学到“3分钟速通XX”、“一招搞定XX”这类标题更具吸引力和传播性于是不自觉地优先推荐这类视频。同时我们的提示词只要求“匹配学科”没有要求“内容深度”或“多样性”导致推荐结果同质化严重。6.2 第二阶段提示词手术与多样性干预我们首先改进了提示词核心是加入了教学风格多样性和内容深度层级的考量。你是一个教育视频推荐专家。用户兴趣学科{学科}。 请从以下候选视频中综合考虑以下因素选出5个最适合该用户的视频进行排序 1. **内容相关性**与用户兴趣学科的直接匹配度。 2. **教学风格互补**确保列表中包含不同风格的讲师如激情演绎型、逻辑严谨型、幽默风趣型。 3. **难度梯度**应包含入门概览、核心讲解、深度拓展等不同难度的内容形成学习路径。 4. **内容新颖性**适当优先近期发布、视角独特的视频。 候选视频信息[视频列表]。同时我们在重排流程前加入了聚类分桶步骤。利用视频的文本嵌入和讲师ID将候选集分成“基础概念”、“例题精讲”、“综合拓展”等桶以及不同的讲师桶。要求最终列表必须覆盖至少2个内容桶和3个不同的讲师。效果调整上线后覆盖率指标回升至28%用户观看完成率也止跌回升。但通过数据分析我们发现一个微妙问题LLM似乎对“幽默风趣型”风格有过度偏好导致该风格视频曝光过度。6.3 第三阶段数据纠偏与探索机制引入我们判断这是曝光偏差的开始。因为“幽默风趣”的视频初期因LLM偏好获得了更多曝光从而产生了更多互动数据进一步强化了LLM的偏好。我们采取了组合拳设立随机探索桶拿出2%的流量完全随机推荐视频收集去偏数据。IPS数据重加权用一周的随机桶数据和主流量日志计算各视频的曝光倾向分对主流量数据进行IPS加权生成一份纠偏后的数据集。用纠偏数据微调LLM用这份新数据对LLM进行轻量微调目标函数同时考虑了点击率和风格分布的均匀性作为一个正则项。线上引入Bandit探索在最终排序逻辑中融入了简单的ε-greedy策略95%的概率采用LLM排序结果5%的概率从候选集中随机挑选一个低曝光视频插入到推荐列表的前三位。6.4 最终效果与持续监控经过大约一个月的迭代和稳定期系统达到了一个比较健康的状态核心指标人均观看数和完成率均稳定超过基线10%以上。生态指标视频覆盖率稳定在33%左右曝光基尼系数维持在0.7以下。冷启动效率新视频在发布后48小时内获得首次曝光的比例提升了50%。多样性不同教学风格、不同难度层级的视频都能获得相对均衡的曝光机会。这个案例告诉我们将LLM用于推荐重排尤其是冷启动场景绝不能是“一接了之”。它是一把异常锋利的双刃剑其强大的语义能力在带来精准度提升潜力的同时也潜藏着加剧系统偏见、扼杀多样性的巨大风险。成功的钥匙在于持续的诊断、精心的干预和系统的工程化平衡。必须用一系列指标覆盖率、基尼系数、探索效率来监控它的长期影响并用组合策略提示工程、采样技术、数据纠偏、探索机制来引导它走向我们期望的方向。只有这样LLM才能真正成为解决冷启动问题的利器而不是制造新问题的麻烦。