1. 项目概述当推荐系统遇上大语言模型最近在折腾一个挺有意思的课题如何用大语言模型LLM来构建推荐系统特别是想看看我们给模型的“指令”——也就是提示词Prompt——到底是怎么影响最终推荐结果的“三观”的。这事儿听起来有点玄乎但实操起来你会发现它直接关系到你的推荐列表是“千人千面”还是“千人一面”甚至会不会带着某种看不见的偏见。传统的推荐系统无论是协同过滤还是深度学习模型本质上都是在海量用户行为数据里“挖矿”找出“喜欢A的人也喜欢B”这类模式。但这里有个问题模型学到的可能是数据里已经存在的偏见。比如一个求职平台的历史数据显示技术类岗位的推荐更多给男性用户那么模型就会强化这种关联导致女性用户更难看到相关机会。这种偏见是隐性的藏在数据分布里很难通过传统工程手段根除。大语言模型的引入带来了一种“可解释”和“可引导”的可能性。我们不再仅仅依赖冰冷的数据关联而是可以通过自然语言指令让模型理解我们想要的推荐逻辑。比如我们可以明确告诉模型“请基于用户的技能和项目经验而非其性别或年龄来推荐合适的职位。”这听起来很美好对吧但问题恰恰出在这里你给的指令真的被模型“正确”理解并执行了吗我最近在本地部署了几个开源模型做实验从ChatGLM3到Qwen反复调整提示词发现结果差异巨大。一句微小的措辞变化比如把“请公平地推荐”换成“请无偏见地推荐”或者调整指令中各个要素的先后顺序都可能让推荐结果的倾向性发生偏移。这让我意识到提示词策略本身就是一把双刃剑用得好它能成为矫正偏见、提升公平性的强大工具用得不好它反而可能固化甚至放大模型内嵌的或数据带来的偏见。这篇文章我就想把自己在搭建这个“大语言模型推荐系统”原型过程中的思考、实验和踩过的坑系统地梳理一遍。我们会深入看看提示词到底是如何在推荐链路中发挥作用的它如何与模型本身的偏见相互作用以及我们作为开发者能通过哪些具体的策略来驾驭它让推荐变得更智能、也更公平。无论你是正在研究AI推荐的产品经理还是想将LLM落地到实际业务中的算法工程师这些从一线实验中得来的经验或许都能给你一些启发。2. 核心思路拆解提示词如何成为公平性的“调节阀”要理解提示词对公平性的影响我们得先拆解一下基于大语言模型的推荐系统是怎么工作的。它不像传统模型那样直接输出一个物品ID或分数其过程更像是一个“思考-决策”的链条而提示词就是这个思考过程的起点和路标。2.1 大语言模型推荐的基本范式目前主流的方法可以粗略分为三类而提示词在每一类中都扮演着核心角色1. 零样本/少样本直接推荐这是最直观的方式。你直接把用户信息历史行为、画像和候选物品列表比如10部电影简介塞给模型然后下指令“根据该用户的历史观看记录从以下电影中推荐他最可能感兴趣的三部并说明理由。”提示词的作用在这里提示词定义了任务目标做推荐、输入格式用户信息物品列表和输出格式Top3及理由。如果指令中只强调“兴趣匹配”模型可能会忽略多样性或公平性考量。2. 基于工具调用的复杂推荐这种方式能力更强。你赋予LLM调用外部工具的能力比如实时搜索数据库、查询用户画像向量、计算相似度等。提示词需要详细描述每个工具的功能和调用规则。提示词的作用此时提示词是协调中枢。它需要告诉模型“先调用工具A获取用户最近浏览记录再调用工具B根据记录检索相似物品最后综合用户长期兴趣工具C进行排序。”提示词的逻辑清晰度直接决定了模型能否公平地综合利用各类信息而不是过度依赖某一个可能有偏的数据源。3. 生成式内容推荐与解释LLM不仅可以做选择还能生成推荐理由、创作个性化推荐文案甚至“创造”符合用户需求的新物品描述例如生成一个符合你口味的虚拟书单。提示词的作用这里提示词是内容风格的塑造者。一句“请用热情洋溢、鼓励探索的语气为这位用户生成推荐理由”和一句“请用客观、中立、仅陈述事实的语气生成推荐理由”所产生的文本在情感倾向和潜在引导性上会截然不同。这种语言风格上的微妙差异本身就是一种影响用户感知的“软性偏见”。2.2 提示词中的偏见“注入点”理解了基本范式我们再来细看提示词文本本身可能埋下偏见种子的几个关键位置1. 角色设定Role Setting“你是一个资深电影评论家”和“你是一个注重多样性和包容性的文化推荐助手”这两个初始角色设定会引导模型采用完全不同的知识体系和价值判断来进行推荐。前者可能更偏向主流、获奖影片后者则会有意识地去挖掘小众、跨文化的作品。2. 任务指令的措辞Task Wording形容词的陷阱“推荐一些优秀的科幻电影。”——这里的“优秀”是谁定义的是IMDb高分是奥斯卡获奖还是特定影评群体的口味这种模糊的、带有价值判断的词汇会让模型隐式地调用其训练数据中的主流可能带有偏见评价标准。动词的倾向“筛选出适合男性的职场书籍” vs “探索该用户可能感兴趣的各类职场书籍”。前者直接引入了性别刻板印象而后者则更加开放。3. 上下文示例Few-shot Examples在少样本学习中我们给的几个例子会成为模型模仿的模板。如果例子本身就不公平例如给出的例子全是将编程书推荐给用户A男将育儿书推荐给用户B女那么模型会迅速学会并强化这种有偏见的关联模式。4. 输出格式与约束Output Constraints“请列出5个推荐并确保至少2个来自新兴创作者。”这是一个显式的公平性约束。相比之下如果没有约束模型可能会倾向于推荐那些在训练数据中被高频提及的可能来自优势群体的热门作品导致“马太效应”。5. 安全与价值观对齐指令许多模型在系统提示词中内置了安全条款如“拒绝生成有害内容”。但有时过于宽泛的安全限制可能会误伤。例如为了避免涉及任何可能敏感的社会议题模型可能会倾向于推荐“安全”但内容同质化、缺乏深度的娱乐作品这实际上构成了一种基于风险规避的“内容偏见”。实操心得在编写提示词时我习惯把提示词本身当作一个需要调试的“超参数”。不要想着一蹴而就而是应该准备多个在角色、措辞、约束上略有差异的版本针对同一批测试用例进行A/B测试对比推荐结果的差异。这是发现隐性偏见最直接的方法。3. 从理论到实践构建一个可评估的LLM推荐实验框架光说不练假把式。要真正研究提示词的影响我们需要一个可以量化、可重复的实验环境。下面我就分享一下我在本地搭建的一个简易实验框架的核心思路和关键步骤。3.1 实验系统设计我的目标是控制变量观察不同提示词下推荐结果的变化。系统主要包含以下几个模块本地化模型部署为了实验的灵活性和数据隐私我选择了在本地部署开源模型。这里以Qwen-7B-Chat为例使用vLLM或Transformers库进行加载。选择7B参数量的模型是因为它在消费级显卡如RTX 4090上可以流畅运行且具备足够的推理能力。# 示例使用Ollama快速部署并测试Qwen一种更简易的方式 ollama pull qwen:7b ollama run qwen:7b在Python中则可以这样调用from openai import OpenAI # 使用兼容OpenAI API的本地客户端 client OpenAI( base_urlhttp://localhost:11434/v1, # Ollama的API地址 api_keyollama, # 可随意填写非必需 ) response client.chat.completions.create( modelqwen:7b, messages[{role: user, content: 你的提示词在这里}] )模拟数据集构建由于研究偏见我们需要一个包含敏感属性如性别、年龄、地域和兴趣标签的用户-物品交互数据集。我采用了一个公开的电影数据集如MovieLens并人工合成了用户性别属性仅用于评估不用于训练以确保我们清楚偏见评估的基准。物品电影则带有类型、年代、主演国籍等多元标签。提示词模板库这是实验的核心。我会设计一系列对比模板基准模板无公平性指令。例“根据用户的历史观看记录推荐5部电影。”显式去偏模板加入公平指令。例“根据用户历史记录推荐5部电影请确保推荐列表在电影类型和年代上具有多样性避免因导演性别或国籍而产生倾向性。”角色化模板例“你是一个致力于推广全球多元电影的策展人。请为用户推荐5部电影其中应包含不同文化背景的作品。”评估指标体系如何衡量“公平性”我采用了多维度指标推荐准确性传统指标如命中率HR、归一化折损累计增益NDCG确保推荐本身是相关的。多样性推荐列表内物品的差异性如类型分布、年代跨度。公平性群体公平性比较推荐给不同性别用户的电影在“动作片”vs“爱情片”上的比例差异。个体公平性相似的用户历史兴趣接近是否得到了相似的推荐待遇代表性推荐列表中小众类型如纪录片、独立电影或新兴创作者的作品占比。3.2 核心实验步骤与代码示意实验流程可以概括为准备数据 - 组装提示词 - 调用模型 - 解析结果 - 评估指标。步骤一准备用户数据和候选集import pandas as pd # 假设我们有用户历史记录和电影元数据 user_history {“user_id_1”: [“movie_A”, “movie_B”], …} # 用户历史观看列表 movie_metadata {“movie_A”: {“title”: “Inception”, “genres”: [“Sci-Fi”, “Action”], “director_gender”: “male”, “country”: “USA”}, …} # 为每个用户生成一个候选电影池例如排除已看过的随机采样100部步骤二组装动态提示词这是最关键的一步。我们需要将用户信息、候选集信息动态填充到预设的模板中。def build_prompt(user_id, candidate_movies, prompt_template): history user_history[user_id] history_titles [movie_metadata[mid][“title”] for mid in history[:5]] # 取最近5部 candidate_descriptions “\n”.join([f”{i1}. {movie_metadata[mid][‘title’]} ({‘, ‘.join(movie_metadata[mid][‘genres’])})” for i, mid in enumerate(candidate_movies)]) prompt prompt_template.format( user_history“, “.join(history_titles), candidate_listcandidate_descriptions ) return prompt # 定义不同的模板 template_neutral “””用户最近观看了{user_history}。 请从以下电影列表中为该用户推荐他最可能感兴趣的3部电影 {candidate_list} 只需返回电影序号例如1, 3, 5″”” template_fair “””用户最近观看了{user_history}。 请从以下电影列表中为该用户推荐3部电影。在保证符合其兴趣的前提下请有意识地让推荐结果在电影类型和出品地区上尽可能多样化 {candidate_list} 只需返回电影序号。”””步骤三调用模型并解析结果def get_recommendation(prompt): response client.chat.completions.create( model”qwen:7b”, messages[{“role”: “user”, “content”: prompt}], temperature0.3, # 较低的温度使输出更确定便于对比 max_tokens50 ) output response.choices[0].message.content # 简单解析返回的序号实际应用中需要更健壮的解析逻辑 try: recommended_indices [int(x.strip()) for x in output.split(‘,’)] return [candidate_movies[i-1] for i in recommended_indices] # 映射回电影ID except: return [] # 解析失败处理步骤四批量实验与评估对每个用户、每个提示词模板运行推荐然后汇总结果计算我们之前定义的各项指标。注意事项模型输出具有随机性即使temperature较低。为了得到可靠结论每个实验条件用户*模板都需要多次运行例如5次然后取指标的平均值。这能减少单次生成中的噪声让我们观察到的差异更可能源于提示词本身而非偶然。4. 实验结果深度分析提示词微调引发的“蝴蝶效应”跑完几轮实验后我得到了一些非常有意思也有些反直觉的数据。这里分享几个关键发现。4.1 发现一简单的“多样性”指令可能适得其反我最初认为在提示词里加上“请确保推荐结果多样”就万事大吉了。但实验数据给了我一记闷棍。场景为用户推荐电影。基准提示词只要求“根据兴趣推荐”。公平提示词A在末尾加上“并确保类型多样”。结果对于历史只看科幻片的用户基准提示词稳定推荐科幻片。而公平提示词A的推荐列表里确实出现了一部纪录片和一部爱情片但这两部电影与用户历史兴趣的匹配度极低根据评估指标NDCG显著下降。分析模型机械地理解了“类型多样”但它没有能力或在当前简单的指令下没有被引导去平衡“多样性”和“相关性”。它可能只是从候选集中随机挑选了不同类型电影导致推荐质量滑坡。这被称为“多样性-准确性权衡”困境。优化方案修改提示词为更精确的指令“在优先推荐与用户历史兴趣高度相关的电影基础上如果有可能从相关类型中挑选一部风格略有不同的电影以增加列表的丰富度。” 这给了模型一个优先级逻辑先保兴趣再求多样。实测下来推荐列表的多样性有轻微提升但准确性损失大大减少。4.2 发现二角色扮演比直接指令更“润物细无声”这是一个积极的发现。我对比了“直接指令模板”和“角色化模板”。直接指令模板“推荐时请避免性别刻板印象。”角色化模板“你是一个关注性别平等议题的电影学者。你的推荐旨在帮助用户打破观影的固有界限。”结果在面对“一位历史观看记录多为浪漫喜剧的女性用户”时直接指令模板的推荐列表里加入了动作片但模型在推荐理由中生硬地写道“为了避免性别刻板印象为您推荐了《疾速追杀》。” 这显得突兀且带有说教意味。而角色化模板的推荐列表同样包含了动作片但其生成的推荐理由是“您欣赏的浪漫喜剧中体现的人物情感张力在《疯狂的麦克斯狂暴之路》这部以女性为主导的动作史诗中以另一种磅礴的方式得到了诠释或许能带给您新的震撼。”分析角色化提示词为模型注入了一个更完整的“价值观人格”。模型不仅仅是在执行一条规则而是在尝试用这个角色的视角和知识体系去思考问题。因此其输出无论是推荐物品还是解释都更加自然、连贯也更容易被用户接受。公平性被内化到了推理过程中而不是作为一个外部约束被生硬地贴上。4.3 发现三少样本示例是一把极其锋利的“双刃剑”我在做书籍推荐实验时尝试了少样本学习。有偏示例我给了模型两个例子用户描述为喜欢编程、逻辑性强- 推荐《算法导论》《代码大全》。用户描述为细心、有耐心- 推荐《幼儿教育心理学》《亲密关系》。结果当出现一个新用户描述为“逻辑清晰且富有耐心”时模型推荐了《算法导论》和《幼儿教育心理学》的混合列表。这看起来“公平”吗它似乎结合了两种特质。但深究下去问题在于为什么“逻辑性强”就默认关联“编程书”为什么“有耐心”就默认关联“育儿书”模型从我给的仅有两个例子中快速归纳并强化了这些社会固有的刻板印象关联。教训少样本示例的选择必须极度谨慎。它们为模型提供了强大的模式归纳线索。如果你无法确保示例本身是公平、无偏的那么宁可不提供示例使用零样本或者提供反刻板印象的示例例如给喜欢编程的用户推荐《艺术的故事》给有耐心的用户推荐《量子物理史话》主动引导模型打破固有联想。4.4 发现四模型本身的偏见与提示词的博弈我对比了不同开源模型如Qwen、ChatGLM、Llama在相同提示词下的表现。实验使用完全相同的、中性的提示词“根据用户描述推荐一份工作”输入“一位刚毕业的女大学生专业是计算机科学”。结果模型A更频繁地推荐“前端开发工程师”、“软件测试工程师”。模型B则相对更多地推荐“后端开发工程师”、“算法工程师”。模型C的推荐中出现了“技术文档工程师”、“产品助理”等非纯编码岗位的比例较高。分析尽管提示词是“中性”的但不同模型由于其训练数据分布、对齐微调策略的差异内嵌了不同的社会偏见和关联模式。模型A的训练数据可能更多地关联了“女性”与“前端/测试”这些领域女性比例相对较高或刻板印象如此而模型B的这种关联可能较弱。这说明提示词策略并非在真空中起作用它是在与模型自身的“偏见基底”进行互动和博弈。一个旨在去偏的提示词在一个偏见基底很强的模型上可能需要更强烈、更精巧的设计才能生效。实操心得永远不要假设模型是“白板”一块。在设计公平性提示词之前最好先对你所用的模型进行一轮“偏见审计”。用一组设计好的、包含敏感属性的测试用例在零样本或简单指令下跑一遍看看它默认的倾向是什么。这能帮助你了解你需要对抗的“对手”有多强从而设计更有针对性的提示词策略。5. 高级策略与工程化建议基于以上发现我们可以总结出一些更高级、更工程化的提示词策略来系统性提升LLM推荐系统的公平性。5.1 结构化提示与思维链不要给模型扔一段笼统的文字。将提示词结构化引导模型进行分步推理这能让它的思考过程更透明也更容易被控制。示例请按照以下步骤为用户生成推荐 1. 分析用户历史兴趣从以下记录中总结出核心兴趣点[用户历史]。 2. 识别潜在偏见风险检查上述兴趣点是否可能与社会常见的刻板印象如性别与兴趣、年龄与品类等产生过度关联。列出1-2个潜在风险。 3. 制定公平推荐策略针对上述风险制定一条策略例如“在推荐编程书籍时同时考虑理论经典和实践前沿而不与用户性别关联”。 4. 执行推荐根据步骤1的兴趣点和步骤3的策略从候选集中选择3个物品。 5. 生成解释基于以上所有步骤撰写一段给用户的推荐理由。这种“思维链”提示迫使模型显式地思考“偏见风险”和“缓解策略”而不是在潜意识里完成可能有偏的关联。5.2 后处理与集成策略提示词工程不是唯一的武器。我们可以将其与传统的后处理技术结合。提示词重排序先用一个追求“相关性最大化”的提示词让LLM生成一个较长的候选列表如20个。然后用一个独立的、基于规则的或轻量级模型的重排序器对这个列表进行二次调整注入多样性、公平性约束。例如规则可以是“在Top10中确保至少有一个物品来自小众类别。” 这样既利用了LLM强大的相关性判断能力又通过后处理保证了公平性目标的达成。多提示词集成同时使用多个不同侧重点的提示词一个主攻相关性一个主攻多样性一个主攻新颖性让模型生成多份推荐列表然后通过投票、加权融合等方式得到最终结果。这类似于集成学习可以平滑掉单个提示词可能带来的极端偏见。5.3 持续监控与迭代公平性不是一个“设置后即忘记”的参数。上线后必须持续监控。定义业务相关的公平性指标除了学术指标更要定义与你的产品价值观相关的指标。例如对于新闻推荐可以监控“推荐给不同政治倾向用户的新闻信源的政治光谱分布”。A/B测试框架将不同的提示词策略作为实验组在线上进行小流量A/B测试核心观察指标除了点击率、转化率必须包括上述公平性指标。数据会告诉你用户对哪种“公平”更买账。建立偏见反馈回路允许用户对推荐结果提供“无关”或“有偏见”的反馈。这些反馈数据是极其宝贵的可以用来微调模型或优化你的提示词模板。5.4 系统提示词的全局设定对于长期运行的推荐服务通常会在系统层面设定一个“系统提示词”它定义了模型的根本行为准则。这个提示词需要精心设计。一个考虑公平性的系统提示词可能包含 “你是一个智能推荐助手。你的核心目标是帮助用户发现他们真正感兴趣且对他们有益的内容。在做到这一点的同时你必须积极避免强化社会固有刻板印象努力为所有用户提供多样、包容的视野。当用户兴趣可能局限于某一狭窄领域时你可以在确保核心推荐相关的前提下温和地引入一些能拓宽其视野的选择。你的所有推荐和解释都应基于物品本身的客观属性和用户的表达需求而非其性别、年龄、种族等个人属性。”这个全局设定为每一次具体的推荐对话定下了基调。6. 常见陷阱与排查指南在实际操作中我踩过不少坑。这里列个清单希望能帮你绕过去。问题一模型完全无视我的公平性指令推荐结果依旧有偏。排查思路指令位置与强度检查你的公平性指令是否放在了提示词末尾模型有时会对末尾指令注意力下降。尝试把它放在最前面或者用“## 重要原则”这样的格式突出。指令冲突你的指令是否自相矛盾例如“推荐用户最可能点击的新闻”和“确保新闻立场均衡”可能在模型看来是冲突的因为用户可能只爱点击某一立场新闻。你需要明确优先级或修改指令为“在推荐用户可能感兴趣的新闻时兼顾立场均衡”。模型能力天花板你用的模型尺寸是否太小如小于7B小模型的理解和遵循复杂指令能力有限。尝试换用更大参数量的模型或使用思维链CoT拆解指令。温度参数temperature参数是否太高如大于0.8高温度带来高随机性可能导致模型“跳脱”出你的指令框架。对于严肃的公平性测试建议先将温度调低如0.1-0.3观察模型在确定性下的表现。问题二模型为了追求“公平”推荐了一堆完全不相关的东西用户体验很差。排查思路量化约束避免使用“多样化”、“均衡”这类模糊词汇。尝试将其量化。例如将“推荐类型多样的电影”改为“推荐5部电影其中最多3部属于同一类型”。分层推荐采用“核心推荐探索推荐”模式。在提示词中明确“首先推荐3部与用户兴趣最匹配的电影。然后额外提供2部用于拓宽视野的电影它们应与用户兴趣有一定关联但来自其较少接触的类型。”检查相关性基础首先确保在不加公平性约束时模型的相关性推荐是准确的。如果基础相关性都做不好叠加任何约束都是空中楼阁。问题三提示词变得又臭又长维护成本高且效果不稳定。排查思路模块化设计将提示词拆解成模块如“系统角色模块”、“任务定义模块”、“输出格式模块”、“公平性约束模块”。可以像搭积木一样组合调试。参数化将用户特征、物品池等动态内容与静态指令模板分离。使用像LangChain这样的框架来管理提示词模板和变量填充。版本控制像管理代码一样管理你的提示词。使用Git对不同的提示词策略进行版本控制记录每次修改对应的评估结果。问题四如何评估提示词修改是否真的提升了公平性而不是我的错觉解决方案建立基准测试集。精心构造一批测试用例涵盖不同的敏感属性组合如不同性别、年龄段的用户画像和边缘案例兴趣极其狭窄的用户。为每个用例定义“期望的公平推荐结果”作为参考可能需要人工标注。每次修改提示词后都在这个固定的测试集上跑一遍计算并记录准确性、多样性、公平性等各项指标的变化。只有数据上显示一致性的改善才能证明修改有效。最后想说的是用大语言模型做推荐并追求公平性是一个动态的、需要持续校准的过程。没有一劳永逸的“银弹”提示词。它要求我们既是工程师也是产品设计师还是社会观察者。核心在于建立一种“敏感性”对你所用的模型、你所处理的数据、你所编写的指令以及最终呈现给用户的结果保持审慎和反思。每一次提示词的调整都是一次与模型价值观的对话而这场对话的质量最终决定了你的推荐系统是成为一个放大偏见的回声室还是一个拓展视野的窗口。