在电商搜索场景中用户输入的查询词往往简短、模糊甚至包含拼写错误这给搜索引擎准确理解用户意图、召回相关商品带来了巨大挑战。例如用户搜索“跑步鞋”其背后可能隐藏着“男士缓震跑鞋”、“女士竞速跑鞋”或“专业马拉松训练鞋”等多种具体意图。传统的搜索系统依赖于历史查询日志和商品标签进行匹配但对于长尾、新上架或冷门商品其曝光和被发现的机会大大降低导致“搜索无结果”或“结果不相关”的糟糕体验直接影响转化率和用户留存。本文旨在系统性地探讨一种前沿的解决方案通过相关意图生成Related Intent Generation来提升电商搜索中的商品可发现性。我们将从核心概念、技术原理、实战实现到工程化落地完整拆解如何利用生成式模型将用户的一个简短查询扩展为一系列语义相关、表达多样的意图从而更精准地触达商品库提升搜索的召回率和相关性。无论你是搜索算法工程师、推荐系统开发者还是对NLP应用感兴趣的后端工程师都能从本文中获得一套可复现的实践方案。1. 背景与核心概念为什么需要相关意图生成1.1 电商搜索的痛点意图鸿沟电商平台的商品库规模庞大品类繁多。用户的搜索行为具有高度的不确定性和多样性。核心痛点在于“意图鸿沟”查询词简短用户习惯输入2-4个词如“红色裙子”、“蓝牙耳机”信息量有限。表达多样性同一商品可能有多种叫法如“手机壳”也叫“保护套”“卫衣”也叫“套头衫”。意图模糊性查询“苹果”可能指水果也可能指手机品牌。冷启动问题新上架的商品缺乏用户行为数据难以被搜索到。传统的基于词匹配如BM25或向量匹配如双塔模型的方法严重依赖查询词与商品标题/描述的文本重合度。当用户查询与商品描述存在词汇不匹配时即使商品高度相关也无法被召回。1.2 相关意图生成弥合鸿沟的桥梁相关意图生成Related Intent Generation的核心思想是不直接匹配查询和商品而是先将一个查询“翻译”或“扩展”成多个能更清晰、更具体表达同一购物需求的查询即“相关意图”然后用这些扩展后的意图去检索商品。它与传统查询扩展Query Expansion的区别传统查询扩展通常基于同义词词典或点击图添加与原查询词义相近的词如“跑步鞋” - “运动鞋”本质是词的扩展。相关意图生成利用生成模型如T5、BART、GPT系列理解原查询的语义生成完整、通顺、多样化的新查询句子本质是意图的扩展。例如输入“跑步鞋”生成意图“适合新手入门穿的缓震跑步鞋”、“2024年新款男士轻便竞速跑鞋”、“适合在塑胶跑道上训练的专业跑鞋”。这种方式能更深入地理解用户需求生成更丰富的搜索入口从而穿透商品描述文本的“词汇墙”找到那些描述方式不同但功能一致的商品。1.3 核心价值与应用场景提升召回率Recall通过多个相关意图覆盖更广的商品集合特别是长尾和新品。改善搜索结果相关性Relevance生成的意图更具体能匹配到更精准的商品。优化零结果率Zero Result Rate当主查询无结果时用生成的相关意图进行二次检索提供备选结果。赋能搜索推荐与导航生成的相关意图可以作为“相关搜索”词条直接推荐给用户引导其探索。助力语义索引构建为商品生成对应的搜索意图用于构建更鲁棒的语义索引。2. 环境准备与模型选型在开始实战前我们需要搭建开发环境并选择合适的模型。本文以Python为主要语言使用Hugging Face Transformers库。2.1 环境与依赖建议使用Python 3.8并创建一个独立的虚拟环境。# 创建并激活虚拟环境以conda为例 conda create -n search_intent_gen python3.8 conda activate search_intent_gen # 安装核心依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 根据CUDA版本调整 pip install transformers datasets sentencepiece accelerate pip install pandas numpy scikit-learn # 用于数据处理和评估2.2 模型选型选择生成模型是关键。我们需要一个在文本生成任务上表现良好且适合做“文本到文本”转换的模型。T5 (Text-To-Text Transfer Transformer)谷歌推出的通用文本生成模型将所有NLP任务都视为“文本到文本”的转换非常适合本任务。我们可以将其训练为“查询 - 相关意图列表”的生成器。BART (Bidirectional and Auto-Regressive Transformers)Facebook推出的序列到序列模型在文本生成和修改任务上表现优异同样适合。mT5 / mBART上述模型的多语言版本如果业务涉及多语言搜索应优先考虑。GPT-2 / GPT-Neo自回归语言模型可以通过Prompt Engineering如“生成与‘跑步鞋’相关的搜索查询”来生成相关意图但可控性稍弱于T5/BART。本文选择T5-Small模型进行演示它在效果和资源消耗之间取得了良好平衡适合快速实验和入门。生产环境可根据数据量和性能要求选择T5-Base或T5-Large。# 示例加载预训练的T5模型和分词器 from transformers import T5ForConditionalGeneration, T5Tokenizer model_name t5-small # 也可使用 google-t5/t5-small tokenizer T5Tokenizer.from_pretrained(model_name) model T5ForConditionalGeneration.from_pretrained(model_name)3. 核心技术原理与数据准备3.1 任务形式化我们将相关意图生成任务定义为条件文本生成任务。输入Source原始用户查询Query。例如“无线蓝牙耳机”输出Target由分号分隔的多个相关意图Related Intents。例如“降噪无线蓝牙耳机运动防汗蓝牙耳机2024新款高音质蓝牙耳机”模型的学习目标是给定一个查询生成一串通顺、相关、多样化的相关搜索意图。3.2 训练数据构建高质量的训练数据是模型成功的关键。数据来源通常有搜索会话日志Session Logs同一用户在短时间内进行的多次搜索往往具有相关意图。例如用户先搜“笔记本电脑”几分钟后搜“游戏本 高配置”。可以将会话内后续查询作为前序查询的相关意图。需要经过严格的去噪和过滤如过滤掉跳转型查询。点击图与共现分析被同一批用户点击的商品其对应的查询可能具有相关意图。通过对查询-商品点击二分图进行随机游走等算法可以挖掘查询之间的语义关联。人工标注对于核心品类和头部查询聘请标注人员根据查询生成3-5个相关意图。质量最高但成本也高。无监督数据生成利用大语言模型如ChatGPT、GPT-4根据商品标题和类目批量生成可能的搜索查询再经过筛选和去重构建商品-查询对进而衍生出查询-相关查询对。示例数据格式CSVquery,related_intents 跑步鞋,专业马拉松竞速跑鞋男士缓震透气跑步鞋新手入门慢跑鞋 连衣裙,夏季碎花雪纺连衣裙法式复古收腰连衣裙参加婚礼穿的礼服裙 智能手机,2024年新款5G智能手机拍照好的安卓手机大屏长续航手机3.3 数据预处理与Tokenization使用T5分词器对输入输出进行预处理。T5要求所有任务都以特定前缀开头对于自定义任务我们可以定义一个前缀如“generate related search intents: ”。def preprocess_function(examples): # examples 是一个包含‘query’和‘related_intents’字段的batch inputs [generate related search intents: q for q in examples[query]] model_inputs tokenizer(inputs, max_length64, truncationTrue, paddingmax_length) # 设置标签 with tokenizer.as_target_tokenizer(): labels tokenizer(examples[related_intents], max_length128, truncationTrue, paddingmax_length) model_inputs[labels] labels[input_ids] # 将padding部分的loss忽略掉 model_inputs[labels] [ [(l if l ! tokenizer.pad_token_id else -100) for l in label] for label in model_inputs[labels] ] return model_inputs # 假设我们有一个Hugging Face Dataset对象 raw_datasets tokenized_datasets raw_datasets.map(preprocess_function, batchedTrue)4. 完整实战训练与评估意图生成模型4.1 模型训练配置我们使用Transformers的TrainerAPI进行训练。from transformers import DataCollatorForSeq2Seq, Seq2SeqTrainingArguments, Seq2SeqTrainer # 数据整理器 data_collator DataCollatorForSeq2Seq(tokenizer, modelmodel) # 定义训练参数 training_args Seq2SeqTrainingArguments( output_dir./t5-search-intent-generator, evaluation_strategyepoch, learning_rate3e-4, per_device_train_batch_size16, per_device_eval_batch_size16, weight_decay0.01, save_total_limit3, num_train_epochs10, predict_with_generateTrue, # 评估时生成文本 fp16True, # 如果GPU支持混合精度训练 logging_dir./logs, logging_steps100, save_strategyepoch, load_best_model_at_endTrue, metric_for_best_modeleval_rougeL, ) # 初始化Trainer trainer Seq2SeqTrainer( modelmodel, argstraining_args, train_datasettokenized_datasets[train], eval_datasettokenized_datasets[validation], data_collatordata_collator, tokenizertokenizer, # compute_metricscompute_metrics, # 需要自定义评估函数 )4.2 自定义评估指标对于生成任务常用的自动评估指标有ROUGE和BLEU。我们可以主要关注ROUGE-L它衡量生成文本与参考文本之间的最长公共子序列能较好地反映语义相似度。import evaluate import numpy as np rouge evaluate.load(rouge) def compute_metrics(eval_pred): predictions, labels eval_pred # 解码预测结果 decoded_preds tokenizer.batch_decode(predictions, skip_special_tokensTrue) # 将labels中的-100替换为pad_token_id以便解码 labels np.where(labels ! -100, labels, tokenizer.pad_token_id) decoded_labels tokenizer.batch_decode(labels, skip_special_tokensTrue) # 计算ROUGE分数 result rouge.compute(predictionsdecoded_preds, referencesdecoded_labels, use_stemmerTrue) # 提取关键指标 result {key: value * 100 for key, value in result.items()} return {k: round(v, 4) for k, v in result.items()}将compute_metrics函数传入Trainer。4.3 启动训练trainer.train()训练完成后模型会自动保存到output_dir。你可以将最佳模型上传到Hugging Face Hub或保存在本地供后续推理使用。4.4 模型推理与使用训练好的模型可以用于为新的查询生成相关意图。from transformers import pipeline # 加载训练好的模型假设保存在本地 model_path ./t5-search-intent-generator/checkpoint-XXXX generator pipeline(text2text-generation, modelmodel_path, tokenizertokenizer, device0) # device0 表示使用GPU def generate_related_intents(query, num_return_sequences3, max_length50): input_text fgenerate related search intents: {query} results generator( input_text, max_lengthmax_length, num_return_sequencesnum_return_sequences, num_beams5, # 使用束搜索获得更好的结果 early_stoppingTrue, repetition_penalty2.0, # 惩罚重复增加多样性 ) # 后处理提取生成的文本并按分号分割 generated_texts [res[generated_text] for res in results] # 通常我们取第一个概率最高的结果然后按分号分割得到多个意图 primary_intents generated_texts[0].split() return primary_intents # 测试 test_query 便携式投影仪 intents generate_related_intents(test_query) print(f原始查询: {test_query}) print(生成的相关意图:) for i, intent in enumerate(intents, 1): print(f {i}. {intent.strip()})预期输出示例原始查询: 便携式投影仪 生成的相关意图: 1. 迷你便携家用投影仪 2. 户外露营高清投影仪 3. 支持手机同屏的便携投影机5. 工程集成将生成意图融入搜索系统模型生成意图后如何与现有搜索系统结合主要有两种架构模式5.1 离线生成与索引推荐在商品索引阶段为每个商品预计算一批可能触达它的搜索意图。商品侧生成对于每个商品使用其标题、类目、属性作为输入让模型生成一批可能的搜索查询即意图。这相当于为商品构建了丰富的“语义标签”。构建倒排索引将这些生成的意图作为该商品的“可搜索文本”的一部分与原始标题、描述等一起建立倒排索引。搜索时用户输入查询Q搜索引擎直接用Q去检索这个增强了意图的索引。由于商品索引中包含了模型生成的多样化意图描述因此即使Q与商品原始标题不匹配只要与某个生成意图匹配该商品也能被召回。优点搜索链路延迟无增加用户体验好。缺点索引体积增大需要定期更新如每天全量/增量生成。5.2 在线查询扩展在收到用户查询Q的瞬间实时调用意图生成模型。意图生成服务部署一个高性能的模型推理服务如使用Triton, ONNX Runtime或FastAPI封装Transformer模型。查询改写服务接收Q返回一组相关意图{I1, I2, ..., Ik}。多路召回将原始查询Q和所有生成意图Ii分别送入召回系统如基于BM25的倒排索引或向量检索引擎得到多组候选商品。结果融合对多路召回的结果进行去重、加权和重排序得到最终结果列表返回给用户。优点灵活性高可针对每次查询动态生成。缺点引入额外的网络延迟模型推理时间对服务性能要求高。示例在线服务架构伪代码# app.py (使用FastAPI) from fastapi import FastAPI from pydantic import BaseModel import asyncio from your_model_loader import IntentGenerator # 封装好的模型类 app FastAPI() generator IntentGenerator(model_path./best_model) class QueryRequest(BaseModel): query: str max_intents: int 5 app.post(/generate_intents) async def generate_intents(request: QueryRequest): 生成相关搜索意图的API端点 intents generator.generate(request.query, num_intentsrequest.max_intents) return {original_query: request.query, related_intents: intents} app.post(/search_with_intents) async def search_with_intents(request: QueryRequest): 集成搜索的API端点 # 1. 生成意图 related_intents generator.generate(request.query, num_intents3) # 2. 多路召回假设有一个召回函数 all_candidates [] all_candidates.extend(await recall_by_query(request.query)) # 原始查询召回 for intent in related_intents: all_candidates.extend(await recall_by_query(intent)) # 生成意图召回 # 3. 去重、粗排、精排这里简化 unique_candidates deduplicate_by_item_id(all_candidates) sorted_items rerank(unique_candidates, original_queryrequest.query) # 你的排序模型 return {query: request.query, items: sorted_items[:50]}6. 常见问题、挑战与优化策略6.1 生成质量相关问题问题现象可能原因解决思路意图不相关训练数据噪声大模型容量不足或欠拟合。1. 清洗训练数据确保查询意图对高度相关。2. 使用更大容量模型T5-Base/Large。3. 增加训练轮数并监控验证集损失。意图多样性差模型倾向于生成安全、常见的短语训练数据本身多样性不足。1. 在生成时使用核采样Top-p sampling替代束搜索增加随机性。2. 在损失函数中加入多样性惩罚项。3. 主动在训练数据中构造更多样化的意图对。生成结果包含不合理词模型学到了数据中的错误或非搜索词如“好评”、“包邮”。1. 数据预处理时过滤掉非商品属性词。2. 使用关键词白名单或领域词典对生成结果进行后处理过滤。长尾查询效果差训练数据中长尾查询样本少。1. 对长尾查询数据进行过采样。2. 采用课程学习Curriculum Learning先学习头部查询再学习长尾查询。3. 利用大语言模型为长尾商品生成合成训练数据。6.2 性能与工程化挑战推理延迟生成模型推理较慢。优化模型量化INT8、蒸馏使用更小的学生模型、使用C库如FasterTransformer进行推理、部署至GPU并启用动态批处理。索引膨胀离线生成意图会导致索引体积大幅增加。优化对生成的意图进行重要性排序只保留Top-K个最相关的意图加入索引使用更紧凑的表示如SimHash去重相似意图。意图新鲜度对于新品、新趋势词模型可能无法生成合适意图。优化建立在线学习或定期如小时级更新模型的数据管道快速融入最新的搜索日志。6.3 评估体系除了自动评估指标ROUGE, BLEU必须建立人工评估和线上A/B测试体系。人工评估制定评分标准如相关性、多样性、流畅度定期对采样结果进行评分。线上A/B测试核心指标包括搜索满意度、点击率CTR、转化率CVR、零结果率、次均搜索次数是否减少了用户修改查询的次数。7. 最佳实践与进阶方向7.1 数据层面的最佳实践数据质量高于数量1000个高质量查询意图对比10000个噪声数据更有效。初期可优先进行人工标注。覆盖度与平衡确保训练数据覆盖所有主要商品类目和不同频次的查询头部、腰部、长尾。负样本构建除了生成正例相关意图也可以尝试让模型学会区分不相关意图构建对比学习任务。7.2 模型层面的进阶优化提示工程Prompt Engineering精心设计输入给模型的前缀Prompt例如“生成5个与‘{query}’相关的、具体且多样的电商搜索查询”。不同的提示词会显著影响输出。控制生成Controlled Generation在生成时注入控制信号例如类目、价格区间、品牌等。可以将这些属性作为前缀或特定标记输入模型引导生成符合特定约束的意图。例如“生成关于‘手机’的‘高端’‘拍照好’的搜索意图”。检索增强生成RAG对于特别难以生成的查询可以先从海量查询日志中检索出一些语义相近的历史查询然后将这些查询作为上下文连同原查询一起输入给生成模型使其输出更准确、更符合平台习惯的意图。大语言模型LLM微调直接使用ChatGPT、GPT-4或开源LLaMA系列模型进行指令微调Instruction Tuning使其成为专业的“搜索意图生成助手”。LLM的强大理解和生成能力往往能产生更优质、更多样的意图。7.3 系统层面的工程建议分级缓存对头部高频查询的生成结果进行缓存可以极大降低模型调用压力和延迟。降级策略当意图生成服务超时或失败时应有降级方案如返回基于同义词词典扩展的查询或直接返回空列表仅使用原始查询进行检索保证搜索主链路可用。监控与报警监控服务的QPS、延迟、错误率。监控生成意图的平均长度、唯一词数量等质量指标设置异常波动报警。通过本文的拆解我们完成了从问题定义、技术选型、数据准备、模型训练、评估到工程集成的全链路分析。相关意图生成技术是提升电商搜索智能化水平的关键一环它使搜索系统从“被动匹配”走向“主动理解”。在实际落地中需要算法、工程、产品紧密配合持续进行数据迭代、模型优化和效果评估才能最终实现提升商品可发现性、优化用户体验的核心目标。建议读者从一个小而具体的品类开始实验快速验证效果再逐步推广到全站。