Query理解：如何让机器读懂你的需求
扩展阅读（置顶）
1.原始信息再加工：一文读懂倒排索引
2.慧眼识词：解析TF-IDF工作原理
3.超越TF-IDF：信息检索之BM25
4.深入浅出 Beam Search：自然语言处理中的高效搜索利器
1. 引言
随着互联网的发展，电子商务平台每天都要处理数以亿计的用户查询。面对海量的商品数据，如何确保每次搜索都能返回最相关的结果，成为了提升用户体验的关键挑战之一。为此，我们需要一套完善的系统来理解和解析用户的查询，同时有效地索引和检索商品信息。
2. 构建倒排索引
2.1 商品预处理
首先，对所有商品描述进行预处理，包括分词、去除停用词、提取关键词等操作。例如，商品标题“Apple AirPods Pro - 真无线蓝牙耳机，带主动降噪功能”经过处理后可能得到["apple", "airpods", "pro", "真无线", "蓝牙", "耳机", "主动降噪"]。
2.2 创建倒排索引条目
为每个词汇建立一个列表，记录该词汇出现在哪些商品中及其出现的位置或频率。假设我们有以下三个商品：
| 商品ID | 标题 |
|---|---|
| 001 | Apple AirPods Pro |
| 002 | Sony WF-1000XM4 |
| 003 | Jabra Elite Active 75t |
对于词汇“apple”，其倒排索引条目可能是{"apple": [001]}；对于“真无线”，则可能是{"真无线": [001, 002, 003]}。
3. 查询解析与扩展
3.1 分词与词性标注
当用户输入查询“无线耳机”时，系统会先对其进行分词和词性标注，得到["无线", "耳机"]。然后使用同义词库或预训练模型进行扩展，例如将“无线”扩展为“真无线”、“蓝牙”。
from transformers import BertTokenizer, BertModel# 加载预训练模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertModel.from_pretrained('bert-base-chinese')def get_embedding(text):inputs = tokenizer(text, return_tensors="pt")outputs = model(**inputs)# 取出最后一层的平均池化作为句子嵌入sentence_embedding = outputs.last_hidden_state.mean(dim=1).squeeze()return sentence_embedding.detach().numpy()query_vector = get_embedding("无线耳机")
3.2 语义解析
使用预训练的语言模型（如BERT）对整个查询进行编码，获取其向量表示，以便后续用于语义匹配。
4. 快速查找相关文档
4.1 布尔检索
对于扩展后的关键词列表["无线", "耳机", "蓝牙", "真无线"]，系统会逐一访问倒排索引中的对应条目，并合并结果集。例如，“真无线”的倒排索引条目是{"真无线": [001, 002, 003]}，合并这些列表并去重后得到商品ID [001, 002, 003]。
def get_docs_from_inverted_index(query_terms, inverted_index):doc_ids = set()for term in query_terms:if term in inverted_index:doc_ids.update(inverted_index[term])return list(doc_ids)inverted_index = {"真无线": [001, 002, 003],"耳机": [001, 002, 003],"蓝牙": [001, 002, 003],"apple": [001],"sony": [002],"jabra": [003]
}query_terms = ["真无线", "耳机"]
relevant_doc_ids = get_docs_from_inverted_index(query_terms, inverted_index)
print(relevant_doc_ids) # 输出: [001, 002, 003]
4.2 评分排序
为了进一步提高召回的质量，可以对候选文档进行评分排序。常用的方法包括：
- TF-IDF加权：计算每个关键词在文档中的重要性，给权重较高的文档更高的分数。
- BM25算法：改进版的TF-IDF，考虑了文档长度等因素。
- 向量相似度：如果已经预先计算好了所有商品的向量表示，则可以直接使用近似最近邻算法来查找与查询向量最相似的商品。
import mathdef bm25_score(query_terms, document_term_frequencies, avg_doc_len, k1=1.2, b=0.75):scores = {}for doc_id, term_freqs in document_term_frequencies.items():score = 0doc_len = sum(term_freqs.values())for term in query_terms:if term in term_freqs:idf = math.log((len(document_term_frequencies) + 1) / (1 + len([doc for doc in document_term_frequencies if term in doc])))tf = term_freqs[term]score += idf * ((tf * (k1 + 1)) / (tf + k1 * (1 - b + b * (doc_len / avg_doc_len))))scores[doc_id] = scorereturn scoresdocument_term_frequencies = {001: {"真无线": 1, "耳机": 1, "苹果": 1},002: {"真无线": 1, "耳机": 1, "索尼": 1},003: {"真无线": 1, "耳机": 1, "捷波朗": 1}
}avg_doc_len = sum(len(freqs) for freqs in document_term_frequencies.values()) / len(document_term_frequencies)
scores = bm25_score(query_terms, document_term_frequencies, avg_doc_len)
sorted_scores = sorted(scores.items(), key=lambda item: item[1], reverse=True)
print(sorted_scores) # 输出按分数排序的文档ID及得分
4.3 个性化调整
基于用户的浏览历史、购买行为等信息，进一步调整召回结果的顺序，使推荐更加个性化。
user_preferences = {'user_1': {'brand': 'apple', 'price_range': 'high'},'user_2': {'brand': 'sony', 'price_range': 'medium'}
}def personalize_results(user_id, results, user_preferences):personalized_results = []for doc_id, score in results:if user_id in user_preferences:preference = user_preferences[user_id]# 这里可以根据具体的业务逻辑调整分数if 'brand' in preference and preference['brand'] in doc_id:score *= 1.5 # 提升符合偏好的品牌商品的分数personalized_results.append((doc_id, score))return sorted(personalized_results, key=lambda item: item[1], reverse=True)personalized_results = personalize_results('user_1', sorted_scores, user_preferences)
print(personalized_results) # 输出个性化调整后的结果
5. 结论
通过上述步骤，我们可以看到，在有了倒排索引之后，如何高效地从索引中获取相关的文档。这不仅涉及基本的布尔检索，还包括评分排序、个性化调整等多种技术手段的应用，确保最终返回给用户的文档既快速又准确。本文详细介绍了如何基于用户的查询构建倒排索引、解析查询、结合多种评分机制进行排序，以及个性化调整召回结果，以实现高效的商品召回。
关键技术总结
- 倒排索引：构建高效的索引结构，允许基于关键词快速定位相关文档。
- 自然语言处理（NLP）：用于分词、词性标注、同义词扩展等，深入理解用户的查询意图。
- 深度学习模型：如BERT，用于语义理解。
- 布隆过滤器：初步筛选可能相关的文档集合，减少不必要的磁盘I/O操作。
- 评分排序：利用TF-IDF、BM25、向量相似度等方法对候选文档进行评分排序。
- 个性化调整：基于用户的浏览历史、购买行为等信息，调整召回结果的顺序。
参考文献
- Manning, C. D., Raghavan, P., & Schütze, H. (2008). Introduction to Information Retrieval. Cambridge University Press.
- Robertson, S. E., & Walker, S. (1994). Some simple effective approximations to the 2-Poisson model for probabilistic weighted retrieval. In Proceedings of SIGIR.
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805.
