从SQLite里召回的数据有很多都要保留吗可能返回的前 5 条结果可能都在讲同一个话题的不同段落——内容高度重复信息增益有限。或者有的已经是一年前的信息了。一、MMR算法MMRMaximal Marginal Relevance最大边际相关性是用来**平衡 相关性 和 多样性**的经典算法最常用于 RAG 检索结果的去重 / 多样化。解决什么问题假设你搜苹果召回 10 条结果前 5 条全是苹果手机主题重复后 5 条是苹果水果苹果公司苹果音乐等直接按相似度排序前几条全是重复主题用户想看其他角度还得往下翻。MMR 解决的就是在保证相关性的前提下让结果尽量多样化避免扎堆。核心公式MMRλ⋅Sim(Q,Di)−(1−λ)⋅maxDj∈sSim(Di,Dj)拆解成三部分部分含义作用λ · Sim(Q, Dᵢ)文档和查询的相似度保证相关性(1-λ) · max Sim(Dᵢ, Dⱼ)文档和已选结果的最大相似度惩罚重复度λ权重参数0~1调平衡的旋钮大白话翻译一个文档的最终得分 它跟问题有多相关 × 相关性权重 减去 它跟已选结果有多像 × 多样性权重关键概念详解1. Sim(Q, D) —— 相似度含义查询Query和文档Document的相关程度值在 0~1 之间越大越相关。常见计算方式方式原理适用场景余弦相似度两个向量的夹角余弦embedding 向量、语义匹配最常用Jaccard 相似度集合交集 ÷ 集合并集关键词、标签、集合型数据内积点积向量点积归一化后等价于余弦余弦相似度公式最常用Sim (Q, D) (Q・D) / (‖Q‖ × ‖D‖)向量归一化后模长1直接点积就是余弦相似度。2. λlambda—— 权重旋钮含义控制相关性和多样性的平衡取值 0~1。λ 值效果适用场景1.0完全按相关性排序不去重就要最相关的不管重复0.7相关性为主兼顾多样性大多数 RAG 场景常用0.5相关性和多样性各半想要结果多样化0.3多样性为主更看重覆盖面0.0完全追求多样性只要不一样的不管相关不相关