DeepEval LLM 评估实战：RAG 与多轮对话的完整质量评测方案

DeepEval LLM 评估实战RAG 与多轮对话的完整质量评测方案【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepevalDeepEval 是一个开源 LLM 评估框架它把回答感觉不太好变成 0 到 1 之间可对比的分数。这篇文章讲 RAG 评测与多轮对话质量怎么量化五分钟跑通第一次评估给出 RAG 和多轮对话两套可直接抄的指标配方内置指标不够用时再讲 G-Eval 与 DAG 怎么选。所有默认阈值和 API 写法都来自仓库源码不是印象分。五分钟跑通第一次评估assert_test 就够了先上可运行的最小示例再拆每一块在干什么。下面是个 pytest 文件跑通即代表这次 RAG 回答有据可依# test_rag_quality.py import pytest from deepeval.test_case import LLMTestCase from deepeval.metrics import FaithfulnessMetric, ContextualRelevancyMetric from deepeval import assert_test def test_refund_answer_is_grounded(): case LLMTestCase( input这个产品退款政策是什么, actual_output7 天内可以全额退款。, retrieval_context[购买后 7 天内可申请退款审核通过后原路退回。], ) assert_test( test_casecase, metrics[FaithfulnessMetric(threshold0.7), ContextualRelevancyMetric(threshold0.6)], )逐块看LLMTestCase装一次请求的完整现场——用户问什么、模型答了什么、检索器吐了哪些片段FaithfulnessMetric检查回答里的每个事实是否都能从检索片段里找到出处ContextualRelevancyMetric反过来检查检索片段与问题是否相关。assert_test跑完后任何一个指标低于阈值就抛AssertionError测试直接变红所以它天然适合放进 CI。所有内置指标的默认阈值都是 0.5在各自__init__里能直接验证。指标全集见 metrics 介绍文档。你的系统该配哪几个指标先归类再查表选型只问一个问题坏答案坏在哪个环节。RAG 答非所问时先分清是检索拉了偏 relevancy 掉分还是生成放飞faithfulness 掉分智能体看目标达成和工具调用多轮对话盯跨轮记忆安全类指标当硬门槛。确认类别后查这张表定起点场景推荐指标组合阈值起点该盯什么信号RAG检索生成ContextualRelevancyMetric FaithfulnessMetric有标准答案再加 ContextualRecallMetric0.6 / 0.7 / 0.6faithfulness 下滑生成端开始编relevancy 下滑检索器召回变差工具型智能体TaskCompletionMetric ToolCorrectnessMetric0.7任务完成度掉但工具调用正确模型用错了正确的信息多轮对话ConversationCompletenessMetric KnowledgeRetentionMetric0.50.6会话后半程分数骤降用户前面说过的被忘了安全红线PIILeakageMetric BiasMetric ToxicityMetric0.5建议开 strict_mode任一红线指标不过直接阻断而不是平均分这套分法与 RAG 评估指南 里的 RAG 三元组思路一致检索质量、生成忠实度、答案相关性各管一段。RAG 评测配方三指标组合与阈值起点给 RAG 系统一套就够 relevancy 管检索准不准faithfulness 管生成有没有飘recall 管必要事实有没有漏它要求测试用例额外给expected_output作对照。阈值从 0.6 起步faithfulness 单独提到 0.7因为幻觉是 RAG 最不能忍的错。from deepeval.test_case import LLMTestCase from deepeval.metrics import FaithfulnessMetric, ContextualRelevancyMetric, ContextualRecallMetric case LLMTestCase( input不满意能退货吗, actual_output可以7 天内申请退货通过后原路退回。, retrieval_context[购买后 7 天内可申请退货退货通过后款项原路退回。], expected_output7 天内可退货。, ) metrics [ ContextualRelevancyMetric(threshold0.6), FaithfulnessMetric(threshold0.7), ContextualRecallMetric(threshold0.6), ]打分对照分数由裁判 LLM 给出以下为典型量级好答案上面这句可以7 天内……每个词都能在检索片段里找到依据faithfulness 通常落在 0.9 以上三项全过。差答案换成可以30 天无理由退款还送一张 9 折券——30 天和9 折券在上下文里根本不存在faithfulness 常掉到 0.3 以下断言失败CI 红给你看。多轮对话评测配方把越聊越差变成分数多轮对话最常见的两个毛病忘了用户前面说的、聊完没解决问题。这正对应两个指标——KnowledgeRetentionMetric检查早期轮次的信息在后续是否被记住ConversationCompletenessMetric检查整段对话是否达成用户目标默认window_size3用滑动窗口看局部连贯性。阈值从 0.50.6 起步业务有明确角色设定可再加一个 ConversationalGEval 管语气。更多组合见 多轮评估指标指南。from deepeval.test_case import ConversationalTestCase, Turn from deepeval.metrics import ConversationCompletenessMetric, KnowledgeRetentionMetric conversation ConversationalTestCase( turns[ Turn(roleuser, content我要改一下收货地址。), Turn(roleassistant, content好的请提供订单号。), Turn(roleuser, contentA10086地址换成武康路 1 号 2 栋。), Turn(roleassistant, content已更新A10086 的新地址是武康路 1 号 2 栋。), ] ) conv_metrics [ ConversationCompletenessMetric(threshold0.6), KnowledgeRetentionMetric(threshold0.5), ]打分对照好对话示例里第 4 轮准确复述了订单号和新地址completeness 约 0.8 以上knowledge retention 接近 1.0。差对话把第 4 轮换成我没听到您的订单号麻烦再说一次——用户第 3 轮明明给过knowledge retention 直接跌破 0.5这类失忆在单轮测试里完全看不见必须用ConversationalTestCase才能暴露。G-Eval 还是 DAG二选一判断标准内置指标盖不住业务标准时先问一句这条标准能不能写成确定性的 if/else能选 DAG——把判断拆成决策图DAGMetric(name..., dagDeepAcyclicGraph(...))接收节点LLM 判断节点或纯函数节点边是确定的同一输入多次跑分稳定适合第 1 步必须问订单号、第 2 步必须给查询入口这类可枚举规则。不能枚举、只能整体感受的语气、专业度、说服力选 G-Eval一段自然语言标准交给裁判模型出分from deepeval.metrics import GEval tone GEval( name语气友好度, criteria回复是否友好、专业且不把责任推给用户, threshold0.6, )简单记要可复现选 DAG要灵活主观评价选 G-Eval两个都嫌麻烦就先拿 G-Eval 顶一周再回来看要不要固化。上线前避坑清单阈值怎么定别拍脑袋。先全用默认 0.5 跑一轮人工看 30 到 50 条样本把这条明明该挂的共识分数标出来再逐指标收紧。安全相关项直接开strict_mode源码里它会把阈值强制成 1一票否决。为什么指标别贪多每个指标都是一次裁判 LLM 调用成本、延迟和分数噪声都随指标数线性涨。控制在 5 个以内单场景 23 个通常就够加一个先说清它要抓什么信号。怎么接进 CI/CD测试就用上面的 pytest 写法GitHub Actions 里执行deepeval test run test_rag_quality.py即可指标不过就抛断言、流水线变红。CI/CD 回归测试指南 里有现成的 workflow 模板。生产流量怎么持续观测用 tracing 模块 里的observe包住入口函数线上每次调用自动落 trace把 bad case 捞回数据集当回归用例评测集随线上问题一起长大。同一批答案分数会漂移裁判本身是 LLM锁住裁判模型版本、别频繁改 criteria关键卡点用 strict_mode 或 DAG 兜底别指望模糊裁判守红线。接下来入门与安装docs/content/docs/getting-started.mdx全部指标定义与参数docs/content/docs/metrics-introduction.mdx从 trace 到数据集的完整闭环docs/content/guides/guides-tracing-rag.mdx【免费下载链接】deepevalThe LLM Evaluation Framework项目地址: https://gitcode.com/GitHub_Trending/de/deepeval创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考