以下是使用 RAGAS(Retrieval-Augmented Generation Assessment) 对 RAG 系统进行评测,并将结果保存为 Excel 的完整实现方案:
1. 安装 RAGAS 和依赖库
pip install ragas pandas openpyxl
注:
openpyxl
是用于生成 Excel 文件的依赖库。
2. 准备评测数据
RAGAS 需要以下字段的输入数据:
question
: 用户查询。answer
: RAG 生成的答案。contexts
: 检索到的文档列表(支撑生成答案的原文)。ground_truth
: 标准答案(可选,用于部分指标)。
示例数据格式(Python Dict)
data = {"question": ["量子纠缠有哪些应用?", "如何预防感冒?"],"answer": ["量子密钥分发(QKD)和量子隐形传态。", "勤洗手、戴口罩、保持通风。"],"contexts": [["量子纠缠可用于 QKD...", "隐形传态是量子通信的另一个应用..."],["预防感冒的措施包括...", "WHO 建议的卫生习惯..."],],"ground_truth": ["量子纠缠的应用包括量子密钥分发(QKD)。"