ragas官方文档中文版（五十一）
操作指南本节中的每个指南都针对您作为有经验的用户在使用 Ragas 时可能遇到的实际问题提供了专注的解决方案。这些指南设计得简洁直接为您的问题提供快速解决方案。我们假设您对 Ragas 的概念有基本了解且能够熟练使用。如果不是请先浏览 快速入门 Get Started部分。Ragas CLIRagas 命令行界面CLI提供了从终端快速设置评估项目和运行实验的工具。安装CLI 包含在 ragas 包中pipinstallragas或者使用 uvx 无需安装即可运行uvx ragas--help可用命令ragas quickstart从模板创建完整的评估项目。这是开始使用 Ragas 的最快方式。ragas quickstart[TEMPLATE][OPTIONS]参数TEMPLATE 模板名称可选。留空以查看可用模板。选项-o, --output-dir 创建项目的目录默认当前目录示例# List available templatesragas quickstart# Create a RAG evaluation projectragas quickstart rag_eval# Create project in a specific directoryragas quickstart rag_eval --output-dir ./my-projectragas evals使用评估文件对数据集运行评估。ragas evals EVAL_FILE[OPTIONS]参数EVAL_FILE 评估文件的路径必填选项–dataset 项目中数据集的名称必填–metrics 要评估的指标字段名的逗号分隔列表必填–baseline 要比较的基线实验名称可选–name 实验运行的名称可选示例ragas evals evals.py--datasettest_data--metricsaccuracy,relevanceragas hello_world创建一个简单的 hello world 示例来验证安装。ragas hello_world[DIRECTORY]参数DIRECTORY 创建示例的目录默认当前目录快速入门模板RAG 与检索RAG 评估 rag_eval - 使用自定义指标评估 RAG 系统改进 RAG improve_rag - 比较朴素 RAG 与智能体 RAG 方法智能体评估智能体评估 agent_evals - 评估解决数学问题的 AI 智能体LlamaIndex 智能体评估 llamaIndex_agent_evals - 使用工具调用指标评估 LlamaIndex 智能体专业用例Text-to-SQL 评估 text2sql - 使用执行准确率评估文本转 SQL 系统工作流评估 workflow_eval - 评估复杂的 LLM 工作流提示词评估 prompt_evals - 比较不同的提示词变体LLM 测试裁判一致性 judge_alignment - 测量 LLM-as-judge 与人类标准的一致性LLM 基准测试 benchmark_llm - 基准测试并比较不同的 LLM 模型快速开始60 秒内运行# Create projectuvx ragas quickstart rag_evalcdrag_eval# Install dependenciesuvsync# Set API keyexportOPENAI_API_KEYyour-key# Run evaluationuv run python evals.py下一步RAG 评估指南 - rag_eval 模板的详细演练改进 RAG 指南 - 比较朴素 RAG 与智能体 RAG 方法自定义指标 - 创建您自己的评估指标
