Langfuse：开源的大模型工程可观测平台
摘要Langfuse 是一个开源的 LLM 工程平台帮助团队协作开发、监控、评估和调试 AI 应用。它把追踪(Tracing)、提示词管理、评估、数据集和 Playground 整合到同一个系统里既可以用云端托管版也能在 5 分钟内用 Docker Compose 自托管。项目由 YC W23 孵化基于 ClickHouse 构建已被大量开源 AI 项目采用为默认可观测方案。核心优势全链路可观测不仅追踪单次 LLM 调用还能记录检索、Embedding、Agent 决策等应用逻辑的完整调用链方便定位复杂会话中的问题。提示词集中管理版本控制 服务端/客户端强缓存迭代提示词不会给线上应用增加延迟。评估方式灵活支持 LLM-as-a-judge、代码评估器、用户反馈采集、人工标注以及通过 API/SDK 自定义评估流水线覆盖开发到上线全周期。数据集驱动测试可以把线上产生的真实案例沉淀为数据集用于回归测试、上线前评测和结构化实验。Playground 联动追踪在追踪页面看到一次糟糕的模型输出可以直接跳转到 Playground 复现并调整提示词与参数缩短反馈闭环。生态集成广官方 SDK 覆盖 Python/JS-TS并原生对接 OpenAI、LangChain、LlamaIndex、Haystack、LiteLLM、Vercel AI SDK、Mastra 等主流框架几乎不需要改动业务代码即可接入。部署方式自由Langfuse Cloud 提供开箱即用的免费套餐自托管则支持本地 Docker Compose、单机 VM、Kubernetes(Helm)以及 AWS/Azure/GCP 的 Terraform 模板满足从个人项目到企业合规的不同需求。License 透明除ee目录外整个仓库以 MIT 协议开源遥测数据默认脱敏且可通过环境变量关闭。面向人群正在开发 LLM/Agent 应用、需要排查复杂调用链问题的工程团队需要对提示词做版本管理和 A/B 迭代的产品与算法团队希望建立评估体系自动评分 人工标注来保证模型输出质量的团队出于数据合规要求倾向于自托管而非依赖第三方 SaaS 的企业在 LangChain、LlamaIndex、Vercel AI SDK 等框架上已有应用想快速补齐可观测能力的开发者使用方法快速开始云端或自托管注册 Langfuse Cloud 账号或参考自托管文档在本地部署创建一个新项目在项目设置中生成 API 密钥自托管最快的方式是本地 Docker Composegitclone--depth1https://github.com/langfuse/langfuse.gitcdlangfusedockercompose up生产环境推荐使用 KubernetesHelm或官方提供的 AWS / Azure / GCP Terraform 模板。记录第一条 LLM 调用Python 场景下用observe()装饰器即可追踪任意函数配合官方 OpenAI 集成可以自动捕获模型调用的全部参数pipinstalllangfuse openaiLANGFUSE_SECRET_KEYsk-lf-...LANGFUSE_PUBLIC_KEYpk-lf-...LANGFUSE_BASE_URLhttps://cloud.langfuse.com/# 欧洲区# LANGFUSE_BASE_URLhttps://us.cloud.langfuse.com/ # 美国区fromlangfuseimportobservefromlangfuse.openaiimportopenai# OpenAI 集成observe()defstory():returnopenai.chat.completions.create(modelgpt-4o,messages[{role:user,content:What is Langfuse?}],).choices[0].message.contentobserve()defmain():returnstory()main()运行后即可在 Langfuse 控制台看到完整的调用链和会话记录。进阶用法非 OpenAI 场景可以通过 LiteLLM 代理接入 Anthropic、Azure、Cohere、Ollama、VLLM 等上百种模型或使用 LangChain / LlamaIndex 的回调处理器自动埋点。构建评估流水线结合 Datasets 功能把生产环境的典型 case 沉淀为测试集配合 LLM-as-a-judge 或自定义代码评估器做持续回归。团队协作借助提示词版本管理与评论功能产品、算法、工程可以在同一套追踪数据上协作调优而不必来回传截图。Langfuse 目前是许多开源 AI 项目如 Dify、Flowise、CrewAI 生态项目等的默认可观测组件如果你的团队正在为 LLM 应用寻找一套开源、可自托管、又足够全面的工程平台值得认真评估。
