如何快速上手LangSmith Client SDK5分钟实现LLM应用追踪【免费下载链接】langsmith-sdkLangSmith Client SDK Implementations项目地址: https://gitcode.com/gh_mirrors/la/langsmith-sdkLangSmith Client SDK是一款强大的工具能帮助开发者轻松实现对LLM应用的追踪、调试和评估。它支持Python和JavaScript/TypeScript两种主流编程语言无论你使用哪种语言开发LLM应用都能快速集成并享受其带来的便利。为什么选择LangSmith Client SDKLangSmith Client SDK能让你和团队更高效地开发和评估语言模型及智能代理。它与任何LLM应用兼容并且与LangChain等开源框架无缝集成为你的LLM应用开发提供全方位的支持。核心功能亮点便捷追踪轻松记录LLM应用的运行轨迹包括输入、输出、错误等关键信息。多语言支持同时提供Python和JavaScript/TypeScript SDK满足不同开发场景需求。无缝集成与OpenAI、Instructor等主流LLM框架和工具完美融合。评估功能可基于现有运行创建数据集并进行自动化评估助力模型优化。快速安装与环境配置Python SDK安装通过pip命令即可快速安装Python版本的LangSmith Client SDKpip install -U langsmithJavaScript/TypeScript SDK安装使用pnpm或npm安装JavaScript/TypeScript版本pnpm add langsmith # 或 npm install langsmith环境变量配置安装完成后需要配置必要的环境变量以连接LangSmith平台# Python和JavaScript通用 export LANGSMITH_TRACINGtrue export LANGSMITH_API_KEYls_... export LANGSMITH_WORKSPACE_IDyour-workspace-id # 组织范围的密钥需要5分钟实现LLM应用追踪Python快速上手示例以下是一个使用Python SDK追踪OpenAI调用的简单示例import openai from langsmith import traceable from langsmith.wrappers import wrap_openai # 自动追踪上下文中的LLM调用 client wrap_openai(openai.Client()) traceable # 自动追踪此函数 def pipeline(user_input: str): result client.chat.completions.create( messages[{role: user, content: user_input}], modelgpt-3.5-turbo ) return result.choices[0].message.content pipeline(Hello, world!)JavaScript/TypeScript快速上手示例以下是使用JavaScript/TypeScript SDK追踪OpenAI调用的示例import { OpenAI } from openai; import { traceable } from langsmith/traceable; import { wrapOpenAI } from langsmith/wrappers; const client wrapOpenAI(new OpenAI()); await client.chat.completions.create({ model: gpt-3.5-turbo, messages: [{ content: Hi there!, role: user }], });高级功能创建数据集与评估从现有运行创建数据集一旦你的运行记录存储在LangSmith中就可以将它们转换为数据集from langsmith import Client client Client() dataset_name Example Dataset # 这里我们只使用顶级AgentExecutor运行的示例并排除出错的运行 runs client.list_runs( project_namemy_project, execution_order1, errorFalse, ) dataset client.create_dataset(dataset_name, descriptionAn example dataset) for run in runs: client.create_example( inputsrun.inputs, outputsrun.outputs, dataset_iddataset.id, )评估运行结果你可以使用LangSmith客户端直接对运行结果进行评估from typing import Optional from langsmith.evaluation import StringEvaluator def jaccard_chars(output: str, answer: str) - float: 两个字符串之间的简单Jaccard相似度计算 prediction_chars set(output.strip().lower()) answer_chars set(answer.strip().lower()) intersection prediction_chars.intersection(answer_chars) union prediction_chars.union(answer_chars) return len(intersection) / len(union) def grader(run_input: str, run_output: str, answer: Optional[str]) - dict: 计算此次运行的分数和/或标签 if answer is None: value AMBIGUOUS score 0.5 else: score jaccard_chars(run_output, answer) value CORRECT if score 0.9 else INCORRECT return dict(scorescore, valuevalue) evaluator StringEvaluator(evaluation_nameJaccard, grading_functiongrader) runs client.list_runs( project_namemy_project, execution_order1, errorFalse, ) for run in runs: client.evaluate_run(run, evaluator)常见集成场景与OpenAI SDK集成LangSmith提供了便捷的包装器可轻松追踪OpenAI SDK的调用from openai import OpenAI from langsmith import wrappers client wrappers.wrap_openai(OpenAI())与Instructor集成通过包装OpenAI客户端可以轻松与Instructor集成import instructor from openai import OpenAI from langsmith import wrappers client wrappers.wrap_openai(OpenAI()) client instructor.patch(client)本地开发与贡献如果你想参与LangSmith Client SDK的开发可以通过以下方式获取源代码git clone https://gitcode.com/gh_mirrors/la/langsmith-sdk项目结构清晰主要包含Python和JavaScript两部分实现Python SDK: python/JavaScript SDK: js/总结LangSmith Client SDK为LLM应用开发提供了强大的追踪、调试和评估能力。通过简单的安装和配置你可以在几分钟内将其集成到你的项目中显著提升开发效率和应用质量。无论你是新手还是有经验的开发者LangSmith Client SDK都能成为你LLM应用开发的得力助手。要了解更多关于LangSmith平台的信息请查看官方文档。开始使用LangSmith Client SDK让你的LLM应用开发更上一层楼 【免费下载链接】langsmith-sdkLangSmith Client SDK Implementations项目地址: https://gitcode.com/gh_mirrors/la/langsmith-sdk创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考