最近一段时间学习及制作Agent,但在向量库检索、Prompt 拼接、工具调用、多轮记忆读写、多层 LLM 嵌套运行后总会出现幻觉、回答跑偏、响应超时、Token 成本暴增却完全无法定位根源。传统打印日志只能零散输出片段断点调试无法复现 LLM 非确定性输出修改 Prompt 全靠主观感受没有量化数据支撑生产环境报错只能被动等用户反馈研发迭代效率极低。LangChain 生态官方推出的LangSmith正是为解决 LLM 应用 “不可观测、难调试、无评估、缺监控” 而生。它以全自动 Tracing 追踪为核心打通开发、测试、评估、生产运维完整 LLMOps 闭环是当前 LangChain 体系下唯一原生适配、零侵入的全生命周期观测平台。定位为 LLM 应用专属的DevTools 监控仪表盘 自动化测试平台。如果把 LangChain 视作搭建 AI 应用的脚手架LangSmith 就是这套脚手架配套的黑匣子记录仪 透视检测仪无需大幅改造业务代码仅通过环境变量或装饰器就能全自动捕获每一次应用执行全流程数据。LangChain 全自动 Tracing 追踪及原理全局环境变量# .env全局配置项目所有Chain/Agent自动上报Trace LANGCHAIN_TRACING_V2true LANGSMITH_API_KEY你的平台密钥 LANGSMITH_PROJECT知识库问答Agent # https://smith.langchain.com 注册登录获取个人 LANGSMITH_API_KEYtraceable 装饰器精细化自定义追踪from langsmith import traceable traceable(capture_inputFalse) # 不记录用户敏感信息 def user_info_filter(user_text): # 业务脱敏逻辑 return clean_text用法解释traceable( name自定义链路名, # LangSmith页面显示的名称便于区分业务 run_typechain/llm/tool, # 链路分类平台筛选用 capture_inputTrue/False, # 是否上报函数入参隐私场景设False脱敏 capture_outputTrue/False, # 是否上报函数返回结果 metadata{key:value}, # 自定义标签环境、版本、业务场景、用户ID project_name单独项目名 # 本条Trace单独存入指定项目覆盖全局环境变量 )自动追踪会完整捕获哪些核心数据链路拓扑可视化嵌套执行顺序清晰看见 Agent 路由、分支判断、循环工具调用全量输入输出最终渲染后的完整 Prompt、向量库检索到的文档、每一轮 LLM 返回内容、工具入参与返回值性能指标单步耗时、总响应延迟、P95/P99 耗时分布精准定位 RAG 检索 / LLM 调用瓶颈成本数据输入 Token、输出 Token、总消耗自动估算模型调用费用运行元数据模型名称、温度 top_p 参数、错误堆栈、会话 ID、用户标识记忆上下文对话历史完整快照复现多轮对话跑偏问题。围绕 Tracing 延伸四大 LLMOps 核心能力Prompt 版本管理平台内置 Prompt Hub可视化编辑提示词支持版本回滚、多人协作、A/B 测试代码通过 ID 远程拉取线上最新 Prompt无需硬编码重启服务。所有 Prompt 变更会关联对应 Trace清晰记录哪一版提示词带来效果提升 / 退化。自动化评估 Evaluation自动评估器LLM-as-judge、相关性、完整性、幻觉检测等内置指标多轮对话评估针对 Agent 长会话完整链路打分批量跑数据集生成评估报告每一条样本绑定对应 Trace不合格案例一键溯源定位原因。实时监控与告警基于全量 Trace 数据生成可视化大盘请求量、错误率、平均延迟、Token 消耗、用户差评占比支持自定义告警规则错误突增、耗时暴涨、成本异常时推送通知告警附带对应 Trace 链接直达问题现场。Insights 智能分析 Agent平台内置 AI 助手自动扫描海量 Trace识别高频失败模式、Agent 无效循环、高消耗请求自动汇总问题清单推荐优化方向大规模线上应用大幅减少人工排查成本。依赖pip install --upgrade langsmith langchain langchain-core langchain-openai python-dotenv.env 文件# DeepSeek 模型配置 DEEPSEEK_API_KEYsk-xxxxxxxxxxxxxx DEEPSEEK_BASE_URLhttps://api.deepseek.com/v1 # LangSmith 线上追踪配置 LANGCHAIN_TRACING_V2true LANGSMITH_API_KEYls_替换你的LangSmith密钥 LANGSMITH_PROJECTdeepseek-traceable-demo业务代码from dotenv import load_dotenv load_dotenv() import os from datetime import datetime # 新增 traceable 装饰器导入 from langsmith import traceable from langchain_core.prompts import ChatPromptTemplate from langchain_openai import ChatOpenAI # ---------------------- DeepSeek LLM 初始化 ---------------------- llm ChatOpenAI( modeldeepseek-chat, temperature0.6, api_keyos.getenv(DEEPSEEK_API_KEY), base_urlos.getenv(DEEPSEEK_BASE_URL) ) # ---------------------- 提示词模板 ---------------------- prompt ChatPromptTemplate.from_messages([ (system, 你是LLMOps技术专家简短回答问题), (human, {question}) ]) chat_chain prompt | llm # traceable 装饰器核心用法 # 1. 基础用法追踪整个对话业务函数 traceable( run_typechain, # 标记链路类型chain/llm/tool nameDeepSeek对话服务, # LangSmith面板显示的链路名称 metadata{ # 自定义业务标签用于平台筛选过滤 model: deepseek-chat, scene: demo_test, version: v1.0 } ) def llm_chat_service(user_question: str): 封装对话逻辑整个函数内所有LLM调用都会被追踪上报LangSmith res chat_chain.invoke({question: user_question}) return res.content # 2. 脱敏进阶用法不记录用户敏感输入隐私场景 traceable( run_typetool, name用户输入清洗工具, capture_inputFalse, # 关闭输入参数上报保护手机号/身份证等隐私 metadata{biz: data_desensitize} ) def data_clean(raw_text: str): # 模拟敏感信息脱敏 safe_text raw_text.replace(手机号, ***).replace(身份证, ***) return safe_text # 执行业务逻辑 if __name__ __main__: user_input 不注册LangSmith怎么本地查看Tracing链路我的手机号13800001234 # 先脱敏子Trace单独一条链路 safe_input data_clean(user_input) # 主对话Trace嵌套子TraceLangSmith会自动展示树形嵌套链路 answer llm_chat_service(safe_input) print(对话输出, answer) print(f\n链路已上报LangSmith项目{os.getenv(LANGSMITH_PROJECT)}) print(访问 https://smith.langchain.com/ 查看树形Trace、Token消耗、完整Prompt)运行结果图片为跟踪保存在本地方法运行结果学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】