这篇不先堆名词。我们把《测试转大模型一篇讲清核心用法》拆成几级台阶看完至少知道下一步该学什么、该练什么。摘要本文概述文章目标、核心观点和实践价值。做了五年传统功能测试最近半年一直在啃 AI 相关的业务。很多同行问我“现在转大模型测试是不是得先精通 Python 或者去学深度学习算法”我的回答很直接不用。甚至如果你抱着“我要成为算法工程师”的心态去转大概率会卡在第一步就放弃。大模型LLM测试的本质不是去测模型本身的数学精度而是测应用层的稳定性、幻觉控制以及业务逻辑的正确性。对于测试同学来说这是一次从“确定性系统”向“概率性系统”思维的跃迁。这篇文章不谈虚的只讲我从传统 QA 转型过程中真正用到的工具链、学习顺序以及那些容易踩的坑。目录测试岗位的新变化从黑盒到“不可知论”AI 辅助测试别只把它当聊天机器人Agent 测试框架自动化新范式质量评估LLM Evaluation 是必经之路总结学习路线与心态调整测试岗位的新变化从黑盒到“不可知论”在传统 Web 或 App 测试中输入 A 必然得到输出 B。但在 LLM 应用中同样的 Prompt可能因为 Temperature 参数微调或者底层模型的版本迭代得到完全不同的回复。这种非确定性是测试面临的最大挑战。我见过不少同事一开始试图用传统的断言Assert去校验 LLM 的输出比如assert response Hello。这在 LLM 场景下几乎必败因为模型可能会说“你好呀”、“嗨有什么可以帮你”。所以转型的第一步不是学代码而是改变校验思维1.不再追求精确匹配转向语义相似度Semantic Similarity。2.关注边界与幻觉测试的重点从“功能对不对”转移到“它会不会胡说八道”以及“在极端输入下是否会崩溃”。AI 辅助测试别只把它当聊天机器人很多测试同学用 AI 是为了写周报或者解释代码这太浪费了。在质量保障环节AI 最大的价值在于测试资产的生产。1. 自动化用例生成传统自动化测试写用例很痛苦尤其是面对复杂的业务逻辑。现在我们可以让 LLM 基于 PRD 或接口文档批量生成测试场景。比如我有一个电商订单模块的需求描述我可以让 AI 列出所有异常路径库存不足、支付超时、并发下单等。# 示例使用 LangChain 构建一个简单的测试场景生成器 from langchain_openai import ChatOpenAI from langchain_core.prompts import ChatPromptTemplate # 初始化模型 llm ChatOpenAI(modelgpt-4o-mini, temperature0.7) # 定义提示词模板 prompt ChatPromptTemplate.from_messages([ (system, 你是一个资深测试专家。请根据以下需求描述生成 5 个针对边界条件的测试用例包括前置条件、操作步骤和预期结果。), (human, 需求描述{requirement}) ]) chain prompt | llm # 执行生成 response chain.invoke({requirement: 用户购买限时折扣商品库存有限支持并发抢购}) print(response.content)避坑指南生成的用例一定要人工复核。AI 擅长发散思维但容易忽略具体的业务规则细节比如某个特定状态码的处理。2. 测试数据构造造数据一直是测试的痛点尤其是涉及多表关联、敏感信息脱敏的场景。与其写繁琐的 SQL 脚本不如让 AI 根据你的 Schema 生成 Mock 数据。你可以要求它“生成 10 条符合 JSON Schema 的用户数据其中 2 条邮箱格式错误2 条年龄为负数用于异常测试。”这样既解决了数据多样性问题又覆盖了边界情况。Agent 测试框架自动化新范式当测试任务变得复杂比如需要“登录 - 搜索商品 - 加入购物车 - 提交订单”传统脚本虽然能做但维护成本高。引入Agent智能体概念后我们可以用自然语言描述测试意图由 Agent 自主规划步骤并执行。目前比较成熟的框架有LangGraph或AutoGen。以 LangGraph 为例它可以构建一个有状态的测试循环from langgraph.graph import StateGraph, END # 定义状态结构 class TestState(TypedDict): user_action: str current_page: str is_success: bool def login_agent(state: TestState): # 模拟执行登录动作 print(fAgent logging in with state: {state[user_action]}) return {current_page: dashboard, is_success: True} def verify_order_agent(state: TestState): # 模拟验证订单 if state[current_page] checkout: return {is_success: True} return {is_success: False} # 构建图 workflow StateGraph(TestState) workflow.add_node(login, login_agent) workflow.add_node(verify, verify_agent) workflow.set_entry_point(login) workflow.add_edge(login, verify) workflow.add_edge(verify, END) app workflow.compile()关键点Agent 测试的核心优势在于容错性。如果某一步失败如元素未找到Agent 可以尝试重试或换个策略而不是像 Selenium 脚本那样直接报错中断。这对于测试不稳定的 UI 组件特别有效。质量评估LLM Evaluation 是必经之路测试做完怎么证明质量达标这里必须引入LLM as a Judge的概念。我们不能靠眼睛看需要一套自动化的评估管线Evaluation Pipeline。常见的评估维度包括正确性Correctness答案是否符合事实一致性Consistency多次提问同一问题回答是否稳定安全性Safety是否包含敏感词、偏见或攻击性内容我们可以搭建一个简单的评估脚本利用 GPT-4 作为裁判去打分其他小模型的输出。def evaluate_response(reference_answer, model_output): prompt f 参考正确答案{reference_answer} 模型生成答案{model_output} 请从 1-5 分对模型答案的质量进行评分并给出理由。 1分完全错误 5分完美匹配且无冗余 # 调用评估模型 judge_response chat_model.invoke(prompt) return parse_score(judge_response)实战建议不要一开始就搞复杂的 RAG 评测集。先建立一个小规模的“黄金测试集”Golden Dataset包含 50-100 个典型业务场景的标准问答对。每次模型更新或 Prompt 调整后跑一遍这个集子看分数波动。总结学习路线与心态调整回顾我的转型路径建议大家按照以下顺序进阶不要贪多1.阶段一理解原理。搞懂什么是 Token、Temperature、Context Window。不需要会训练模型但要懂参数对输出的影响。2.阶段二掌握工具链。熟练使用 LangChain 或 LlamaIndex 搭建简单的 QA 应用学会编写结构化 Prompt。3.阶段三构建评估体系。建立自己的 Golden Dataset实现自动化回归测试。4.阶段四深入架构。了解 RAG 的检索增强机制测试重点从“应用层”下沉到“检索层”的相关性和召回率。最后一点心态建议不要因为不会写复杂的深度学习算法而焦虑。在大模型应用落地的最后一公里懂业务逻辑、懂用户体验、懂如何系统性地验证不确定性的测试工程师比只会调参的算法初级工程师更有价值。保持好奇多动手折腾几个 Demo你会发现这条路比想象中要宽广得多。资料展示下面是我整理的AI大模型学习资料和工具包预览适合收藏后按主题逐步学习。如果你想看完整资料目录可以在评论区留言「资料」也欢迎告诉我你更关注AI大模型里的哪类内容。