大模型应用正在加速进入真实业务场景随之而来的一个重要问题是大模型效果到底该怎么评过去很多评测工作依赖人工经验完成。面对少量样本、单一场景时这种方式还能支撑但当大模型应用开始进入内容创作、智能问答、业务助手、复杂任务处理等场景后评测需求快速增加传统人工评测方式开始面临效率、标准和可复用性上的挑战。在本届 TID质量竞争大会 上科大讯飞股份有限公司 AI工程院高级测试工程师陈明将带来议题《端到端大模型效果评测从人工周级到自动化天级的工程实践》这场分享将围绕大模型效果评测的工程化困境、端到端评测体系建设以及内容创作等业务场景中的实践经验展开。对于正在关注AI测试、大模型评测、AI应用质量保障和智能化测试工程建设的团队来说这是一场非常值得关注的分享。讲师介绍陈明科大讯飞股份有限公司 AI工程院高级测试工程师。本次在TID质量竞争大会中陈明将结合大模型效果评测相关实践分享从人工评测到自动化评测的工程化探索。议题将重点关注大模型效果评测在真实业务中的痛点、体系化建设思路、典型场景实践以及评测能力后续演进方向。为什么大模型效果评测越来越重要随着大模型能力不断提升越来越多业务开始将大模型能力嵌入具体产品和流程中。但在实际应用中团队很快会发现 大模型能生成内容不代表生成结果稳定可用 大模型能完成任务不代表效果可以持续评估 一次测试效果不错也不代表后续版本升级后仍然可靠。尤其在端到端场景中评测对象不再只是一次模型回答而可能涉及完整任务链路、用户体验、业务目标和结果质量。这也让大模型评测从单点验证逐渐走向更系统化的工程问题。大模型效果评测面临哪些挑战从议题介绍来看本次分享会重点讨论大模型效果评测中的工程化困境。其中比较典型的问题包括以下几个方面。评测需求快速增长大模型应用场景越来越多评测对象也越来越复杂。不同业务、不同任务、不同版本都可能需要进行效果验证。 如果完全依赖人工评测很容易出现周期长、效率低、响应慢的问题。这也是议题中提到“从人工周级到自动化天级”的重要背景。评测标准不容易统一大模型效果评测并不只是判断“对”或“错”。在很多场景中生成结果可能涉及准确性、完整性、可读性、业务适配度、用户体验等多个方面。不同角色对结果的判断标准可能不同这就需要更清晰的评测框架和统一的评测口径。端到端效果更难评估大模型应用落到业务中最终呈现给用户的往往不是一个单独模型能力而是一整套产品体验。因此端到端评测需要关注的不只是模型输出本身还要关注完整业务流程中的最终效果。这也是本次议题标题中“端到端大模型效果评测”值得关注的地方。评测能力需要持续演进大模型应用不是一次上线就结束。随着模型版本升级、业务场景变化、用户反馈积累评测集、评测流程和评测能力也需要持续迭代。从议题介绍来看本次分享也会涉及线上数据回流、评测集持续进化以及Skill Agent评测能力扩展等方向。本场分享有哪些看点看点一从人工评测到自动化评测的工程化思考“从人工周级到自动化天级”是本次议题最直接的关键词。这背后关注的不只是效率提升更是大模型评测如何从人工经验走向工程化流程。对于正在做AI应用评测的团队来说这部分内容有很强的参考价值。看点二端到端效果评测如何支撑业务场景本次分享会结合内容创作场景进行案例介绍并涉及旅游规划场景、大版本升级评测等实践内容。这些场景都具有一定复杂性不再是简单的单轮问答评测而更接近真实业务中的大模型应用形态。通过这些案例听众可以更直观地理解端到端评测在业务中的价值。看点三评测体系如何从工具化走向平台化从议题介绍来看本次分享不仅会讲评测流程也会关注评测框架、混合评测策略、技术架构和评测集演进。这说明大模型效果评测已经不只是单个工具或单次任务而是在逐步走向体系化、平台化。对于正在建设AI质量能力的团队来说这一点很值得关注。看点四Skill与Agent评测能力的后续扩展随着大模型应用从问答生成走向更复杂的任务执行Skill与Agent相关评测也会成为新的质量挑战。本次议题中也提到后续会关注Skill Agent评测能力扩展。这对于正在探索智能体应用、工具调用、多步骤任务执行的团队来说是一个值得提前关注的方向。这场分享的价值在哪里对于企业和研发测试团队来说大模型效果评测的价值不只是判断某一次结果好不好。更重要的是它能够帮助团队提升评测效率减少重复人工投入 统一评测标准让结果更具参考价值 支撑版本升级帮助团队更快识别效果变化 沉淀评测数据和经验形成可复用的方法体系 服务更多AI应用场景为后续平台化建设打基础。随着大模型在业务中的使用越来越深入效果评测也会成为AI应用质量保障中非常关键的一环。适合哪些人关注这场分享适合以下几类人重点关注正在做大模型应用落地的研发团队 关注AI测试和大模型评测的质量团队 负责智能化测试平台建设的技术团队 关注内容生成、智能助手、业务Agent效果评估的产品和测试负责人 希望了解大模型评测工程化实践的研发效能团队。