如何用 OpenCompass 做模型一致性评估从一次分数到稳定上线决策【免费下载链接】opencompassOpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100 datasets.项目地址: https://gitcode.com/gh_mirrors/op/opencompass一次基准测试给出的只是快照不是结论。真正要上线的大模型稳定性得通过反复检验同一道题重复考的分数波动、不同领域与不同长度下是否一致、版本升级后是否仍在可接受区间。OpenCompass 提供了做这类模型一致性评估的完整框架下面给出一套三层检查法与报告解读方法可以直接照做。一次分数为什么只是快照把同一道选择题给模型它答对了不代表它真的懂这道题。LLM 的采样本身带随机性不同的推理后端、提示模板、部署环境都会再叠加波动。一次 LLM 评估考出 80 分下周再考一次未必还是 80——这就像体检单次数据正常不能证明健康单次数据也无法看出趋势。一致性评估的核心动作因此是固定模型每次只改变一个变量观察输出和分数怎么动。如果波动大那么基于那一次分数的上线决策就是赌博。对很多团队来说如何评估大模型一致性的第一步不是找新指标而是固定一份评测子集、反复考、记录波动。把模型一致性评估拆成三层第一层同题波动选项轮换评测最轻量的一致性检查是 CircularEval把同一道选择题的选项做循环轮换生成多个变体。真正理解题目的模型在每个变体上都应该答对。它给出两组数字按每题独立统计的准确率 acc以及所有变体都答对才算对的准确率 perf。acc 高而 perf 明显低说明模型对同一题的回答不稳定分数里掺了猜的成分。实现见 opencompass/datasets/circular.py示例配置 examples/eval_circular.py 覆盖了 MMLU、C-Eval 等选择题集。第二层跨条件波动重复评测加基线回归把同一评测任务放在不同条件下跑重复多次、换推理后端、换模型版本再和一份固定的基线分数对比。仓库 autotest/ 目录的做法是把各模型的基线分数写成 YAML模型名到各子项分数的映射每次回归时断言新分数落在基线加减阈值内多数数据集阈值约 3 分方差大的数据集放宽。超出阈值即记为漂移。这就是模型输出漂移的告警逻辑不是某项分数低而是分数超出了正常范围。第三层跨场景一致性测试领域、长文本与扰动看模型在 MMLU 等基准的几十个学科子项上的分数分布如果某些领域高、某些低且升级后差距拉大说明跨领域一致性不达标。长文本一致性可以借助 LongBench v2 这类长上下文基准观察文本长度增加时准确率是否仍保持。对抗扰动测试是另一个角度把同一道题换同义表述、加一句无关内容再问一遍看答案是否翻转翻转率就是输出稳健性的粗略度量。落地第一次一致性检查怎么跑不需要新建工具用 OpenCompass 现有组件即可串起来三步选一份固定的基准子集规模几百题即可作为后续波动对比的锚点。先跑普通评测再跑同一子集的 circular 版本acc 与 perf 两组结果都保留。把本轮分数写成基线文件之后每轮只跑回归断言超阈值就排查变量。基线文件长这样取自仓库 autotest/oc_score_baseline.yaml 的片段qwen2.5-7b-hf: demo_gsm8k_accuracy: 78.12 race-middle_accuracy: 90.46每轮回归时新的汇总表会按这张表逐项对比。若结果需要跨人、跨机器共享可按结果持久化文档docs/advanced_guides/persistence.md配置数据站结果按模型-数据集对存放重跑时用 --read-from-station 读取已有结果省掉重复评测的算力。报告里看哪三件事判断稳定性风险拿到汇总表后值得追问的有三点acc 与 perf 的差距。差距大说明模型靠选项位置习惯或猜测得分该分数的真实能力要打折。某个子项差距特别大时这个领域的结论应降权处理。波动发生在哪些题上。平均分稳定但两次跑错的题目集合完全不同比每次都错同一批题更危险——它意味着模型的判断边界不稳定。OpenCompass 的原始预测结果与分数一起保存可以逐题 diff定位波动来源。分数是否随长度或领域系统性下滑。长上下文结果应拆成短段与长段两栏看落差就是长文本一致性的代价跨领域比较同理重点看最低子项和它的变化方向。还有一条读报告的纪律分数上升但波动变大时先别下结论把固定子集重跑一轮确认波动收敛后再写进发布记录。上线前的检查项模型进生产流程前先过三关固定子集的重复评测波动在阈值内circular 评测中 perf 与 acc 的差距可接受更换后端、提示模板或版本后关键基准的回归差在阈值内。任何一关没过就停在那里查变量而不是把波动当作噪声直接上线。【免费下载链接】opencompassOpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100 datasets.项目地址: https://gitcode.com/gh_mirrors/op/opencompass创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考