【免费下载链接】GongBUPaper accepted by CIKM 2024. Codes of GongBU, a LLM fine-tuning platform for domain-specific adaptation.项目地址https://gitcode.com/gh_mirrors/go/GongBU点击查看免费下载微调完成之后最让人头疼的问题往往是模型到底变好了没有GongBU 是一款 CIKM 2024 论文配套的无代码 LLM 微调平台它的评估模块Evaluation内置了 BERTScore、BLEU、Distinct-n 和 Accuracy 四类指标只需在网页上勾选即可得到科学的量化结果。本文将带你搞懂每个指标在算什么、怎么读以及如何用它们科学判断微调效果。评估任务是怎么跑起来的进入平台的Evaluation页面新建评估任务是一个六步向导选择模型/适配器 → 选择数据 →选择评估指标→ 部署参数 → 选择 GPU → 填写任务名。指标选择界面位于 EvalSelection.svelte共 6 个可勾选指标代号名称官方释义AAccuracy预测正确的样本数 / 样本总数PPrecision生成文本中与参考文本匹配内容的比例BERTScoreRRecall基于召回率判断两个句子的相似程度BERTScoreFF1-ScorePrecision 和 Recall 的调和均值BERTScoreBBLEU基于精确率判断两个句子的相似程度DDistinct-2反映文本生成的多样性任务提交后EvalManager 会在后台 tmux 会话中启动独立进程核心流程在 eval_script.py加载模型支持直接评估基座模型或加载基座模型 LoRA 适配器deploy_base_model字段区分切分验证集按你设定的val_set_size从数据集按比例随机抽取至少 2 条逻辑见 get_dataset逐条生成用与微调一致的 prompt 模板generate_prompt.py让模型生成回答计算指标调用 evaluate() 对参考文本refs与生成文本cands打分结果写入数据库的result字段models.py。任务状态会在界面上实时流转加载模型 → 启动 → 生成中 → 评估中 → 完成生成进度条也由 EvaluationProgress 表驱动。BERTScore语义级相似度的主力裁判P、R、F 三个指标都来自 PRF 函数底层调用bert_score库且固定使用bert-base-chinese模型、语言设为zh——也就是说 GongBU 是面向中文语料的评估方案P, R, F score(cands, refs, model_typebert-base-chinese, langzh)与传统精确匹配不同BERTScore 把句子编码成语义向量再比较PrecisionP生成文本中有多少内容被参考文本语义覆盖——防模型瞎编RecallR参考文本的要点被生成文本覆盖了多少——防模型遗漏F1F两者的调和均值最常用的一句话总结。 微调后 F1 明显高于基座模型说明适配器确实学到了领域知识F1 高但 P 低往往意味着生成内容偏长且有冗余。BLEU词法重叠的传统标尺BLEU 实现见 B 函数先用jieba 对中文分词再计算 NLTK 的corpus_bleu语料级分数。它衡量的是候选句与参考句在 n-gram 层面的字面重叠程度分数越接近参考句越好。它与 BERTScore 的互补关系值得注意BLEU 看字面像不像BERTScore 看意思像不像。改写、同义替换会让 BLEU 掉分但 BERTScore 保持高位——两个一起看才不会被单一分数误导。Distinct-2警惕复读机式微调只追求与参考文本接近可能训出一个只会复述固定套路的复读机模型。GongBU 用 Distinct-2 来检测多样性实现见 D 函数jieba 分词后统计所有2-gram二元词组Distinct-2 不重复的二元词组数 / 二元词组总数对全部生成文本取平均。分数越接近 1 表示表达越多样。若微调后 Distinct-2 骤降而 F1 上升说明模型在收敛到少数固定话术需要检查数据多样性或调低训练轮数。Accuracy去空格后的精确命中率最后一个指标是 AccuracyA 函数把候选与参考文本中的空格、换行、制表符、全角空格全部剥离后做完全相等匹配统计命中率。它最适合答案是唯一标准短文本如分类、抽取任务的场景对开放式问答参考价值有限但对客观题数据集非常敏感。如何组合解读一份结果判读清单一次评估完成后详情页eval/details/page.svelte会列出各指标的数值前端指标全名映射见 shared.ts。建议按下面思路判读✅F1 显著高于基座模型领域适配生效微调有效✅P 与 R 均衡模型没有多说也没有漏说⚠️F1 高但 Distinct-2 下降明显过拟合或数据同质注意过拟合风险⚠️BLEU 高但 F1 低可能只是在模仿参考答案的措辞语义未必到位✅Accuracy 提升在客观题式任务上能力实打实增强。配合微调过程中按 epoch 记录的指标曲线FtEvalIndexRecord表models.py你可以横向对比训练中与独立评估两条曲线交叉验证是否存在过拟合。动手试一下想自己跑一遍克隆仓库后用 docker-compose 一键部署即可平台默认监听localhost:5173git clone https://gitcode.com/gh_mirrors/go/GongBU cd GongBU python download.py docker compose -f docker-compose.prod.yaml up部署完成后上传数据集、下载模型即可在 Evaluation 页面完成从建模到评分的全流程——无需写一行代码。相关核心文件参考evaluate.py、eval_script.py、eval_manager.py。总结GongBU 的模型评估体系用四个维度回答同一个问题——微调值不值BERTScoreP/R/F语义相似度判断是否真的学会了BLEU字面重叠度辅助识别背诵式回答Distinct-2表达多样性防复读机退化Accuracy精确命中适合客观任务。多指标交叉印证才能对微调效果给出科学、可靠的结论。赞分享【免费下载链接】GongBUPaper accepted by CIKM 2024. Codes of GongBU, a LLM fine-tuning platform for domain-specific adaptation.项目地址https://gitcode.com/gh_mirrors/go/GongBU点击查看免费下载相关推荐JARVIS评估指标Rouge、F1、BertScore详解JARVIS评估指标Rouge、F1、BertScore详解 在大型语言模型LLM与机器学习社区的集成系统中评估任务执行质量至关重要。JARVIS作为连人工智能大模型AI Agent工具调用模型评测Logseq 快速上手用双向链接和块引用把笔记变成可查询的知识库Logseq 快速上手用双向链接和块引用把笔记变成可查询的知识库 你正在写一份会议记录想引用三个月前写下的一条结论却怎么都找不到那一页。Logseq 是一知识管理桌面应用前端跨平台BLIP模型评估指标详解R1、CIDEr与BLEU评分解析BLIP模型评估指标详解R1、CIDEr与BLEU评分解析 1. 引言视觉语言模型评估的核心挑战 在视觉语言Vision Language, VL模型多模态计算机视觉NLP预训练微调深度学习创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考