算法评估指标用于量化模型的性能常见的分类及对应指标按任务类型整理。一、分类任务常见指标准确率、精确率、召回率、F1分数、混淆矩阵、ROC 曲线与 AUC1、准确率Accuracy定义正确预测的样本占总样本的比例公式Accuracy (TP TN) / (TP TN FP FN)真正例TP真实为正预测为正假正例FP真实为负预测为正误报真负例TN真实为负预测为负假负例FN真实为正预测为负漏报100 个样本中80 个预测正确则准确率为 80%适用适用于类别平衡的数据集局限不适用于不平衡数据如 99% 样本为负模型全预测为负也能达到 99% 准确率2、精确率Precision—预测为正的可靠性定义是预测为正的样本中实际为正的比例衡量模型在预测为正例的样本中的准确性。公式Precision TP / (TP FP)如90封垃圾邮件被正确识别10封正常邮件被误判为垃圾邮件精确率 TP / (TP FP) 90 / (90 10) 90%⁠⁣应用场景减少误报的场景提高精确率可以有效降低误报数量如欺诈检测中误判将正常交易误判为欺诈可能导致严重的后果3、召回率Recall/Sensitivity也叫查全率定义实际为正的样本中被正确预测为正的比例公式Recall TP / (TP FN)如10 个实际癌症患者中模型检测出 7 个则召回率为 70%应用场景需减少漏报的场景关注 “不漏掉正例”即尽可能多地找出所有真正的正类样本如癌症诊断避免漏诊。4、F1 分数F1-Score定义精确率和召回率的调和平均数平衡两者的矛盾公式F1 2 * (Precision * Recall) / (Precision Recall)示例精确率 80%召回率 70%则 F1 2*(0.8*0.7)/(0.80.7) ≈ 74.7%。适用场景希望精确率和召回率都较高的场景如推荐系统电商推荐系统中精确率和召回率都需要较高保证推荐的商品既能满足用户的兴趣又能覆盖到尽可能多的相关商品。5、混淆矩阵Confusion Matrix• 定义以矩阵形式展示模型预测结果与真实标签的分布。通过展示模型在每个类别上的预测结果包括正确预测真阳性、真阴性和错误预测假阳性、假阴性帮助全面了解模型的表现。6、ROC 曲线与 AUCROC 曲线横轴表示假阳性率FPR即所有实际为负的样本中被错误预测为正的比例纵轴表示真阳性率TPR即所有实际为正的样本中被正确预测为正的比例。•AUC为ROC 曲线下的面积取值范围 [0,1]值越大模型性能越好AUC值为1表示完美分类AUC值为0.5表示随机猜测理想的ROC曲线应该尽可能靠近左上角表明模型具有高召回率和低误报率分类任务指标选择​​怎么提高精确率减少误报优化模型的决策边界提升数据质量和特征工程选择合适的模型和评估指标怎么提高召回率减少漏报提高模型对正类样本的识别能力调整分类阈值和损失函数优化数据质量和特征工程选择合适的模型和评估指标特征工程指的是从原始数据中提取、构造和选择对模型预测目标最有用的特征变量或属性的过程包括特征提取、特征构造、特征选择、特征转换、特征缩放二、回归任务评估指标1、均方误差MSE定义预测值与真实值差值的平方的平均值。特点对异常值非常敏感进而影响模型的鲁棒性2、均方根误差RMSE定义MSE 的平方根衍生指标特点单位与原始数据单位一致在数值上更直观可以直接反映预测值与真实值之间的平均偏差大小更容易解释模型的误差水平3、平均绝对误差MAE特点对异常值不敏感具有一定鲁棒性单位与原始数据一致。缺点优化时可能收敛较慢逐步接近最优解的速度较慢4、R² 决定系数R-squared定义衡量模型解释数据变异的能力取值范围 (-∞,1]特点R²0.8 表示模型能解释 80% 的数据变异接近 1 说明拟合效果好回归任务指标选择三、聚类任务评估指标1、轮廓系数Silhouette Score定义结合簇内距离和簇间距离取值范围 [-1,1]值越大聚类效果越好。• 示例轮廓系数 0.7 表示聚类结构合理接近 - 1 表示样本可能分到错误的簇。优点直观适用于任意聚类算法。缺点计算复杂度较高不适合大数据集。2. 调整兰德指数ARI• 定义当有真实标签时用于衡量聚类结果与真实标签的一致性值范围为 [-1, 1]值越接近 1 表示聚类结果与真实标签越一致。优点考虑了随机聚类的影响对噪声和异常值具有一定的鲁棒性适用于监督和无监督学习的对比缺点需要真实标签不适用于完全无监督的场景。聚类任务指标选择建议无监督时用轮廓系数有标签时用ARI四、生成任务评估指标1、BLEU 分数文本一种用于评估机器生成的文本与参考文本之间相似度的指标常用于机器翻译和文本生成任务。分数范围在0到1之间数值越高表示生成文本与参考文本越接近质量越高优势:与人类判断密切相关⁠⁣计算速度快计算成本低⁠⁣容易理解与具体语言无关⁠⁣局限:无法捕捉翻译结果的语法、流畅度、连贯性等方面的问题⁠⁣只能评估 n-gram 的匹配情况不考虑可理解性和语法正确性2、Inception Score图像用于评估生成图像质量的指标尤其常见于生成对抗网络GANs的评估中。该分数基于图像的清晰度和多样性数值越高表示生成的图像质量更高且更具多样性