探索uncertain_ground_truth：革命性框架如何解决AI评估中的模糊标注难题
探索uncertain_ground_truth革命性框架如何解决AI评估中的模糊标注难题【免费下载链接】uncertain_ground_truthDermatology ddx dataset, Jax implementations of Monte Carlo conformal prediction, plausibility regions and statistical annotation aggregation from our recent work on uncertain ground truth (TMLR23 and ArXiv pre-print).项目地址: https://gitcode.com/gh_mirrors/un/uncertain_ground_truth在AI系统的开发与应用中准确的评估和校准至关重要。然而传统方法往往假设标注数据是确定的忽略了实际应用中普遍存在的标注模糊性。uncertain_ground_truth项目应运而生它提供了一套完整的解决方案通过蒙特卡洛保形预测Monte Carlo conformal prediction、似然区域plausibility regions和统计标注聚合技术有效处理AI评估中的不确定标注问题为AI系统的可靠性保驾护航。为什么传统AI评估方法会失效在医疗诊断、图像识别等复杂领域专家标注往往存在显著分歧。例如皮肤科疾病诊断中不同医生对同一病例可能给出不同的判断。传统方法通常通过简单多数投票或平均来聚合标注这种方式不仅忽略了标注的不确定性还可能导致对AI系统性能的错误估计。图展示了在不确定标注情况下传统方法与本项目方法的差异突出了标注模糊性对AI评估的影响。uncertain_ground_truth的核心创新统计标注聚合捕捉标注者的不确定性项目提出了一种基于统计模型的标注聚合方法将标注者的可靠性作为超参数通过后验推理得到每个类别的似然度plausibilities。这种方法能够量化标注不确定性区分标注者分歧和固有不确定性提供更稳健的性能评估指标避免简单多数投票的局限性相关实现可参考pl_samplers.pyPlackett-Luce Gibbs采样器和irn.py概率逆秩归一化。蒙特卡洛保形预测可靠的不确定性量化传统保形预测假设校准集标签是确定的而本项目提出的蒙特卡洛保形预测直接利用标注的似然度通过对每个校准样本生成多个伪标签实现了对真实标签分布的覆盖保证。图蒙特卡洛保形预测的工作原理展示了如何通过采样伪标签来构建可靠的预测集。核心实现位于monte_carlo.py其中calibrate_mc_conformal函数负责阈值校准为后续预测提供基础。似然区域更精细的预测边界项目还引入了似然区域的概念通过对似然度的校准构建出更精细的预测边界。这一方法在plausibility_regions.py中实现predict_plausibility_regions函数可根据校准后的阈值生成每个样本的似然区域为决策提供更全面的不确定性信息。快速上手如何使用uncertain_ground_truth环境准备克隆仓库git clone https://gitcode.com/gh_mirrors/un/uncertain_ground_truth cd uncertain_ground_truth使用Conda创建环境conda env create -f environment.yml conda activate uncertain_ground_truth验证安装python -m unittest discover -s . -p *_test.py数据集介绍项目提供了皮肤科鉴别诊断ddx数据集包含1947个病例的专家标注和模型预测结果data/dermatology_selectors.json专家标注的部分排序data/dermatology_conditions.txt疾病名称与编码的映射data/dermatology_predictions0.txt至data/dermatology_predictions3.txt不同模型的预测结果图皮肤科ddx数据集的示例展示体现了专家标注的复杂性和不确定性。关键实验复现蒙特卡洛保形预测实验运行colab_mccp.ipynb对比标准保形预测与蒙特卡洛保形预测在不同数据集上的表现。标注聚合实验通过colab_pl_sampler.ipynb体验Plackett-Luce Gibbs采样器了解统计标注聚合的过程。不确定性评估使用colab_ua_accuracy.ipynb计算不确定性调整的准确率更真实地评估AI系统性能。实际应用场景与价值医疗AI领域在皮肤疾病诊断等医疗场景中标注的不确定性尤为突出。uncertain_ground_truth能够更准确地评估AI辅助诊断系统的性能提供可靠的不确定性量化帮助医生做出更明智的决策减少因标注分歧导致的误诊风险其他高风险领域该框架同样适用于自动驾驶、金融风控等对可靠性要求极高的领域通过处理标注不确定性提升AI系统的安全性和可信度。总结重新定义AI评估的标准uncertain_ground_truth项目通过创新性的统计标注聚合、蒙特卡洛保形预测和似然区域技术为解决AI评估中的模糊标注难题提供了一套完整的解决方案。它不仅能够更真实地反映AI系统的性能还能提供可靠的不确定性信息为AI系统的安全部署奠定了坚实基础。无论是学术界还是工业界都可以从这个项目中汲取灵感推动AI评估方法的革新让AI系统在面对复杂现实世界时更加稳健和可靠。引用与致谢本项目的成果基于以下论文Stutz et al., Conformal prediction under ambiguous ground truth, TMLR 2023Stutz et al., Evaluating AI systems under uncertain ground truth: a case study in dermatology, ArXiv 2023感谢DeepMind团队的开源贡献让这一重要技术得以广泛应用和进一步发展。【免费下载链接】uncertain_ground_truthDermatology ddx dataset, Jax implementations of Monte Carlo conformal prediction, plausibility regions and statistical annotation aggregation from our recent work on uncertain ground truth (TMLR23 and ArXiv pre-print).项目地址: https://gitcode.com/gh_mirrors/un/uncertain_ground_truth创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
