研究背景科学研究与工程任务不同具有更强的迭代性、开放性与不确定性核心挑战在于科学直觉驱动的一系列判断。GeneBench在此背景下提出评估模型在真实科学分析流程中完成完整「推理闭环」的能力。近日OpenAI研究团队进一步提出其更新版本GeneBench-Pro覆盖领域更广泛。GeneBench-Pro介绍GeneBench-Pro不再局限于基因组学扩展至分子与定量生物学、药物基因组学等多领域。它包含129个问题覆盖10个主要领域与21个子领域每个问题封装为独立科学分析任务。智能体在沙盒环境中运行获得最小可行提示与明确目标估计量但不规定分析流程数据模拟真实原始数据。核心设计目标与约束为确保基准准确衡量科学推理能力研究人员采用构造性模拟问题通过「决策点数量」量化级联结构。每个问题从真实分析模式和目标估计量出发模拟生成数据构建最小可行提示还会进行大规模验证和独立科学审查。示例问题以DRX1携带者筛查残余风险问题为例智能体需根据原始数据依次完成多步推断才能得到正确结果体现了GeneBench-Pro让智能体从数据中恢复完整多阶段定量分析路径的核心目标。成果展示研究人员在129个问题套件上评估了60种模型配置。总体上模型整体通过率较低但各GPT主线模型通过率有提升GPT Pro运行结果更好非GPT模型结果在0.6%至16.0%之间。同时仍存在未解问题高难度问题占比较大但更强模型能推动更多问题走向成功。结语GeneBench-Pro的核心贡献在于重新定义「科学智能体能力」的评价方式。当前先进模型有一定「局部科学能力」但未形成端到端科学分析能力。从应用看该能力突破有潜在价值虽目前模型无法可靠替代专家流程但未来可从规划能力、自我修正机制和不确定性建模能力等方面提升。