大模型复合基准评估指标-AAII 📅 2026/7/13 16:40:28 Artificial Analysis Intelligence Index(AAII)是Artificial Analysis推出的一项综合性基准评分。AAII旨在衡量和追踪大型语言模型的综合智能水平。1 评分方式AAII是一个复合基准分通过加权平均多个单项评测得分评估模型在推理、编程、知识、指令遵循、科学推理及多步骤任务执行等多方面的能力。得分从0到100分AAII作为一个综合指标防止模型在单一领域“偏科”为追踪AI向通用人工智能AGI的进展提供一个统一的参考。2 面向智能体2026年6月15日Artificial Analysis发布了Intelligence Index v4.1。此版本标志着评测重心向智能体负载的重大转变。2.1 更新与重加权评测项1升级将Terminal-Bench Hard升级为更难的Terminal-Bench v2.1将τ²-Bench Telecom升级为τ³-Bench Banking以包含更真实的智能体场景。2替换将GDPval-AA升级为GDPval-AA v2重新校准了评分基准。3移除由于已无法有效区分前沿模型移除了已饱和的IFBench基准。2.2 新增指标新增了单任务成本Cost per Task、单任务时间Time per Task 和单任务令牌数Tokens per Task 三个维度为模型的实际应用提供更全面的参考。3 评测构成与权重根据最新论文Intelligence Index v4.1由9项评测构成。并分为四个大类其中智能体Agents能力的权重最高。类别权重包含的评测项智能体 (Agents)34%GDPval-AA v2 (20%), ³-Banking (14%)编程 (Coding)24%Terminal-Bench v2.1 (16%), SciCode (8%)科学推理 (Scientific Reasoning)24%Humanitys Last Exam (12%), GPQA Diamond (6%), CritPt (6%)通用 (General)18%AA-LCR (6%), AA-Omniscience (12%)需要注意的是v4.0版本曾包含10项评测而v4.1版本移除IFBench后调整为9项。4 最新排名表现根据Artificial Analysis于2026年6月15日发布的数据1整体领先Claude Fable 5使用Opus 4.8备选以60分领跑但该模型暂不可用。在可用模型中Claude Opus 4.8得分56领先于GPT-5.5得分55。2开源模型领先在开源权重模型中DeepSeek V4 Pro和MiniMax M3均以44分并列领先。3成本与效率最贵Claude Opus 4.8完成一个智能指数任务的平均成本为1.78美元。性价比高DeepSeek V4 Pro的单任务成本仅为0.04美元得分44分其成本是GPT-5.50.99美元的1/20是Claude Opus 4.8的1/40。速度最快Grok 4.3完成单任务平均仅需1.5分钟。5 相关指数Artificial Analysis Intelligence Index是一个动态更新、旨在紧跟AI发展前沿的综合性评测体系其最新版本v4.1显著加强了对模型执行复杂、多步骤“智能体”任务的考核。Artificial Analysis还提供其他专业指数1Artificial Analysis Openness Index一个衡量模型开放程度的复合指标评估在权重、训练数据、架构等方面的可用性和透明度。2Agentic Index专门衡量模型在智能体工作流中的表现如工具使用、规划、自主性等。3行业特定指数2026年7月Artificial Analysis还推出了针对金融、法律和医疗等专业领域的六个新AI能力指数。reference---Comparison of Models: Intelligence, Performance Price Analysishttps://artificialanalysis.ai/modelsQwen3.5: Towards Native Multimodal Agentshttps://qwen.ai/blog?idqwen3.5Qwen3 Technical Reporthttps://arxiv.org/abs/2505.09388