Intern-S2-Preview-397B-FP8性能基准测试在20科学任务上的表现分析【免费下载链接】Intern-S2-Preview-397B-FP8项目地址: https://ai.gitcode.com/InternLM/Intern-S2-Preview-397B-FP8Intern-S2-Preview-397B-FP8是一款强大的多模态基础模型专为科学智能和长周期代理任务设计。它在预训练、强化学习任务覆盖和交互式代理环境三个关键维度进行了扩展通过结合新的视觉语言预训练范式、大规模多任务强化学习和长周期代理强化学习在通用推理、科学问题解决和代理能力方面实现了重大突破。模型核心优势与性能概览 三大突破性特征创新预训练范式通过视觉预训练直接从科学文献的原始页面学习在共享表示空间中联合建模符号语义和视觉关系无需中间解析保留了文本-视觉对应关系增强了空间和视觉推理能力并提高了数据效率。科学模态推理与生成通过在20多个领域扩展多样化的科学强化学习任务并联合训练在开源模型中实现了领先的通用推理性能并在生物分子相互作用设计和材料结构生成等专业科学任务中取得了优异成绩。通用与科学长周期代理通过将多个代理框架连接到大规模沙盒环境进行黑盒代理强化学习提高了在通用和科学领域长周期任务的泛化能力并提高了能力上限。全面性能评估结果为了全面评估Intern-S2-Preview-397B的性能我们在各种基准测试上进行了测试包括通用数据集和科学数据集。评估使用了OpenCompass、VLMEvalKit和AgentCompass工具。对于文本推理基准测试Intern-S2-Preview-397B的最大推理长度为256K tokens而对于多模态基准测试最大推理长度为64K tokens。通用任务性能表现如下注下划线表示开源模型中的最佳性能粗体表示所有模型中的最佳性能。科学任务性能表现如下关键技术参数与部署配置 ⚙️推荐采样参数为确保获得更好的结果建议使用以下超参数top_p 0.95 top_k 50 min_p 0.0 temperature 0.8这些参数在generation_config.json中也有定义其中还包括bos_token_id、eos_token_id等关键配置。高效部署方案Intern-S2-Preview-397B可以使用以下任何LLM推理框架进行部署LMDeploy (0.14.0)vLLM (v0.22.1)SGLang (v0.5.13)详细的部署示例可在Model Deployment Guide中找到。该指南提供了三种部署模式的配置无MTP的基本服务适合资源有限的环境提供基础推理能力MTP推测解码通过推测性解码提高生成速度YaRN RoPE配置的长上下文推理支持超长文本处理示例中使用512k上下文长度科学任务性能深度分析 多领域科学能力展示Intern-S2-Preview-397B在20多个科学领域展示了卓越的性能特别在以下方面表现突出生物分子相互作用设计能够准确预测和设计分子间的相互作用对药物研发具有重要意义材料结构生成可以生成具有特定属性的材料结构加速新材料开发地震事件检测通过时间序列分析能够准确识别地震事件及P波和S波的起始时间点工具调用能力增强科学研究效率模型的工具调用功能允许其通过调用外部工具和API扩展能力。例如结合天气API可以获取特定地点和时间的温度数据这在气候科学研究中非常有用。以下是工具调用的基本流程定义工具函数及其参数构造工具调用消息发送请求并获取模型响应解析工具调用结果生成最终回答详细的工具调用示例可在项目README.md中找到。快速开始使用指南 获取模型要开始使用Intern-S2-Preview-397B首先需要克隆仓库git clone https://gitcode.com/InternLM/Intern-S2-Preview-397B-FP8基本推理示例以下是一个简单的推理示例展示如何使用模型进行对话from openai import OpenAI messages [ {role: user, content: Today is 2024-11-14, What\s the temperature in San Francisco now? How about tomorrow?} ] openai_api_key EMPTY openai_api_base http://0.0.0.0:23333/v1 client OpenAI( api_keyopenai_api_key, base_urlopenai_api_base, ) model_name client.models.list().data[0].id response client.chat.completions.create( modelmodel_name, messagesmessages, max_tokens32768, temperature0.8, top_p0.95, extra_bodydict(spaces_between_special_tokensFalse) ) print(response.choices[0].message)思维模式切换Intern-S2-Preview-397B默认启用思维模式增强模型的推理能力以生成更高质量的响应。可以通过在tokenizer.apply_chat_template中设置enable_thinkingFalse来禁用此功能text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue, enable_thinkingFalse # 思维模式指示器 )注意我们不建议为代理任务禁用思维模式。结论与未来展望 Intern-S2-Preview-397B-FP8在20多个科学任务上的性能基准测试表明它在通用推理和专业科学问题解决方面都达到了领先水平。其创新的预训练范式、强大的科学模态推理能力和长周期代理功能使其成为科研人员和开发者的理想选择。随着模型的不断优化和更多科学领域的任务扩展Intern-S2-Preview-397B有望在推动科学研究和创新方面发挥更大作用。无论是生物分子设计、材料科学还是气候研究这款模型都为科学家提供了一个强大的AI辅助工具帮助他们加速发现和突破。如需了解更多详情请参阅项目README.md和部署指南。【免费下载链接】Intern-S2-Preview-397B-FP8项目地址: https://ai.gitcode.com/InternLM/Intern-S2-Preview-397B-FP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考