书生浦语官网https://internlm.intern-ai.org.cn/
github主页:https://github.com/internLM/
书生浦语(interLM)的发展。
- 推理能力更强
- 支持100万字上下文
- 自助规划和搜索
InterLM2.5-7B对比同类型模型。
大海捞针实验,在长上下文情况下,模型能否找到对应位置的知识:
结果表示,在长上下文情况下,大模型能根据用户问题,正确的拿到对应的内容。
传统方法:RAG
InterLM的方法:没说,原生?
InternLM开源的全链条组件:
- 数据库: 书生 万卷
- 预训练框架:InternEvo
- 微调:Xtuner
- 部署:LMDDeploy
- 评测:OpenCompass
支持QLoRA,LoRA和全量微调。
模型训练完需要评测,我们需要获取评测数据集,主流大模型的得分,自己模型的排名。
基本覆盖了大模型从零到有的每一个步骤,获取数据集,模型预训练,模型微调,模型部署,模型评测。