基本信息
- 📝 原文链接: https://arxiv.org/abs/2412.06845
- 👥 作者: Pu Zhao, Xuan Shen, Zhenglun Kong, Yixin Shen, Sung-En Chang, Timothy Rupprecht, Lei Lu, Enfu Nan, Changdi Yang, Yumei He, Xingchen Xu, Yu Huang, Wei Wang, Yue Chen, Yong He, Yanzhi Wang
- 🏷️ 关键词: Model Openness Framework (MOF), Open-Source LLMs, Large Language Models (LLMs), Moxin-LLM
- 📚 分类: 自然语言处理
摘要
中文摘要
最近，大型语言模型 (LLM) 经历了显著的转变，其普及度和能力都迅速提高。引领这一发展的是 GPT-4 和 GPT-o1 等专有 LLM，由于其卓越的性能和多功能性，它们已在 AI 社区引起广泛关注。与此同时，LLaMA 和 Mistral 等开源 LLM 也为 LLM 日益增长的普及做出了巨大贡献，因为这些模型易于定制和部署在各种应用中。尽管开源 LLM 为创新和研究带来了前所未有的机遇，但 LLM 的商业化也引发了对透明度、可重复性和安全性的担忧。许多开源 LLM 未能满足基本的透明度要求，因为它们隐瞒了训练代码和数据等重要组件，并且有些模型在声称自己是“开源”的同时却使用了限制性许可证，这可能会阻碍 LLM 的进一步创新。为了缓解这个问题，我们推出了 Moxin 7B，这是一个完全开源的 LLM，其开发符合模型开放框架 (MOF)，这是一个根据模型完整性和开放性评估 AI 模型的等级分类系统，遵循开放科学、开源、开放数据和开放访问的原则。我们的模型通过全面发布预训练代码和配置、训练和微调数据集以及中间和最终检查点，实现了最高的 MOF 分类级别“开放科学”。实验表明，与流行的 7B 模型相比，我们的模型在零样本评估中取得了优越的性能，并在少样本评估中具有竞争力。
原文摘要
Recently, Large Language Models (LLMs) have undergone a significant transformation, marked by a rapid rise in both their popularity and capabilities. Leading this evolution are proprietary LLMs like GPT-4 and GPT-o1, which have captured widespread attention in the AI community due to their remarkable performance and versatility. Simultaneously, open-source LLMs, such as LLaMA and Mistral, have made great contributions to the ever-increasing popularity of LLMs due to the ease to customize and deploy the models across diverse applications. Although open-source LLMs present unprecedented opportunities for innovation and research, the commercialization of LLMs has raised concerns about transparency, reproducibility, and safety. Many open-source LLMs fail to meet fundamental transparency requirements by withholding essential components like training code and data, and some use restrictive licenses whilst claiming to be “open-source,” which may hinder further innovations on LLMs. To mitigate this issue, we introduce Moxin 7B, a fully open-source LLM developed in accordance with the Model Openness Framework (MOF), a ranked classification system that evaluates AI models based on model completeness and openness, adhering to principles of open science, open source, open data, and open access. Our model achieves the highest MOF classification level of “open science” through the comprehensive release of pre-training code and configurations, training and fine-tuning datasets, and intermediate and final checkpoints. Experiments show that our model achieves superior performance in zero-shot evaluation compared with popular 7B models and performs competitively in few-shot evaluation.
论文解读
一句话总结
Moxin-LLM 7B是一个完全开源的7B参数大型语言模型，其在遵循模型开放框架（MOF）的原则下，公开了预训练代码、配置、训练和微调数据集以及中间和最终检查点，并在零样本评估中取得了优于其他流行的7B模型的性能，在少样本评估中也具有竞争力。
问题1：这篇论文想要解决什么具体问题？
• 问题背景：大型语言模型（LLM）的商业化引发了对透明度、可重复性和安全性的担忧，许多开源LLM未能公开训练代码和数据等关键组件，或者使用了限制性许可证。
• 现有方案不足：现有的许多开源LLM没有完全遵守“开源”的原则，阻碍了进一步的创新和研究。
• 研究目标：开发一个完全开源的LLM，遵循模型开放框架（MOF）的原则，并达到与现有流行的7B模型相当甚至更好的性能。
问题2：论文的核心创新点是什么？
• 技术创新：Moxin-LLM 7B 遵循模型开放框架（MOF），实现了完全开源，公开了预训练代码、配置、训练和微调数据集以及中间和最终检查点。
• 方法改进：扩展了Mistral模型架构，并使用了grouped-query attention (GQA)和sliding window attention (SWA)等技术来提高性能和效率。
• 优势：在零样本评估中，Moxin-LLM 7B 的性能优于其他流行的7B模型；在少样本评估中，其性能具有竞争力；其聊天模型甚至优于Llama2-7B-chat等基准模型。
问题3：实验结果如何验证了方法的有效性？
• 关键实验：对Moxin-LLM 7B进行了零样本和少样本评估，并与Mistral-7B、LLaMA 2-7B、Gemma-7B和Qwen v2-7B等模型进行了比较。 还使用了AI2 Reasoning Challenge, HellaSwag, MMLU, Winogrande, PIQA等多个基准测试集。
• 性能提升：在多个零样本和少样本评估任务中，Moxin-7B-finetuned模型均取得了显著的性能提升，例如在PIQA任务中，其准确率从78.07%提升到82.24%。
• 对比结果：Moxin-LLM 7B在零样本评估中优于其他流行的7B模型，在少样本评估中具有竞争力。
问题4：这个研究的实际应用价值是什么？
• 应用场景：Moxin-LLM 7B的完全开源特性使其能够广泛应用于各种研究和商业应用场景。
• 实施建议：论文建议使用Moxin-LLM 7B进行进一步的研究和开发，并鼓励社区对其进行改进和扩展。
• 局限与展望：论文未明确指出局限性，但未来的改进方向可能包括进一步提高模型性能、扩展模型能力以及开发更有效的训练方法。 未来研究可以探索更大的模型规模，并改进模型在不同任务上的性能。
