MFTCoderKDD 2024 重磅发布高效多任务代码大模型微调框架全解析【免费下载链接】MFTCoderHigh Accuracy and efficiency multi-task fine-tuning framework for Code LLMs. This work has been accepted by KDD 2024.项目地址: https://gitcode.com/gh_mirrors/mf/MFTCoderMFTCoder 是由 CodeFuse 团队开发的高效多任务代码大模型微调框架已被 KDD 2024 会议收录。该框架专注于提升代码大模型Code LLMs的精度和效率支持多任务微调、多模型兼容和多训练框架集成为开发者提供了一站式的代码大模型优化解决方案。 为什么选择 MFTCoder作为一款面向开发者的专业微调工具MFTCoder 凭借四大核心优势脱颖而出多任务协同训练轻松平衡多任务数据分布模型可泛化至未见过的新任务全模型生态支持兼容 DeepSeek、Qwen、Llama2、ChatGLM3 等主流开源模型双框架训练引擎提供基于 HuggingFace Accelerate DeepSpeed/FSDP 的mftcoder_accelerate和基于 ATorch 的mftcoder_atorch两种实现极致资源效率支持 LoRA/QLoRA 轻量化微调与全参数训练最低配置即可启动超大规模模型训练 框架架构全解析MFTCoder 的核心架构围绕多任务、多模型、多框架三大支柱构建通过模块化设计实现高效微调流程MFTCoder 多任务训练框架示意图展示了从数据加载到模型训练的完整流程核心模块组成数据层支持 EvolInstuct、Text2Code、UnitTest 等多类型代码任务数据模型层集成 Transformer 生态兼容 MoE 架构模型如 Mixtral训练层提供 SFT/MFT/PEFT 多种训练模式支持数据均衡与语义强调损失函数加速层DeepSpeed/FSDP/ATorch 多后端支持实现高效分布式训练 快速上手指南环境准备# 克隆项目仓库 git clone https://link.gitcode.com/i/a29ba2b553757a59a12dcc37a53c9121 cd MFTCoder # 一键初始化环境 sh init_env.sh开始训练MFTCoder 提供两种训练框架选择满足不同技术栈需求推荐方案MFTCoder-accelerate基于 HuggingFace Accelerate DeepSpeed/FSDP探索方案MFTCoder-atorch基于 ATorch 分布式训练框架 性能表现MFTCoder 微调的模型在 HumanEval 基准测试中表现卓越部分模型性能超越 GPT-4 和 ChatGPT-3.5模型名称HumanEval(Pass1)发布时间CodeFuse-DeepSeek-33B78.7%2024/01CodeFuse-CodeLlama-34B74.4%2023/09GPT-4(zero-shot)67.0%2023/03CodeFuse-StarCoder2-15B73.2%2024/05 关键技术特性多任务平衡机制MFTCoder 通过数据均衡、难易均衡和收敛均衡三重策略解决多任务训练冲突核心实现位于 loss_utils.py。高效微调方案QLoRA 量化微调4-bit 量化下性能仅下降 0.6%CodeFuse-CodeLlama-34B-4bits 达 73.8% Pass1MoE-MFT 支持针对混合专家模型优化的多任务训练流程代码实现见 mft_accelerate.py模型与数据集生态MFTCoder 已开源多个高性能代码模型如 CodeFuse-DeepSeek-33B和专用数据集Evol-instruction-66k高质量代码指令集CodeExercise-Python-27kPython 编程练习数据集 中文训练框架概览对于中文用户MFTCoder 提供全中文界面的训练流程说明MFTCoder 中文训练框架示意图包含多模型支持与多类型损失函数设计 如何参与贡献MFTCoder 欢迎社区贡献您可以通过以下方式参与提交 bug 报告或功能建议GitHub Issues贡献代码实现提交 PR 至 MFTCoder 主仓库引用相关论文article{mftcoder2023, title{MFTCoder: Boosting Code LLMs with Multitask Fine-Tuning}, author{Bingchang Liu and Chaoyu Chen and Cong Liao and others}, year{2023}, journal{arXiv preprint arXiv:2311.02303} }通过 MFTCoder开发者可以轻松构建专属于自己的高性能代码大模型无论是学术研究还是工业应用都能享受到多任务微调带来的精度与效率提升。立即开始探索解锁代码大模型的无限可能【免费下载链接】MFTCoderHigh Accuracy and efficiency multi-task fine-tuning framework for Code LLMs. This work has been accepted by KDD 2024.项目地址: https://gitcode.com/gh_mirrors/mf/MFTCoder创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考