Anima-2.9B架构解析从28层到40层的Transformer深度扩展技术【免费下载链接】Anima-2.9B项目地址: https://ai.gitcode.com/hf_mirrors/Gazingstars123/Anima-2.9BAnima-2.9B是一款基于circlestone-labs/Anima扩展而来的动漫插画专用AI模型通过突破性的Transformer深度扩展技术将原始28层架构提升至40层参数规模达到29亿实现了动漫风格生成能力的显著飞跃。核心架构升级从28层到40层的技术突破革命性的层扩展策略Anima-2.9B采用了渐进式层插入技术通过以下创新步骤实现深度扩展交错式层插入在原始28层Transformer中均匀插入12个新层权重深拷贝机制新层初始权重从相邻层深度复制而来输出投影零初始化新层输出投影矩阵采用零初始化策略确保模型在初始状态下与原始架构功能一致这种扩展方法参考了《LLaMA Pro: Progressive LLaMA with Block Expansion》论文中的渐进式扩展理念既保留了基础模型的特征提取能力又为新功能学习提供了充足的参数空间。关键架构参数对比架构指标基础Anima模型Anima-2.9B提升幅度Transformer层数284042.9%参数规模~2B~2.9B45%训练数据量基础数据集新增170万动漫样本专属领域数据技术实现细节平衡创新与兼容性深度扩展的技术优势Anima-2.9B的层扩展设计带来三大核心优势架构兼容性零初始化输出投影确保模型初始行为与基础版一致降低训练难度特征提取能力额外12层带来更精细的特征层级支持1024px高分辨率生成训练效率仅需训练新增层即可实现性能提升70%计算资源专注于高分辨率优化训练优化策略项目采用Muon优化器在8x 5080s集群上完成训练创新点包括分层训练策略优先训练新增层再进行整体微调混合-caption系统结合Gemini 3.1 Flash-Lite、Gemini 3.5 Flash-Lite和Claude Sonnet 5生成多样化描述无分数标签设计训练数据不含质量评分标签避免模型过度拟合特定审美标准实际应用与性能表现推荐生成参数为充分发挥扩展架构优势推荐使用以下参数组合采样器Euler/Res-multistep/Er-sde调度器sgm-uniform/beta/beta57/linear-quadratic分辨率812x12161152x1536推荐步数28-50步高质量输出建议50步CFG值3.5-5视画面复杂度调整提示词优化指南扩展后的架构对提示词细节更加敏感详细度原则遵循提示词越详细结果越精准的原则避免简短描述标签体系采用Danbooru/Gelbooru标签体系包含质量标签如masterpiece, best quality艺术家标签artistname角色特征1girl, blue hair, school uniform场景描述classroom, sunset, detailed background多角色处理为每个角色单独指定特征标签避免混淆未来发展路线Anima-2.9B目前处于预览阶段开发团队计划扩展训练至1000万通用样本提升提示词理解能力通过[Anima Standalone Trainer]支持LoRA训练优化1536x1536分辨率生成稳定性该项目基于nvidia/Cosmos-Predict2-2B-Text2Image和circlestone-labs/Anima构建采用sd-scripts训练框架源代码遵循CircleStone Labs Non-Commercial License许可协议。要开始使用Anima-2.9B需安装ComfyUI-Anima-2.9B自定义节点。模型仓库地址https://gitcode.com/hf_mirrors/Gazingstars123/Anima-2.9B【免费下载链接】Anima-2.9B项目地址: https://ai.gitcode.com/hf_mirrors/Gazingstars123/Anima-2.9B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考