InfinityStar训练指南：从数据集准备到720p模型微调的最佳实践
InfinityStar训练指南从数据集准备到720p模型微调的最佳实践【免费下载链接】InfinityStar[NeurIPS 2025 Oral]Infinity⭐️: Unified Spacetime AutoRegressive Modeling for Visual Generation项目地址: https://gitcode.com/gh_mirrors/in/InfinityStarInfinityStar是NeurIPS 2025 Oral收录的视觉生成模型本指南将带您完成从数据集准备到720p模型微调的完整流程帮助您快速掌握这一强大视觉生成工具的训练方法。一、数据集准备全流程1.1 数据格式规范所有视频元数据需采用JSON Lines.jsonl格式每行包含单个视频的完整信息。典型结构如下{ video_path: data/infinitystar_toy_data/videos/e06b8ca5dbc6.mp4, begin_frame_id: 0, end_frame_id: 120, tarsier2_caption: The video features an animated character with long light orange hair and brown eyes., width: 1280, height: 720, h_div_w: 0.5625, fps: 24 }1.2 数据拆分工具对于大规模数据集建议使用官方提供的拆分工具将数据分块提升训练效率python3 data/infinitystar_toy_data/split_jsonls_for_training.py --jsonl_folder_list JSONL_DIR --save_dir SAVE_DIR --chunk_size 100拆分后的文件将保存在data/infinitystar_toy_data/split_jsonls/目录下按序列编号组织便于分布式训练读取。二、视频特征提取指南2.1 配置参数选择修改scripts/extract_video_features.sh脚本设置关键参数不同分辨率对应配置如下480p (5s):pn0.40M480p (10s):pn0.40M且video_frames161720p (5s):pn0.90M2.2 执行提取命令完成配置后运行提取脚本bash scripts/extract_video_features.sh特征提取过程会自动处理视频帧采样和特征编码为后续训练做好准备。三、模型训练全攻略3.1 训练脚本选择根据目标分辨率选择对应训练脚本480p训练支持5s/10s视频bash scripts/train_480p.sh720p训练仅支持5s视频bash scripts/train_720p.sh⚠️ 注意10秒视频训练需同时在特征提取和训练脚本中设置video_frames161参数3.2 训练架构解析InfinityStar采用统一时空自回归建模架构核心模块位于infinity/models/目录包含视频VAE、注意力机制和量化器等关键组件。图InfinityStar的统一时空自回归建模框架架构图四、模型性能评估4.1 基准测试结果在视频生成任务上InfinityStar表现出优异性能以下是720p分辨率下的基准测试结果图InfinityStar在视频生成任务上的性能对比越高越好4.2 人工评估效果人类评估显示InfinityStar生成的视频在连贯性和视觉质量上达到了较高水平图InfinityStar视频生成的人类评估分数1-5分五、实战案例视频生成示例使用训练好的模型可以轻松实现图像到视频I2V和视频到视频V2V的生成任务以下是部分示例效果图InfinityStar图像到视频生成效果展示图InfinityStar视频到视频生成效果展示六、快速开始步骤总结准备数据按照JSONL格式组织视频元数据拆分数据使用split_jsonls_for_training.py分块处理提取特征运行extract_video_features.sh生成训练特征开始训练选择train_480p.sh或train_720p.sh启动训练生成视频使用tools/infer_video_720p.py进行推理通过以上步骤您就能顺利完成InfinityStar模型的训练和微调开启高效视觉生成之旅完整训练流程细节可参考data/README.md文档。【免费下载链接】InfinityStar[NeurIPS 2025 Oral]Infinity⭐️: Unified Spacetime AutoRegressive Modeling for Visual Generation项目地址: https://gitcode.com/gh_mirrors/in/InfinityStar创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
