生成式推荐系统HSTU模型突破万亿参数序列建模的性能瓶颈【免费下载链接】generative-recommendersRepository hosting code for Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations (https://arxiv.org/abs/2402.17152).项目地址: https://gitcode.com/gh_mirrors/ge/generative-recommenders在当今推荐系统领域传统深度推荐模型DLRM面临着计算扩展瓶颈的严峻挑战。随着用户行为序列的增长和模型复杂度的提升如何高效处理海量数据成为业界痛点。Meta推出的Generative Recommenders项目通过将经典推荐范式重构为生成式建模问题提出了一种革命性的解决方案——HSTUHybrid Sequential Transducer Unit模型实现了训练和推理效率10-1000倍的显著提升。推荐系统的生成式革命从DLRM到HSTU传统推荐系统在处理用户历史行为序列时往往采用基于交叉熵损失的分类方法这种方法在模型扩展性上面临着根本性限制。Generative Recommenders项目通过引入生成式建模范式将推荐问题重新定义为序列生成任务为大规模推荐系统开辟了新的技术路径。HSTU模型的核心创新在于其混合序列转换器架构该架构结合了注意力机制的高效计算和序列建模的灵活性。项目中的核心实现模块位于generative_recommenders/modules/dlrm_hstu.py定义了DlrmHSTUConfig类支持高达16384的最大序列长度和可配置的注意力头数、隐藏层维度等关键参数。上图展示了HSTU模型的推理服务器架构Loadgen框架通过QSL查询样本库和SUT系统测试单元的协同工作实现了高效的性能评估流程。这种设计确保了模型在真实场景下的可扩展性和稳定性。HSTU架构解析混合注意力机制与高效计算HSTU模型的核心优势在于其独特的混合注意力机制设计。与传统的Transformer架构不同HSTU引入了序列转换器的概念通过优化内存访问模式和计算模式显著提升了训练和推理效率。核心组件设计项目中的ops模块提供了多种高效计算内核实现Triton优化内核位于ops/triton/目录下的高性能计算内核包括triton_hstu_attention.py、triton_hstu_linear.py等利用现代GPU的Tensor Core和内存层次结构CUDA原生实现ops/cpp/hstu_attention/目录下的FlashAttention V3实现为H100 GPU提供最先进的效率Jagged Tensor操作支持不规则张量操作这在处理变长用户行为序列时至关重要性能优化策略HSTU模型通过多种优化策略实现性能突破内存效率优化采用分块计算和缓存友好的数据布局计算并行化充分利用GPU的并行计算能力稀疏性利用针对推荐系统特有的数据稀疏性进行专门优化实战应用从MovieLens到工业级数据集Generative Recommenders项目提供了完整的训练和推理流水线支持从学术数据集到工业级大规模数据的全流程处理。数据集支持项目预置了多个流行数据集的配置文件数据集配置文件路径主要特点MovieLens-1Mconfigs/ml-1m/hstu-sampled-softmax-n128-final.gin小型基准数据集适合快速验证MovieLens-20Mconfigs/ml-20m/hstu-sampled-softmax-n128-final.gin中等规模电影评分数据Amazon Booksconfigs/amzn-books/hstu-sampled-softmax-n512-final.gin大规模图书推荐场景MovieLens-3Bconfigs/ml-3b/hstu-sampled-softmax-n96-seqlen500-final.gin通过分形扩展生成的30亿样本数据集训练流程示例# 数据预处理 python3 preprocess_public_data.py --dataset ml-1m # 启动训练 CUDA_VISIBLE_DEVICES0 python3 main.py \ --gin_config_fileconfigs/ml-1m/hstu-sampled-softmax-n128-final.gin \ --master_port12345训练过程中HSTU模型会自动保存checkpoint到exps/目录用户可以通过TensorBoard监控训练进度tensorboard --logdir ~/generative-recommenders/exps/ml-1m-l200/ --port 24001 --bind_all性能基准测试与评估项目集成了MLPerf Inference基准测试框架提供了完整的性能评估方案。推理模块位于generative_recommenders/dlrm_v3/inference/支持多GPU分布式推理。推理性能优化上图展示了负载生成器与推理服务器的网络交互架构Loadgen Server负责生成查询负载Inference Server执行实际的模型推理这种分离设计使得性能评估更加准确和可扩展。关键性能指标根据论文实验结果HSTU模型在多个数据集上均表现出显著优势MovieLens-20M数据集性能对比模型HR10NDCG10相对提升SASRec (基线)0.28890.1621-HSTU0.32730.189513.3%准确率HSTU-large0.35560.209823.1%准确率HSTU-large配置在NDCG10指标上实现了29.4%的显著提升证明了生成式推荐范式在推荐质量方面的优越性。高级配置与优化技巧多GPU分布式训练项目支持数据并行训练通过简单的配置即可启用多GPU训练# 在GIN配置文件中设置 run.WORLD_SIZE 4 # 使用4个GPU run.local_batch_size 128 # 每个GPU的批次大小模型参数调优通过修改DlrmHSTUConfig类可以灵活调整模型架构class DlrmHSTUConfig: hidden_size 256 # 隐藏层维度 num_heads 8 # 注意力头数 num_layers 6 # Transformer层数 max_seq_len 16384 # 最大序列长度Triton内核优化对于追求极致性能的场景可以启用Triton优化内核# 在推理配置中启用Triton inference.use_triton True常见问题与解决方案内存不足问题问题训练大规模数据集时出现OOM错误解决方案降低批次大小修改train_fn.local_batch_size参数使用梯度累积技术切换到更小的模型配置如hstu-sampled-softmax-n96推理速度优化问题推理延迟过高解决方案启用Triton优化设置inference.use_triton True使用批处理优化调整批次大小平衡吞吐和延迟利用GPU内存优化使用混合精度训练和推理模型收敛问题问题训练过程中指标波动大或不收敛解决方案调整学习率降低train_fn.learning_rate增加预热步数设置train_fn.num_warmup_steps检查数据预处理确保数据分布合理未来发展方向与社区贡献Generative Recommenders项目代表了推荐系统向生成式建模转型的重要里程碑。未来发展方向包括更大规模模型支持万亿参数级别的推荐模型多模态集成结合文本、图像等多模态信息实时学习支持在线学习和增量更新跨平台部署扩展到移动设备和边缘计算场景项目采用Apache 2.0开源协议鼓励社区贡献。核心开发团队来自Meta的多个技术部门涵盖了算法、系统和工程等多个领域专家。总结Generative Recommenders项目通过HSTU模型为推荐系统领域带来了革命性的变化。其核心价值在于性能突破相比传统方法实现10-1000倍的效率提升可扩展性支持从百万到万亿参数级别的模型训练易用性提供完整的训练和推理流水线工业级验证已在Meta的大规模推荐系统中得到验证对于希望构建下一代推荐系统的开发者和研究者Generative Recommenders提供了一个强大而灵活的基础框架帮助您快速实现从研究到生产的全流程部署。MLPerf性能基准图标代表了项目在标准化性能评估方面的承诺确保模型在不同硬件平台上的可比较性和可复现性。【免费下载链接】generative-recommendersRepository hosting code for Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations (https://arxiv.org/abs/2402.17152).项目地址: https://gitcode.com/gh_mirrors/ge/generative-recommenders创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考