当前位置: 首页> 娱乐> 八卦 > 国家企业信用公示信息年报入口_江苏建设工程_兰州网络推广技术_电脑软件推广平台

国家企业信用公示信息年报入口_江苏建设工程_兰州网络推广技术_电脑软件推广平台

时间:2025/7/11 15:39:59来源:https://blog.csdn.net/weixin_43883448/article/details/143952952 浏览次数:0次
国家企业信用公示信息年报入口_江苏建设工程_兰州网络推广技术_电脑软件推广平台

文章目录

  • 1. 介绍
  • 2. LoRA的优势
  • 3. LoRA训练步骤:
  • 4.总结

1. 介绍

LoRA(Low-Rank Adaptation)是一种用于高效微调大模型的技术,它通过在已有模型的基础上引入低秩矩阵来减少训练模型时所需的参数量和计算量。具体来说,LoRA在训练模型时将模型中的某些权重矩阵分解为两个低秩矩阵A和B,并对这些矩阵进行微调(finetune),而模型的其他部分保持冻结不变。

2. LoRA的优势

  1. 它冻结了预训练的模型权重,并将可训练的秩分解矩阵注入到 Transformer 架构的每一层中,大大减少了下游任务的可训练参数的数量。
  2. 与使用 Adam 微调的 GPT3-175B 相比,LoRA 可以将可训练参数数量减少10,000,GPU内存需求减少3倍。

3. LoRA训练步骤:

  1. 选择目标层:首先,在预训练神经网络模型中选择要应用LoRA的目标层。这些层通常是与特定任务相关的,如自注意力机制中的查询Q和键K矩阵。

  2. 初始化映射矩阵A和逆映射矩阵B:映射矩阵A一般用随机高斯分布初始化,当然实际代码实现时,比如微软的deepspeedchat在用到LoRA时,一开始通过0矩阵占位,然后调用搭配ReLU激活函数的kaiming均匀分布初始化;逆映射矩阵B用0矩阵初始化。

  3. 微调模型:用新的参数矩阵替换目标层的原始参数矩阵,然后在特定任务的训练数据上对模型进行微调。

  4. 参数更新:在微调过程中,计算损失函数关于映射矩阵A和逆映射矩阵B的梯度,并使用优化算法(如Adam、SGD等)对矩阵A和B进行更新。(注意,在更新过程中,原始参数矩阵W保持不变,只训练降维矩阵A与升维矩阵B)

  5. 重复更新:在训练的每个批次中,重复步骤3-5,直到达到预定的训练轮次(epoch)或满足收敛条件 。

  6. 合并权重参数:将训练好的映射矩阵A和逆映射矩阵B,跟模型预先训练的权重矩阵进行合并。
    在这里插入图片描述

4.总结

在这里插入图片描述

关键字:国家企业信用公示信息年报入口_江苏建设工程_兰州网络推广技术_电脑软件推广平台

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: