大模型
- Llama-factory平台使用lora微调Qwen
- 1. 配置环境
- 2. 在阿里云平台上下载llama-factory的git clone代码
- 3. 下载千问大模型Qwen1.5-0.5b，放到llama-factory项目代码下面
- 4. 训练自己的数据集
- 4.1 模仿dataset_info.json中的其他数据集格式，添加自己的数据集
- 4.2 写一个自己的数据集json文件
- 4.3 训练需要修改的yaml文件
- QLore
- NF4是一种数据类型（具体怎么表示的，没学会）
Llama-factory平台使用lora微调Qwen
github地址：https://github.com/hiyouga/LLaMA-Factory
1. 配置环境
在阿里云服务器上配置，镜像不要包含TensorFlow，且满足github上的环境要求就行
2. 在阿里云平台上下载llama-factory的git clone代码
3. 下载千问大模型Qwen1.5-0.5b，放到llama-factory项目代码下面
记录放代码的路径
4. 训练自己的数据集
4.1 模仿dataset_info.json中的其他数据集格式，添加自己的数据集
4.2 写一个自己的数据集json文件
4.3 训练需要修改的yaml文件
调epoch，数据集，模型等等
QLore
B站up讲解
NF4是一种数据类型（具体怎么表示的，没学会）
是专门对符合正态分布的数据做量化用的
也就是，把数据换个更节省空间的方式储存起来，就叫量化，用的时候再
_web前端开发设计_荆州百度推广_百度一下首页手机版)
