当前位置: 首页> 教育> 高考 > 大模型面试(二)

大模型面试(二)

时间:2025/7/19 9:00:11来源:https://blog.csdn.net/m0_49134108/article/details/140215495 浏览次数:0次

这次又接到一个大模型岗位的面试。但是从面试过程来看,现在大模型岗位都要求有相关工作经验,还是太难进了。还是说国内公司早就过了培养人的年代了?

问到了哪些知识点:

开源大模型:项目里用的是浦语大模型,此外还了解chatglm,llama,qwen等等。

大模型微调的方法:lora。主要是lora了。

有没有对哪些参数做调整?调了lora的参数rank,还有其他参数可以调的吗?学习率?或者说只在某些层上加lora?

qlora是个什么东西,没有好好准备。q也许代表quantized?

其他微调的方法:当时脑袋短路,没想出来,事实上还有ptuning,prefix-tuning,adapter等等方案。

大模型部署:知道量化,比如8bit量化,原来模型参数是bf16类型,可以转换成int8类型;还有kv量化。其他不知道?需要再研究研究。

用了多少语料?是比赛方提供的还是自己制作的训练集?

大模型灾难性遗忘的问题:回答说我们主要是专用领域大模型,所以对通用问题用其他大模型回答;如果是一般的解决方案,专有数据:通用数据大概在1:10的量级。

关键字:大模型面试(二)

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: