华为ModelArts微调Qwen14B实录(3)
·
调好环境之后就可以准备训练了,环境主要是modelarts是昇腾卡,跟nividia不一样的是有个torch_npu插件,要保证几个版本匹配一致才行,上一篇有说到。
训练其实很简单
1.下载模型
2.上传训练数据集
3.注册数据集
4.准备并上传训练配置yaml文件
5.准备并启动bash脚本
就是有一些细节注意一下
1.下载模型,地址注意前面那个/home/ma-user/work/

2.上传数据集放在llamafactory下的data文件夹

3.在data文件夹里面有个配置文件,是用来配置训练数据文件的名字和格式的,在里面加上跟你的数据集匹配的内容就好了

4.在llamafactory下面的src文件夹里面放上训练配置文件XXXX.yaml,配置文件可以先让大模型帮忙出一版,但是还是要根据你自己的硬件资源去调整,具体可以看大模型微调训练---机器(训练资源)篇_b85 八卡直插跑大模型-CSDN博客
配置文件的格式类似于这样的:

5. 启动训练脚本
让大模型写一下很简单,就是注意单卡和多卡的区别,现在modelarts上面对多卡友好多了,用了这个新的镜像之后

附训练的时候一些参数下的服务器情况


训练完的话可以停止notebook,可以保存镜像,不删除的话里面的文件会保存,你可以重启,在有资源的情况下,所以没有删除之前会计费的哦,只是费用比较便宜而已。如果完全不用的话建议删除。




就这样,完成了一次用modelarts训练的过程,还是有在迭代的,比我一年前用又好用了很多了,就是比较贵。。。。
更多推荐

所有评论(0)