文章目录
- 前言
- 资源
- deepspeed
- 一、训练的坑
- 二、推理的坑
- 三、继续训练的坑
- 总结
前言
资源
单机两4090，如图
单卡24G，baichuan-13b-chat单卡推理需要至少26G，因此仅用一张卡，我们是无法加载百川13B的模型，所以，无论是推理还是训练，我们都必须并行！
deepspeed
核心思想：GPU显存不够，CPU内存来凑
虽然我们两张卡加起来有48G，按理说显存是足够的，实则不是。
就两张卡而言，分别为GPU0和GPU1，两块GPU上分别有一半模型参数，即6.5B，占用13G，在使用deepspeed的参数并行进行前向传播时，GPU0需要把自己身上的参数传给GPU1临时保存起来，参与前向传播，这时，GPU1身上的参数即为整个模型的参数
