训练显存不足问题

[MainSuper]

您好，我现在想要在codes基础上进行微调自定义的数据，总是显存不足问题，目前使用了3块A40显卡，也使用了flash-attention，还是显存不足，请问这个是硬件问题，还是可以在代码上进行调优可以解决呢。

[lihaoyang-ruc]

显存可以尝试 1. 减小block_size； 2. 开启deepspeed自带的CPU offload；3. 尝试开启Zero-3；4； 尝试开启梯度检查点model.gradient_checkpointing_enable()。