上图中训练显存占用是和要训练的参数数量成正比的LoRA就是通过降低微调训练时要训练的模型参数来实现轻量训练的。那LoRA是怎么实现降低需要训练的参数数量的呢核心原理低秩矩阵分解为什么这样能省资源回到上图最后计算可以将需要训练的参数量减少到原来的12% ( r8 )当然模型参数也会增加12%应为要训练额外的参数矩阵。那最后综合计算用LoRA微调方法显存占用会比原来全量微调少大约60%即从26GB — 8GB