随着深度学习模型的不断发展，微调大模型的需求也逐渐增多。然而，传统的全参数微调需要消耗大量的计算资源和显存，对于普通用户和中小企业来说负担较大。为了应对这些问题，LoRA（Low-Rank Adaptation）应运而生。LoRA 是一种高效微调技术，通过低秩分解的方式显著减少训练参数量和内存占用，适合在消费级 GPU 上进行大模型微调。在本文中，我们将通过面试题的形式，深入探讨 LoRA 的核心概念、思路以及在实际应用中的优势与挑战，帮助大家更好地理解这项技术。

目录

1. LoRA 概念

   • 1.1 简单介绍一下 LoRA
   • 1.2 LoRA 的思路
   • 1.3 LoRA 的特点
   • 1.4 LoRA 的优点
   • 1.5 LoRA 的缺点

2. LoRA 训练理论

   • 2.1 LoRA 权重是否可以合入原模型？
   • 2.2 ChatGLM-6B LoRA 后的权重多大？
   • 2.3 LoRA 微调方法为啥能加速训练？
   • 2.4 如何在已有 LoRA 模型上继续训练？
   • 2.5 LoRA 这种微调方法和全参数比起来有什么劣势吗？
   • 2.6 LoRA 应该作用于 Transformer 的哪个参数矩阵