一、Lora简介二、Lora一键包安装教程三、Lora使用教程四、常见错误除一、Lora简介LoRA:Low-RankAdaptationofLargeLanguageModels是微软研究员引入的一项新技术，主要用于处理大模型微调的问题。目前超过数十亿以上参数的具有强能力的大模型(例如GPT-3)通常在为了适应其下游任务的微调中会呈现出巨大开销。LoRA建议冻结预训练模型的权重并在每个Transformer块中注入可训练层(秩-分解矩阵)。因为不需要为大多数模型权重计算梯度，所以大大减少了需要训练参数的数量并且降低了GPU的内存要求。StableDiffusion的全模型微调过去既缓慢又困难，这也是Dreambooth或TextualInversion等轻量级方法变得如此流行的部分原因。使用LoRA，在自定义数据集上微调模型要容易得多。详细的原理分析见右侧链接：