。

它通过冻结预训练模型参数#xff0c;仅训练少量新增的低秩矩阵#xff0c;大幅减少了需要训练的参数量#xff0c;同…一

LoRALow-Rank

Adaptation低秩适应是一种高效的大模型参数微调技术由Meta在2021年提出。

它通过冻结预训练模型参数仅训练少量新增的低秩矩阵大幅减少了需要训练的参数量同时保持接近全参数微调的效果。

为什么需要LoRA

传统的全参数微调Fine-tuning需要更新大型语言模型的所有参数如GPT-3有1750亿参数这带来两个核心问题

计算资源需求极高需要大量GPU内存和长时间训练。

容易过拟合对于小数据集全参数微调可能导致模型忘记预训练知识灾难性遗忘。

LoRA的核心思想是用两个低秩矩阵的乘积代替传统的权重更新矩阵。

W_0

W0​通常维度很高如768×768LoRA不直接更新它而是添加一个可训练的分解矩阵

W_0

对于13B参数的CodeLlama模型全参数微调需要训练130亿参数而LoRA只需要训练约0.5%的参数例如

内存和计算效率提升

训练时GPU内存需求降低可使用更小的GPU训练大模型。

推理时不需要额外内存因为LoRA权重可以与原始权重合并。

训练速度加快

只对Attention层的query和value投影矩阵应用LoRAlora_rank:

64,

}这意味着代码只会微调模型中Attention层的query和value投影矩阵使用秩为64的低秩分解从而大幅降低训练成本。

LoRA

对比项全参数微调LoRA微调训练参数量所有参数如13B仅LoRA参数如650KGPU内存需求高需保存所有梯度低仅保存LoRA梯度训练时间长短模型效果可能更好数据充足时接近全参数微调多任务支持需要为每个任务保存完整模型共享预训练模型仅保存LoRA权重

LoRA是一种轻量级微调技术特别适合在资源有限的情况下微调大型语言模型。

通过冻结预训练权重并引入低秩适应矩阵LoRA在大幅减少训练成本的同时保持了接近全参数微调的效果。

这使得即使是个人开发者也能在消费级GPU上微调13B甚至更大的模型。

QLoRAQuantized

Adaptation是LoRA的升级版由Meta在2023年提出。

它通过量化预训练模型权重如将权重压缩至4位或更少并结合LoRA微调进一步降低了大模型微调的资源门槛让普通人也能在消费级GPU上微调百亿级参数模型。

4位量化预训练模型

传统LoRA虽然只训练少量LoRA参数但预训练模型权重仍需以FP1616位浮点或BF16Brain

Floating

Point格式存储占用大量内存。

例如13B参数模型需约26GB显存。

QLoRA将预训练模型权重压缩至4位仅需约3.25GB同时引入双量化技术进一步减少量化误差几乎不损失模型性能。

Paged

设计了特殊的优化器解决量化模型训练时的内存碎片问题大幅减少内存峰值。

高秩适应

13B模型只需约7GB显存即可微调相比传统LoRA的26GB。

70B模型可在单张48GB

在多个基准测试中QLoRA微调的模型性能接近甚至超过全参数微调的结果。

训练效率提升

(16位)4位量化13B模型显存需求~26GB~7GB70B模型显存需求~140GB~18GB参数量仅LoRA参数仅LoRA参数量化权重不占训练内存硬件要求需要高端GPU如A100可在消费级GPU如RTX

4090上运行

BitsAndBytesConfig(load_in_4bitTrue,

加载4位量化模型bnb_4bit_compute_dtypetorch.bfloat16,

计算精度bnb_4bit_use_double_quantTrue,

量化类型

codellama/CodeLlama-13b-Instruct-hf,quantization_config:

quantization_config,

初始加载时间较长量化模型需要额外时间加载和准备。

特定硬件依赖需要GPU支持BF16或FP16计算大多数现代GPU都支持。

极端低精度可能影响性能在某些任务上4位量化可能略微降低模型表现但通常影响较小。

QLoRA是当前最先进的大模型微调技术之一它通过量化预训练权重LoRA微调的组合将百亿级参数模型的微调门槛降低到消费级硬件水平。

对于个人开发者或资源有限的团队QLoRA是实现低成本、高效率模型微调的理想选择。