当前很多大模型虽说可以zero-shot直接使用#xff0c;

在小模型时代…本文要介绍的是大模型的微调训练方法之一----LoRA。

在小模型时代

训练的代价非常高昂即使是finetune也对计算资源有很高要求finetune只是训练的步数少

那么高效的finetune方式就非常必要了。

LoRA就是高效finefune方法的一种。

LoRA原理

一般r取1248就够了。

那么这个旁路的参数量将远远小于原来网络的参数W。

LoRA训练时

对采用Adam优化器来说

https://github.com/microsoft/LoRA

LoRA原理很简单

这个旁路就是两个矩阵相乘的形式。

这些特定的模块理论上可以是任何模块

Embeding,

具体实现见https://github.com/microsoft/LoRA/blob/main/loralib/layers.py

class

nn.Dropout(plora_dropout)else:self.lora_dropout

lambda

True,**kwargs):nn.Linear.__init__(self,

in_features,

**kwargs)LoRALayer.__init__(self,

rr,

lora_dropoutlora_dropout,merge_weightsmerge_weights)self.fan_in_fan_out

fan_in_fan_out#

nn.Parameter(self.weight.new_zeros((r,

nn.Parameter(self.weight.new_zeros((out_features,

r)))self.scaling

matrixself.weight.requires_grad

fan_in_fan_out:self.weight.data

1)def

reset_parameters(self):nn.Linear.reset_parameters(self)if

hasattr(self,

zeronn.init.kaiming_uniform_(self.lora_A,

amath.sqrt(5))nn.init.zeros_(self.lora_B)def

train(self,

也不用自己向上面那样实现了。

上面的loralib库已经实现好了

就是把网络中原来使用nn.Linear用loralib库中的Linear替换就可以了

实际上