使其适应特定任务的关键步骤。

然而直接微调大型模型通常需要巨大的计算资源和内存。

QLoRAQuantized

Low-Rank

Adaptation作为一种高效的微调方法通过量化和低秩适应技术显著减少了微调所需的内存和计算资源同时保持了良好的性能。

本文将详细介绍如何使用

QLoRA

首先我们需要导入必要的库这些库涵盖了模型加载、数据处理、训练等多个方面。

from

prepare_model_for_kbit_training,LoraConfig,get_peft_model,TaskType

from

AutoModelForCausalLM,AutoTokenizer,TrainingArguments,Trainer,default_data_collator,BitsAndBytesConfig

from

使用量化技术来减少模型的内存占用。

我们通过BitsAndBytesConfig来配置量化参数。

_compute_dtype_map

BitsAndBytesConfig(load_in_4bitTrue,bnb_4bit_quant_typenf4,bnb_4bit_use_double_quantTrue,bnb_4bit_compute_dtype_compute_dtype_map[fp32],)load_in_4bitTrue将模型加载为

位量化模型大大减少了内存占用。

bnb_4bit_quant_typenf4使用nf4Normal

Float

4-bit量化类型这是一种专门为低精度计算设计的量化方式。

bnb_4bit_use_double_quantTrue启用双重量化进一步减少量化误差。

bnb_4bit_compute_dtype_compute_dtype_map[fp32]计算数据类型设置为fp32以保证计算的精度。

3、模型加载

我们使用transformers库的AutoModelForCausalLM和AutoTokenizer来加载

Qwen3-0.6B

modelAutoModelForCausalLM.from_pretrained(model_name,device_mapauto,torch_dtypeauto,quantization_configq_config)

tokenizerAutoTokenizer.from_pretrained(model_name)device_mapauto自动将模型分配到可用的设备如

GPU上。

torch_dtypeauto自动选择合适的张量数据类型。

quantization_configq_config应用前面配置的量化参数。

接着我们使用prepare_model_for_kbit_training函数对模型进行预处理以适应低比特训练。

kbit_model

prepare_model_for_kbit_training(model)4、LoRA

LoRALow-Rank

Adaptation通过引入低秩矩阵来对模型进行微调减少了可训练参数的数量。

lora_config

矩阵的秩表示低秩矩阵的维度。

较小的秩可以减少可训练参数的数量。

lora_alpha32LoRA

的缩放因子用于调整低秩矩阵的影响。

target_modules[q_proj,

k_proj,

的模块这些模块通常是注意力机制中的投影层。

lora_dropout0.05Dropout

概率用于防止过拟合。

biasnone不训练偏置参数进一步减少可训练参数的数量。

task_typeCAUSAL_LM任务类型为因果语言模型。

LoRA

lora_config)我们可以打印出可训练参数的信息了解模型的训练规模。

qlora_model.print_trainable_parameters()5、数据加载与预处理

数据加载

../数据集/data/train.json,validation:

})数据预处理

我们定义了两个函数process_fun和tokenizer_fun来对数据进行预处理。

def

process_fun(example):question[]answer[]for

i:if

j[from]human:question.append(j[value])elif

j[from]gpt:answer.append(j[value])return

{question:question,answer:answer}process_datadataset.map(process_fun,batchedTrue,remove_columnsdataset[train].column_names)process_fun函数用于从对话数据中提取问题和答案。

def

构建完整的指令格式问{问题}\n答{答案}instructions

[]for

f问{q}\n答{a}instructions.append(instruction)encoded

tokenizer(instructions,max_length512,truncationTrue,paddingmax_length,return_tensorspt)labels

定位答的位置标记需要预测的部分answer_start_token

tokenizer.encode(答,

找到每个样本中答的第一个token位置answer_positions

(labels[i]

answer_start_token).nonzero(as_tupleTrue)[0]if

0:#

将答之前的token标记为-100忽略计算损失labels[i,

:first_answer_pos]

encoded[input_ids],attention_mask:

encoded[attention_mask],labels:

process_data.map(tokenizer_fun,batchedTrue,remove_columnsprocess_data[train].column_names

)tokenizer_fun函数用于将文本数据转换为模型可以接受的输入格式并标记出需要预测的部分。

6、训练超参数配置

我们使用TrainingArguments来配置训练的超参数。

定义训练参数

TrainingArguments(output_dir./Qlora_train_qwen_0.6B_model,logging_steps100,logging_dir./runs,eval_strategyepoch,num_train_epochs3,per_device_train_batch_size8,per_device_eval_batch_size8,learning_rate2e-5,weight_decay0.01,save_strategyepoch,load_best_model_at_endTrue,metric_for_best_modeleval_loss,gradient_accumulation_steps4,

如果GPU内存有限

)output_dir训练结果的保存。

eval_strategyepoch在每个

epoch

结束时进行评估。

num_train_epochs3训练的轮数。

per_device_train_batch_size8每个设备上的训练批次大小。

per_device_eval_batch_size8每个设备上的评估批次大小。

learning_rate2e-5学习率控制模型参数更新的步长。

weight_decay0.01权重衰减用于防止过拟合。

save_strategyepoch在每个

epoch

结束时保存模型。

load_best_model_at_endTrue训练结束后加载评估指标最好的模型。

metric_for_best_modeleval_loss以评估损失作为选择最佳模型的指标。

gradient_accumulation_steps4梯度累积步数用于在

GPU

trainerTrainer(modelqlora_model,argstraining_args,eval_datasettokenized_dataset[validation],train_datasettokenized_dataset[train],data_collatordefault_data_collator,

)trainer.train()8、总结

模型进行微调包括环境准备、模型加载、数据预处理、超参数配置和模型训练等步骤。

通过

QLoRA

的量化和低秩适应技术我们可以在有限的计算资源下高效地微调大型语言模型。

同时我们深入探讨了相关算法和参数的作用希望能帮助读者更好地理解和应用

QLoRA