xff1a;…

方法一Llama-factory合并并使用ollama调用大模型2.2.5.2

方法二Llama-factory合并并使用vllm启动模型服务

踩坑经验3.1

该微调方式同样适用于GPU只不过在train.py脚本中针对device调整为cuda即可。

如果数据量过大的话单卡微调会存在瓶颈因此考虑多GPU进行微调。

网上搜罗了一圈多卡微调的常用方案deepspeedLlama-factory。

2.微调方式

模块版本python3.10CUDA12.6torch2.5.1peft0.12.0transformers4.46.2accelerate1.1.1trl0.9.6deepspeed0.15.4

2.2

https://github.com/hiyouga/LLaMA-Factory.git

LLaMA-Factory

小姐别的秀女都在求中选唯有咱们小姐想被撂牌子菩萨一定记得真真儿的——,input:

,output:

]其次还得准备数据集信息【dataset_info.json】,因为是本地微调所以微调时现访问dataset_info再指定到具体的数据集中。

{identity:

配置参考zero-3的配置修改了一下zero_optimization.stage的参数。

{fp16:

auto,stage3_prefetch_bucket_size:

auto,stage3_param_persistence_threshold:

auto,stage3_max_live_parameters:

1e9,stage3_ga***r_16bit_weights_on_model_save:

true},gradient_accumulation_steps:

4,gradient_clipping:

auto,train_micro_batch_size_per_gpu:

false

%s.%N)CUDA_VISIBLE_DEVICES0,1,2,3,4,5,6,7

accelerate

/root/ai_project/fine-tuning-by-lora/models/model/qwen/Qwen2___5-7B-Instruct

\--finetuning_type

/root/ai_project/fine-tuning-by-lora/dataset/

\--dataset

q_proj,v_proj,k_proj,gate_proj,up_proj,o_proj,down_proj

\--output_dir

zero-2下述的配置中调度器使用了AdamW学习率在训练时候可以逐步下降。

{fp16:

true}},gradient_accumulation_steps:

4,gradient_clipping:

auto,train_micro_batch_size_per_gpu:

false

本次微调采用zero-3的方式因此在LLaMa-Factory目录下新增配置文件。

相关配置可参考Llama-Factory提供的文件样例[./LLaMA-Factory/examples/deepspeed/]

{fp16:

auto,stage3_prefetch_bucket_size:

auto,stage3_param_persistence_threshold:

auto,stage3_max_live_parameters:

1e9,stage3_ga***r_16bit_weights_on_model_save:

true},gradient_accumulation_steps:

auto,train_micro_batch_size_per_gpu:

false

CUDA_VISIBLE_DEVICES0,1,2,3,4,5,6,7

accelerate

/root/ai_project/fine-tuning-by-lora/models/model/qwen/Qwen2___5-7B-Instruct

\--finetuning_type

/root/ai_project/fine-tuning-by-lora/dataset/

\--dataset

q_proj,v_proj,k_proj,gate_proj,up_proj,o_proj,down_proj

\--output_dir

./output/qwen_7b_ds/train_2025_02_13

\--bf16

参数版本–deepspeed指定deepspeed加速微调方式–model_name_or_path微调模型路径–finetuning_type微调方式这里用lora微调–template训练和推理时构造

prompt

的模板不同大语言模型的模板不一样这里用的是qwen–dataset_dir本地的数据集路径–dataset指定dataset_info.json中哪个数据集–lora_target应用

LoRA

其他参数其实就是常规使用peft进行lora微调的常见参数以及常见的微调参数可以对照如下。

lora_config

LoraConfig(task_typeTaskType.CAUSAL_LM,target_modules[q_proj,

k_proj,

down_proj],inference_modeFalse,r8,lora_alpha32,lora_dropout0.1

2.2.3.4

也可以参考github项目fine-tuning-by-Lora

torch_dtype

LoraConfig(task_typeTaskType.CAUSAL_LM,target_modules[q_proj,

k_proj,

down_proj],inference_modeFalse,r8,lora_alpha32,lora_dropout0.1

)def

snapshot_download(model_idmodel_id,

revisionmaster)if

Exception(fmodel_path:{model_path}

AutoModelForCausalLM.from_pretrained(model_path,device_mapdevice,

torch_dtypetorch_dtype)model.enable_input_require_grads()

开启梯度检查点时要执行该方法#

Dataset.from_pandas(df)print(ds[:3])#

处理数据tokenizer

AutoTokenizer.from_pretrained(model_path,

use_fastFalse,

trust_remote_codeTrue)tokenizer.pad_token

384

Llama分词器会将一个中文字切分为多个token因此需要放开一些最大长度保证数据的完整性input_ids,

attention_mask,

tokenizer(f|start_header_id|user|end_header_id|\n\n{item[instruction]

item[input]}|eot_id||start_header_id|assistant|end_header_id|\n\n,add_special_tokensFalse)

add_special_tokens

tokenizer(f{item[output]}|eot_id|,

add_special_tokensFalse)input_ids

response[input_ids]

[tokenizer.pad_token_id]attention_mask

[1]

input_ids[:MAX_LENGTH]attention_mask

attention_mask[:MAX_LENGTH]labels

{input_ids:

remove_columnsds.column_names)tokenizer.decode(list(filter(lambda

-100,

TrainingArguments(output_dircheckpoint_dir,per_device_train_batch_size4,gradient_accumulation_steps4,logging_steps5,num_train_epochs30,save_steps100,learning_rate5e-04,save_on_each_nodeTrue,gradient_checkpointingTrue,)trainer

Trainer(modelmodel,argstraining_args,train_datasettokenized_id,data_collatorDataCollatorForSeq2Seq(tokenizertokenizer,

保存模型trainer.model.save_pretrained(lora_dir)tokenizer.save_pretrained(lora_dir)2.2.4

本次测试使用多GPU微调测试多GPU微调跟单GPU微调的性能对比。

使用2,030条数据epoch

实验组实验类别步数耗时最终loss实验1zero1微调48009:000.0101实验2zero2微调48009:590.4757实验3zero3微调4801:49:110.0746实验4单卡lora微调38101:07:570.0009

初步结论

1.基于实验1实验3的对照使用zero3微调耗时明显提升的原因还是资源使用不合理【没充分使用GPU】。

2.基于实验1实验3跟实验2的对照实验2的损失下降比较慢的一个原因是因为使用的学习率调度器的问题。

2.2.4.1

0:09:00.75train_samples_per_second

0.888

./output/qwen_7b_ft/zero1/training_loss.pngGPU使用情况。

loss下降情况如下

使用2,030条数据8卡微调微调参数如下,总共480步耗时09:59。

2025-02-17

0:09:59.38train_samples_per_second

0.801

./output/qwen_7b_ft/zero2/training_loss.pngGPU使用情况如下

损失下降情况

使用2,030条数据8卡微调微调参数如下,总共480步耗时1:49:11。

2025-02-17

1:49:11.88train_samples_per_second

0.073

./output/qwen_7b_ft/zero3/training_loss.png

[WARNING|2025-02-17

llamafactory.extras.ploting:162

metric

llamafactory.extras.ploting:162

metric

方法一Llama-factory合并并使用ollama调用大模型

模型合并

利用Llama-factory的框架配置llama3_lora_sft_qwen.yaml

###

/root/ai_project/fine-tuning-by-lora/models/model/qwen/Qwen2___5-7B-Instruct

/root/ai_project/LLaMA-Factory/output/qwen_7b_ds/zero2/

template:

合并完成后会有直接生成Modelfile文件可以直接打包到ollama中。

ollama

Modelfile参考文章大模型开发和微调工具Llama-Factory–LoRA合并

2.2.5.2

方法二Llama-factory合并并使用vllm启动模型服务

vllm命令启动模型服务

vllm.entrypoints.openai.api_server

\--model

/root/ai_project/LLaMA-Factory/output/merge/

\--port

fhttp://localhost:{port}/v1/chat/completionsheaders

{Content-Type:

result[choices][0][message][content]print(generated_text.strip())else:print(Error:,

response.text)#

identity。

而dataset_info.json中的数据信息没有“identity”这个key则会出现这个报错只要确保你dataset_info.json中存在该key即可。

3.1.2

如果你脚本的启动参数–lora_target参数设为常见的c_attn参数则会报此错。

处理方式还是调整参数使用Lora微调时的常见参数q_proj,v_proj,k_proj,gate_proj,up_proj,o_proj,down_proj。

注意格式如果格式不对还是会报错。

3.1.3

这种tensor的问题很可能是模型冲突的问题比如调到一半然后重新提调指到相同的路径。

重新指定output路径即可。

3.1.4

在GPU充分的情况下使用zero_2的训练效率很明显比zero_3的训练效率更快