。

今天我们将介绍一种实验性新方法LLM我们知道训练大型语言模型具有挑战性并需要耗费大量计算资源包括收集和优化数据集、确定合适的模型及编写训练代码等。

今天我们将介绍一种实验性新方法实现特定任务高性能模型的训练。

我们的目标是最大程度地简化模型微调训练过程使您能够在最短时间内从构思转化为高性能的完全训练的模型。

以微调开源模型LLaMa

2为例整个过程只需提供任务描述系统便会为您生成数据集、解析成正确的数据格式并微调

LLaMA

是一种全新、经济实惠且最简单的方法来训练大型语言模型。

这个项目旨在探索一种新的训练高性能任务专用模型的流程摆脱所有复杂的步骤使你更容易从一个想法转变为完全训练好的模型。

你只需输入任务描述系统就会从头开始生成数据集将其转换为你想要的任何格式并为你进行模型微调。

你可以在Google

Colab上轻松的训练大型语言模型。

GPT-LLM-Trainer

模型训练器利用

模型根据提供的输入用例生成多样化的提示和响应数据。

系统消息生成通过为模型的交互设计最佳系统提示。

微调模型过程生成数据集后系统会自动将其拆分为训练集和验证集为您微调模型并为推理做好准备。

GPT大型语言模型训练器的主要优势在于它可以摆脱复杂的步骤让用户更容易地从一个想法转变为完全训练好的模型。

你只需输入任务描述系统就会从头开始生成数据集将其转换为你想要的任何格式并为你进行模型微调。

在这种情况下你将使用LLaMa

这里主要介绍如何在Google

2大型语言模型的实现步骤。

首先我们需要收集和整理数据集将其格式化并选择合适的模型。

接下来我们需要编写训练代码并将所有这些整合在一起进行训练。

这个过程可能会遇到很多困难和挑战但是通过使用GPT大型语言模型训练器我们可以大大简化这个过程。

我们通过尝试一种新的方法可以轻松地根据你输入的任务描述来构建特定任务的模型。

首先尽可能的使用GPU可以在Google

Hyperparameters

较低的值非常适合精确的任务例如编写代码而较大的值更适合创造性的任务例如编写故事。

100

一个能够接收中文中类似猜灯谜的问题并用经过深思熟虑、逐步推理的方式以中文回答的模型。

temperature

一旦你确定了提示就可以执行下面的代码生成数据集。

这可能需要比预期更长的时间。

import

f您正在生成将用于训练机器学习模型的数据。

\n\n您将获得我们想要训练的模型的高级描述并由此生成数据样本每个样本都有一个提示/

响应对。

\n\n您将按照以下格式执行此操作\n\nprompt\n------------\n$prompt_goes_here\n----------

-\n\nresponse\n-----------\n$response_goes_here\n------------\n\n\n只能有一对提示/响应

每轮都会生成。

\n\n对于每一轮使示例比上一轮稍微复杂一点同时确保多样性。

\n\n确保您的样本是独特且多样化的但高质量和复杂性足以训练一个良好的样本

执行模型。

\n\n这是我们要训练的模型类型\n{prompt}}]if

len(prev_examples)

prev_examples:messages.append({role:

assistant,content:

openai.ChatCompletion.create(modelgpt-4,messagesmessages,temperaturetemperature,max_tokens1354,)return

response.choices[0].message[content]#

Generate

range(number_of_examples):print(fGenerating

example

temperature)prev_examples.append(example)print(prev_examples)

def

generate_system_message(prompt):response

openai.ChatCompletion.create(modelgpt-4,messages[{role:

system,content:

您将获得我们正在训练的模型的高级描述并据此生成一个简单的系统提示以供该模型使用。

$INPUT_DATA您将

$WHAT_THE_MODEL_SHOULD_DO。

”。

\n\n使其尽可能简洁。

在响应中只包含系统提示符。

\n\n例如切勿编写\$SYSTEM_PROMPT_HERE\。

\n\n应该类似于$SYSTEM_PROMPT_HERE。

},{role:

user,content:

prompt.strip(),}],temperaturetemperature,max_tokens500,)return

response.choices[0].message[content]system_message

generate_system_message(prompt)print(f系统消息:

import

prev_examples:try:split_example

example.split(-----------)prompts.append(split_example[1].strip())responses.append(split_example[3].strip())except:pass#

创建数据框

(AutoModelForCausalLM,AutoTokenizer,BitsAndBytesConfig,HfArgumentParser,TrainingArguments,pipeline,logging,

from

NousResearch/llama-2-7b-chat-hf

如果您有权访问官方

模型“meta-llama/Llama-2-7b-chat-hf”请使用此选项但请记住您需要传递

Hugging

data_files/content/train.jsonl,

splittrain)

SYS\n{system_message.strip()}\n/SYS\n\n

prompt

SYS\n{system_message.strip()}\n/SYS\n\n

prompt

BitsAndBytesConfig(load_in_4bituse_4bit,bnb_4bit_quant_typebnb_4bit_quant_type,bnb_4bit_compute_dtypecompute_dtype,bnb_4bit_use_double_quantuse_nested_quant,

model

AutoModelForCausalLM.from_pretrained(model_name,quantization_configbnb_config,device_mapdevice_map

False

AutoTokenizer.from_pretrained(model_name,

tokenizer.pad_token

LoraConfig(lora_alphalora_alpha,lora_dropoutlora_dropout,rlora_r,biasnone,task_typeCAUSAL_LM,

设置训练参数

TrainingArguments(output_diroutput_dir,num_train_epochsnum_train_epochs,per_device_train_batch_sizeper_device_train_batch_size,gradient_accumulation_stepsgradient_accumulation_steps,optimoptim,save_stepssave_steps,logging_stepslogging_steps,learning_ratelearning_rate,weight_decayweight_decay,fp16fp16,bf16bf16,max_grad_normmax_grad_norm,max_stepsmax_steps,warmup_ratiowarmup_ratio,group_by_lengthgroup_by_length,lr_scheduler_typelr_scheduler_type,report_toall,evaluation_strategysteps,eval_steps5

步评估一次

SFTTrainer(modelmodel,train_datasettrain_dataset_mapped,eval_datasetvalid_dataset_mapped,

在此处传递验证数据集peft_configpeft_config,dataset_text_fieldtext,max_seq_lengthmax_seq_length,tokenizertokenizer,argstraining_arguments,packingpacking,

trainer.train()

trainer.model.save_pretrained(new_model)#

4测试模型

logging.set_verbosity(logging.CRITICAL)

prompt

SYS\n{system_message}\n/SYS\n\n编写一个反转字符串的函数。

[/INST]

print(result[0][generated_text])

3.6、运行推理

SYS\n{system_message}\n/SYS\n\n编写一个反转字符串的函数。

[/INST]

len(tokenizer(prompt)[input_ids])#

max_length

print(result[0][generated_text].replace(prompt,

3.7、合并模型并存储在

drive.mount(/content/drive)model_path

/content/drive/MyDrive/llama-2-7b-custom

FP16

AutoModelForCausalLM.from_pretrained(model_name,low_cpu_mem_usageTrue,return_dictTrue,torch_dtypetorch.float16,device_mapdevice_map,

model

PeftModel.from_pretrained(base_model,

new_model)

AutoTokenizer.from_pretrained(model_name,

tokenizer.pad_token

model.save_pretrained(model_path)

tokenizer.save_pretrained(model_path)

3.8、从

AutoTokenizerdrive.mount(/content/drive)model_path

/content/drive/MyDrive/llama-2-7b-custom

AutoModelForCausalLM.from_pretrained(model_path)

tokenizer

AutoTokenizer.from_pretrained(model_path)

from

print(result[0][generated_text])

四、总结

本文主要介绍了如何使用GPT大型语言模型训练器来训练你自己的大型语言模型如何利用GPT-4的强大功能来简化训练过程并确保你的模型能够实现最佳性能最后介绍了如何在谷歌Colab上训练大型语言模型的实用技巧和步骤。

GPT-LLM-Trainer

是一款经济实惠且易于使用的工具用于使用您自己的数据训练大型语言模型。

它简化了收集、提炼、格式化、选择和训练数据集的复杂过程并根据您的任务描述为您微调模型。

使用此工具您可以生成各种提示、优化系统提示、拆分数据集、定义超参数以及在

Google

Repohttps://github.com/mshumer/gpt-llm-trainerJupyter

Notebook

https://github.com/Crossme0809/frenzyTechAI/blob/main/fine-tuned-llm-trainer/How_to_Fine_Tune_and_Train_LLMs_With_FAST_GPT_LLM_Trainer.ipynb