训练框架简介

亿参数在基础的语言理解和生成方面展现出了一定的能力。

然而为了使其更好地适应特定领域或任务微调成为了关键步骤。

Llama

Factory

作为一个强大的开源低代码大模型训练框架集成了众多先进的微调方法和优化技术为我们微调

Meta

Adaptation方法因其在不改变预训练模型原始权重参数的情况下通过引入小的可训练矩阵来实现模型微调有效缓解内存和计算资源限制的优势成为了我们本次微调的首选方法。

Llama

是由北航开源的低代码大模型训练框架它在大模型训练领域有着显著的优势和丰富的功能。

参考文章LLAMAFACTORY:

Unified

Modelshttps://arxiv.org/pdf/2403.13372

支持多种开源模型该框架支持包括

Yuan2.0、Llama、LLaVA、Mistral、Mixtral

MOE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi

Lora、QLora

为例它通过在模型的某些层添加可训练的低秩矩阵在几乎不增加计算复杂度的前提下实现了对模型的有效微调。

可视化训练与推理平台为开发者提供了可视化训练、推理平台通过一键配置模型训练能够实现零代码微调

LLM。

这一特性使得非专业开发者也能轻松上手进行模型的定制开发大大降低了技术门槛。

多种训练模式支持增量预训练、有监督微调、基于人类反馈的强化学习RLHF、直接偏好优化DPO等多种训练模式满足不同场景下的需求。

无论是想要对模型进行简单的领域适配还是进行复杂的强化学习优化Llama

Factory

GALORE、BADAM、DORA、LongLora、LlamaPro

FlashAttention

等实用技巧提升训练效率和模型性能。

这些算法和技巧从不同角度对训练过程进行优化如提高计算效率、减少内存占用等。

实验监控与评估提供

LlamaBoard、TensorBoard、WandB、MLflow

等多种实验监控工具帮助开发者实时监控训练过程评估模型性能。

通过这些工具开发者可以直观地看到模型在训练过程中的各项指标变化如损失值、准确率等从而及时调整训练策略。

Meta

亿参数的语言模型它在经过预训练后已经具备了对自然语言的基本理解和生成能力。

该模型在多种自然语言处理任务上表现出了一定的潜力如文本生成、问答系统、文本分类等。

然而由于其预训练数据和目标的通用性在面对特定领域的专业任务时往往需要进一步的微调来提升性能。

例如在医疗领域它可能无法准确理解和回答专业的医学问题在法律领域对于法律条文的解读和应用也可能不够精准。

因此通过微调使其适应特定领域需求是充分发挥该模型潜力的重要途径。

Lora

方法的核心思想是在不改变预训练模型权重的基础上为模型的每一层添加两个可训练的低秩矩阵。

具体来说对于模型中的每一个线性层假设其输入为\(x\)原始的线性变换为\(y

Wx\)在应用

BA\)\(A\)是一个从输入维度映射到低维空间的矩阵\(B\)是一个从低维空间映射回输出维度的矩阵。

通过这种方式在训练过程中只需要更新\(A\)和\(B\)这两个低秩矩阵的参数而不需要更新原始模型的权重\(W\)大大减少了需要训练的参数数量。

减少内存占用由于只需要存储和更新少量的低秩矩阵参数相比于直接微调整个模型Lora

方法显著减少了内存的占用。

这对于在资源有限的设备上进行模型微调非常关键使得开发者可以在普通的

GPU

降低计算复杂度在训练过程中只对低秩矩阵进行计算和更新计算量大幅降低。

这不仅加快了训练速度还降低了对计算资源的要求使得微调过程更加高效。

快速部署因为微调后的模型只增加了少量的低秩矩阵参数模型的大小增加有限这有利于模型的快速部署特别是在对部署时间和资源有限制的场景中。

环境准备:

https://github.com/hiyouga/LLaMA-Factory.git

2.创建虚拟环境建议使用

的虚拟环境来管理项目依赖以避免不同项目之间的依赖冲突。

可以使用venv或conda来创建虚拟环境。

使用conda创建虚拟环境的命令如下

conda

训练主要用到2个开源数据集分别是identity、alpaca_en_demo。

#identity.json数据格式{instruction:

hi,input:

修改examples/train_lora/llama3_lora_sft.yaml配置文件中的模型路径

启动训练

examples/train_lora/llama3_lora_sft.yaml

微调效果展示与分析

examples/inference/llama3_lora_sft.yaml

在微调前Meta

模型生成的文本可能在特定领域的专业性和准确性上有所欠缺。

例如当要求生成关于心脏病治疗方案的文本时原始模型可能生成一些比较通用但缺乏专业细节的内容。

而经过基于医疗领域数据集的微调后模型能够生成更专业、详细的内容如具体的药物名称、治疗流程等。

模型导出

examples/merge_lora/llama3_lora_sft.yaml

基于sglang进行服务搭建

openai.Client(base_urlhttp://10.1.12.10:30000/v1,

api_keyNone)#正常请求

client.chat.completions.create(model./output/llama3_lora_sft/,messages[{role:

user,

如何预防肺癌},],temperature0,max_tokens4096,

print(response.choices[0].message.content)#流式请求

stream

client.chat.completions.create(model./output/llama3_lora_sft/,messages[{role:

user,

None:print(chunk.choices[0].delta.content,

end)

模型进行微调我们能够充分发挥该模型的潜力使其更好地适应特定领域或任务的需求。

Llama

Factory

方法在减少内存占用和计算复杂度方面的优势为模型微调提供了高效、可行的解决方案。

在实际应用中开发者可以根据具体需求灵活运用这一技术开发出更具针对性和高性能的语言模型。

未来随着技术的不断发展我们期待能够看到更多基于此类方法的创新应用和更强大的模型出现。

参考链接

https://github.com/hiyouga/LLaMA-Factory

LLaMA3微调实战解锁Meta-Llama-3-8B-Instruct的无限潜力-百度开发者中心