风格、水彩风格、赛博朋克风格、日漫风格…

基于LoRA模型生成8张图片组成连贯故事故事内容可自定义基于8图故事评估LoRA风格的美感度及连贯性。

样例偶像少女养成日记

baseline要点讲解(请配合Datawhale速通教程食用)

Step1

赛事链接https://tianchi.aliyun.com/competition/entrance/532254

PAI实例https://www.modelscope.cn/my/mynotebook/authorization

Step3

按照教程新建终端粘贴命令回车执行这一步是为了拉取远程的baseline文件需要等待一段时间。

git

https://www.modelscope.cn/datasets/maochase/kolors.git拉取baseline后可以在右侧文件中看到kolor文件夹双击进入可以看到后缀.ipyhb的baseline文件点击打开。

Data-Juicer

Data-Juicer数据处理和转换工具旨在简化数据的提取、转换和加载过程DiffSynth-Studio高效微调训练大模型工具

有些时候因为网络及代理的问题环境的安装容易缺漏建议多执行几次代码不会重复安装

安装完成后重启kernel不重启容易爆显存影响baseline运行

接下来请依次执行下载数据集、数据处理

在这里留一个小问题在模型训练之前在数据集的处理上有没有更优的方法来让数据集更优质呢是否需要进行一些转换、模块的引入及数据清洗呢

接下来开始进行模型微调训练

调参对于微调模型训练尤关重要涉及到参数量、优化器类型、训练策略等等…一个好的参数配置可以让微调模型的效果出人意料。

lora

LoraConfig(rlora_rank,lora_alphalora_alpha,init_lora_weightsgaussian,target_modules[to_q,

to_k,

inject_adapter_in_model(lora_config,

model)state_dict

map_locationcpu)model.load_state_dict(state_dict,

strictFalse)

ModelManager(torch_dtypetorch.float16,

models/kolors/Kolors/text_encoder,

models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors,

models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors])pipe

SDXLImagePipeline.from_model_manager(model_manager)

pipe.unet

load_lora(pipe.unet,lora_rank16,lora_alpha2.0,lora_pathmodels/lightning_logs/version_0/checkpoints/epoch0-step500.ckpt

提示词也有一些讲究比如优质的提示词、提示词的排序越靠前的提示词影响比重越大、提示词书写策略、Embedding

模型介入。

这些对出图效果也同样重要。

同样的我也会在后面的介绍中讲到让我们先继续跑baseline。

至此微调训练和模型出图已经全部完成啦

/mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch0-step500.ckpt

/mnt/workspace/kolors/output/点击魔搭链接创建模型中文名称建议格式队伍名称-可图Kolors训练-xxxxxx

在提交过程的中的基础模型是指你在训练过程及后续复现时使用的底模类型。

一般来说SD

baseline

文生图主要以SD系列基础模型为主以及在其基础上微调的lora模型和人物基础模型等。

接下来我们简单了解下提示词、lora、ComfyUI和参考图控制这些知识点。

提示词

Diffusion中的LoraLoRA模型是一种轻量级的微调方法它代表了“Low-Rank

Adaptation”即低秩适应。

Lora不是指单一的具体模型而是指一类通过特定微调技术应用于基础模型的扩展应用。

在Stable

Diffusion这一文本到图像合成模型的框架下Lora被用来对预训练好的大模型进行针对性优化以实现对特定主题、风格或任务的精细化控制。

那我们

训练的最终目的是什么呢训练的本质在于找出当前训练集的最优解优素材取决于不同角度、不同形态、灯光、图片质量。

在Tag类型上需要包括主题、动作、主要特征、视角、光影效果等其他如果在训练过程中对某一个特征不打Tag则将成为固定模型特征。

ComfyUI

在ComfyUI平台的前端页面上用户可以基于节点/流程图的界面设计并执行AIGC文生图或者文生视频的pipeline。

参考图控制

ControlNet是一种用于精确控制图像生成过程的技术组件。

它是一个附加到预训练的扩散模型如Stable

Diffusion模型上的可训练神经网络模块。

扩散模型通常用于从随机噪声逐渐生成图像的过程而ControlNet的作用在于引入额外的控制信号使得用户能够更具体地指导图像生成的各个方面如姿势关键点、分割图、深度图、颜色等。

出图指引SD

描述内容prompt主体、表情、服装、场景、环境、镜头、灯光、风格、画质、渲染器

采样器karras去噪快