文生图模型微调

概述

图像大模型本身已经学到非常多通用的艺术风格和物体，但是它没法理解某个具体的人、具体的事物是什么样子的。通过微调，我们可以教会大模型画出你身边某个具体的人或事物。 本文将通过 5 张特定狗狗照片的数据集，通过 GiteeAI 开箱即用的模型微调功能。让大模型 “记住” 特定狗狗的特征。

步骤一：创建微调任务

在 GiteeAI 控制台的左边侧边栏找到模型微调。点击右上角 新建任务，填写任务名称，点击创建任务。

步骤二：数据集准备

数据集极大地影响微调的效果，数据集包括数据和打标两部分。

建议数据集图片中包含目标物体的多个角度，支持 png, jpg, jpeg 格式的图片上传，最大支持 5M 大小的图片，最多不超过 100 张图片。

本教程示例图片

将图片上传到微调任务中，点击 上传图片 按钮，选择图片文件。

图片上传完成后，点击打标/裁剪按钮，系统将为您的图片进行打标。

点击图片，在弹窗中查看自动打标的结果，您可以根据需要进行修改。

• 删除你觉得和图片无关的标签
• 添加你觉得需要的标签内容

步骤三：微调参数设置

任务创建后，进入任务设置页面，左侧 参数设置 包括模型选择、训练轮次、单张学习次数等，您可以根据自己的需求进行设置。

• 循环轮次： 决定了模型学习整个数据集的次数 （每轮保存一个 LoRA 模型）
• 单张学习次数： 决定了模型在每个循环轮次 (Epochs) 中学习每张图片的次数

两者决定了模型的训练时间，同时也影响了模型的训练效果。

步骤四：模型训练

点击右下载角 开始训练按钮，进入任务排队状态，稍等片刻，系统将为您的任务分配资源，开始训练。

训练完成后，您可以查看到训练结果，包括模型的 loss ，训练程序会在每个 循环轮次 保存一次模型，同时生成 3 张图片，用于评估模型的训练效果。

步骤五：查看 LoRA 效果

微调完成后，每个循环轮次会生成一个 LoRA 模型，每个 LoRA 模型都会使用标签推理生成 3 张图， 一般 loss 值越低效果越好。

你也可以通过生图测试，输入自定义提示词，查看模型效果。

步骤六：模型保存

首先需要确定模型保存到哪，点击页面中的设置，在选择框中选择已有的模型仓库，或者新建模型仓库。

你可以跟据效果图，挑选出需要保存的 LoRA 模型，点击 保存到仓库 按钮，稍等片刻，模型将保存到您的仓库中。