使用指南
概述
图像大模型本身已经学到非常多通用的艺术风格和物体,但是它没法理解某个具体的人、具体的事物是什么样子的。通过微调,我们可以教会大模型画出你身边某个具体的人或事物。 本文将通过 5 张特定狗狗照片的数据集,通过 GiteeAI 开箱即用的模型微调功能。让大模型 “记住” 特定狗狗的特征。
模型微调功能现已上线,欢迎扫描下方二维码加入微调交流群了解最新动态
步骤一:创建微调任务
在 GiteeAI 控制台的左边侧边栏找到模型微调
。点击右上角 新建任务
,填写任务名称,点击创建任务
。
步骤二:数据集准备
数据集极大地影响微调的效果,数据集包括数据和打标两部分。
建议数据集图片中包含目标物体的多个角度,支持 png, jpg, jpeg 格式的图片上传,最大支持 5M 大小的图片,最多不超过 100 张图片。
本教程示例图片
![]() | ![]() | ![]() | ![]() | ![]() |
将图片上传到微调任务中,点击 上传图片
按钮,选择图片文件。
图片上传完成后,点击打标/裁剪
按钮,系统将为您的图片进行打标。
点击图片,在弹窗中查看自动打标的结果,您可以根据需要进行修改。
- 删除你觉得和图片无关的标签
- 添加你觉得需要的标签内容
步骤三:微调参数设置
任务创建后,进入任务设置页面,左侧 参数设置
包括模型选择、训练轮次、单张学习次数等,您可以根据自己的需求进行设置。
- 循环轮次: 决定了模型学习整个数据集的次数 (每轮保存一个
LoRA
模型) - 单张学习次数: 决定了模型在每个循环轮次 (Epochs) 中学习每张图片的次数
两者决定了模型的训练时间,同时也影响了模型的训练效果。
步骤四:模型训练
点击右下载角 开始训练
按钮,进入任务排队状态,稍等片刻,系统将为您的任务分配资源,开始训练。
训练完成后,您可以查看到训练结果,包括模型的 loss
,训练程序会在每个 循环轮次
保存一次模型,同时生成 3 张图片,用于评估模型的训练效果。
步骤五:查看 LoRA 效果
微调完成后,每个循环轮次
会生成一个 LoRA 模型,每个 LoRA
模型都会使用标签
推理生成 3 张图, 一般 loss
值越低效果越好。
你也可以通过生图测试,输入自定义提示词,查看模型效果。
步骤六:模型保存
首先需要确定模型保存到哪,点击页面中的设置,在选择框中选择已有的模型仓库,或者新建模型仓库。
你可以跟据效果图,挑选出需要保存的 LoRA
模型,点击 保存到仓库
按钮,稍等片刻,模型将保存到您的仓库中。