NovelAI(Stable-diffusion)的使用教程(3)Hypernetworks模型的训练

准备:收集数据

为了训练你所需要的画师的画风,你需要收集大量的该画师所绘制的插图,画风尽量一致

数据集预处理

为了能让训练的效果更好,我们需要用到webui新版本当中的deepdanbooru这一功能。

Deepdanbooru,是一款基于Danbooru的图片分析模型,通过输入图片,就可以分析得到该图片所对应的danbooru tag。

这一模型被webui用在了img2img的标签识别和数据集标注上。

通过对数据集进行标记,可以显著提升训练的效果

KichangKim的Github库下载库,并将其丢在\你的webui文件夹\models\deepbooru下

而用整合包的用户 在webui-user.bat内“set COMMANDLINE_ARGS=”后面添加--deepbooru即可

如果deepdanbooru启用成功,你会看到在img2img界面中,Generate的按钮下出现了deepdanbooru的按钮

调整下Settings

可以使deepdanbooru输出的标签正常化,避免出现奇怪的问题

在Train-Create Hypernetworks里面创建好模型 之后对图片进行预处理和裁剪

生成反转图片和裁剪长图视情况而定。

点击Preprocess,过一会就能看到裁剪好的图和deepdanbooru识别的tag文本文件了

正式开始

在template当中输入hypernetwork.txt

确认你的vae已经弹出(未加载)后,来到训练界面,像这样填好你的训练参数

Hypernetwork选中你需要训练的那个。

学习率一般0.000005就行。

最大步数一般建议在20000步-35000步之间,太高会过拟合

预览Prompt根据喜好填写

点击“Train Hypernetwork”,开始训练

过拟合就在webui上停止训练即可

测试和生成

训练完成后,你的models/hypernetworks目录下应该会出现之前你训练的pt模型文件

进入Settings,找到stable-diffusion,点击蓝色按钮刷新,在列表里面找到你训练好的pt,选中,应用

正常步骤生成图片即可

点赞

发表回复

电子邮件地址不会被公开。必填项已用 * 标注