前面文章已经介绍了不少StableDiffusionAI绘图的基本方法,在前面的介绍中,我们都是使用别人训练好的LoRA来进行绘图。使用别人发布的LoRA,会遇到这种情况,那就是比如某个人物或者风格没有对应的LoRA发布,那么就画不了了。人们常说:自己动手丰衣足食,别人没做就自己做吧。学会自己制作LoRA就不用当伸手党,做的好的LoRA还可发布出来供别人使用。
本例将制作蔡徐坤的Lora,并用来进行AI绘图。我们先来看看最后的效果:(我知道可能用其他美女做成LoRA文章点击率更高,但是蔡徐坤更有辨识度)
使用自己做的LoRA绘制出蔡徐坤图片使用自己做的LoRA绘制蔡徐坤图片在开始制作之前,我们先回顾下什么LoRA模型,了解基本原理我们选参数时就不会手足无措。
LoRA:全名为Low-RankAdaptationofLargeLanguageModels(大语言模型的低阶适配器),简单来说就是大语言模型的微调小模型,在Checkpoint的大模型的下通过这个小模型可以进行微调。模型存放位置在models\LoRA下。
可以看出LoRA是在某个StableDiffusion大模型下训练生成的一个小模型,用于微调大模型。LoRA可以调整人物,也可以调整风格。
例如下图是加载了蒂法的LoRA,这是人物LoRA(tifaMeenow_tifaV2.safetensors)
加载了人物LoRA还有改变画面风格的LoRA,例如水彩风格(Colorwater_v4.safetensors沁彩)
加载了水彩风格LoRA目前进行LoRA模型训练只要8G显存就可以了(笔者就是使用/8g写的教程,为了适应更多人的需求,实际工作使用的/12G),个人推荐进行训练用/12G显卡这样避免显存不够的错误。训练使用的程序框架是kohya_ss。kohya_ss是一个AllinOne的程序包(傻瓜包)整合了训练用的所有软件,还有图形用户界面。所有软件都是在它自己的运行环境里运行,不会干扰其他的程序软件。安装kohya_ss非常简单,唯一要求是可以科学上网。
kohya_ss的地址