欢迎您光临巅峰下载,海量设计资源供您办公娱乐日常所需

AI绘画超强功能ControlNet使用教程-Canny篇


一.前言

上次,已经教了大家controlnet和openpose怎么安装,并且让大家已经下载了三个controlnet的模型,相信大家都已经摩拳擦掌,跃跃欲试了吧?
那么,今天就来教大家如何使用这个强大的controlnet功能。
如果你喜欢我们的文章,记得最后点一下赞赏哦,
那么我们开始吧,Enjoy~
二.开始之前
1.你需要安装了stable diffusion webui,如果没有安装的话,请查看这里的教程(win教程,MacOS教程)。
2.你需要已经安装了controlnet插件,如果没有安装的话,请查看这里的教程。
二.教程
(一) 线稿上色
1.第一个环节,我们先来试试canny模型,常用的场景有,给线稿上色和换颜色。
2.我们先随便找一张线稿

线稿来源:lidandan026-站酷
3.把线稿导入controlnet图片框,并设置相关参数。
(1)生成图的区域,分辨率比例和线稿比例一致。Prompt区域,我写的是,girl,amine(女生,漫画)。
(2)基础模型要用漫画模型,比如waifu,novelai,Counterfeit等。

(3)Controlnet区域参数设置
勾选Enable,来启用Contolnet,
因为喂的图是白底线稿,就需要启用invert input color反色
(显存4G或者4G以下的,还可以把low VRAM勾选一下,这个是低显存专用模式,我5g显存,没勾,问题不大。大家也可以试试勾和不勾的效果。以好的效果为准。)
预处理器,线稿无需选,留空。模型选择canny。
Resize model用默认的scale to fit即可。(如果显存特别小的,或者mac电脑,也可以试试勾选just resize模式。)
Canvas width height 则和线稿比例一致即可。

设置好之后,可以点击generate按钮了。
看看效果。


还挺好玩的。
一不小心就生成很多张图片了,哈哈。
(二)漫画换色
弄完线稿,我们来尝试一下图生图好了。
先试一下动漫类。

(原图:网图,来源https://wallup.net/nitroplus-super-sonico-pink-hair-profile-anime-girls-anime/)

(预处理图)

(输出图)

(输出图)
看得出来,动漫的效果,还是挺哇塞的。
那么我的设置是怎样的呢?
Prompt写了主要的几个特征,girl,earphone, coffee(女孩,耳机,咖啡)。
采样器选了dpm+sde karras
尺寸比例参照输入图。因为我显存比较小,所以这里尺寸我设小了一点。

再看controlnet区域
Enable必选。
预处理器和模型都选择canny。画布canvas参照原图。
记得点一下preview,这样原图右侧会出现预处理图像,如果丢失太多细节就换一个预处理器。
注意,预处理器和模型最好选择同一类,比如,都是canny,都是depth,都是openpose之类,否则引导效果会大打折扣。

(三)真人图片
接着我们来看一下真人类照片怎么样。
比如我用公众号前几天的一张图,

(原图)

(结果图)
怎么说呢,真人的效果,比动漫效果差不少。
虽然也是引导生成类似图片,但是部分细节,自然度,皮肤机理等还是很生硬。
动漫效果如果算90分的话,真人效果也就70分左右。而且如果没有加lora的话,实际效果还要打折扣,可能及格分都不到。
下面是生成的参数设置要点:
基础模型换成了真人模型,chilloutmix,
Prompt强调了真实。用了realistic,raw photo等字样。特别增加了lora语句,以让皮肤,面部肌理绘制更像真人。(不会用lora的参照之前的这篇文章)
照片比例参照原图,原图是正方形,这里也设置成正方形。而controlnet部分,和上面的canny-动漫样例除了画布canva长宽不一样,其他都一样。

一不小心,canny模型用法都讲了一篇文章了。
后续Controlnet部分,计划还会分享openpose(指定姿势)和scribble(草图)模型的用法。
感兴趣的童鞋记得关注点赞走起哦~

注意:
contorlnet部分可能比较消耗显卡性能和显存。经常报错,或者生成效果不如意,很正常,多耐心尝试即可。
如果显卡实在太不给力,几分钟十几分钟生成一张图片,也不要强求,除非你愿意换显卡。

<End>

发表评论