717 字
4 分钟
StableDiffusion:局部重绘·ComfyUI

1. 说明#

​ 在通过生图得到了一张成品图片以后,如果对大部分区域满意,只希望修改里面的一小部分内容,就可以使用局部重绘功能。

2. 实现方式#

​ 通过参考图蒙版图进行组合的方式,进行图生图重新采样。

2.1 准备蒙版图#

手动重绘#

​ 在读取图像节点中,获取到图像后,右击图像,选择“Open in MaskEdit”即可弹出蒙版编辑框。可以手动绘制重绘区域,完成后确认即可。这之后,读取图像节点中的image即为原始图像信息mask即为蒙版信息

选择菜单手动绘制重绘区域
选择菜单绘制重绘区域
  • 效果显示

效果显示

蒙版重绘#

​ 使用读取图像节点,载入蒙版图像。通过Convert Image to Mask节点,将蒙版图像转换为蒙版遮罩层。蒙版图的白色区域需要重绘的部分,黑色区域固定不变的。

读取蒙版图像图像转蒙版
读取蒙版图像图像转蒙版

2.2 蒙版图的二次处理#

​ 可以通过下述操作对蒙版图进行二次处理:

  1. GrowMask插件进行白色区域扩张
  2. Mask Blur插件进行蒙版区域模糊处理,实现羽化效果
  3. InvertMask插件进行蒙版区域反转处理

二次处理

3. 工作流:手动重绘#

3.1 SD系列:SD 1.5 & SD 3.5#

SD_1.5_局部重绘_手动

SD_3.5_局部重绘_手动

3.2 Flux系列#

Flux_Fill_局部重绘_手动

3.3 效果图#

参考图SD 1.5 模型SD 3.5 模型FLUX模型
MAGA效果图效果图效果图

4. 工作流:蒙版重绘#

4.1 SD系列:SD 1.5 & SD 3.5#

​ SD系列的模型对局部重绘的支持效果尚可,可以直接使用SD模型进行局部重绘

SD_1.5_局部重绘_蒙版

SD_3.5_局部重绘_蒙版

4.2 Flux系列#

​ FLUX系列原生的模型对局部重绘的支持效果并不好,但可以选择局部重绘专用的FLUX模型——Fill模型,进行局部重绘,效果很好。

Flux_Fill_局部重绘_蒙版

4.3 效果图#

参考图蒙版图
参考图蒙版图
效果图-1效果图-2效果图-3
效果图效果图效果图

5. 换装#

​ 利用局部重绘功能,给想要更换衣服的区域设置蒙版,再在提示词填写更换衣服的描述,即可实现换装功能。

5.1 工作流#

换装

  • 蒙版决定了重绘区域的范围:通过抠图插件获取感兴趣区域的蒙版
  • 提示词决定了重绘区域的内容pure white dress,

5.2 示例#

参考图蒙版图效果图
参考图蒙版图效果图
封面
示例歌曲
示例艺术家
封面
示例歌曲
示例艺术家
0:00 / 0:00