581 字
3 分钟
StableDiffusion:PuLID组件

1. 介绍#

参考网页

​ 使用PuLID插件,可以实现 人脸迁移 功能,即生成图像的人脸和参考图像的人脸很相似

​ 目前PuLID插件支持SDXL模型FLUX模型,推荐使用FLUX模型提示词解析更好出图效果更好出图分辨率更高

2. 安装节点插件#

2.1 官方版#

参考网页

​ 仅为开发使用的版本,不支持ComfyUI

2.2 支持SDXL的版本#

参考网页

Terminal window
# 进入节点文件夹
cd ComfyUI/custom_nodes
# 下载节点插件
git clone https://github.com/cubiq/PuLID_ComfyUI.git
# 安装环境依赖
cd PuLID_ComfyUI
pip install -r requirements.txt

2.3 支持FLUX的版本#

参考网页

Terminal window
# 进入节点文件夹
cd ComfyUI/custom_nodes
# 下载节点插件
git clone https://github.com/sipie800/ComfyUI-PuLID-Flux-Enhanced.git
# 安装环境依赖
cd ComfyUI-PuLID-Flux-Enhanced
pip install -r requirements.txt

3. 下载模型#

3.1 生图模型#

  • SDXL

    • 基础模型:sdxl_base.safetensors
    • vae模型:sdxl_vae.safetensors
  • FLUX

    • 基础模型:flux-dev-fp8.safetensors
    • clip模型:clip_l.safetensorst5xxl_fp8_e4m3fn.safetensors
    • vae模型:ae.safetensors

3.2 PuLID模型#

​ 从https://modelscope.cn/models/shiertier/ComfyUI-pulid/files中下载需要的PuLID模型。

​ 模型下载完成后,保存在models/pulid文件夹中,文件夹需要自行创建

3.3 CLIP模型#

​ 从https://hf-mirror.com/QuanSun/EVA-CLIP/tree/main中下载EVA-CLIP模型,推荐下载EVA02_CLIP_L_336_psz14_s6B.pt

​ 模型下载完成后,保存在models/clip文件夹中。

3.4 Antelopev2模型#

​ 从https://hf-mirror.com/MonsterMMORPG/tools/tree/main中下载Antelopev2模型,模型需要全部下载:1k3d68.onnx2d106det.onnxgenderage.onnxglintr100.onnxscrfd_10g_bnkps.onnx

​ 模型下载完成后,保存在models/insightface/models/antelopev2文件夹中,文件夹需要自行创建

3.5 备用模型#

detection_Resnet50_Final.pthparsing_bisenet.pthparsing_parsenet.pth,这三个模型,网络畅通时会自动下载,无需手动干预,网络拥堵时要自行下载,然后存放到facexlibweights文件夹中。

4. 示例#

4.1 SDXL:文生图#

4.1.1 采样方式#

推荐

  • DPM++ 2M & Karras
  • DPM++ 2S a & Karras

4.1.2 工作流#

SDXL:PuLID_文生图

4.1.3 效果图#

PuLID参考图AI生成图
PuLID参考图AI生成图

4.2 SDXL:图生图#

4.2.1 采样方式#

推荐

  • DPM++ 2M & Karras
  • DPM++ 2S a & Karras

4.2.2 工作流#

SDXL:PuLID_图生图

4.2.3 效果图#

PuLID参考图参考图AI生成图
PuLID参考图参考图AI生成图

4.3 FLUX:文生图#

4.3.1 工作流#

FLUX:PuLID_文生图

4.3.2 效果图#

PuLID参考图AI生成图
PuLID参考图AI生成图

4.4 FLUX:图生图#

4.4.1 工作流#

FLUX:PuLID_图生图

4.4.2 效果图#

PuLID参考图AI参考图AI生成图
PuLID参考图参考图AI生成图
封面
示例歌曲
示例艺术家
封面
示例歌曲
示例艺术家
0:00 / 0:00