1045 字
5 分钟
StableDiffusion：ControlNet模型
1. 说明
使用ControlNet插件可以更好地 控制AI模型，生成想要的特定姿势或画面 。ControlNet的核心能力就是能让用户通过设置各种条件来让AI更可控地生成最终图像结果，而这些条件是通过调节预处理器参数来实现的。
常用的ControlNet处理包括：基于Canny边缘生图、基于Depth深度生图、基于HED柔和边缘生图、基于Pose姿态控制生图、Blur去模糊、Gray灰度上色、UpScale放大等。
2. 预处理
2.1 边缘检测：Canny
- 控制物体轮廓，还原图像外形特征，边缘较为锋利
2.2 柔和边缘检测：SoftEdge（HED）
- 控制物体轮廓，还原图像外形特征，但边缘效果更为柔和
2.3 深度检测：Depth
- 对场景的描绘还原，尤其是富有空间感的多层次场景
- 越白的地方离得越近
- 越黑的地方离得越远
2.4 姿势控制：OpenPose
- 骨骼图：控制人物体态的呈现
- OpenPose：
五官、四肢 - OpenPose-Hand：
五官+四肢+手部，添加对手部骨骼的精细刻画 - OpenPose-Face：
五官+四肢+面部，添加面部特征 - OpenPose-FaceOnly：只关注
面部特征 - OpenPose-Full：
五官+四肢+手部+面部，并同时有对手部骨骼、面部特征的精细刻画
- OpenPose：
| OpenPose-FaceOnly | OpenPose | OpenPose-Face | OpenPose-Full |
|---|---|---|---|
 |  |  |  |
| OpenPose | OpenPose-Hand | OpenPose-Full |
|---|---|---|
|  | |
3. 流程步骤
3.1 预处理
使用预处理器产生控制图。
3.2 ControlNet处理
将控制图和ControlNet模型输入至ControlNet组件进行画面构图控制处理。
3.3 生图
将ControlNet组件处理后的结果，输入至采样器，进行图像生成。
4. WebUI的使用方式
4.1 安装扩展
通过扩展列表搜索，下载ControlNet组件。
4.2 下载模型
-
SD 1.5
- 需要配合同名的yaml文件一起使用
- 模型地址：
hf-mirror.com/lllyasviel/ControlNet-v1-1 - 存放：
StableDiffusionWebUI/extensions/sd-webui-controlnet/models
-
SD 3.5
- 模型地址：SD_3.5-canny、SD_3.5-depth、SD_3.5-blur
- 存放：
StableDiffusionWebUI/models/ControlNet
-
FLUX
- 模型地址：flux-canny、flux-hed、flux-depth
- 存放：
StableDiffusionWebUI/models/ControlNet
4.3 使用步骤
Step 1. 选择大模型作为绘制图像的基础模型（以SD 1.5为例）
Step 2. 撰写提示词（必须，否则图像生成结果很随机）
Step 3. 设定参数
Step 4. 打开ControlNet插件，导入参考图（原图或信息图）
Step 5. 勾选启用，配置预处理器，配置模型——可点击💥按钮，预览骨架提取效果
Step 6. 点击生成按钮
Step 7. 效果图
4.4 参数设定参考
- 控制权重：默认为1
- 开始控制阶段：0.0 - 1.0
- 结束控制阶段：0.0 - 1.0
- 控制模式：平衡、偏重提示词、偏重ControlNet
- 缩放模式：拉伸、裁剪、填充
- 预控制器参数：每种预处理器的参数不尽相同
- 其他参数
- 低显存模式：适用于显存不够的时候，代价是出图速度变慢
- Pixel Perfect：自动计算预处理器产出图像的最佳分辨率，推荐使用
- Allow Preview：会打开另外的小预览器窗口，专门为预处理图像准备的
- 信息图：需要手动保存，系统不会自动保存
5. ComfyUI的使用方式
5.1 预处理器
一般可以使用comfyui_controlnet_aux这个预处理器，它支持多种预处理效果。
5.2 模型下载
SD 1.5
- 模型地址：
hf-mirror.com/lllyasviel/ControlNet-v1-1 - 存放：
comfyUI/models/controlnet
SD 3.5
- 模型地址：SD_3.5-canny、SD_3.5-depth、SD_3.5-blur
- 存放：
comfyUI/models/controlnet
FLUX：Xlabs
- 模型地址：flux-canny-v3、flux-hed-v3、flux-depth-v3
- 存放：
comfyUI/models/controlnet
FLUX：ControlNet-Union-Pro
- 模型地址：FLUX.1-dev-ControlNet-Union-Pro
- 存放：
comfyUI/models/controlnet - 功能支持：Canny、Tile、Depth、Blur、Pose、Gray、Low Quality
5.3 工作流：SD 1.5
Canny
Depth
HED
Lineart
Lineart_anime
Openpose
5.4 工作流：SD 3.5
Canny
Depth
Blur
Depth+Canny
5.5 工作流：FLUX：Xlabs
Canny
Depth
HED
Depth+HED
5.6 工作流：FLUX：ControlNet-Union-Pro
Canny
Depth
OpenPose
HED
Gray
6. 示例图
6.1 线条控制：Canny
SD 1.5
| 参考图 & 控制图 | CetusMix | DarkSushiMix | DreamGirl | DreamGirl |
|---|---|---|---|---|
 |  |  |  |  |
 |  |  |  |  |
SD 3.5
| 参考图 | 控制图 | 效果图 |
|---|---|---|
 |  |  |
6.2 线条控制：HED
SD 1.5
| 参考图 & 控制图 | CetusMix | DreamGirl |
|---|---|---|
|  |  |
 |  |  |
6.3 线条控制：Lineart
SD 1.5
| 参考图 & 控制图 | RealisticVision | RevAnimated |
|---|---|---|
 |  |  |
 |  |  |
6.4 线条控制：Lineart_anime
SD 1.5
| 参考图 | 控制图 | CetusMix | DarkSushiMix |
|---|---|---|---|
 |  |  |  |
6.5 深度控制：Depth
SD 1.5
| 参考图 & 控制图 | CuteYukiMix | DarkSushiMix | DreamGirl |
|---|---|---|---|
|  |  |  |
 |  |  |  |
SD 3.5
| 参考图 | 控制图 | 效果图 |
|---|---|---|
|  |  |
6.6 姿态控制：Openpose
SD 1.5
| 参考图 & 控制图 | CetusMix | DarkSushiMix |
|---|---|---|
|  |  |
 |  |  |
6.7 去模糊：Blur
SD 3.5
| 参考图 | 生成图 |
|---|---|
 |  |
 |  |
6.8 组合使用
SD 3.5
| 控制图：Canny | 控制图：Depth |
|---|---|
| |
| 生成图 | 生成图 |
|---|---|
 |  |
