601 字
3 分钟
StableDiffusion:ControlNet应用:姿势图调整

1. 姿势图调整#

​ 对于openpose姿势图图像+JSON文件),可以使用姿势编辑的插件,对姿势图进行调整

2. WebUI#

​ 可以使用WebUI插件进行姿态调整。

2.1 依赖环境安装#

Terminal window
# 安装:tb-nightly(清华源没有这个库,需要从阿里源下载)
python -m pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple
# 安装:basicsr
pip install basicsr

2.2 插件安装#

Step 1. 启动WebUI,打开扩展标签页。

Step 2. 点击从网址安装Install from URL)。

Step 3. 在扩展的git仓库网址URL for extension’s git repository)处输入:https://github.com/fkunn1326/openpose-editor.git

Step 4. 点击安装Install)。

Step 5. 重启WebUI,自动安装环境依赖。

2.3 插件使用#

​ 打开WebUI,选择OpenPose编辑器标签。

OpenPose编辑器

2.4 功能说明#

OpenPose编辑器

  • 自定义修改图像尺寸宽度高度
  • 自定义修改人物姿态
  • 可以按需添加人物数量添加按钮
  • 可以直接读取JSON文件
  • 可以从图像中提取骨骼节点图
  • 可以将修改后的骨骼图保存为图像或JSON格式
  • 可以将修改后的骨骼图发送至文生图或图生图——需要将预处理器设为None

※ BUG处理#

1. 无法安装basicsr,提示缺少tb-nightly。#

​ 先通过阿里源安装tb-nightly,再安装basicsr

2. 在webui-forge环境下,报错:ModuleNotFoundError: No module named ‘torchvision.transforms.functional_tensor’。#

basicsr在调用data/degradation.py的库时,from torchvision.transforms.functional_tensor import rgb_to_grayscale已经不能正常运行,需要修改为from torchvision.transforms._functional_tensor import rgb_to_grayscalefunctional_tensor前增加一个下划线

3. 在webui-forge环境下,报错:ValueError: Invalid value for parameter ‘type’: bytes. Please choose from one of: [‘filepath’, ‘binary’]。#

openpose-editor在运行script/main.py的代码时,由于gradio的大版本更新,png_input = gr.UploadButton(label="Detect from Image", file_types=["image"], type="bytes", elem_id="openpose_detect_button")type参数已经不支持bytes了,需要修改为binary

4. 下载模型太慢了,怎么提前准备模型?#

​ 可以提前下载下面的模型至stable-diffusion/models/openpose文件夹中(需要自行创建):

3. ComfyUI#

3.1 插件安装#

Terminal window
cd ComfyUI/custom_nodes
git clone https://github.com/huchenlei/ComfyUI-openpose-editor.git

3.2 工作流:生成姿态图#

生成openpose姿势

3.3 工作流:修改姿态图#

加载工作流#

修改openpose姿势

选择Open in Openpose Editor#

  • 右击 Load Openpose JSON ,选择 Open in Openpose Editor

OpenPose-Editor-ComfyUI

调整人物姿态#

  • 可以手动调整画布大小
  • 可以手动添加手部信息脸部信息,默认不自动添加
  • 可以上传JSON文件下载JSON文件
  • 可以上传背景图像下载姿态图像

OpenPose-Editor-ComfyUI

封面
示例歌曲
示例艺术家
封面
示例歌曲
示例艺术家
0:00 / 0:00