1. 介绍
- Krita：一个深受数字艺术家喜爱的绘图工具，拥有强大的手绘功能和细节调整能力。Krita拥有丰富的笔刷、图层功能和色彩管理能力，非常适合用来完成高精度的插画或者漫画创作。
- ComfyUI：一个灵活的AI图像生成工具，以直观的节点工作流、强大的自定义功能为特色。ComfyUI通过AI的生成能力，快速产生高质量的初稿图。
- Krita-ai-diffusion：一个插件，通过这个插件，能够让ComfyUI在Krita里起到作用。
2. 下载
- ComfyUI：从https://github.com/comfyanonymous/ComfyUI的GitHub网页中下载最新版本
- Windows系统：下载整合包
- Linux系统：使用
git clone下载程序包
- Krita-ai-diffusion：从https://github.com/Acly/krita-ai-diffusion的GitHub网页的Release中下载最新版本
3. 安装与配置
3.1 Krita
安装
便携版：解压即可使用。
客户端版：自行安装后即可使用。
配置
在Krita中，可以通过设置-语言选项修改界面语言。
3.2 ComfyUI
安装
- Windows系统：解压整合包。
- 创建开发环境后，运行
run_nvidia_gpu.bat即可打开ComfyUI界面。
- 创建开发环境后，运行
- Linux系统：解压程序包。
- 创建开发环境后，运行
python main.py --port 8188 --listen 127.0.0.1 --cuda-device 6即可启动ComfyUI后台。 - 通过在浏览器中输入
127.0.0.1:8188可访问ComfyUI界面。
- 创建开发环境后，运行
配置
ComfyUI的初始配置主要包括模型配置和节点配置。
- 模型配置
- SD1.5模型
- 基础模型（如cytusMix、ghostMix等），保存在 /models/checkpoints 文件夹中
- vae模型（如animevae、vae-ft-mse-840000-ema-pruned_fp16等），保存在 /models/vae 文件夹中
- SD3.5模型
- 基础模型（如sd_3.5_large、sd_3.5_medium等），保存在 /models/checkpoints 文件夹中
- clip模型（如clip_g.safetensors、clip_l.safetensors、t5xxl_fp8_e4m3fn.safetensors等），保存在 /models/clip 文件夹中
- FLUX模型
- 基础模型（如flux-dev、flux-schnell等），保存在 /models/unet 文件夹中
- clip模型（如clip_l.safetensors、t5xxl_fp8_e4m3fn.safetensors等），保存在 /models/clip 文件夹中
- vae模型（如ae等），保存在 /models/vae 文件夹中
- SD1.5模型
- 节点配置
- ComfyUI-Manager：在custom_nodes中安装 ComfyUI-Manager 插件，便于节点查看和管理。
3.3 Krita-ai-diffusion
安装
在Krita中，打开工具-脚本-从文件导入python插件，选择Krita-ai-diffusion的压缩包。
安装完成后，打开设置-显示面板-AI Image Generation，即可在界面右下侧打开AI Image Generation的窗口。
配置
-
在ComfyUI的后台里，安装ControlNet preprocessors、IP-Adapter、Inpaint nodes、External tooling nodes四个节点，分别用于：ControlNet预处理、IP-Adapter风格指定、局部重绘、连接ComfyUI和Krita的功能组件等。
-
在ComfyUI的后台里，下载多个必须的模型文件：
- Clip-Vision，保存在
models/clip_vision中，并且重命名为clip-vision_vit-h.safetensors - NMKD Superscale SP_178000_G，保存在
models/upscale_models中 - OmniSR_X2_DIV2K，保存在
models/upscale_models中 - OmniSR_X3_DIV2K，保存在
models/upscale_models中 - OmniSR_X4_DIV2K，保存在
models/upscale_models中 - MAT_Places512_G_fp16，保存在
models/inpaint中
- Clip-Vision，保存在
-
在ComfyUI的后台里，下载多个必须的模型文件，适用于SD1.5模型：
- ControlNet inpaint，保存在
models/controlnet中 - ControlNet tile，保存在
models/controlnet中 - IP-Adapter (SD1.5)，保存在
models/ipadapter中 - Hyper-SD-LoRA (SD1.5)，保存在
models/loras/中
- ControlNet inpaint，保存在
-
在ComfyUI的后台里，下载多个必须的模型文件，适用于SDXL模型：
- ControlNet inpaint，保存在
models/inpaint中 - ControlNet inpaint，保存在
models/inpaint中 - IP-Adapter (SDXL)，保存在
models/ipadapter中 - Hyper-SD-LoRA (SDXL)，保存在
models/loras/中
- ControlNet inpaint，保存在
-
在ComfyUI的后台里，下载基础大模型文件，如Realistic Vision等，保存在
models/checkpoints中。 -
如有其他问题，可参见：https://github.com/Acly/krita-ai-diffusion/wiki/ComfyUI-Setup。
-
启动ComfyUI。
-
启动Krita。
-
在Krita中，新建图像，宽高可自行设置，比如 768 * 1024 。
-
在绘图页面的右下角找到AI Image Generation，进行配置。
-
选择接口选项，进行语言切换。将语言设置为简体中文后，重启Krita以生效。
-
选择连接选项，选择自定义服务器，然后在服务器网址里填写ComfyUI的后台地址，连接即可。如果在连接中出现错误，可参考第6步，自行纠错处理。
-
选择风格选项，在页面中修改大模型、vae模型、LoRA模型、提示词、采样器、采样器步数、CFG强度等信息。
-
返回绘图界面，可在预设方案里调整AI大模型方案，在提示词里填写提示词内容，然后点击生成，生成的图会在下方列出。
4. Krita支持的AI绘图功能
Krita的AI绘画，支持5个常用功能：生成、放大、实时、动画、节点。
4.1 生成
生成模式下有两种方案，一个是生成图像，一个是优化图像，前者针对背景而言，会生成一张AI图像，后者针对选区而言，进行选区图像内的处理。
可以通过扩散的选项，修改选区的扩展范围，羽化强度和填充范围。
4.2 放大
放大模式下，可以对原图进行放大。可以自行选择放大模型、放大倍数、是否再作图像优化等。
4.3 节点
Krita可以通过节点模式，和ComfyUI工作流在线交互。
平台交互
- 通过导入的方式，导入本地工作流。
- 通过在线交互的方式，在线编辑工作流。
输出图像交互
在ComfyUI中加载Krita Output节点，将其接入图像输出的接口（如VAE解码），即可将ComfyUI的输出图像，输出至Krita的画布中。
输入参数交互
在ComfyUI中加载Parameter节点，将其相应参数接口上，即可将ComfyUI的输入参数，对接至Krita的参数中。然后可以在Parameter节点中，修改参数的名称、类型及上下限。一旦Parameter节点和ComfyUI的参数相连接，该参数就将显示在Krita界面中，参数名称即为Parameter节点设定的名称。
输入图像交互
在ComfyUI中加载Krita Canvas节点，它有4个输出接口，分别对应Krita界面的画布图像、画布宽度、画布高度、绘图种子，将其按需接入ComfyUI的工作流接口，即可在Krita界面控制ComfyUI工作流的参数。
参考图和参考蒙版
在ComfyUI中加载Image Layer节点和Mask Layer节点，连接至ComfyUI的相关接口后，即可将Krita的图层图像用于参考图或参考蒙版。
实例：文生图
- ComfyUI工作流
- Krita绘图
实例：图生图
- ComfyUI工作流
- Krita绘图
4.4 IP Adapter和ControlNet
在生图模式下，Krita可以对选定图层作IP Adapter处理和ControlNet处理，进而在此基础上进行图像重绘。
功能支持
IP Adapter和ControlNet支持的功能有：
不同模型对功能的支持度不尽相同，详见下表：【🟢表示支持，⚪表示支持，但不常用，❌表示不支持】
| 功能类型 | SD 1.5 | SDXL | SD 3.5 | FLUX |
|---|---|---|---|---|
| IP Adapter综合参考 | 🟢 | 🟢 | ❌ | 🟢 |
| IP Adapter风格参考 | ⚪ | ⚪ | ❌ | ❌ |
| IP Adapter构图参考 | ⚪ | ⚪ | ❌ | ❌ |
| FaceID 面部 | 🟢 | 🟢 | ❌ | ❌ |
| Scribble 涂鸦 | 🟢 | 🟢 | ❌ | ❌ |
| LineArt 线稿 | 🟢 | 🟢 | ❌ | 🟢 |
| SoftEdge 软边缘 | 🟢 | 🟢 | ❌ | 🟢 |
| Canny 硬边缘 | 🟢 | 🟢 | ❌ | 🟢 |
| Depth 深度 | 🟢 | 🟢 | ❌ | 🟢 |
| Normal 法线 | ⚪ | ❌ | ❌ | ❌ |
| Pose 姿势 | 🟢 | 🟢 | ❌ | ❌ |
| Segment 语义分割 | ⚪ | ⚪ | ❌ | ❌ |
| Tile 分块锐化 | ⚪ | ⚪ | ❌ | ⚪ |
| Stencil 二维码 | ⚪ | ⚪ | ❌ | ❌ |
| Hands 手部 | ⚪ | ⚪ | ❌ | ❌ |
示例：线稿控制
| 原始图 | 线稿图（LineArt） | 生成图 |
|---|---|---|
 |  |  |
