527 字
3 分钟
风格迁移：训练Flux-Kontext-LoRA模型
1. 训练准备
训练Flux-Kontext的LoRA模型，实现风格迁移，需要准备三样东西：
-
一组目标风格图像（
Target组） -
一组输入控制图像（
Control组） -
一组提示词（
Prompts）通过将控制图和目标图配对，以提示词的方式，实现控制图到目标图的风格迁移。
一般情况下，Target组数据比较容易获得，提示词也比较容易撰写，而Control组数据比较难获取，需要自行构建。可以使用Flux-Kontext自身的风格迁移功能，将Target组数据转换成其他风格的数据，作为Control组数据，如线稿风、粘土风、写实风、像素风等。
训练数据量控制在20组～50组，就可以得到不错的测试效果。
2. 训练工具
-
kohya-ss：https://github.com/bmaltais/kohya_ss
-
AI-ToolKit（简单易用，推荐）：https://github.com/ostris/ai-toolkit
3. 作业流程
3.1 模型训练
flowchart LR
A[画风效果图] --> B1[线稿]
A[画风效果图] --> B2[水彩]
A[画风效果图] --> B3[粘土]
A[画风效果图] --> B4[现实]
B1[线稿] --> B[对照组图]
B2[水彩] --> B[对照组图]
B3[粘土] --> B[对照组图]
B4[现实] --> B[对照组图]
A --> C[配对]
B --> C[配对]
C --> D[训练 LoRA 模型]
3.2 模型推理
flowchart LR
A[输入图] --> B[使用LoRA模型]
A --> D[线稿图]
D --> B[使用LoRA模型]
B --> C[画风迁移效果图]
4. 技术方案
4.1 直接风格迁移
如果LoRA模型训练效果较好，可以直接将输入图转换为画风迁移的效果图
| 画风效果 | 输入图 | 输出图 |
|---|---|---|
 |  |  |
|  |  |
4.2 间接风格迁移
如果LoRA模型训练效果一般，可以先将输入图转换为线稿图、水彩图等，再通过LoRA模型转换为画风迁移的效果图
| 画风效果 | 输入图 | 中间产物 | 输出图 |
|---|---|---|---|
 |  |  |  |
|  |  |  |
5. 示例
5.1 训练素材
- 提示词：
Transfer into Animal Story Style. - 图像：Control组和Target组
| Control组 - I（线稿风） | Control组 - II（粘土风） | Target组 |
|---|---|---|
 |  |  |
 |  |  |
 |  |  |
 |  |  |
 |  |  |
 |  |  |
5.2 测试结果
| 输入1 | 输入2 | 输出1 | 输出2 |
|---|---|---|---|
 |  |  |  |
 |  |  |  |
 |  |  |  |
 |  |  |  |
 |  |  |  |
 |  |  |  |
 |  |  |  |
