ComfyUI
ComfyUI
ComfyUI 是基于节点的 Stable Diffusion 工具,所有操作通过拖拽和连接节点完成。工作流是可视化的——能看到数据从一个节点流向另一个节点,理解图片怎么一步步生成的。
ComfyUI 核心知识结构:
安装与启动
下载一键整合包 AI-T8-video-onekey,解压后运行 run.bat。浏览器访问 http://127.0.0.1:8188 进入界面。
模型管理
模型文件放在 ComfyUI/models/ 对应子目录下:
| 目录 | 用途 |
|---|---|
checkpoints/ | 基础大模型(SD1.5、SDXL 等) |
loras/ | 微调模型,增强特定风格或细节 |
controlnet/ | 结构控制模型 |
controlnet_aux/lllyasviel/Annotators/ | ControlNet 辅助检测模型 |
入门推荐模型:
| 模型 | 类型 | 下载地址 |
|---|---|---|
| v1-5-pruned-emaonly | SD1.5 基础模型 | CivitAI |
| dreamshaper_8 | SD1.5 美化模型 | CivitAI |
提示词
提示词告诉 AI"画什么",由正向和负向两部分组成:
- 正向提示词:希望出现的内容,按主体 → 风格 → 光影 → 构图顺序组织
- 负向提示词:不希望出现的内容(如
low quality, blurry, deformed)
| Prompt | 效果 | Prompt | 效果 |
|---|---|---|---|
| realistic | 写实 | anime | 动漫风 |
| photorealistic | 照片级写实 | illustration | 插画风 |
| cinematic | 电影感 | masterpiece | 高质量 |
| soft lighting | 柔光 | volumetric lighting | 体积光 |
图片生成
文生图(Text-to-Image)
文生图是最基础的生成方式,数据从模型加载到图片保存经过五个节点:
| 节点 | 作用 |
|---|---|
| Load Checkpoint | 加载基础大模型 |
| CLIP Text Encode | 提示词转为模型能理解的向量 |
| KSampler | 从噪声中采样生成潜空间图像 |
| VAE Decode | 潜空间图像解码为可见像素图 |
| Save Image | 保存到本地 |
图生图(Image-to-Image)
图生图在文生图基础上,用已有图片替代纯噪声作为起点。Denoise 参数决定改变程度——0.3~0.5 保留大部分原图,0.7~1.0 接近重新生成。
KSampler 核心参数
| 参数 | 含义 | 建议值 |
|---|---|---|
| Seed | 随机种子 | 固定 seed 可复现同一张图 |
| Steps | 采样步数 | 20~30,低于 15 质量明显下降 |
| CFG | 提示词服从度 | 5~8,过高画面过饱和 |
| Denoise | 去噪强度 | 文生图固定 1.0,图生图 0.3~0.7 |
局部重绘(Inpaint)
局部重绘只修改指定区域,其余保持不变。用 Mask 画笔涂抹需修改的区域,AI 只重绘被涂部分。
注意
稳定性公式 稳定性 ≈ 1 /(Mask 范围 × Denoise)
| 条件 | 结果 |
|---|---|
| 大 Mask + 高 Denoise | 必崩,画面失控 |
| 小 Mask + 低 Denoise | 最稳定,修改自然 |
实际操作中 Mask 范围尽量小,Denoise 设 0.4~0.7。
LoRA 微调
LoRA 是轻量级风格增强模型,不替换基础模型,而是在其基础上叠加特定效果。推荐入门:Detailed Perfection。
下载后放入 ComfyUI/models/loras/,用 LoRA Loader 节点加载。
高清修复
高清修复用两个 KSampler 串联:第一个负责整体构图,第二个放大后补充细节。Denoise 一般设 0.4~0.6。
ControlNet 结构控制
ControlNet 让 AI 生成图片时"参考"参考图的结构信息,而非完全自由发挥。
| 类型 | 控制什么 | 典型用途 |
|---|---|---|
| Canny | 边缘结构 | 保持建筑、物品轮廓 |
| OpenPose | 人体动作 | 控制人物姿势 |
| Depth | 空间深度 | 保持前后景关系 |
| Lineart | 线稿 | 从线稿上色 |
| SoftEdge | 柔和轮廓 | 柔化边缘的结构控制 |
Canny 边缘检测
通过两个阈值控制灵敏度:低阈值决定小细节是否算边缘(越低细节越多),高阈值决定什么算明显轮廓(越高只保留最突出边缘)。
模型下载:control_v11p_sd15_canny,放入 ComfyUI/models/controlnet/。
OpenPose 人体动作
检测人体骨架关键点(头、肩、肘、手、髋、膝、脚),按指定姿势生成人物。
| 文件 | 下载地址 |
|---|---|
| control_v11p_sd15_openpose | HuggingFace |
| body_pose_model.pth | hf-mirror |
| hand_pose_model.pth | hf-mirror |
| facenet.pth | hf-mirror |
ControlNet 主模型放入 ComfyUI/models/controlnet/,辅助检测模型放入 ComfyUI/models/controlnet_aux/lllyasviel/Annotators/。
常见问题
排查顺序:先检查模型文件是否到位,再确认节点连接是否正确,最后看显存是否充足。
| 问题 | 原因 | 解决方案 |
|---|---|---|
| 模型加载失败 | 文件缺失或路径错误 | 确认文件名后缀(.ckpt/.safetensors)与节点选择一致 |
| 画面全黑/全白 | VAE 未正确加载 | 确认 Load Checkpoint 的 VAE 输出口连接到 VAE Decode 的 vae 输入口 |
| 生成速度极慢 | SDXL 配 SD1.5 工作流或显存不足 | SD1.5 需 4GB+ 显存,SDXL 需 8GB+,确认模型和工作流匹配 |
| 局部重绘不协调 | Mask 范围过小或 Denoise 过高 | 扩大 Mask 范围,Denoise 设 0.4~0.6,Mask 节点增加模糊半径 |