Krita AI 插件避坑实战Flux 微调模型为何总报 CLIP 缺失组件拼装机制一次讲透【免费下载链接】krita-ai-diffusionStreamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required.项目地址: https://gitcode.com/gh_mirrors/kr/krita-ai-diffusionkrita-ai-diffusion插件让 Krita 用户无需折腾参数就能在画布内直接完成 AI 生成、局部重绘与扩图。本文复盘一个典型踩坑现场同一台机器上flux1-dev-fp8.safetensors这类基础模型跑得风生水起可一换成从社区下载的 Flux 微调模型控制台立刻抛出checkpoint does not contain a valid clip or text encoder model整个生成流程当场断掉。CLIP 文本编码器究竟是什么为什么基础模型能用、微调模型就缺读完你会得到一套可复用的排查方法论。报错瞬间一切正常除了那一个文件先交代背景。这个插件本身不跑模型它把任务交给本地的ComfyUI后端自己只负责把 Krita 里的画布、选区、提示词翻译成一张工作流图。所以排查问题一半在插件源码一半在 ComfyUI 的模型目录里。那天我在插件的样式预设里选了一个新的 Flux 微调模型点下生成。日志里的错误很干脆ValueError: checkpoint does not contain a valid clip or text encoder model诡异的是换成样式预设里默认的flux1-dev-fp8.safetensors同样的提示词、同样的画布一切照常。同一个采样器、同一个后端唯一变量就是模型文件——于是我的第一反应和大多数人一样这模型八成是坏的。三次想当然的修复全部踩空想当然之一重新下载模型文件我删掉重下校验哈希无济于事。错误依旧分毫不差。关键观察错误信息里写的是 does not contain a valid clip而一个文件不包含某个部件和文件损坏是两回事。报错内容一直咬住 CLIP 不放说明文件本身可能完好只是结构上缺了东西。想当然之二把模型一股脑塞进 checkpoints 目录Flux 时代的模型管理有个经典误区看到.safetensors就扔进ComfyUI/models/checkpoints/。但checkpoints 目录是给全家桶模型住的Flux 的扩散模型文件哪怕带 fp8 后缀通常并不符合这个预期。想当然之三改插件源码硬编码 CLIP 路径甚至有人建议直接在workflow.py里写死一个 CLIP 文件路径。这条路对 1.5 时代或许可行但今天插件要同时支持 SDXL、Flux、Flux 2、Z-Image、Qwen 十几种架构每一种的文本编码器组合都不一样写死等于自断后路。三次全错逼我回到源码里找真正的答案。真相checkpoint 是全家桶diffusion 是裸奔单文件打开插件的ai_diffusion/files.py你会看到一个只有三行的枚举这就是整件事的钥匙class FileFormat(Enum): unknown 0 checkpoint 1 # TE VAE Diffusion model diffusion 2 # Diffusion model only注释已经把话说透了checkpoint 格式文件里同时装着文本编码器TE/CLIP、VAE、扩散模型三件套开箱即用。diffusion 格式文件里只有扩散模型本体文本编码器和 VAE 是外挂的需要在 ComfyUI 的模型目录里单独准备。Stable Diffusion 1.5 / SDXL 的老牌基础模型几乎都是全家桶这也是为什么把它们丢进 checkpoints 目录就能跑。而 Flux 的生态明显不同官方放出的flux1-dev-fp8也好社区微调的ultrarealFineTune类模型也罢绝大多数走的是单文件 外挂组件路线。微调模型通常只训练 UNet/DiT 主干不携带文本编码器——这正是基础模型能用、微调模型就缺 CLIP的根本原因。维度checkpoint 格式diffusion 格式文件内含文本编码器 VAE 扩散模型仅扩散模型典型代表SD 1.5、SDXL 全家桶Flux 系列微调模型放置目录models/checkpoints/models/diffusion_models/能否直接加载能不能需补 CLIP 与 VAE体积大数 GB 起相对小利于分享关键观察所谓CLIP 缺失并不是模型坏了而是你用它的时候它旁边的零件没备齐。把模型文件比作一颗 CPU它必须插在配套的主板上才能工作——插件的工作就是替你完成这套拼装。下钻源码插件如何给裸模型补全拼装拼装逻辑写在ai_diffusion/backend/workflow.py的load_checkpoint_with_lora()函数里它是理解整件事的核心。简化后的骨架是这样的match (model_info.format, model_info.quantization): case (FileFormat.checkpoint, Quantization.none): model, clip, vae w.load_checkpoint(filename) # 全家桶一次拿齐三件套 case (FileFormat.diffusion, Quantization.none): model w.load_diffusion_model(filename) # 单文件只拿到扩散模型 ... # 关键兜底文件里没有 CLIP 时按架构去 text_encoders 目录里找 if clip is None or arch is Arch.sd3: te models.for_arch(arch).text_encoder match arch: case Arch.flux: clip w.load_dual_clip(te[clip_l], te[t5], typeflux) case Arch.flux2_4b: clip w.load_clip(te[qwen_3_4b], typeflux2) case Arch.sdxl | Arch.illu: clip w.load_dual_clip(te[clip_g], te[clip_l], typesdxl) ... # VAE 同理文件没带就去找外挂的 if checkpoint.vae and checkpoint.vae ! Checkpoint Default: vae w.load_vae(checkpoint.vae) if vae is None: vae w.load_vae(models.for_arch(arch).vae)这段代码翻译成人话就三步先看模型是什么格式全家桶直接一把梭单文件则只加载扩散模型主干。CLIP 缺了就补一旦发现没有文本编码器就根据当前架构Arch枚举去 ComfyUI 的models/text_encoders/目录里找对应的文件。Flux 要的是t5clip_l双编码器Flux 2 要的是qwen_3_4bSDXL 要的是clip_gclip_l——架构决定拼装清单。VAE 缺了也补优先用样式预设里指定的 VAE没有就回落到该架构默认的 VAE 文件。所以补全这件事插件一直想做它甚至已经写好了兜底逻辑。报错往往意味着兜底也失败了——最常见的场景就是模型格式判定正确但models/text_encoders/目录里压根没有t5xxl_fp8或clip_l.safetensors或者 VAE 目录里没有配套文件。插件找不到零件ComfyUI 自然就把最初的错误抛了出来。三步让微调模型跑起来搞清楚机制之后修复就是一次精确的外科手术第一步判别格式放对目录。全家桶模型放进models/checkpoints/纯扩散模型放进models/diffusion_models/。判别方法很土但有效.safetensors文件拖进 ComfyUI 工作台能被CheckpointLoaderSimple直接加载的是全家桶只能接UNETLoader/DiffusionModelLoader的是单文件。第二步补齐零件目录。确认以下三处都有文件Flux 为例models/diffusion_models/微调模型本体models/text_encoders/t5xxl_fp8.safetensors或 fp16 版与clip_l.safetensorsmodels/vae/ae.safetensors第三步回 Krita 验证。在插件里重新选择该模型点击生成一张小图。这次日志应该变成INFO: Loading diffusion model from: models/diffusion_models/xxx.safetensors INFO: Loading text encoder: t5xxl_fp8.safetensors, clip_l.safetensors INFO: Loading VAE: ae.safetensors INFO: Generation started常见误区微调模型不是装进插件就能用它依赖的是ComfyUI 的模型目录 插件预设的组合拳。改插件源码、反复重下模型都是在错误的一层解决问题。一句话核心结论CLIP 缺失的报错指向的不是文件损坏而是拼装上下文不完整——checkpoint 是自带零件的全家桶diffusion 是裸奔的扩散模型后者必须配齐文本编码器和 VAE 才能被插件拼装起来。留一个延伸思考既然插件靠Arch枚举决定拼装清单那当我们新增一种架构、或把模型同时挂到云端与本地时零件清单该由谁维护翻一翻ai_diffusion/backend/resources.py里的Arch和required_custom_nodes你会看到这个项目已经用版本号和自定义节点清单把拼装规则做成了可校验的数据——如果你也在做自己的模型管理工具这或许是个值得抄的作业。【免费下载链接】krita-ai-diffusionStreamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required.项目地址: https://gitcode.com/gh_mirrors/kr/krita-ai-diffusion创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Krita AI 插件避坑实战：Flux 微调模型为何总报 CLIP 缺失，组件拼装机制一次讲透
Krita AI 插件避坑实战Flux 微调模型为何总报 CLIP 缺失组件拼装机制一次讲透【免费下载链接】krita-ai-diffusionStreamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required.项目地址: https://gitcode.com/gh_mirrors/kr/krita-ai-diffusionkrita-ai-diffusion插件让 Krita 用户无需折腾参数就能在画布内直接完成 AI 生成、局部重绘与扩图。本文复盘一个典型踩坑现场同一台机器上flux1-dev-fp8.safetensors这类基础模型跑得风生水起可一换成从社区下载的 Flux 微调模型控制台立刻抛出checkpoint does not contain a valid clip or text encoder model整个生成流程当场断掉。CLIP 文本编码器究竟是什么为什么基础模型能用、微调模型就缺读完你会得到一套可复用的排查方法论。报错瞬间一切正常除了那一个文件先交代背景。这个插件本身不跑模型它把任务交给本地的ComfyUI后端自己只负责把 Krita 里的画布、选区、提示词翻译成一张工作流图。所以排查问题一半在插件源码一半在 ComfyUI 的模型目录里。那天我在插件的样式预设里选了一个新的 Flux 微调模型点下生成。日志里的错误很干脆ValueError: checkpoint does not contain a valid clip or text encoder model诡异的是换成样式预设里默认的flux1-dev-fp8.safetensors同样的提示词、同样的画布一切照常。同一个采样器、同一个后端唯一变量就是模型文件——于是我的第一反应和大多数人一样这模型八成是坏的。三次想当然的修复全部踩空想当然之一重新下载模型文件我删掉重下校验哈希无济于事。错误依旧分毫不差。关键观察错误信息里写的是 does not contain a valid clip而一个文件不包含某个部件和文件损坏是两回事。报错内容一直咬住 CLIP 不放说明文件本身可能完好只是结构上缺了东西。想当然之二把模型一股脑塞进 checkpoints 目录Flux 时代的模型管理有个经典误区看到.safetensors就扔进ComfyUI/models/checkpoints/。但checkpoints 目录是给全家桶模型住的Flux 的扩散模型文件哪怕带 fp8 后缀通常并不符合这个预期。想当然之三改插件源码硬编码 CLIP 路径甚至有人建议直接在workflow.py里写死一个 CLIP 文件路径。这条路对 1.5 时代或许可行但今天插件要同时支持 SDXL、Flux、Flux 2、Z-Image、Qwen 十几种架构每一种的文本编码器组合都不一样写死等于自断后路。三次全错逼我回到源码里找真正的答案。真相checkpoint 是全家桶diffusion 是裸奔单文件打开插件的ai_diffusion/files.py你会看到一个只有三行的枚举这就是整件事的钥匙class FileFormat(Enum): unknown 0 checkpoint 1 # TE VAE Diffusion model diffusion 2 # Diffusion model only注释已经把话说透了checkpoint 格式文件里同时装着文本编码器TE/CLIP、VAE、扩散模型三件套开箱即用。diffusion 格式文件里只有扩散模型本体文本编码器和 VAE 是外挂的需要在 ComfyUI 的模型目录里单独准备。Stable Diffusion 1.5 / SDXL 的老牌基础模型几乎都是全家桶这也是为什么把它们丢进 checkpoints 目录就能跑。而 Flux 的生态明显不同官方放出的flux1-dev-fp8也好社区微调的ultrarealFineTune类模型也罢绝大多数走的是单文件 外挂组件路线。微调模型通常只训练 UNet/DiT 主干不携带文本编码器——这正是基础模型能用、微调模型就缺 CLIP的根本原因。维度checkpoint 格式diffusion 格式文件内含文本编码器 VAE 扩散模型仅扩散模型典型代表SD 1.5、SDXL 全家桶Flux 系列微调模型放置目录models/checkpoints/models/diffusion_models/能否直接加载能不能需补 CLIP 与 VAE体积大数 GB 起相对小利于分享关键观察所谓CLIP 缺失并不是模型坏了而是你用它的时候它旁边的零件没备齐。把模型文件比作一颗 CPU它必须插在配套的主板上才能工作——插件的工作就是替你完成这套拼装。下钻源码插件如何给裸模型补全拼装拼装逻辑写在ai_diffusion/backend/workflow.py的load_checkpoint_with_lora()函数里它是理解整件事的核心。简化后的骨架是这样的match (model_info.format, model_info.quantization): case (FileFormat.checkpoint, Quantization.none): model, clip, vae w.load_checkpoint(filename) # 全家桶一次拿齐三件套 case (FileFormat.diffusion, Quantization.none): model w.load_diffusion_model(filename) # 单文件只拿到扩散模型 ... # 关键兜底文件里没有 CLIP 时按架构去 text_encoders 目录里找 if clip is None or arch is Arch.sd3: te models.for_arch(arch).text_encoder match arch: case Arch.flux: clip w.load_dual_clip(te[clip_l], te[t5], typeflux) case Arch.flux2_4b: clip w.load_clip(te[qwen_3_4b], typeflux2) case Arch.sdxl | Arch.illu: clip w.load_dual_clip(te[clip_g], te[clip_l], typesdxl) ... # VAE 同理文件没带就去找外挂的 if checkpoint.vae and checkpoint.vae ! Checkpoint Default: vae w.load_vae(checkpoint.vae) if vae is None: vae w.load_vae(models.for_arch(arch).vae)这段代码翻译成人话就三步先看模型是什么格式全家桶直接一把梭单文件则只加载扩散模型主干。CLIP 缺了就补一旦发现没有文本编码器就根据当前架构Arch枚举去 ComfyUI 的models/text_encoders/目录里找对应的文件。Flux 要的是t5clip_l双编码器Flux 2 要的是qwen_3_4bSDXL 要的是clip_gclip_l——架构决定拼装清单。VAE 缺了也补优先用样式预设里指定的 VAE没有就回落到该架构默认的 VAE 文件。所以补全这件事插件一直想做它甚至已经写好了兜底逻辑。报错往往意味着兜底也失败了——最常见的场景就是模型格式判定正确但models/text_encoders/目录里压根没有t5xxl_fp8或clip_l.safetensors或者 VAE 目录里没有配套文件。插件找不到零件ComfyUI 自然就把最初的错误抛了出来。三步让微调模型跑起来搞清楚机制之后修复就是一次精确的外科手术第一步判别格式放对目录。全家桶模型放进models/checkpoints/纯扩散模型放进models/diffusion_models/。判别方法很土但有效.safetensors文件拖进 ComfyUI 工作台能被CheckpointLoaderSimple直接加载的是全家桶只能接UNETLoader/DiffusionModelLoader的是单文件。第二步补齐零件目录。确认以下三处都有文件Flux 为例models/diffusion_models/微调模型本体models/text_encoders/t5xxl_fp8.safetensors或 fp16 版与clip_l.safetensorsmodels/vae/ae.safetensors第三步回 Krita 验证。在插件里重新选择该模型点击生成一张小图。这次日志应该变成INFO: Loading diffusion model from: models/diffusion_models/xxx.safetensors INFO: Loading text encoder: t5xxl_fp8.safetensors, clip_l.safetensors INFO: Loading VAE: ae.safetensors INFO: Generation started常见误区微调模型不是装进插件就能用它依赖的是ComfyUI 的模型目录 插件预设的组合拳。改插件源码、反复重下模型都是在错误的一层解决问题。一句话核心结论CLIP 缺失的报错指向的不是文件损坏而是拼装上下文不完整——checkpoint 是自带零件的全家桶diffusion 是裸奔的扩散模型后者必须配齐文本编码器和 VAE 才能被插件拼装起来。留一个延伸思考既然插件靠Arch枚举决定拼装清单那当我们新增一种架构、或把模型同时挂到云端与本地时零件清单该由谁维护翻一翻ai_diffusion/backend/resources.py里的Arch和required_custom_nodes你会看到这个项目已经用版本号和自定义节点清单把拼装规则做成了可校验的数据——如果你也在做自己的模型管理工具这或许是个值得抄的作业。【免费下载链接】krita-ai-diffusionStreamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required.项目地址: https://gitcode.com/gh_mirrors/kr/krita-ai-diffusion创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考