FLUX.3 Image Klein 在
来自 Hugging Face · 期号 2026-10-15
摘要
Black Forest Labs 发布开源图像生成模型 FLUX.3 Image Klein，一个模型同时支持文生图、多参考图生图和边界框布局控制。蒸馏版 checkpoint 在 H100 上生成 1024×1024 图像约需 2 秒。提供 NVFP4 和 FP8 量化变体，可在小显存 GPU 上运行。附带文生图和图像编辑的 LoRA 训练脚本。模型以 Modular Diffusers pipeline 形式发布，用户可以替换或添加组件。 布局控制通过 JSON 格式的边界框实现：在 prompt 里用 `<id>` 引用区域，每个区域指定 `bbox`（0–1000 归一化坐标）和 `desc`。编辑模式下还可以指定 `src_bbox` 和 `tgt_bbox`，把参考图里的内容移动到新位置。
深读
导读 Black Forest Labs 发布的开源图像生成模型 FLUX.3 Image Klein，一个模型同时支持文生图、多参考图生图和边界框布局控制。蒸馏版 checkpoint 在 H100 上生成 1024×1024 图像仅需约 2 秒，并提供 NVFP4 和 FP8 量化变体以适配小显存 GPU。读完可以了解其架构创新（双阶段注意力、四维位置编码、逐 token 时间步调制）以及 Modular Diffusers 管线的可插拔设计。 关键信息 - 蒸馏版 checkpoint black-forest-labs/flux-3-image-klein 默认 16 步推理，无需 CFG；基础版 black-forest-labs/flux-3-image-klein-base 需 50 步 + CFG。 - 蒸馏版在单张 H100 上生成 1024×1024 图像耗时 1.93 秒，峰值显存 23.8 GiB；单参考图图生图耗时 3.87 秒。 - 提供 bf16、fp8r（行式 FP8）和 nvfp4 三种单文件格式 checkpoint，nvfp4 变体在 RTX6000 上推理峰值显存仅 15.3 GiB。 - 文本编码器使用 Qwen3-VL，取其中 8 层（第 4、8、…、32 层）的隐藏状态堆叠，每个文本 token 经线性层投影为 3072 维向量。 - 布局控制通过 JSON 格式的边界框实现：在 prompt 里用 <id> 引用区域，每个区域指定 bbox（0–1000 归一化坐标）和 desc；编辑模式下还可指定 src_bbox 和 tgt_bbox，把参考图里的内容移动到新位置。 - 附带文生图和图像编辑的 DreamBooth LoRA 训练脚本，支持 --gradient_checkpointing、--cache_latents、--use_8bit_adam 等显存优化选项。 逐节讲解 模型能力概览 FLUX.3 Image Klein 用一个模型覆盖三种任务：文生图、多参考图生图（通过 <ref_image_0>、<ref_image_1> 等标签引用多张参考图）、以及边界框布局控制。布局控制分两种模式：在空白画布上放置区域（每个区域指定 bbox 和 desc），或在参考图上移动已有内容（每个区域指定 src_bbox 和 tgt_bbox）。边界框坐标采用 0–1000 归一化，与图像尺寸无关。 运行成本与量化变体 蒸馏版 checkpoint 在 H100 上端到端生成 1024×1024 图像平均 1.93 秒，峰值显存 23.8 GiB。加入一张参考图后时间翻倍至 3.87 秒，因为参考图 token 与文本和生成图像 token 拼接成同一序列，每张 1024×1024 参考图增加 4096 个 t…