--- title: moss-image-sft-comfyui canonical_url: "https://www.modelscope.cn/models/djdzlh/moss-image-sft-comfyui" md_url: "https://www.modelscope.cn/models/djdzlh/moss-image-sft-comfyui.md" repository: djdzlh/moss-image-sft-comfyui last_updated: 2026-10-16 license: apache-2.0 pipeline_tag: text-to-image-synthesis tasks: - text-to-image-synthesis base_model: - openmoss/MOSS-Image-SFT base_model_relation: finetune parameters: 13.5B tensor_type: - F32 - U8 - I8 - BF16 - I64 library_name: - lora - safetensors - pytorch frameworks: - pytorch downloads: 417 stars: 9 tags: - text-to-image - comfyui - int8 - quantized - moss-image --- # moss-image-sft-comfyui > moss-image-sft-comfyui - djdzlh 在 ModelScope 开源的模型。MOSS-Image-SFT — ComfyUI 单文件 + int8convrot 一体化包 djdzlh/moss-image-sft-comfyui 是 ModelScope 魔搭社区上的 13.5B 参数text-to-image-synthesis模型，采用 apache-2.0 许可，基于 openmoss/MOSS-Image-SFT 构建。 - **Repository**: djdzlh/moss-image-sft-comfyui - **License**: apache-2.0 - **Tasks**: text-to-image-synthesis - **Parameters**: 13.5B - **Base model**: openmoss/MOSS-Image-SFT - **Tags**: text-to-image, comfyui, int8, quantized, moss-image - **Downloads**: 417 - **Stars**: 9 - **Last updated**: 2026-10-16 Source: https://www.modelscope.cn/models/djdzlh/moss-image-sft-comfyui --- # MOSS-Image-SFT — ComfyUI 单文件 + int8_convrot 一体化包 把 [openmoss/MOSS-Image-SFT](https://www.modelscope.cn/models/openmoss/MOSS-Image-SFT) 整理成 **ComfyUI 原生单文件格式**并对 DiT / 文本编码器做 **int8 张量级量化 + ConvRot 旋转**， 同时附上可直接拖入的 **ComfyUI 工作流**与所需的 **自定义节点**。下载完即可开跑，不用再拼目录。 > ⚠️ **本仓库不是官方发布。** 模型转换、量化与工作流由第三方（个人）完成， > **与 OpenMOSS 团队无关，未获官方背书**。 > 仓库内的 `custom_nodes/moss-image/` 是**上游官方插件原样收录**（未做任何改动），版权归原作者； > 版权与许可详见各自的 LICENSE 文件。 ## 仓库内容 | 路径 | 说明 | 大小 | |---|---|---| | `moss_image_sft_int8_convrot.safetensors` | DiT / transformer，262 层量化为 int8 | 5.19 GB | | `moss_image_qwen35_9b_int8_convrot.safetensors` | 文本编码器（Qwen3.5-9B），249 层量化为 int8 | 8.86 GB | | `moss_image_sft_vae.safetensors` | VAE（Flux2 结构），**未量化** | 249.5 MB | | `workflows/MOSS-Image-SFT_int8.json` | ComfyUI 工作流（UI 格式，直接拖入即可） | 32 KB | | `custom_nodes/moss-image/` | ComfyUI 加载节点，**上游原版，原样收录** | 60 KB | | `LICENSE` | Apache License 2.0 | — | 原权重 bf16 合计约 27.2 GB，量化后 DiT + 文本编码器从 19.0 GB 压到 14.05 GB。 ## 改了什么（Apache-2.0 要求的修改标注） **① DiT 与文本编码器 → 量化** - 格式：`int8_tensorwise`，`convrot: true`，`convrot_groupsize: 256` - **DiT 量化 262 层**：`layers.{0..41}.proj.{q,k,v,o,ffn_up_gate,ffn_down}`（42×6） + `text_embedder.blocks.{0,1}.{qkv,proj,ffn_gate,ffn_up,ffn_down}`（2×5） - **文本编码器量化 249 层**：`model.embed_tokens` + 各 block 内的 Linear （`self_attn.{q,k,v,o}_proj`、`mlp.{gate,up,down}_proj`、 `linear_attn.{in_proj_qkv,in_proj_z,in_proj_b,in_proj_a,out_proj}`） - **刻意不量化**：所有 norm、全部 bias、卷积、调制层（`shared_block_modulation`、 `video_head_modulation`）、`video_embedder`、`final_linear_video`、`rope.bands`， 以及文本编码器的完整视觉塔与 `linear_attn.conv1d` **② 未量化张量按原始字节直通**，保持原 BF16 精度，不经过任何精度转换 **③ VAE 重打包**为 ComfyUI 原生单文件格式，键名与官方 `flux2-vae.safetensors` 一致 **④ 文本编码器键名适配 ComfyUI 的加载约定**：磁盘上存 `model.language_model.*` / `model.visual.*`（ComfyUI 加载时会自行再做一次前缀替换成 `model.*` / `visual.*`） 量化走 ComfyUI 内置的 `comfy_kitchen.tensor.TensorWiseINT8Layout`。 ## 精度 | 组件 | 层数 | 相对原权重的 cos 最小值 | |---|---|---| | DiT | 262 | 0.9999514 | | 文本编码器 | 249 | 0.9999564 | VAE 未做任何数值改动：与 diffusers 原实现逐像素对拍 **mse 7.0e-09**（fp32）。 （同一对拍下 bf16 会升到 3.5e-06，相差约 500 倍 —— 原始发行版就是 fp32。） ## 安装 **环境**：ComfyUI `>= 0.41.0`（需要 `comfy_kitchen` 的 int8 ConvRot 算子）。 **① 自定义节点** —— 把本仓库的 `custom_nodes/moss-image/` 整个文件夹复制到： ``` ComfyUI/custom_nodes/moss-image/ ``` 该插件由上游官方提供，仓库：[github.com/OpenMOSS/MOSS-Image](https://github.com/OpenMOSS/MOSS-Image) （`pyproject.toml` 里带 ComfyUI Registry 发布元数据，`PublisherId = "mosi"`， 也可以在 ComfyUI-Manager 里搜 MOSS-Image 装）。**本仓库收录的是原版，未做改动。** **② 模型文件** —— 下载后按 ComfyUI 的目录约定放置： | 文件 | 放到 | |---|---| | `moss_image_sft_int8_convrot.safetensors` | `ComfyUI/models/diffusion_models/` | | `moss_image_qwen35_9b_int8_convrot.safetensors` | `ComfyUI/models/text_encoders/` | | `moss_image_sft_vae.safetensors` | `ComfyUI/models/vae/` | **③ 工作流** —— 把 `workflows/MOSS-Image-SFT_int8.json` 拖进 ComfyUI 界面即可。 ## 工作流 ``` MOSSImageUNETLoader ──► ModelSamplingSD3 ──► SkipLayerGuidanceDiTSimple ──► ModelAttentionBackend ─┐ MOSSImageCLIPLoader ──► CLIPTextEncode ×2 ──────────────────────────────────────────────────────────┤ ResolutionSelector ───► EmptyFlux2LatentImage ──────────────────────────────────────────────────────┤ ▼ KSampler ──► VAEDecode ──► SaveImage ▲ VAELoader ──────┘ ``` 13 个节点全部是 **ComfyUI 官方核心节点**（`cnr_id: comfy-core`）， 只有两个 MOSS 专用加载器来自上面那个插件。 **工作流自带参数**（作者实测可用）： | 参数 | 值 | |---|---| | 画布 | `ResolutionSelector` → `9:16 (Portrait Widescreen)` / 2 MP / 倍数 16 = **1088×1936** | | 采样器 / 调度器 | `euler` / `sgm_uniform` | | 步数 / CFG | **20 / 5.0** | | Shift | **5.0** | | SLG | uncond skip layer **22** | | 注意力后端 | `comfy kitchen attention` | | seed | randomize | **官方示例的推荐参数**（原仓库 `example_workflows/moss-image-api.json`）为 50 步 / CFG 3.0，其余相同。两者都可用：官方 20 个示例中 19 个都是 50 步， 低步数 + 高 CFG 更快但细节更弱，按需取舍。 **默认提示词**（来自原仓库 `assets/prompt_defaults.txt`）： - 正向前缀：`best quality, masterpiece` - 负向：`nsfw, worst quality, bad anatomy, watermark, jpeg artifact` **提示词写法**：MOSS-Image 接受两种输入 —— 长 caption（普通场景，如摄影、插画、人物）； 或带空间布局的 JSON（需要精确控制文字位置、多格排版、物体关系时）。 原仓库内置了一个免训练的 prompt 增强 skill（`skills/moss-image-prompt-enhancer`）， 用 LLM 做布局规划、再由脚本把「左上原点的像素框」编译成模型要的 `abs_centralized` / `yxyx` 坐标。 ## 许可与致谢 - 原始模型：[openmoss/MOSS-Image-SFT](https://www.modelscope.cn/models/openmoss/MOSS-Image-SFT)，Apache License 2.0 - 原始代码与 ComfyUI 插件：[github.com/OpenMOSS/MOSS-Image](https://github.com/OpenMOSS/MOSS-Image)，Apache License 2.0 - 本仓库的转换 / 量化部分同样以 **Apache License 2.0** 分发，见 [LICENSE](./LICENSE) - 致谢原作者的 Diffusers / Qwen / FLUX 技术栈