--- title: SenseNova-U1-A3B-MoT-SFT canonical_url: "https://www.modelscope.cn/models/smthem/SenseNova-U1-A3B-MoT-SFT" md_url: "https://www.modelscope.cn/models/smthem/SenseNova-U1-A3B-MoT-SFT.md" repository: smthem/SenseNova-U1-A3B-MoT-SFT last_updated: 2026-05-15 license: "Apache License 2.0" pipeline_tag: any-to-any tasks: - any-to-any base_model: - SenseNova/SenseNova-U1-A3B-MoT-SFT base_model_relation: quantized parameters: 38.7B tensor_type: - BF16 library_name: - safetensors - gguf - pytorch frameworks: - Pytorch downloads: 207 stars: 5 tags: - "合并及量化" --- # SenseNova-U1-A3B-MoT-SFT > SenseNova-U1-A3B-MoT-SFT - smthem 在 ModelScope 开源的模型。基于SenseNova-U1-A3B-MoT-SFT的合并模型和gguf量化模型 Q4的部分层量化策略须改动，目前的Q4出图质量一般 此模型测试可以基于官方gguf的加载代码，或者我的comfyUI插件测试 单层卸载 moe的显存占用5G，内存较大，须48G以上 smthem/SenseNova-U1-A3B-MoT-SFT 是 ModelScope 魔搭社区上的 38.7B 参数any-to-any模型，采用 Apache License 2.0 许可，基于 SenseNova/SenseNova-U1-A3B-MoT-SFT 构建。 - **Repository**: smthem/SenseNova-U1-A3B-MoT-SFT - **License**: Apache License 2.0 - **Tasks**: any-to-any - **Parameters**: 38.7B - **Base model**: SenseNova/SenseNova-U1-A3B-MoT-SFT - **Tags**: 合并及量化 - **Downloads**: 207 - **Stars**: 5 - **Last updated**: 2026-05-15 Source: https://www.modelscope.cn/models/smthem/SenseNova-U1-A3B-MoT-SFT --- # 基于SenseNova-U1-A3B-MoT-SFT的合并模型和gguf量化模型 * Q4的部分层量化策略须改动，目前的Q4出图质量一般 * 此模型测试可以基于官方gguf的加载代码，或者我的comfyUI插件测试 * 单层卸载 moe的显存占用5G，内存较大，须48G以上 # 以下为原始项目页的部分内容，感谢商汤日日新开源此项目 # SenseNova-U1：基于 NEO-unify 架构统一多模态理解与生成 SenseNova U1 是一系列原生多模态模型，通过单一架构统一了多模态理解、推理和生成。 它标志着多模态 AI 的根本性范式转变：从模态集成迈向真正的统一。SenseNova U1 模型无需依赖适配器在模态间进行转换，而是原生地在语言与视觉之间进行思考与行动。 在一个端到端架构中统一视觉理解与生成（从像素到文字）开启了巨大的可能性，从而以原生多模态的方式实现高度高效且强大的理解、生成及交错推理能力。 其中，SFT 模型（×32 下采样率）经过理解预热（Understanding Warmup）、生成预训练（Generation Pre-training）、统一中期训练（Unified Mid-training）和统一监督微调（Unified SFT）训练而成，最终模型则在首轮 T2I 强化学习（RL）训练后获得。 尽管按当今标准这些模型相对紧凑，但已在多种任务上展现出强劲性能，媲美商业模型，同时具备优异的成本效益。值得注意的是，未来计划推出更大规模的版本，以进一步提升能力和性能。 SenseNova U1 的核心是 NEO-unify，这是一种为多模态 AI 从第一性原理出发设计的全新架构：它消除了视觉编码器（VE）和变分自编码器（VAE），因为像素与文字信息在此架构中本质上深度关联。 其若干重要特性如下： 🔗 将语言与视觉信息端到端地建模为统一的复合体。 🖼️ 在保持像素级视觉保真度的同时，保留语义丰富性。 🧠 通过原生 MoT（Mixture of Tokens）机制，高效且低冲突地进行跨模态推理。 ✨ 此架构解锁的能力： 依托这一全新核心架构，SenseNova U1 在多模态学习中实现了卓越的效率： 左图：在 OneIG（EN, ZH）、LongText（EN, ZH）、BizGenEval（Easy, Hard）、CVTG 和 IGenBench 上的生成延迟与平均性能对比。 右图：在信息图表基准（即 BizGenEval（Easy, Hard）和 IGenBench）上的生成延迟与平均性能对比。 🏆 开源领域理解与生成的 SOTA：SenseNova U1 为统一的多模态理解与生成树立了新标杆，在广泛的开源模型中，于多项理解、推理和生成基准上均达到当前最优性能。 📖 原生交错式图文生成：SenseNova U1 能够通过单一模型以连贯的方式生成交错排列的文本与图像，支持如实用指南、旅行日记等应用场景，将清晰的信息传达与生动的叙事相结合，并将复杂信息转化为直观的视觉内容。 📰 高密度信息渲染：SenseNova U1 在密集型视觉传达方面展现出强大能力，可生成结构丰富的知识图解、海报、演示文稿、漫画、简历及其他信息密集型格式的布局。 # 下载方式 SDK下载 ```bash #安装ModelScope pip install modelscope ``` ```python #SDK模型下载 from modelscope import snapshot_download model_dir = snapshot_download('smthem/SenseNova-U1-A3B-MoT-SFT') ``` Git下载 ``` #Git模型下载 git clone https://www.modelscope.cn/smthem/SenseNova-U1-A3B-MoT-SFT.git ```

如果您是本模型的贡献者，我们邀请您根据模型贡献文档，及时完善模型卡片内容。