---
title: MiniCPM-4.5-fyg
canonical_url: "https://www.modelscope.cn/models/fyg0518/MiniCPM-4.5-fyg"
md_url: "https://www.modelscope.cn/models/fyg0518/MiniCPM-4.5-fyg.md"
repository: fyg0518/MiniCPM-4.5-fyg
chinese_name: "MiniCPM-o 4.5语音对话模型"
last_updated: 2026-03-25
license: "Apache License 2.0"
pipeline_tag: multimodal-dialogue
tasks:
  - multimodal-dialogue
model_type:
  - minicpmo
architectures:
  - MiniCPMO
base_model:
  - Qwen/Qwen3-8B
  - google/siglip2-so400m-patch16-512
  - openai-mirror/whisper-medium
base_model_relation: adapter
parameters: 9.4B
tensor_type:
  - BF16
library_name:
  - safetensors
  - pytorch
frameworks:
  - PyTorch
language:
  - zh
inference_backends:
  - "deploy_task vlm"
  - "sglang 0.5.2"
  - "vllm 0.9.2"
downloads: 39
stars: 2
---

# MiniCPM-4.5-fyg

> MiniCPM-4.5-fyg - fyg0518 在 ModelScope 开源的模型。#由B站UP主：老付聊AI上传，主要用于粉丝使用老付开发的VCP或comfyui的插件通过API调用。

fyg0518/MiniCPM-4.5-fyg 是 ModelScope 魔搭社区上的 9.4B 参数multimodal-dialogue模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen3-8B、google/siglip2-so400m-patch16-512、openai-mirror/whisper-medium 构建，可用 deploy_task vlm、sglang 0.5.2、vllm 0.9.2 部署。

- **Repository**: fyg0518/MiniCPM-4.5-fyg
- **License**: Apache License 2.0
- **Tasks**: multimodal-dialogue
- **Parameters**: 9.4B
- **Base model**: Qwen/Qwen3-8B, google/siglip2-so400m-patch16-512, openai-mirror/whisper-medium
- **Inference backends**: deploy_task vlm, sglang 0.5.2, vllm 0.9.2
- **Downloads**: 39
- **Stars**: 2
- **Last updated**: 2026-03-25

Source: https://www.modelscope.cn/models/fyg0518/MiniCPM-4.5-fyg

---

#由B站UP主：老付聊AI上传，主要用于粉丝使用老付开发的VCP或comfyui的插件通过API调用。

# MiniCPM-o 4.5

一款达到 Gemini 2.5 Flash 级别的多模态大语言模型（MLLM），可实现视觉、语音和全双工多模态实时流式交互

---

## MiniCPM-o 4.5 介绍

**MiniCPM-o 4.5** 是 MiniCPM-o 系列中最新且功能最强大的模型。该模型基于 SigLip2、Whisper-medium、CosyVoice2 和 Qwen3-8B 构建，采用端到端架构，总参数量为 9B。它在性能上实现了显著提升，并引入了全双工多模态实时流式交互的新功能。MiniCPM-o 4.5 的主要特性包括：

- 🔥 **领先的视觉能力**
  MiniCPM-o 4.5 在 OpenCompass 综合评估中（涵盖 8 个主流基准测试）平均得分为 77.6。**仅凭 9B 参数量，它在视觉 - 语言能力上超越了 GPT-4o、Gemini 2.0 Pro 等广泛使用的专有模型，并接近 Gemini 2.5 Flash 的水平**。该模型在单一模型中支持指令（instruct）和思考（thinking）两种模式，更好地覆盖不同用户场景下的效率与性能权衡。

- 🎙 **强大的语音能力**
  MiniCPM-o 4.5 支持**中英双语实时语音对话，可配置音色**。它具有**更自然、更有表现力、更稳定的语音对话能力**。该模型还支持一些有趣的功能，如**通过简单参考音频片段实现声音克隆和角色扮演**，其克隆表现超越了 CosyVoice2 等强大的 TTS 工具。

- 🎬 **全新的全双工和主动式多模态实时流式交互能力**
  作为一项新功能，MiniCPM-o 4.5 可以端到端地同时处理实时连续的視頻和音频输入流，并生成并发的文本和语音输出流，且互不阻塞。这使得 MiniCPM-o 4.5 能够**同时看、听、说**，创造流畅的实时全模态对话体验。除了被动响应外，该模型还能进行**主动交互**，例如基于对实时场景的持续理解发起提醒或评论。

- 💪 **强大的 OCR 能力、效率及其他特性**
  继承 MiniCPM-V 系列的主流视觉能力，MiniCPM-o 4.5 可以高效处理**高分辨率图像**（高达 180 万像素）和**高帧率视频**（高达 10fps），支持任意宽高比。它在 OmniDocBench 上实现了**端到端英文文档解析的最先进性能**，优于 Gemini-3 Flash 和 GPT-5 等专有模型，以及 DeepSeek-OCR 2 等专用工具。它还具有**可信赖的行为**，在 MMHal-Bench 上与 Gemini 2.5 Flash 相当，并支持**30 多种语言的多语言能力**。

- 💫 **易于使用**
  MiniCPM-o 4.5 可以通过多种方式使用：**基本用法（推荐用于 100% 精度）**：使用 Nvidia GPU 进行 PyTorch 推理。**其他终端适配**包括：(1) llama.cpp 和 Ollama 支持，可在本地设备上进行高效的 CPU 推理；(2) 16 种尺寸的 int4 和 GGUF 格式量化模型；(3) vLLM 和 SGLang 支持，实现高吞吐量和内存高效的推理；(4) FlagOS 支持统一的多芯片后端插件。**我们还开源了网页演示**，可在本地设备（如 GPU、PC，包括 MacBook）上**实现全双工多模态实时流式交互体验**。

**模型架构**
- **端到端全模态架构**：模态编码器/解码器和 LLM 通过隐藏状态以端到端方式密集连接。这使得信息流和控制更加顺畅，也有助于在训练期间充分利用丰富的多模态知识。
- **全双工全模态实时流式机制**：(1) 我们将离线模态编码器/解码器转变为在线全双工版本，用于流式输入/输出。语音 token 解码器以交错方式建模文本和语音 token，支持全双工语音生成（即与新输入同步）。这也有助于更稳定的长语音生成（如>1 分钟）。(2) **我们在时间线上以毫秒级同步所有输入和输出流**，通过时分复用（TDM）机制在 LLM 主干中联合建模，用于全模态流式处理。它在小的周期性时间片内将并行全模态流划分为顺序信息组。
- **主动交互机制**：LLM 持续监控输入的视频和音频流，并以 1Hz 的频率决定是否说话。这种高决策频率与全双工特性对于实现主动交互能力至关重要。
- **可配置的语音建模设计**：我们继承了 MiniCPM-o 2.6 的多模态系统提示词设计，包括传统的文本系统提示词和新的音频系统提示词（用于确定助手声音）。这使得在推理时可以克隆新声音并进行角色扮演语音对话。
