---
title: Sophon-Realtime-4B-E2E
canonical_url: "https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-4B-E2E"
md_url: "https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-4B-E2E.md"
repository: AdventistsAI/Sophon-Realtime-4B-E2E
chinese_name: "智子实时语音-4B-E2E"
last_updated: 2026-11-16
license: apache-2.0
model_type:
  - sophon_realtime
architectures:
  - SophonRealtimeForConditionalGeneration
parameters: 5.8B
tensor_type:
  - F32
  - BF16
library_name:
  - safetensors
language:
  - zh
  - en
downloads: 44
stars: 0
tags:
  - sophon-realtime
  - full-duplex
  - speech-to-speech
  - realtime
  - paralinguistic
  - vllm-omni
---

# Sophon-Realtime-4B-E2E

> Sophon-Realtime-4B-E2E - AdventistsAI 在 ModelScope 开源的模型。智子实时语音 Sophon-Realtime-4B-E2E

AdventistsAI/Sophon-Realtime-4B-E2E 是 ModelScope 魔搭社区上的 5.8B 参数机器学习模型，采用 apache-2.0 许可。

- **Repository**: AdventistsAI/Sophon-Realtime-4B-E2E
- **License**: apache-2.0
- **Parameters**: 5.8B
- **Tags**: sophon-realtime, full-duplex, speech-to-speech, realtime, paralinguistic, vllm-omni
- **Downloads**: 44
- **Stars**: 0
- **Last updated**: 2026-11-16

Source: https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-4B-E2E

---

# 智子实时语音 Sophon-Realtime-4B-E2E

> **没有显卡？** 可以直接用在线 API：[注册](https://api.adventists.cn/console/)就送 3 小时免费对话（兼容 OpenAI Realtime，[文档](https://api.adventists.cn/console/docs)）。

**版本 1.4.0**（2026-11-16）· [更新记录](https://github.com/adventists-ai/sophon-realtime/blob/main/CHANGELOG.md) · [GitHub](https://github.com/adventists-ai/sophon-realtime)

Sophon-Realtime 家族的 4B 成员：和 32B 版同样的全双工设计，**一张 32 GB 卡（占用约 31 GB）**就能跑。它在你说话时一直在听，从你的声音里判断你说完没有，
写出带声音标签（`[laughter]` `[cough]` `[sigh]` `[breath]` `<strong>…</strong>`）的回复，边写边说；约 3.5 亿参数的小说话头直接把带标签的回复变成声音向量，再由解码器出声。
以**一个** vLLM-Omni 模型提供服务，接口为 `/v1/realtime` 和 `/v1/chat/completions`。

## 4B 系列：三个版本，同一个 4B 大脑

| | **Tag** | **Flash** | **E2E** |
|---|---|---|---|
| 怎么出声 | 表现力强的发声模型（tag-tts）把声音标签演出来 | 更轻更快的发声模型念出带标签的回复（每 80 ms 一帧，一次前向） | 约 3.5 亿参数的小说话头直接把带标签的回复变成声音向量，再由解码器出声 |
| 硬件 | 一张 32 GB 卡（占用约 27 GB） | 一张 24 GB 卡（占用约 21 GB） | 一张 32 GB 卡（占用约 31 GB） |
| Full-Duplex-Bench v1.0（4 项平均） | 94.3 | 87.7 | 92.3 |
| 单路首包（RTX PRO 6000） | 0.4 秒 | 0.21 秒 | 0.31 秒 |
| 权重 | [魔搭](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-4B-Tag) · [HF](https://huggingface.co/adventists-ai/Sophon-Realtime-4B-Tag) | [魔搭](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-4B-Flash) · [HF](https://huggingface.co/adventists-ai/Sophon-Realtime-4B-Flash) | [魔搭](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-4B-E2E) · [HF](https://huggingface.co/adventists-ai/Sophon-Realtime-4B-E2E) |

4B 大脑是我们开源的 4B 语音模型 [DuplexJev-4B-Para](https://www.modelscope.cn/models/AdventistsAI/DuplexJev-4B-Para)，合并了写标签的适配器。只支持语音，4B 大脑没有视觉。
需要最强的回答能力，请用 32B 版（[Tag](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Tag) · [Flash](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Flash) · [E2E](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-E2E)）或[在线 API](https://api.adventists.cn/console/)。

## 评测

| | 4B | 32B（已公布） |
|---|---|---|
| VoiceBench 总分 | 62.4 | 82.8 |
| Big Bench Audio（说出来的答案转写后判） | 44.3% | 81.8% |
| Full-Duplex-Bench v1.0，E2E 版（2 项停顿、接话、打断，平均） | 92.3 | 94.0 |
| 留出对话的声音标签比例（标准答案 0.36） | 0.36 | — |

**4B 适合做什么。** 4B 大脑保留了这个家族的对话能力：边听边判断你说完没有、附和、被打断就停、声音标签（Full-Duplex-Bench 接近 32B 版，标签比例和标准答案一样）。它的知识和推理比 32B 弱很多（VoiceBench 62.4 对 82.8，Big Bench Audio 44.3% 对 81.8%），会很自信地说错事实。适合本地演示、陪伴和角色对话、话轮研究；需要回答准确时请用 32B 版或在线 API。在开源全双工模型里，它的 VoiceBench 高于 Freeze-Omni（55.2）和 Moshi（29.5），低于 MiniCPM-o（71.2）。

<sub>2026-11-16 在一张 RTX PRO 6000 上测，每个版本限制在它对应显卡的显存内。VoiceBench：官方评测器，gpt-4o-mini 裁判，AlpacaEval 用标准 199 题子集，总分为 9 项平均。Big Bench Audio：1000 题，GPT-4.1 判语音回答的转写。Full-Duplex-Bench v1.0：candor / 合成停顿、接话、用户打断四项平均（附和单列，不计入平均），和 32B 发布时同一套脚本。首包：单用户，`client_example.py`，6 次中位数。32B 一栏是 32B 版已公布的数字。</sub>

## 快速上手

```bash
git clone https://github.com/adventists-ai/sophon-realtime && cd sophon-realtime/e2e
SIZE=4B bash install.sh          # 一次性：Python 3.12 环境、vLLM 0.30、vLLM-Omni 0.30、插件，并把本仓库权重下到 ./model
GPU=0 PORT=8000 bash start.sh    # 识别到 4B 模型会自动用 32 GB 卡的配置
python client_example.py --url http://127.0.0.1:8000
```

完整说明、实时协议、零样本音色克隆和 Live 模式见 [e2e/README_CN.md](https://github.com/adventists-ai/sophon-realtime/blob/main/e2e/README_CN.md)。

## 目录
`config.json` · `thinker/` (4B, bf16), `talker220/`, `e2/`, `voices/`

许可：Apache-2.0，内含权重的来源见 `NOTICE`。**只能克隆你自己的声音或已获授权的声音。**
