---
title: Sophon-Realtime-32B-Flash
canonical_url: "https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Flash"
md_url: "https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Flash.md"
repository: AdventistsAI/Sophon-Realtime-32B-Flash
last_updated: 2026-11-08
pipeline_tag: text-to-speech
tasks:
  - text-to-speech
model_type:
  - sophon_realtime
architectures:
  - SophonRealtimeForConditionalGeneration
parameters: 35.9B
tensor_type:
  - BF16
  - F32
  - F8_E4M3
library_name:
  - safetensors
  - pytorch
frameworks:
  - pytorch
downloads: 14
stars: 0
---

# Sophon-Realtime-32B-Flash

> Sophon-Realtime-32B-Flash - AdventistsAI 在 ModelScope 开源的模型。Sophon-Realtime-32B-Flash

- **Repository**: AdventistsAI/Sophon-Realtime-32B-Flash
- **Tasks**: text-to-speech
- **Parameters**: 35.9B
- **Downloads**: 14
- **Stars**: 0
- **Last updated**: 2026-11-08

Source: https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Flash

---

# Sophon-Realtime-32B-Flash

全双工语音模型，整体作为**一个** vLLM-Omni 模型部署：听用户说话 → 写回复（可带声音标签 `[laughter]` `[cough]` `[sigh]` `[breath]`
`<laughter>…</laughter>` `<strong>…</strong>`）→ 边写边说。说话段每 80 毫秒出一帧声音，标签会被“演”出来，不会被念出来。

Flash 和 Tag 版共用同一个会写标签的思考器，区别在说话段：Flash 的说话段是自回归、每步一次前向的轻量结构，**首包更快、并发更高**；
Tag 版的笑更到位。两者接口相同。

## 智子实时语音 v1 系列

三个版本共用同一个大脑（同一个 32B 模型负责听、判断接话、写回复），区别只在回复怎么变成声音。完整对比见 [github.com/adventists-ai/sophon-realtime](https://github.com/adventists-ai/sophon-realtime/blob/main/README_CN.md)。

| | **Tag**（推荐） | **Flash** | **E2E**（预览） |
|---|---|---|---|
| 怎么出声 | 擅长表演的语音模型演出声音标签 | 更轻、更快的语音模型说出带标签的回复 | 32B 模型内部的说话头直接出声，不用单独的语音模型 |
| NVV-SuperBench（英 / 中） | **0.80 / 0.86** | 0.63 / 0.77 | 0.60 / 0.77 |
| 单路首包 | 约 0.6 s | **0.31 s** | 约 1 s |
| 每张 80 GB 卡建议并发 | 16 路 | **40 路** | 4–5 路 |
| 显卡 | 1 张 | 1 张 | 2 张 |
| 权重 | [Sophon-Realtime-32B-Tag](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Tag) | [Sophon-Realtime-32B-Flash](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Flash) | 新版本测试中，稍后发布 |

想让声音"会演"选 **Tag**；最看重延迟和单卡并发选 **Flash**。两者接口相同。

## 亮点

- **VoiceBench 82.8、Big Bench Audio 81.8%：开源全双工里最强的「大脑」。** 两项都是开源全双工模型第一，VoiceBench 与 GPT-4o-mini-Audio 持平。
- **副语言理解 48.6，综合第一：听得懂语气。** 在 LISTEN、StressTest、MSPB 公开基准上高于 Gemini 3.8 Flash（46.9）和 Qwen3-Omni（44.6）。它直接从声音里听出情绪、重音、反讽、笑声和叹气。
- **最快、并发最高：单路首包 0.31 秒，单卡建议 40 路并发。** 适合客服、车机这类要同时服务很多人的场景。
- **一样会笑、会清嗓子：NVV-SuperBench 中文 0.77、英文 0.63。** 和 Tag 版说同样的带标签回复，换成更轻、更快的声音模型。
- **Full-Duplex-Bench v3 工具调用 Pass@1 48%，高于 Grok（43%）；接话成功率 100%：能干活。** 支持 Live 模式，兼容 OpenAI GPT-Live 的接口格式。
- **真正的全双工。** 你说话的全程它都在听，回复边听边起草；你一停就接上，你插话它马上停下，你只是「嗯」一声附和它就接着说。
- **Apache-2.0，可以商用。** 也可以用 ms-swift 微调人设、口吻和领域知识。

评测方法和完整对比表见 [v1 系列主页](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-v1)。想直接试试：[魔搭创空间在线对话](https://www.modelscope.cn/studios/AdventistsAI/Sophon-Realtime)。

## 性能（单张 H100 80 GB，FP8 思考器，`/v1/chat/completions`，用户语音 → 首个声音块）

| 负载 | 首包 中位 / P90 | 卡顿（中位） |
|---|---|---|
| 1 路 | **0.31 / 0.34 秒** | 0 |
| 20 路（10 秒内陆续到达） | 0.45 / 0.52 秒 | 0.09 秒 |
| 40 路（10 秒内） | 0.58 / 0.67 秒 | 0.37 秒 |
| 64 路（8 秒内） | 0.84 / 1.03 秒 | 1.9 秒（开始排队） |

- **建议每张 80 GB 卡最多约 40 路并发。** 多卡：每张卡起一个实例，前面加负载均衡。
- 显存：每个实例约 55 GB。首次启动要编译内核（约 10 分钟），之后 5–8 分钟。

### 声音标签（留出集，Chelsie 音色，DuplexJev 判定；与 Tag 卡上的 AST 命中率口径不同，三个版本同口径对比见上方 NVV-SuperBench）

| 标签 | 中文 | 英文 |
|---|---|---|
| `[laughter]` 笑一声 | 83% | 77% |
| `<laughter>…</laughter>` 边笑边说 | 78% | 71% |
| `[cough]` 咳嗽 | 90% | 50%（8 句） |
| `[sigh]` 叹气（AST） | 90% | 100% |
| 平均字错率 | 0.9% | 1.0% |

- 标签从不被念出来；不写标签时基本不会乱笑。
- `<strong>` 重读这一版还很弱，下一版补。

## 部署代码
一键脚本与 vLLM-Omni 插件：[github.com/adventists-ai/sophon-realtime/tree/main/flash](https://github.com/adventists-ai/sophon-realtime/tree/main/flash)。本仓库只放权重：`config.json`、`thinker/`（FP8）、`talker/`、`voices/`。

## 快速上手

```bash
bash install.sh                 # 只需一次：Python 3.12 虚拟环境、vLLM 0.30、vLLM-Omni 0.30、插件（国内镜像：PIP_INDEX=https://pypi.tuna.tsinghua.edu.cn/simple）
# 把权重下载到 ./model（魔搭：modelscope download --model AdventistsAI/Sophon-Realtime-32B-Flash --local_dir ./model）
GPU=0 PORT=8000 bash start.sh
python client_example.py --wav 我的问题.wav --lang zh --voice chelsie
bash stop.sh
```

音色：`chelsie`（默认）、`brand`；语言用 `language` 指定（`zh` / `en`）。

## 接口说明
- `/v1/chat/completions`：系统提示请用 `config/system_prompt.json` 里的（模型按它调过，不带会少写标签）；用户语音放 `input_audio`；
  `"modalities": ["text","audio"]`，可选 `"voice"`、`"language"`。文字流保留标签（显示时可自行去掉）；音频流为 base64 WAV 块（24 kHz）。
- `/v1/realtime`：OpenAI Realtime 风格会话；持续发送 `input_audio_buffer.append`，话轮由模型自己判断。

## Live 模式（兼容 OpenAI GPT-Live）

在已经启动的引擎旁边再运行一条命令，就能用 OpenAI GPT-Live 协议接入：按 GPT-Live 写的客户端只要换地址和 key。智子负责听和说，遇到要查询、办事的请求，先说一句「我帮你查一下」，把任务交给你的后端，拿到结果后用自己的话说出来。

```bash
cd sophon-realtime/live && BUILD=flash PORT=8000 LIVE_PORT=8780 bash start_live.sh   # GPT-Live 客户端连 ws://HOST:8780/v1/live/sessions
```

说明和实测见 GitHub 仓库的 [live/](https://github.com/adventists-ai/sophon-realtime/blob/main/live/README_CN.md)。

## 微调

可以用 ms-swift 微调思考器的 LLM 主干（LoRA），改人设、口吻、领域知识和工具调用习惯；听觉、发声和接话判断保持不变，笑声、咳嗽等声音标签也会保留。一张 80 GB 显卡即可，步骤见 GitHub 仓库的 [finetune/](https://github.com/adventists-ai/sophon-realtime/blob/main/finetune/README_CN.md)。

## 目录
`model/`（思考器、说话段、音色）· `plugin/`（vLLM-Omni 插件 `sophon_realtime`）· `config/`（部署配置、系统提示、VAD）· `examples/`

许可：代码 Apache-2.0；模型权重 Apache-2.0，来源见 `NOTICE`。