---
title: Sophon-Realtime-32B-Tag
canonical_url: "https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Tag"
md_url: "https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Tag.md"
repository: AdventistsAI/Sophon-Realtime-32B-Tag
last_updated: 2026-11-07
license: apache-2.0
model_type:
  - sophon_realtime
architectures:
  - SophonRealtimeForConditionalGeneration
parameters: 34.3B
tensor_type:
  - F8_E4M3
  - BF16
library_name:
  - safetensors
  - onnx
language:
  - zh
  - en
downloads: 12
stars: 0
tags:
  - sophon
  - duplexjev
  - tag-tts
  - vllm-omni
  - realtime
  - full-duplex
  - speech-to-speech
---

# Sophon-Realtime-32B-Tag

> Sophon-Realtime-32B-Tag - AdventistsAI 在 ModelScope 开源的模型。Sophon-Realtime-32B-Tag

AdventistsAI/Sophon-Realtime-32B-Tag 是 ModelScope 魔搭社区上的 34.3B 参数机器学习模型，采用 apache-2.0 许可。

- **Repository**: AdventistsAI/Sophon-Realtime-32B-Tag
- **License**: apache-2.0
- **Parameters**: 34.3B
- **Tags**: sophon, duplexjev, tag-tts, vllm-omni, realtime, full-duplex, speech-to-speech
- **Downloads**: 12
- **Stars**: 0
- **Last updated**: 2026-11-07

Source: https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Tag

---

# Sophon-Realtime-32B-Tag

代码和一键部署：[github.com/adventists-ai/sophon-realtime/tree/main/tag](https://github.com/adventists-ai/sophon-realtime/tree/main/tag) · 听觉：[DuplexJev](https://github.com/adventists-ai/duplexjev) · 声音：[tag-tts](https://www.modelscope.cn/models/AdventistsAI/tag-tts)

**Sophon-Realtime 的 Tag 版：自己决定怎么说，单卡就能跑。** 32B 思考器边听边判断什么时候该接话，写回复时顺手写上声音标签——说笑话后笑一声、听到坏消息叹口气、重读关键的词；流式的 tag-tts 在回复还没写完时就把这些标签演出来。标签不会被念出来，文字流里也会去掉。

整个系统是**一个 vLLM-Omni 模型**：思考器 → tag-tts 说话段 → flow + HiFT 声码器，跑在一张 80 GB 显卡上。


## 部署（单卡，一条命令）

```bash
git clone https://github.com/adventists-ai/sophon-realtime && cd sophon-realtime/tag
bash install.sh                 # Python 3.12 虚拟环境、vLLM 0.30、vLLM-Omni 0.30、插件，并下载本仓库权重（约 42 GB）
GPU=0 PORT=8000 bash start.sh   # 首次启动 15–20 分钟（编译内核、建 TensorRT 引擎），之后 5–8 分钟
python client_example.py --wav 我的问题.wav --lang zh --voice vivian_zh
```

- 接口：`ws://HOST:8000/v1/realtime`（全双工：话轮、打断、附和）、`POST /v1/chat/completions`（语音进 → 文字 + 语音流）。
- 国内镜像：`PIP_INDEX=https://pypi.tuna.tsinghua.edu.cn/simple bash install.sh`。
- 音色：`vivian_zh`（中文默认）、`ryan_en`（英文默认）、`brand_zh`、`brand_en`。
- 硬件：一张 80 GB 显卡（H100 / H800 / A100 80G），每个实例约 65 GB 显存。

## 性能（单张 H100 80 GB 实测）

| 并发（10 秒内陆续到达） | 首包 中位 / 最慢 | 卡顿（中位） |
|---|---|---|
| 1 路 | 0.67 秒 | 约 0 |
| 8 路 | 0.61 / 0.76 秒 | 0 |
| **16 路** | **0.75 / 1.07 秒** | 0.06 秒 |
| 24 路 | 1.36 / 2.11 秒 | 0.39 秒（开始排队） |

- 全双工：用户说完到听到声音约 0.7 秒。
- **建议每张卡最多 16 路并发。** 多卡：每张卡起一个实例，前面加负载均衡，容量基本按卡数线性增长；CPU 不是瓶颈（16 路时每个实例约 1.5 核）。

## 声音标签

`[laughter]`、`[breath]`、`[sigh]`、`[cough]`、`<laughter>…</laughter>`（边笑边说）、`<strong>…</strong>`（重读）。文字流式送入时，标签按整块交给声音模型，与训练时一致。

写了标签时听到对应声音的比例（96 句测试 × 2 轮，经完整服务管线，AST 检测；每类 8–12 句，差 1 句约 10 个点）：

| | 叹气 | 吸气 | 咳嗽 | 笑 |
|---|---|---|---|---|
| 本版本 | 25% | 50% | 33% | 42% |
| 参考：tag-tts 标准渲染（同一声音模型） | 42% | 50% | 33% | 50% |

## 组成

| 目录 | 内容 | 许可 |
|---|---|---|
| `thinker/` | DuplexJev-32B-Para v1.5，已合并写标签能力，FP8（含视觉塔） | Apache-2.0 |
| `talker/` | tag-tts：语言模型 + 蒸馏 flow（4 步、无 CFG）+ HiFT；基于 Fun-CosyVoice3-0.5B | Apache-2.0 |
| `voices/` | 四个参考音色（原声 + 预计算提示） | Apache-2.0 |

## 局限

- `[sigh]` 和 `<laughter>…</laughter>` 仍偏弱，思考器写得比声音演得多。
- 蒸馏 flow 下中文清晰度略低于英文；笑声有时会被语音识别转写成“哈哈”。
- 单轮超过约一分钟的超长回复，超出了声音模型的训练范围。