---
title: drvexo-4b-unified
canonical_url: "https://www.modelscope.cn/models/DRVEXOLLM/drvexo-4b-unified"
md_url: "https://www.modelscope.cn/models/DRVEXOLLM/drvexo-4b-unified.md"
repository: DRVEXOLLM/drvexo-4b-unified
chinese_name: DRVEXO-4B
last_updated: 2026-11-08
license: apache-2.0
pipeline_tag: any-to-any
tasks:
  - any-to-any
model_type:
  - drvexo_speech_qwen35_4b
architectures:
  - DRVEXOSpeechQwen35ForConditionalGeneration
parameters: 7.0B
tensor_type:
  - BF16
  - F32
library_name:
  - safetensors
language:
  - zh
  - en
downloads: 37
stars: 2
tags:
  - multimodal
  - vision-language
  - speech
  - text-to-speech
  - voice-cloning
  - safetensors
---

# drvexo-4b-unified

> drvexo-4b-unified - DRVEXOLLM 在 ModelScope 开源的模型。图文理解 · 语音交流 · 自定义声音 · 候选决策

DRVEXOLLM/drvexo-4b-unified 是 ModelScope 魔搭社区上的 7.0B 参数any-to-any模型，采用 apache-2.0 许可。

- **Repository**: DRVEXOLLM/drvexo-4b-unified
- **License**: apache-2.0
- **Tasks**: any-to-any
- **Parameters**: 7.0B
- **Tags**: multimodal, vision-language, speech, text-to-speech, voice-cloning, safetensors
- **Downloads**: 37
- **Stars**: 2
- **Last updated**: 2026-11-08

Source: https://www.modelscope.cn/models/DRVEXOLLM/drvexo-4b-unified

---

<div align="center">

<img src="media/drvexo-logo-white.png" alt="驭介智能 DRVEXO" width="720">

# drvexo-4b-unified

**图文理解 · 语音交流 · 自定义声音 · 候选决策**

驭介智能 · Yujie Intelligence

**简体中文** | [English](README_EN.md)

[Hugging Face 模型](https://huggingface.co/DRVEXO-LLM/drvexo-4b-unified) · [ModelScope 模型](https://modelscope.cn/models/DRVEXOLLM/drvexo-4b-unified)

[Hugging Face Space](https://huggingface.co/spaces/DRVEXO-LLM/drvexo-4b-demo) · [ModelScope 创空间](https://modelscope.cn/studios/DRVEXOLLM/drvexo-4b-demo) · [评测结果](#evaluations) · [模型亮点](#highlights) · [效果展示](#examples) · [快速开始](#quickstart) · [HTTP API](#http-api) · [许可](#license)

</div>

drvexo-4b-unified 是驭介智能开发的多模态交互模型，采用 **4B 语言主干**，将视觉理解、听觉输入、文字对话、语音生成和候选决策整合到一个可独立加载的完整模型包中。面向语音通信、智能外呼、语音控制与具身应用，提供本地 Python 与 vLLM-Omni 服务入口。

<a id="evaluations"></a>

## 评测结果

![DRVEXO 能力表现：指令遵循、数学推理、知识理解、视觉理解、图表理解、决策能力](media/public-benchmarks-single-radar-zh-20261107.png)

<details>
<summary>评测口径</summary>

能力轴分别对应 IFEval（严格题级，541 题）、MATH-500（500 题）、MMLU-Pro（按学科比例分层抽样的 3,000 题子集，2338/3000，77.93%）、MMMU（900 题 validation）、ChartQA（1,920 题 validation）和 JevBench（231 题公开子集）。知识理解采用长思考设置；77.93% 是子集实测结果，不代表 MMLU-Pro 全量成绩。各轴展示对应任务的实测分数。

</details>

### 吞吐与语音延迟

2026 年 11 月 7 日，NVIDIA DGX Spark / GB10 上的完整模型服务实测：

| 文本并发 | 总输出吞吐（token/s） | 首段文字中位数 |
| ---: | ---: | ---: |
| 1 | 24.02 | 58 ms |
| 8 | 185.17 | 143 ms |
| 32 | 601.55 | 361 ms |
| 128 | **1,378.94** | 806 ms |

首个音频块 **307–324 ms**，生成速度 **2.45–2.58 倍实时**，输出采样率 24 kHz。语音结果为独立流式测试，不代表 128 路并发语音或物理播放延迟。

<a id="highlights"></a>

## 模型亮点

- **视觉与语言交互**：支持图片问答、场景描述与可见信息提取，通过已提交的完整对话历史承接追问。
- **中英文语音交流**：支持音频输入、语音转写、文字回答与语音生成；流式文字和分块音频便于边接收边播放。
- **参考录音自定义声音**：使用已获授权的参考录音，为新的内容生成对应音色的语音，无需为每位说话人重新训练。
- **内置候选决策**：根据显式任务、背景和候选项直接评分，为客服跟进、语音控制和交互应用提供选择依据；实际执行由应用负责。
- **Tool call 与结构化输出**：生成工具调用，根据工具结果继续回答，并通过 JSON Schema 提取业务字段。
- **完整模型、统一入口**：视觉、听觉、语言、语音生成、声音参考与决策资源统一打包，支持独立加载和服务部署。

### 在线体验

[Hugging Face Space](https://huggingface.co/spaces/DRVEXO-LLM/drvexo-4b-demo)　|　[ModelScope 创空间](https://modelscope.cn/studios/DRVEXOLLM/drvexo-4b-demo)

提供文字与图片对话、麦克风和摄像头输入、流式朗读、参考声音、候选评分，以及可编辑的系统提示词。演示共享自托管服务，繁忙时按队列处理。仅提交非敏感内容和已获授权的录音。

通话信令、拨号、电话线路、音频播放和实际工具或设备执行由应用层提供。

<a id="examples"></a>

## 效果展示

### 图片理解 · 宇航员照片

<img src="media/astronaut.png" alt="身着橙色航天服的人物、前景头盔、美国国旗与航天器模型" width="512">

**用户：** 请具体描述这张照片中人物的服装、装备、姿态，以及背景中可见的物体。只依据画面，不要猜测人物姓名、拍摄日期或正在执行的任务。

**模型实际回答节选：**

> 人物穿着一件橙红色的宇航服，材质看似为光滑的合成纤维。
>
> 前景右下角放置一个黑色头盔，表面光滑反光，顶部有白色条纹，侧面可见银色固定装置。
>
> 人物正对镜头，头部略微前倾，面带微笑，表情自然。
>
> 左侧为一面美国国旗，星条旗清晰可见，悬挂于背景中。
>
> 右侧背景中有一枚航天器模型，主体为白色，带有棕色助推器，外形类似航天飞机。

图片来源：NASA，公有领域，由 scikit-image 分发。

### Tool call · 订单与双仓库存查询

![三次只读工具调用的真实记录回放](media/tool-replay-zh-20261107.gif)

**用户：** 查询演示订单 EX-20261107-01 的状态，同时比较杭州仓和上海仓 EXO-17 的可用库存。只做查询，不修改订单、不调货。

模型生成 **3 次工具调用**：查询订单状态，以及杭州、上海两仓库存。应用返回演示数据后，模型回答订单已出库、杭州仓可用库存 **18**、上海仓 **7**。使用本地合成业务数据，未连接真实订单系统或修改订单。

[打开交互式回放](media/interactive-showcase-20261107.html?demo=tool&lang=zh) · 支持暂停、重播与逐步查看，播放节奏不代表推理时延。

### JSON Schema · 嵌套订单字段提取

**用户：** 客户林舟订购 EXO-17 两件、EXO-23 一件，送到杭州，希望明天下午14:00–16:00送达。

按照预先提交的对象与数组 Schema，模型实际输出：

```json
{
  "customer": "林舟",
  "items": [
    {"sku": "EXO-17", "quantity": 2},
    {"sku": "EXO-23", "quantity": 1}
  ],
  "delivery": {"city": "杭州", "time_window": "14:00–16:00"}
}
```

输出通过本例 Schema 校验；时间字段保留时段，未解析“明天”的日期。

### Decision · 时间、偏好与授权边界

![四候选客服跟进方案评分的真实记录回放](media/decision-replay-zh-20261107.gif)

**背景：** 客户今天 18:00 后才方便接听电话，现在希望先收到邮件摘要；未授权下单或修改地址。

在四个候选方案中，模型选择 **“现在发送邮件摘要，18:00 后再按约电话跟进，不修改订单”**，候选概率 **99.42%**。其余候选分别为立即催促接听、擅自下单、擅自改地址。响应 `executable: false`，没有实际发送邮件、拨打电话或操作设备。

[打开交互式回放](media/interactive-showcase-20261107.html?demo=decision&lang=zh) · 候选概率不代表执行成功率。

### 默认声音 · 简短问候

你好，很高兴和你聊天。

<audio controls preload="none" src="media/greeting.wav"></audio>

[播放 / 下载](media/greeting.wav)

### 默认声音 · 西湖介绍

杭州西湖是中国著名的淡水湖泊，也是世界文化遗产和国家级风景名胜区。它以其“湖光山色”的绝美景色闻名，拥有苏堤春晓、断桥残雪等十处经典景观。每年吸引数百万游客前来欣赏其四季不同的自然风光与深厚的历史文化底蕴。

<audio controls preload="none" src="media/west-lake.wav"></audio>

[播放 / 下载](media/west-lake.wav)

以上音频为历史参考基线的实际默认音色样例；当前服务的自定义声音可在 Space 中上传授权录音体验。

<a id="quickstart"></a>

## 快速开始

### 下载模型

从 [Hugging Face](https://huggingface.co/DRVEXO-LLM/drvexo-4b-unified) 或 [ModelScope](https://modelscope.cn/models/DRVEXOLLM/drvexo-4b-unified) 下载完整模型包，任选一种方式：

```bash
# Hugging Face
python -m pip install -U huggingface_hub
hf download DRVEXO-LLM/drvexo-4b-unified --local-dir ./drvexo-4b-unified

# ModelScope
python -m pip install -U modelscope
modelscope download DRVEXOLLM/drvexo-4b-unified --local-dir ./drvexo-4b-unified
```

### 本地运行

准备 Linux / CUDA 环境与完整模型目录，先安装匹配 CUDA 的 PyTorch、torchaudio，再安装包内依赖：

```bash
cd /path/to/drvexo-4b-unified
python -m pip install -r requirements.txt

# 文本对话
python example.py chat --text "请介绍一下你自己。"

# 图片问答
python example.py chat --text "提取图中的时间、项目名称和数量。" --image image.jpg

# 语音转写
python example.py asr --audio input.wav

# 参考音频自定义声音
python example.py voice --text "你好，很高兴和你交流。" \
  --reference reference.wav --output output.wav
```

参考录音建议使用已获授权的 1–30 秒单声道语音。命令行聊天默认最多生成 128 个新 token；长回答可用 Python 显式设置预算：

```python
from pathlib import Path
from PIL import Image
from drvexo_unified import UnifiedModel

model = UnifiedModel(Path("."), device="cuda")
print(model.chat("请介绍一下你自己。", max_new_tokens=256)["text"])

image = Image.open("image.jpg").convert("RGB")
print(model.chat("请描述图片中的内容。", image=image, max_new_tokens=512)["text"])
```

### 启动 vLLM-Omni 服务

使用 **vLLM 0.33 与包含 DRVEXO 适配的源码**。先按目标平台准备匹配的 CUDA、PyTorch、vLLM 与源码依赖，再安装下列固定修订：

```bash
git clone --branch codex/drvexo-speech-general-20261030 \
  https://github.com/DRVEXO-LLM/vllm-omni.git drvexo-vllm-omni
cd drvexo-vllm-omni
git checkout 6d9c034aa37c0bdf6c2bbc5d4124ddb9c6630e83
python -m pip install --no-deps -e .

vllm serve /path/to/drvexo-4b-unified --omni \
  --deploy-config vllm_omni/deploy/drvexo_unified.yaml \
  --served-model-name drvexo-4b-unified \
  --host 127.0.0.1 --port 8091 \
  --enable-auto-tool-choice --tool-call-parser qwen3_xml
```

适配入口见 [PR #9645](https://github.com/vllm-project/vllm-omni/pull/9645)，请使用上述固定源码；不要默认标准发行版已经包含此适配。面向外网提供服务时，请配置认证与访问控制。

<a id="http-api"></a>

## HTTP API

OpenAI 兼容的文字 SSE 示例：

```bash
curl -N http://127.0.0.1:8091/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"drvexo-4b-unified","messages":[{"role":"user","content":"你好，请介绍一下自己。"}],"modalities":["text"],"max_tokens":256,"stream":true}'
```

文字与默认声音的分句语音一起流式返回：

```bash
curl -N http://127.0.0.1:8091/v1/drvexo/chat/stream \
  -H 'Content-Type: application/json' \
  -d '{"request":{"model":"drvexo-4b-unified","messages":[{"role":"user","content":"请简单介绍西湖。"}],"max_tokens":256},"audio_output":true,"speech_language":"Chinese"}'
```

| 接口 | 用途 |
| --- | --- |
| `POST /v1/chat/completions` | 文本、多轮、图片、语音输入；JSON Schema、工具调用 |
| `POST /v1/audio/speech` | 参考声音合成：`input`、`task_type:"Base"`、`ref_audio`、`x_vector_only_mode:true`、`response_format:"wav"` |
| `POST /v1/drvexo/speech` | 默认声音朗读：`text`、`language`；返回 WAV |
| `POST /v1/drvexo/speech/stream` | 指定文本分块语音 |
| `POST /v1/drvexo/chat/stream` | 模型回答的文字增量与默认音色分句语音 |
| `POST /v1/drvexo/decision` | 显式 `instruction`、`state`、`candidates` 与 `task` 的候选评分 |

图片使用 `image_url` 内容块，语音使用 `input_audio`；当前每次最多一图或一段音频，不支持视频。多轮历史通过 `messages` 传入。启用服务 API key 后，增加 `Authorization: Bearer <API_KEY>`。

标准聊天流为 SSE；DRVEXO 语音流为 NDJSON，逐行处理 `text` / `audio` / `done` / `error` 事件。`audio_data` 是独立 WAV 的 base64；`text_done` 只表示文字结束，应继续等待音频与最终 `done`。客户端负责音频播放、麦克风/VAD、工具执行和设备控制；决策评分不直接执行动作。


<a id="license"></a>

## 许可

开源 License：[Apache-2.0](LICENSE)。