---
title: tidewhisper-v2
canonical_url: "https://www.modelscope.cn/models/bm2410/tidewhisper-v2"
md_url: "https://www.modelscope.cn/models/bm2410/tidewhisper-v2.md"
repository: bm2410/tidewhisper-v2
last_updated: 2026-10-07
license: other
pipeline_tag: any-to-any
tasks:
  - any-to-any
base_model:
  - bm2410/tidewhisper-v15-vis
base_model_relation: finetune
parameters: 32.4B
tensor_type:
  - BF16
  - F32
library_name:
  - lora
  - safetensors
  - diffusers
  - gguf
language:
  - zh
  - en
downloads: 50
stars: 1
tags:
  - multimodal
  - vision-language
  - text-to-image
  - text-to-speech
  - tidewhisper
  - xiyu
  - chat
  - roleplay
  - agent
  - tool-calling
  - gguf
---

# tidewhisper-v2

> tidewhisper-v2 - bm2410 在 ModelScope 开源的模型。三塔合一的多模态 AI 套件 · 语言 + 图像 + 语音 · 单机可跑

bm2410/tidewhisper-v2 是 ModelScope 魔搭社区上的 32.4B 参数any-to-any模型，采用 other 许可，基于 bm2410/tidewhisper-v15-vis 构建。

- **Repository**: bm2410/tidewhisper-v2
- **License**: other
- **Tasks**: any-to-any
- **Parameters**: 32.4B
- **Base model**: bm2410/tidewhisper-v15-vis
- **Tags**: multimodal, vision-language, text-to-image, text-to-speech, tidewhisper, xiyu, chat, roleplay, agent, tool-calling, gguf
- **Downloads**: 50
- **Stars**: 1
- **Last updated**: 2026-10-07

Source: https://www.modelscope.cn/models/bm2410/tidewhisper-v2

---

# 汐语 TideWhisper v2

> 三塔合一的多模态 AI 套件 · 语言 + 图像 + 语音 · 单机可跑

**Built with Qwen**

一个自包含的多模态模型包：**一个语言塔**（含视觉理解）、**一个图像生成塔**、
**一个语音合成塔**，外加可选的知识库。所有塔按需挂载，显存不够就逐个换。

> ⚠️ **许可证说明**：本包为**混合许可**的多组件发行版。`imagegen/` 采用
> **Qwen Research License**（仅限研究/评估，商用须单独授权）；
> 其余组件（`core/`、`tts/`、`knowledge_base/`、脚本）为 **Apache-2.0**。
> 仓库级 license 字段标为 `other/qwen-research` 是为反映最严格的组件。
> 详见下方「组件与许可证」章节与 [NOTICE](NOTICE)。

---

## 📌 衍生模型声明

本包为**衍生模型（Derivative Model）**，不是任何上游模型的原始发布：

| 组件 | 与上游的关系 |
|---|---|
| `imagegen/` | 由 **Qwen-Image-2.1** 权重转换而来（格式转换 + 量化 + 接入改造），并沿用其文本编码器与 VAE → 构成衍生作品 |
| `tts/` | 由 **Qwen3-TTS** 系列权重构成，随包分发 |
| `core/` | 汐语团队自研训练的语言塔 + 视觉塔（非衍生） |

依 Qwen Research License Agreement 的要求，本包对外分发时标注
**"Built with Qwen"**；`imagegen/` 仅授权研究/评估用途，商用须单独取得商业授权。
详见 [NOTICE](NOTICE) 与「组件与许可证」章节。

---

## 📦 包内容

| 目录 | 内容 | 大小 | 显存 |
|---|---|---|---|
| `core/` | 语言塔 + 视觉塔（16.8B，混合线性注意力） | 32 GB | ~34 GB |
| `imagegen/` | 图像生成塔（7B DiT + 文本编码器 + VAE） | 25 GB | ~33 GB |
| `tts/` | 语音合成塔（base 声音克隆 + customvoice 预设音色 + voicedesign 音色设计） | 14 GB | ~9 GB（单变体） |
| `knowledge_base/` | 知识库（SQLite FTS5，可选） | 20 GB | 0（内存映射） |
| `assets/` | 参考音频等 | 125 KB | — |

**三塔可同时挂载**（约 76 GB 显存，需 A100 80G / H100 / MI300X 级别）；
**单卡 64 GB 也能跑**——用顺序换塔（见下文）。

---

## ⚙️ 硬件与环境

**已验证环境**：海光 DCU 单卡 64 GB（ROCm/DTK 26.04），PyTorch 2.9.0

```bash
pip install torch transformers>=5.0 accelerate diffusers>=0.41 \
            gguf safetensors einops loguru pillow numpy soundfile
# 可选加速（语言塔，显著提速）
pip install causal-conv1d flash-linear-attention
# 🔴 DCU/ROCm 上不要安装 torchvision（ABI 不匹配）
```

| 组件 | 最低 | 推荐 |
|---|---|---|
| 显存（单塔顺序跑） | 34 GB | 64 GB |
| 显存（三塔常驻） | 76 GB | 96 GB |
| 内存 | 32 GB | 64 GB |
| 磁盘 | 91 GB | 110 GB |

> 💡 磁盘需求含可选的知识库（20 GB）。若不需要知识库检索，
> 删除 `knowledge_base/` 后只需约 71 GB。

---

## 🚀 快速开始

```python
from tidewhisper_lite import TideWhisper

tw = TideWhisper(root="/path/to/tidewhisper-v2")

# 对话（自动挂载语言塔）
print(tw.chat("你是谁呀？"))

# 让模型自己决定画图 —— 工具调用全自动闭环
print(tw.chat("帮我画一只戴红色围巾的橘猫"))
print("产出：", tw.last_artifacts)

# 语音合成
print(tw.chat("把这句话读出来：今天天气真好"))
```

### 命令行

```bash
python tidewhisper_lite.py --ask "帮我画一只猫"    # 对话 + 自动工具
python tidewhisper_lite.py --draw "a cat on a sofa"  # 直接出图
python tidewhisper_lite.py --speak "你好"           # 直接合成语音
python tidewhisper_lite.py --search "西湖"          # 检索知识库
python tidewhisper_lite.py --speak "你好" --tts-variant customvoice  # 用预设音色
```

---

## 🎙️ 语音塔的三种变体

`tts/` 下随包提供三个变体，按用途选择：

| 变体 | 用途 | 用法 |
|---|---|---|
| `base` | **声音克隆**：给定一段参考音频，克隆其音色 | `tw.mount_tts("base")` + `speak(..., ref_audio=…)` |
| `customvoice` | **预设音色**：从固定 speaker 列表里选 | `tw.mount_tts("customvoice")` + `speak(..., speaker="serena")` |
| `voicedesign` | **音色设计**：用自然语言描述想要的音色 | `tw.mount_tts("voicedesign")` |

`base` 变体必须提供参考音频，解析顺序：
1. 显式传入的 `ref_audio`
2. `<root>/assets/ref_voice.wav`（仓库自带的默认音色参考）
3. 环境变量 `TIDEWHISPER_REF_AUDIO`

`customvoice` 的合法 speaker 名：
`aiden / dylan / eric / ono_anna / ryan / serena / sohee / uncle_fu / vivian / xiaoxiao / yunxi`

---

## 🔧 单卡 64 GB：顺序换塔

`core`(34 GB) + `imagegen`(33 GB) 无法同时驻留 64 GB 卡，用顺序切换：

```python
tw = TideWhisper(root=".")

# ① 语言塔：让模型输出工具调用
tw.mount_core()
reply = tw.chat("帮我画一只猫", auto_tools=False)   # 拿到模型的原始输出
from tidewhisper_lite import parse_tool_call
name, params = parse_tool_call(reply)               # -> ("generate_image", {...})

# ② 卸载语言塔，释放显存
tw.unmount("core")
import gc, torch; gc.collect(); torch.cuda.empty_cache()

# ③ 挂图像塔，执行模型刚给的调用
tw.mount_imagegen()
tw._exec_tool(name, params)
```

> 💡 实测：卸载后显存回到 67.6 GB，图像塔加载 297 s，出图 31 s/张。
> 做在线服务时，把「模型出 tool_call」和「执行工具」拆成两个请求即可。

---

## 🎭 内置人设与技能

**人设**：银发蓝瞳的猫娘「汐语」，性格傲娇、带一点雌小鬼式的口是心非。
优先级最高且独立 —— 即使调用方传入自己的 system prompt，身份口径也不会被覆盖。

**内置技能**（模板已声明，调用方**无需传 `tools`**）：

| 技能 | 触发场景 |
|---|---|
| `search_knowledge` | 需要事实依据的知识性问题 |
| `generate_image` | 用户明确要求画画 / 出图 |
| `text_to_speech` | 用户明确要求朗读 / 配音 |

⚠️ 模型**稳定输出 JSON 风格** `{"name":..,"arguments":{..}}`，而模板提示写的是 XML 风格。
调度器必须**双格式兼容**，否则工具不会被真正执行（只会打印成普通文本）。

---

## 🔍 知识库（`knowledge_base/`）

`knowledge_base/kb.sqlite` 是一个约 20 GB 的 SQLite FTS5 全文索引库。
默认以**只读 + 内存映射**方式打开，不占显存、不占常驻内存。

```python
tw.mount_kb()                      # 默认读 knowledge_base/kb.sqlite
for r in tw.search("西湖"):
    print(r["title"], r["text"][:120])
```

也可作为独立 HTTP 服务运行（见 `knowledge_base/README.md`）：

```bash
cd knowledge_base && bash start_server.sh
```

---

## 📋 组件与许可证

| 目录 | 来源 | 许可证 | 商用 |
|---|---|---|---|
| `core/` | **汐语团队自研** | Apache-2.0 | ✅ |
| `imagegen/` | Qwen-Image-2.1（衍生） | **Qwen Research License** | 🔴 **需单独授权** |
| `tts/` | Qwen3-TTS | Apache-2.0 | ✅ |
| `knowledge_base/` | 汐语团队构建 | Apache-2.0 | ✅（内容源各自许可） |
| `tidewhisper_lite.py` 等脚本 | 汐语团队 | Apache-2.0 | ✅ |

### 🔴 重要合规提示

**本包为衍生模型。** `imagegen/` 由 Qwen-Image-2.1 转换而来，该模型采用
Qwen Research License Agreement，仅授权「研究与评估」用途，
商用需向阿里云通义实验室单独申请商业授权。

- 若你把本包用于**个人学习、研究、评估** → 无限制
- 若你把本包**集成进商业产品或服务** → 需自行取得图像塔的商业授权，
  或替换图像塔为其他许可宽松的模型
- **对外分发本包或其产物时，须在产品文档中显式标注 `Built with Qwen`**
  （本 README 顶部已标注，请勿删除）
- 不得以 `Qwen` 作为本衍生模型的主要名称（`汐语 TideWhisper` 为描述性引用，不受限）

其余组件（语言塔、语音塔、知识库、脚本）均为 Apache-2.0，可自由商用。
`tts/` 保留上游 Qwen3-TTS 原始版权归属（Apache-2.0 §4(c)）。

---

## 🔬 已知特性与限制

- **注意力后端**：DCU/ROCm 上必须禁用 flash SDP，否则首次推理报
  `No matching libraries found for flash_attn_2_cuda*.so`（是 raise 不是降级）。
  编排脚本已在导入 torch 后全局处理，无需手动干预。
- **图像塔加载慢**：从机械盘/NFS 首次读取约 5-12 分钟（33 GB），
  命中页缓存后约 5 秒。
- **语音长度**：模型不会主动发 EOS，长文本会一路生成到上限。编排脚本已按
  文本长度估算 `max_new_tokens`（约 12 token/字 + 200 冗余）。
- **内容对齐**：语言塔对一般成人向文学创作**不拒答**；对危险品制作等
  违法内容**会拒答**。图像塔无内置门禁。请自行按当地法规使用与分发。
- **知识库**：`knowledge_base/` 为可选组件，缺失时 `search_knowledge` 技能
  不可用（其余功能正常）。

---

## 📄 引用

```
TideWhisper v2 — 汐语三塔多模态套件
作者：汐语 (xiyu) · 联系人 QQ 2143919078
```


---

## 📖 保姆级部署教程（推荐先看）

想把这套三塔模型真正跑起来？我们写了一篇**全平台保姆级部署教程**，
目标是「从没碰过这个模型的人，照着复制粘贴命令就能跑通」：

- **覆盖 9 类环境**：NVIDIA GPU、AMD GPU（ROCm）、海光 DCU、昇腾 NPU、
  摩尔线程、天数智芯、寒武纪、沐曦、以及**纯 CPU**
- **每章都有完整可运行代码**：语言塔（bf16 / int8 / int4）、三塔编排、
  单卡 64 GB 顺序换塔、OpenAI 兼容 API 服务
- **含真实集群踩坑记录**：glibc 2.17 破局、quanto 免编译方案、
  KV Cache 容量精算（44 KiB/token 公式）、OOM 定位与逐层加载
- **第 9 章排障手册**收录了真机遇到的全部报错与解法

👉 **[《汐语 TideWhisper v2 —— 全平台保姆级部署教程》](https://www.modelscope.cn/learn/437161)**

> 💡 只有一张 16 GB 显卡？直接跳到教程的「第 6 章 语言塔单独部署（int4 量化版）」，
> 那是本文验证最充分、门槛最低的一条路径。
