--- title: WorldSeek-Omni-2B-Preview canonical_url: "https://www.modelscope.cn/models/WorldSeek-AI/WorldSeek-Omni-2B-Preview" md_url: "https://www.modelscope.cn/models/WorldSeek-AI/WorldSeek-Omni-2B-Preview.md" repository: WorldSeek-AI/WorldSeek-Omni-2B-Preview chinese_name: WorldSeek-Omni-2B-Preview last_updated: 2026-05-22 license: "Apache License 2.0" pipeline_tag: image-text-to-text tasks: - image-text-to-text model_type: - worldseek_omni architectures: - WorldSeekOmniForConditionalGeneration base_model: - Qwen/Qwen3.5-2B - Qwen/Qwen3-ASR-1.7B base_model_relation: adapter parameters: 3.0B tensor_type: - BF16 library_name: - safetensors - pytorch frameworks: - PyTorch downloads: 18 stars: 4 tags: - transformers - safetensors - pytorch - worldseek-omni - omni - multimodal - audio - image - video - text --- # WorldSeek-Omni-2B-Preview > WorldSeek-Omni-2B-Preview - WorldSeek-AI 在 ModelScope 开源的模型。WorldSeek-Omni-2B-Preview WorldSeek-AI/WorldSeek-Omni-2B-Preview 是 ModelScope 魔搭社区上的 3.0B 参数image-text-to-text模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen3.5-2B、Qwen/Qwen3-ASR-1.7B 构建。 - **Repository**: WorldSeek-AI/WorldSeek-Omni-2B-Preview - **License**: Apache License 2.0 - **Tasks**: image-text-to-text - **Parameters**: 3.0B - **Base model**: Qwen/Qwen3.5-2B, Qwen/Qwen3-ASR-1.7B - **Tags**: transformers, safetensors, pytorch, worldseek-omni, omni, multimodal, audio, image, video, text - **Downloads**: 18 - **Stars**: 4 - **Last updated**: 2026-05-22 Source: https://www.modelscope.cn/models/WorldSeek-AI/WorldSeek-Omni-2B-Preview --- # WorldSeek-Omni-2B-Preview

语言: 简体中文 | English

WorldSeek logo

WorldSeek-Omni 首图

> [!Note] > 本仓库包含 WorldSeek-Omni-2B-Preview 的模型权重、配置文件与推理脚本。 > > 当前版本为 preview 发布，适合研究、评估和开发集成。正式版本的完整评测结果、数据说明与模型卡信息将在后续补充。 > > WorldSeek-Omni-2B-Preview 是 WorldSeek-Omni-2B 的早期检查点版本，完整训练流程尚未结束；当前能力与评测结果应按 preview 阶段表现理解，不代表最终模型性能。 WorldSeek-Omni-2B-Preview 是一个基于 Qwen3.5-2B 与 Qwen3-ASR-1.7B 构建的 Omni 模型。模型保留 Qwen3.5-2B 的文本与视觉语言能力，并接入 Qwen3-ASR-1.7B 的 AuT 音频编码器，使其能够处理语音输入和语音识别任务。 ## 资源 - 官网: https://www.worldseek-ai.com/ - ModelScope: https://modelscope.cn/models/WorldSeek-AI/WorldSeek-Omni-2B-Preview - Hugging Face: https://huggingface.co/WorldSeek-AI/WorldSeek-Omni-2B-Preview - GitHub: https://github.com/WorldSeek-AI/WorldSeek-Omni-2B-Preview ## 模型特点 - **Omni 输入能力**：支持文本、图像和音频输入；视频输入可在支持相应多模态消息格式的 serving backend 中按 Qwen3.5 方式接入。 - **Qwen3.5-2B 语言与视觉底座**：文本、图像和 OpenAI-compatible 多模态消息格式延续 Qwen3.5 系列用法。 - **Qwen3-ASR-1.7B 音频塔**：音频编码路径来自 Qwen3-ASR-1.7B，并通过 WorldSeek-Omni 适配到 Qwen3.5-2B 语言模型。 - **中英文语音识别**：当前 preview 版本主要面向中文和英文语音识别，效果仍在持续优化中；后续版本将扩展更多语种能力。 - **双路由推理**：`omni` 用于基础 Omni 路径，`asr` 用于启用 ASR LoRA 的语音识别路径。 - **多种推理入口**：提供 vLLM OpenAI-compatible serving，以及独立的 Hugging Face 本地 CLI / FastAPI serving 脚本。 ## 架构特性 WorldSeek-Omni-2B-Preview 将 Qwen3-ASR-1.7B 的 AuT 音频编码器（Qwen3-AuT-300M）与 Qwen3.5-2B 的语言/视觉底座结合。音频输入先由 AuT 编码为语音表示，再通过 WorldSeek-Omni 的适配层接入 Qwen3.5-2B 的语言模型，从而在保留 Qwen3.5 文本与视觉语言能力的同时，支持语音输入和 ASR 解码。

WorldSeek-Omni 架构图

## 模型概览 | 特性 | 值 | |---|---| | 类型 | Omni / 多模态因果语言模型 | | 参数规模 | 2B | | 语言与视觉底座 | Qwen3.5-2B | | 音频编码器 | Qwen3-AuT-300M | | 最大序列长度 | 262144 | | 最大音频输入支持 | 60s | | 支持的输入类型 | 文本、图像、视频、音频 | | 当前 ASR 语言 | 中文、英文 | | 推理路由 | `omni`、`asr` | | 支持的推理后端 | vLLM (v0.21.0) / Hugging Face Transformers (>=4.57.0) | | 发布状态 | Preview / 早期检查点 | | 许可协议 | Apache 2.0 | ## Benchmark 结果 以下图表汇总当前 preview 阶段的 benchmark 结果。ASR 项目按数据集口径展示 CER / WER；文本、图像与视频项目展示 accuracy 类分数，数值越高越好。由于本版本仍是早期检查点，这些结果应理解为阶段性表现，而非最终模型性能。 ### ASR Benchmark ![ASR benchmark 对比图](./image/ASR-ZH.png) ### 文本、图像与视频 Benchmark ![文本、图像与视频 benchmark 对比图](./image/T-V-ZH.png) ## 环境安装 推荐使用独立 Python 环境。vLLM serving 路径请安装 `vLLM 0.21.0` 或兼容版本，并参考 vLLM 官方安装文档选择与本机 CUDA / PyTorch 匹配的构建。 ```bash # vLLM serving pip install "vllm>=0.21.0" ``` 如果需要运行 vLLM 请求示例脚本，还需安装： ```bash pip install requests ``` Hugging Face 本地推理需要以下基础依赖： ```bash pip install torch "transformers>=4.57.0" safetensors soundfile pillow ``` 如果使用 Hugging Face FastAPI 常驻服务，还需要： ```bash pip install fastapi uvicorn python-multipart ``` ## 快速开始 WorldSeek-Omni-2B-Preview 使用两个模型名区分请求路径： ```text omni -> 基础 Omni 路径 asr -> 基础模型 + ASR LoRA 路径 ``` 语音识别请求应显式使用 `model="asr"` 或 `--route asr`。 ### vLLM Serving 以下命令会在 `http://localhost:8000/v1` 启动 OpenAI-compatible API： ```bash MODEL_PATH="/path/to/WorldSeek-Omni-2B-Preview" vllm serve "${MODEL_PATH}" \ --host 0.0.0.0 \ --port 8000 \ --gpu-memory-utilization 0.3 \ --served-model-name "omni" \ --dtype "bfloat16" \ --max-model-len 32768 \ --kv-cache-dtype fp8 \ --limit-mm-per-prompt '{"image":1,"video":1,"audio":1}' \ --trust-remote-code \ --enable-lora \ --lora-modules asr="${MODEL_PATH}" \ --max-lora-rank 256 ``` 检查模型列表： ```bash curl http://localhost:8000/v1/models ``` 预期包含： ```text omni asr ``` ### Hugging Face 本地推理 Hugging Face CLI 入口适用于本地验证、调试和 Windows CUDA 场景： ```bash python hf_omni_inference.py \ --model-dir /path/to/WorldSeek-Omni-2B-Preview \ --route omni \ --text "请用一句话介绍你自己。" ``` 音频转写： ```bash python hf_omni_inference.py \ --model-dir /path/to/WorldSeek-Omni-2B-Preview \ --route asr \ --audio-file /path/to/audio.wav ``` 图像理解： ```bash python hf_omni_inference.py \ --model-dir /path/to/WorldSeek-Omni-2B-Preview \ --route omni \ --image-file /path/to/image.png \ --text "请描述这张图片。" ``` ### Hugging Face FastAPI Serving 以下命令会在 `http://localhost:3004/v1` 启动本地 OpenAI-compatible API： ```bash python hf_omni_server.py \ --model-dir /path/to/WorldSeek-Omni-2B-Preview \ --host 0.0.0.0 \ --port 3004 \ --device cuda ``` ## API 示例 Chat Completions API 可通过 HTTP 请求或 OpenAI Python SDK 调用。以下示例默认连接 vLLM 服务： ```bash pip install -U openai export OPENAI_BASE_URL="http://localhost:8000/v1" export OPENAI_API_KEY="EMPTY" ``` 如果使用 Hugging Face FastAPI 服务，将 `OPENAI_BASE_URL` 改为 `http://localhost:3004/v1` 即可。 ### 文本输入 ```python from openai import OpenAI client = OpenAI() response = client.chat.completions.create( model="omni", messages=[ {"role": "user", "content": "请用一句话介绍大语言模型。"} ], temperature=0.7, max_tokens=512, ) print(response.choices[0].message.content) ``` ### 图像输入 图像理解使用 `model="omni"`。图像可以使用 URL，也可以使用 base64 data URL。 ```python import base64 from pathlib import Path from openai import OpenAI client = OpenAI() image_path = Path("/path/to/image.png") image_b64 = base64.b64encode(image_path.read_bytes()).decode("utf-8") response = client.chat.completions.create( model="omni", messages=[ { "role": "user", "content": [ { "type": "image_url", "image_url": { "url": f"data:image/png;base64,{image_b64}" }, }, {"type": "text", "text": "请描述这张图片。"}, ], } ], temperature=0, max_tokens=512, ) print(response.choices[0].message.content) ``` ### 音频转写 语音识别请求使用 `model=asr`： ```bash curl http://localhost:8000/v1/audio/transcriptions \ -F model=asr \ -F file=@/path/to/audio.wav ``` ### 音频 Chat 也可以将音频作为 Chat Completions 多模态消息输入。该路径同样需要使用 `model="asr"`。 ```python import base64 from pathlib import Path from openai import OpenAI client = OpenAI() audio_path = Path("/path/to/audio.wav") audio_b64 = base64.b64encode(audio_path.read_bytes()).decode("utf-8") response = client.chat.completions.create( model="asr", messages=[ { "role": "user", "content": [ { "type": "audio_url", "audio_url": { "url": f"data:audio/wav;base64,{audio_b64}" }, }, {"type": "text", "text": "请转写这段音频。"}, ], } ], temperature=0, max_tokens=512, ) print(response.choices[0].message.content) ``` ## 随附脚本 | 脚本 | 功能 | |---|---| | `hf_omni_inference.py` | Hugging Face 本地 CLI 推理入口，支持文本、图像理解和音频转写。 | | `hf_omni_server.py` | 轻量 Hugging Face FastAPI 服务，提供 OpenAI-compatible `/v1/chat/completions` 和 `/v1/audio/transcriptions` 接口。 | | `vllm_route_request_examples.py` | vLLM OpenAI-compatible 请求示例，用于测试 `omni` 和 `asr` 两条路由。 | 常用脚本示例： ```bash # Hugging Face 本地文本推理 python hf_omni_inference.py \ --model-dir /path/to/WorldSeek-Omni-2B-Preview \ --route omni \ --text "请用一句话介绍你自己。" # Hugging Face 本地音频转写 python hf_omni_inference.py \ --model-dir /path/to/WorldSeek-Omni-2B-Preview \ --route asr \ --audio-file /path/to/audio.wav # Hugging Face OpenAI-compatible 本地服务 python hf_omni_server.py \ --model-dir /path/to/WorldSeek-Omni-2B-Preview \ --host 0.0.0.0 \ --port 3004 \ --device cuda # vLLM 请求示例 python vllm_route_request_examples.py \ --base-url http://localhost:8000/v1 \ --audio-file /path/to/audio.wav \ --asr ``` ## 局限性 - 当前版本为 preview 发布，评测结果会随着训练和评估推进继续更新。 - WorldSeek-Omni-2B-Preview 是早期检查点版本，完整 WorldSeek-Omni-2B 训练流程仍在进行中。 - 当前 ASR 能力主要覆盖中文和英文，更多语种将在后续版本中扩展。 - ASR 请求需要使用 `asr` 路由。 - 当前 preview 包不包含时间戳预测和流式 ASR 能力。 ## 致谢 WorldSeek-Omni-2B-Preview 基于 Qwen3.5-2B 与 Qwen3-ASR-1.7B 构建。感谢 Qwen 团队和通义实验室发布 Qwen 模型家族。 ## 引用 如果你在研究或项目中使用本模型，请引用本模型发布，并同时引用相关上游工作： ```bibtex @misc{worldseek_omni_2b_preview, title = {WorldSeek-Omni-2B-Preview}, author = {{WorldSeek Team}}, year = {2026}, howpublished = {Preview model release}, url = {https://huggingface.co/WorldSeek-AI/WorldSeek-Omni-2B-Preview}, note = {Code: https://github.com/WorldSeek-AI/WorldSeek-Omni-2B-Preview; ModelScope: https://modelscope.cn/models/WorldSeek-AI/WorldSeek-Omni-2B-Preview} } @misc{qwen3.5, title = {{Qwen3.5}: Towards Native Multimodal Agents}, author = {{Qwen Team}}, month = {February}, year = {2026}, url = {https://qwen.ai/blog?id=qwen3.5} } @article{Qwen3-ASR, title={Qwen3-ASR Technical Report}, author={Xian Shi, Xiong Wang, Zhifang Guo, Yongqi Wang, Pei Zhang, Xinyu Zhang, Zishan Guo, Hongkun Hao, Yu Xi, Baosong Yang, Jin Xu, Jingren Zhou, Junyang Lin}, journal={arXiv preprint arXiv:2601.21337}, year={2026} } ``` ## 许可 本模型遵循 Apache 2.0 License。请同时遵循上游模型和数据资源的对应许可与使用条款。