--- title: WeVisOne-VL-2B canonical_url: "https://www.modelscope.cn/models/isLinXu/WeVisOne-VL-2B" md_url: "https://www.modelscope.cn/models/isLinXu/WeVisOne-VL-2B.md" repository: isLinXu/WeVisOne-VL-2B chinese_name: "微信视觉统一感知模型 2B" last_updated: 2026-10-24 license: apache-2.0 pipeline_tag: image-text-to-text tasks: - image-text-to-text model_type: - qwen3_vl architectures: - Qwen3VLForConditionalGeneration base_model_relation: finetune parameters: 2.4B tensor_type: - F32 library_name: - safetensors downloads: 373 stars: 2 tags: - vision-language - qwen3_vl - object-detection - referring-expression-comprehension - object-counting - point-grounding - ocr - referring-expression-segmentation - image-matting --- # WeVisOne-VL-2B > WeVisOne-VL-2B - isLinXu 在 ModelScope 开源的模型。WeVisOne-VL（WeChat Vision All-in-One）是腾讯微信视觉团队（WeChat Vision, Tencent Inc.）开发的视觉语言基础模型，基于 Qwen3-VL 构建。它通过结构化 next-token prediction 与一个轻量的 9.6M 参数像素解码器，统一目标级感知（目标检测、referring 定位、计数、指向、OCR）与像素级感知（referring 分割、可提示… isLinXu/WeVisOne-VL-2B 是 ModelScope 魔搭社区上的 2.4B 参数image-text-to-text模型，采用 apache-2.0 许可。 - **Repository**: isLinXu/WeVisOne-VL-2B - **License**: apache-2.0 - **Tasks**: image-text-to-text - **Parameters**: 2.4B - **Tags**: vision-language, qwen3_vl, object-detection, referring-expression-comprehension, object-counting, point-grounding, ocr, referring-expression-segmentation, image-matting - **Downloads**: 373 - **Stars**: 2 - **Last updated**: 2026-10-24 Source: https://www.modelscope.cn/models/isLinXu/WeVisOne-VL-2B --- # WeVisOne-VL-2B **WeVisOne-VL**（**We**Chat **Vis**ion All-in-**One**）是腾讯微信视觉团队（WeChat Vision, Tencent Inc.）开发的视觉语言基础模型，基于 **Qwen3-VL** 构建。它通过结构化 next-token prediction 与一个轻量的 **9.6M 参数像素解码器**，统一**目标级**感知（目标检测、referring 定位、计数、指向、OCR）与**像素级**感知（referring 分割、可提示 alpha matting）——支持从点、框到二值掩码与连续 alpha matte 的任意粒度定位，并可靠地拒绝不存在的目标查询。 > **中文名**：微信视觉统一感知模型 2B > > 本仓库是 [tencent/WeVisOne-VL-2B](https://huggingface.co/tencent/WeVisOne-VL-2B) 的镜像，**权重内容未做任何修改**，仅重写了模型卡以适配国内访问。 > > 上游： > 项目页： · 论文： > 代码：（另含 [Mask2Alpha](https://github.com/Tencent/WeVisOne-VL/tree/mask2alpha) matting 标注器） > 在线 Demo： ## ✨ 亮点 - 🎯 **All-in-One**：检测、referring、计数、指向、OCR、分割、matting 全部集中在一个模型里； - 🪶 **轻量像素解码器**：9.6M 参数的解码器直接输出 masks 与 alpha mattes，**无需 SAM**； - 🚫 **可靠拒绝**：目标不存在时返回 `None` 而非幻觉。 ## 安装 ```bash git clone https://github.com/Tencent/WeVisOne-VL.git && cd WeVisOne-VL conda create -n wevisone-vl python=3.10 -y && conda activate wevisone-vl pip install -r requirements.txt && pip install -v -e . ``` ## 推理 ```python from PIL import Image from wevisone_vl import WeVisOneVL from wevisone_vl.visualization import save_result model = WeVisOneVL("isLinXu/WeVisOne-VL-2B", backend="transformers") # 或 backend="vllm" # 目标级：开放词表目标检测 image = Image.open("demo/examples/images/livingroom.jpg").convert("RGB") result = model.predict(image, task="detection", query=["sofa", "pillow", "coffee table", "lamp"]) save_result("outputs/detection", image, result) # 像素级：可提示 alpha matting image = Image.open("demo/examples/images/seabreeze.jpg").convert("RGB") result = model.predict(image, task="matting", query="person") save_result("outputs/matting", image, result) ``` 也可用 `device`（`"auto"` / `"cuda:0"` / `"npu:0"` / `"cpu"`）、`dtype`、`min_pixels` / `max_pixels` 以及常规解码参数（`max_new_tokens`、`temperature` 等）。 ## 支持的任务 | | `task` | `query` | 输出 | |---|---|---|---| | 📦 | `detection` | 类别列表 | boxes | | 💬 | `referring` | referring 表达式 | boxes 或 `None` | | 📍 | `point` | 类别 / 表达式 | points | | 🔢 | `count_box` / `count_point` | 类别 / 表达式 | boxes / points + 计数 | | 🔤 | `ocr` / `ocr_grounding` | – / 待查找文本 | text + boxes | | 🎭 | `segmentation` | 类别 / 表达式 | boxes + 二值 masks | | ✂️ | `matting` | 类别 / 表达式 | boxes + alpha mattes | ## 架构 模型使用专用坐标 token（`<0>` ... `<1000>`）表示归一化边界框与点位；当查询目标不存在时返回 `None`；在稠密任务中每个预测框后会输出一个专用实例 token（``，token ID `152678`）。 附带的 `mask_decoder.pt`（9,511,460 参数）是必需的核心组件，包含： - **Visual Feature Adapter** —— 基于 Qwen3-VL pre-merging ViT 多层级特征； - **Box-Guided Query Decoder** —— 6 个可变形交叉注意力块，由 `` hidden state 初始化，并带 Fourier 编码的 box prior； - **Instance-Conditioned Dense Prediction Head** —— 含 `FullCanvasAlphaCascadeHead`，在 S/4、S/2、S/1 逐级精化，输出 stride 1 的全分辨率连续 alpha matte。 ## 性能一览 F1 取 IoU 0.5:0.95 均值；贪心解码，每图 ≤ 1,960 visual tokens。 | 任务 | Benchmark | 指标 | 最强开源基线 | **WeVisOne-VL-2B** | |---|---|---|---|---| | 📦 Detection | LVIS | F1 Mean ↑ | 50.7 | **53.3** | | 📦 Dense Detection | Dense200 | F1 Mean ↑ | 58.7 | **61.4** | | 💬 Referring | RefCOCOg test | F1 Mean ↑ | 77.6 | **78.2** | | 🚫 Rejection | WeRef-Bench | Rej. Rate ↑ | 73.0 | **92.9** | | 🔢 Counting | PixMo-Count test | Acc ↑ | 82.8 | **88.1** | | 📍 Pointing | PointBench | Acc ↑ | 69.9 | 见官方仓库 | | 🔤 OCR | TotalText | F1 Mean ↑ | 43.3 | 见官方仓库 | | 🎭 Referring Seg. | ReasonSeg val | gIoU ↑ | 65.0 | 见官方仓库 | | ✂️ Box Matting | P3M-500-NP | MAD ↓ | 15.4 | 见官方仓库 | > 完整基准结果（含 COCO / VisDrone / CountQA / RefCOCO 各变体）见[官方仓库](https://github.com/Tencent/WeVisOne-VL)。对照基线包括 Qwen3-VL-8B、Qwen3.5-9B、Rex-Omni-3B、LocateAnything-3B 等。 ## 文件说明 | 文件 | 大小 | 说明 | |---|---|---| | `model.safetensors` | 9.77 GB | 主权重（bfloat16，`Qwen3VLForConditionalGeneration`） | | `mask_decoder.pt` | 38 MB | 像素解码器权重（9,511,460 参数），**必需组件** | | `tokenizer.json` | 11.6 MB | 分词器 | | `tokenizer_config.json` / `chat_template.jinja` | — | 分词器配置与对话模板 | | `config.json` | — | 架构配置（Qwen3-VL：28 层文本 / hidden 2048；24 层 ViT / patch 16） | | `generation_config.json` / `processor_config.json` | — | 生成与处理配置 | | `LICENSE` | — | Apache License 2.0 | ## 预期用途 本版本面向视觉定位、referring 定位、指向、计数、OCR 定位、referring 分割与图像 matting 等研究用途。**不**用于自主的高影响决策，**不**用于身份识别。 ## 限制 - 精细 alpha 边界对图像分辨率、严重遮挡、复杂透明度与提示词措辞较敏感； - 为提升推理效率，模型直接生成结构化输出而不做显式 CoT 推理； - 当前仅面向单轮图像感知，像素解码器会拒绝视频网格输入。 ## License 除另有说明外，腾讯自研代码以 Apache License 2.0 发布。第三方组件保留其原始许可与版权声明，使用前请查阅对应源文件。 ## 引用 ```bibtex @article{liang2026wevisone, title={WeVisOne-VL: Unified Visual Perception from Objects to Pixels}, author={Liang, Tianming and Pan, Junyi and Li, Yuxi and Fu, Canmiao and Huang, Zhipeng and Sun, Chong and Li, Chen and Lyu, Jing}, journal={arXiv preprint arXiv:2610.31329}, year={2026} } ```