---
title: IRIXEN-NanoVL-V1
canonical_url: "https://www.modelscope.cn/models/lanche816/IRIXEN-NanoVL-V1"
md_url: "https://www.modelscope.cn/models/lanche816/IRIXEN-NanoVL-V1.md"
repository: lanche816/IRIXEN-NanoVL-V1
chinese_name: IRIXEN-NanoVL-V1
last_updated: 2026-10-31
license: apache-2.0
pipeline_tag: visual-question-answering
tasks:
  - visual-question-answering
model_type:
  - irixen_nanovl_v1
architectures:
  - IRIXENNanoVL
parameters: 98.8M
tensor_type:
  - BF16
library_name:
  - safetensors
downloads: 9
stars: 0
---

# IRIXEN-NanoVL-V1

> IRIXEN-NanoVL-V1 - lanche816 在 ModelScope 开源的模型。最低体量视觉语言模型。语言主干从零训练，Apache 2.0 可商用。

lanche816/IRIXEN-NanoVL-V1 是 ModelScope 魔搭社区上的 98.8M 参数visual-question-answering模型，采用 apache-2.0 许可。

- **Repository**: lanche816/IRIXEN-NanoVL-V1
- **License**: apache-2.0
- **Tasks**: visual-question-answering
- **Parameters**: 98.8M
- **Downloads**: 9
- **Stars**: 0
- **Last updated**: 2026-10-31

Source: https://www.modelscope.cn/models/lanche816/IRIXEN-NanoVL-V1

---

# IRIXEN-NanoVL-V1

最低体量视觉语言模型。语言主干从零训练，Apache 2.0 可商用。

## 概览
- 语言主干: 12 层 x 768 hidden x 8 heads, SwiGLU + RMSNorm + RoPE, 从零训练
- 视觉编码器: SigLIP B/16 @ 256 (冻结, 需单独下载)
- 投影器: 2 层 MLP (768 -> 1024 -> 768) + GELU
- Tokenizer: 16,000 BPE
- 可训练参数: 98.82 M
- 许可证: Apache 2.0

## 快速开始

1. 下载视觉编码器:
```
modelscope download --model google/siglip-base-patch16-256 --local_dir ./siglip-base-p16-256
```

2. 安装依赖:
```
pip install torch>=2.0 transformers>=5.0 tokenizers safetensors pillow
```

3. 推理:
```python
from PIL import Image
from inference import IRIXENNanoVLInference
m = IRIXENNanoVLInference('./IRIXEN-NanoVL-V1', './siglip-base-p16-256')
img = Image.open('test.jpg').convert('RGB')
print(m.generate(img, 'Describe this image.'))
```

## 量化指标 (teacher forcing, 3 条测试样本)

| 样本 | top-1 | top-5 |
|---|---|---|
| 0 (英文, 长描述) | 51.5% | 72.4% |
| 1 (中文, 长描述) | 28.0% | 50.5% |
| 2 (英文, 物体) | 41.4% | 67.7% |
| 平均 | 40.3% | 63.5% |

## 局限性
- 视觉细节有限 (256x256 输入, 小于 16x16 像素的文字无法识别)
- 中文弱于英文 (tokenizer 对中文碎片化更严重)
- 会编造图内文字 (不适合 OCR)
- 单轮 VQA 设计, 无多轮记忆

## 许可证
语言主干、投影器、tokenizer、推理代码均为 Apache 2.0, 可商用。
SigLIP 视觉编码器由 Google 发布, 使用者需自行获取, 本仓库不分发该部分权重。
训练数据 ALLaVA-4V 以 Apache 2.0 发布。