---
title: ai_model_hub_26_Q2
canonical_url: "https://www.modelscope.cn/models/cix/ai_model_hub_26_Q2"
md_url: "https://www.modelscope.cn/models/cix/ai_model_hub_26_Q2.md"
repository: cix/ai_model_hub_26_Q2
chinese_name: ai_model_hub_26_Q2
last_updated: 2026-07-21
parameters: 1.2B
tensor_type:
  - F32
  - I64
library_name:
  - onnx
  - safetensors
  - tensorflow
frameworks:
  - Tensorflow
downloads: 54
stars: 2
---

# ai_model_hub_26_Q2

> ai_model_hub_26_Q2 - cix 在 ModelScope 开源的模型。CIX AI Model Hub 是面向 CIX SoC 部署优化的机器学习模型集合，提供从模型推理、量化到端侧 Demo 的完整支持，便于客户在 CIX 设备上进行 AI 应用开发与验证。

- **Repository**: cix/ai_model_hub_26_Q2
- **Parameters**: 1.2B
- **Downloads**: 54
- **Stars**: 2
- **Last updated**: 2026-07-21

Source: https://www.modelscope.cn/models/cix/ai_model_hub_26_Q2

---

# CIX AI Model Hub

CIX AI Model Hub 是面向 CIX SoC 部署优化的机器学习模型集合，提供从模型推理、量化到端侧 Demo 的完整支持，便于客户在 CIX 设备上进行 AI 应用开发与验证。

---

## 一、工程概览

### 1.1 主要内容

- **模型库**：涵盖计算机视觉、语音、多模态与生成式 AI（含 LLM/VLM），支持 ONNX 与 CIX 二进制（.cix）推理。
- **示例应用**：每个模型提供端到端 Python 示例（预处理 → 推理 → 后处理），可在主机或 CIX 设备上运行。
- **Demo 应用**：提供基于 Gradio/Streamlit 的可视化 Demo 安装包（.deb），用于快速体验与集成。
- **工具与脚本**：LLM/VLM 的下载、构建、量化脚本；数据集与评测相关脚本；通用后处理与评测工具。

### 1.2 目录结构

```
ai_model_hub/
├── models/              # 模型库（按领域与任务分类）
│   ├── Audio/           # 语音识别、TTS、声纹等
│   ├── ComputeVision/   # 目标检测、分割、分类、OCR、超分等
│   ├── Generative_AI/   # 图文检索、图生文、文生图、LLM 等
│   └── MultiModal/      # VLM 等多模态模型说明文档
├── demos/               # 可视化 Demo 安装包（.deb）
├── datasets/            # 数据集下载与处理（如 ImageNet、COCO、VOC）
├── utils/               # 通用后处理、评测、绘图等工具
├── scripts/             # 构建、量化、评测LLM/VLM 的脚本
├── requirements.txt     # Python 依赖
├── ReadMe.md            # 本文档（中文）
├── ReadMe_EN.md         # 本文档（英文）
├── LLM_ReadMe.md        # LLM/VLM 手动量化、推理与性能测试指南
├── scripts/llm-gen/README.md  # LLM/VLM 自动化脚本使用指南（可选）
├── ReleaseNote.md       # 版本与模型变更历史
├── EULA.md              # 最终用户许可协议
└── LICENSE              # Apache-2.0
```

---

## 二、环境与依赖

### 2.1 系统要求

- **运行模型与 Demo**：支持 CIX SoC 设备或 x86 主机（用于 ONNX 推理）。
- **LLM/VLM 转换与量化**：建议在 x86 Linux 主机或 WSL 上完成（参见 [LLM_ReadMe.md](LLM_ReadMe.md)）。

### 2.2 安装 Python 依赖

在工程根目录下执行：

```bash
sudo apt install libpython3-dev build-essential python3-dev
pip3 install -r requirements.txt
```

`requirements.txt` 包含模型推理与示例所需的依赖（如 onnx、onnxruntime、torch、transformers、图像/语音/中文处理库等）。仅运行部分模型时，可按需安装对应依赖。

---

## 三、快速开始

### 3.1 运行单个模型（端到端示例）

每个模型目录下通常包含：

- `inference_npu.py`：在 CIX SoC 上运行编译后的二进制模型（.cix）。
- `inference_onnx.py`：在主机或设备上使用 ONNX Runtime 运行 ONNX 模型。
- `model/`：ONNX 或原始权重；编译后的二进制在对应 .cix 文件。
- `ReadMe.md`：该模型的输入输出、编译与运行说明。

**在设备上运行 NPU 推理（需先将对应 .cix、test_data、inference_npu.py 拷贝到设备）：**

```bash
cd <模型目录>
python3 inference_npu.py
```

**在主机或设备上运行 ONNX 推理：**

```bash
cd <模型目录>
python3 inference_onnx.py
```

**通用运行流程**（各模型 README 仅给出具体命令与文件名）：

1. **量化 / 编译**（主机）：执行 `cixbuild <cfg>` 生成端侧二进制 `.cix`。
2. **ONNX 推理**（主机或设备）：运行 `inference_onnx.py`，使用 ONNX Runtime。
3. **NPU 推理**（设备）：先将该模型的 `.cix`、`test_data` 与 `inference_npu.py` 拷贝到设备，再运行 `inference_npu.py`。
4. **工具包**：运行设备推理前，需从 `ai_model_hub/utils` 导入或拷贝模型前/后处理与工具包。
5. **多文件模型**：部分模型还需拷贝其 README 中列出的额外文件（多个 `.cix`、字体、词表等），以各模型目录下的 `ReadMe.md` 为准。

### 3.2 运行 Demo 应用

`demos/` 下各子目录提供基于 Gradio/Streamlit 的 Demo，以 .deb 包形式发布，便于在 CIX 设备上一键安装与体验。

**基本步骤：**

1. 将对应的 `.deb` 包拷贝到设备，安装（以 `demos/` 目录下实际存在的 `.deb` 文件名为准）：
   ```bash
   sudo dpkg -i <demo-name>_<version>_arm64.deb
   ```
2. 安装后一般位于 `/opt/<demo-name>/`，进入该目录。
3. 安装后进入 `/opt/<demo-name>/` 目录，按照其中的 `README.md` 安装运行环境（`pip install -r requirements.txt --break-system-packages`）并启动 Demo（`python3 <script>.py`），在浏览器打开终端显示的本地 URL，`Ctrl + C` 停止。

各 Demo 的功能说明见下方「四、Demo 列表」。

---

## 四、Demo 列表

`demos/` 下的可视化 Demo 基于 **Gradio / Streamlit** 构建，以 `.deb` 包发布。

> 以下列表仅作参考，实际可用的 Demo 包请以 `demos/` 目录下的 `.deb` 文件为准。

| 领域 | Demo | 说明 |
|------|------|------|
| **LLM** | chatbot-gradio | 基于 llama-cpp-python 的本地聊天机器人 |
| | rag-chat-streamlit / rag-chat-gradio | 基于本地文本的 RAG 聊天 |
| | ort-genai-chat-gradio | 基于 ONNX Runtime GenAI 的本地聊天 |
| **MultiModal** | picquery-cn-gradio | 输入描述检索相关图片 |
| | image-multichat-gradio / image-multichat-streamlit | LLaMA + CLIP 图像描述聊天 |
| | audio-chat-gradio | 语音输入 + 文本转语音聊天 |
| | sd-demo-streamlit | NPU 推理文生图 |
| | ai-album-streamlit | AI 相册搜索 |
| | pp-ocrv4-gradio | PP-OCRv4 多模态 Demo |
| | videoquery-streamlit | 视频查询与理解 |
| **Computer Vision** | yolox-gradio | 摄像头目标检测 |
| | yolox-depth-gradio | 深度估计 + 检测 |
| | dms-gradio | 驾驶员监控（DMS） |
| | face-recognition-gradio | 人脸识别 |
| | vsr-demo-gradio | 视频超分 / 增强 |
| | real-esrgan-gradio | Real-ESRGAN 图像增强 |
| **Tools** | ai-demo-manager | CIX Demo 启动与管理器 |

---

## 五、数据集准备

部分模型的精度评测（`inference_*.py --benchmark`）依赖本地数据集，放在 `datasets/` 下（仓库不附带，需自行下载）。

**ImageNet ILSVRC2012（验证集）**
```bash
cd datasets && mkdir -p ILSVRC2012/val && cd ILSVRC2012
wget https://image-net.org/data/ILSVRC/2012/ILSVRC2012_img_val.tar
tar -xvf ILSVRC2012_img_val.tar -C ./val
cd val && wget https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh
chmod +x valprep.sh && ./valprep.sh && rm ./valprep.sh
```

**COCO2017（验证集）**
```bash
cd datasets && mkdir -p COCO2017 && cd COCO2017
wget http://images.cocodataset.org/zips/val2017.zip && unzip val2017.zip
mkdir images && mv val2017 images
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip && unzip annotations_trainval2017.zip
```

**VOC2012**
```bash
cd datasets
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
tar -xvf VOCtrainval_11-May-2012.tar && mv VOCdevkit/VOC2012 ./ && rm -r VOCdevkit
```

---

## 六、脚本工具

### 6.1 LLM/VLM 生成脚本（`scripts/llm-gen/`）

均在 **x86 host** 上运行；端到端工作流（内部/外部开发者路径、edge device 运行、排错）详见 [scripts/llm-gen/README.md](scripts/llm-gen/README.md)。

| 脚本 | 作用 |
|------|------|
| `build_tools.sh` | 克隆并编译 `llama.cpp` 与 `MNN`（优先 CIX 内部镜像，失败回退 GitHub） |
| `list_model.py` | 扫描 `models/Generative_AI/LLM/`、`models/MultiModal/` 的 `.md`，生成/刷新 `LLM_List.md` |
| `download_model.py` | 按 `LLM_List.md` 下载（优先 Nexus3，失败回退 `git lfs clone`） |
| `generate_model.py` | 按 `LLM_List.md` 分三批量化：Llama.cpp LLM → MNN → Llama.cpp VLM |

```bash
cd scripts/llm-gen
./build_tools.sh <llamacpp_branch> <mnn_branch>   # 一次性
python3 list_model.py
python3 download_model.py --models_dir <models_dir>
python3 generate_model.py --models_dir <models_dir> --save_dir <save_dir>
```

`LLM_List.md` 为自动生成清单（列：`Model | Type | Link | Framework | Qtype | Qtype2`），不建议手工编辑；新增模型请在对应目录新建 `.md` 后重跑 `list_model.py`。`Model` 必须等于 `Link` URL 末段路径。

### 6.2 回归测试脚本（`scripts/sanity/`）

扫描整个 `models/` 仓库，从每个模型 `ReadMe.md` 中提取对应命令并批量执行，结果聚合写入 markdown 报告，便于版本升级或工具链变更后批量验证。

| 脚本 | 作用 / 输出 |
|------|------|
| `loop_build.py` | 提取并执行 `cixbuild <cfg>`（NPU 编译）；写 `result.md` |
| `loop_onnx.py` | 提取并执行 `inference_onnx.py`（同时有 CPU/NPU 命令时优先 CPU）；写 `loop_onnx_result.md` |
| `loop_npu.py` | 提取并执行 `inference_npu.py`（需在 CIX 设备上）；写 `loop_npu_result.md` |
| `llama_llm_loop.sh` | 提取并执行 LLM/VLM 的 llama.cpp 命令（含 Vulkan 变体），逐模型写 `perf_logs/<Model>-perf.md` |

`loop_*.py` 会强制回到仓库根目录作为扫描起点，`--path` 可传任意指向脚本所在层级的相对路径。`loop_onnx.py` / `loop_npu.py` 的黑名单：`onnx_stable_diffusion_v1_4`、`onnx_kokoro`。

```bash
python3 scripts/sanity/loop_build.py
python3 scripts/sanity/loop_onnx.py
python3 scripts/sanity/loop_npu.py
bash    scripts/sanity/llama_llm_loop.sh models/Generative_AI/LLM --output-dir perf_logs
```

各步骤完成后，对应 `*_result.md` 中的失败行即为需要逐一排查的模型。

---

## 七、文档索引

| 文档 | 说明 |
|------|------|
| [ReadMe.md](ReadMe.md) | 本文档：工程概览、环境、快速开始、Demo/数据集/脚本（中文） |
| [ReadMe_EN.md](ReadMe_EN.md) | 同上（英文） |
| [LLM_ReadMe.md](LLM_ReadMe.md) | LLM/VLM 手动量化、推理与性能测试指南 |
| [scripts/llm-gen/README.md](scripts/llm-gen/README.md) | LLM/VLM 自动化脚本使用指南（基于 `LLM_List.md` 批量下载与量化） |
| [ReleaseNote.md](ReleaseNote.md) | 模型与版本变更历史 |
| [EULA.md](EULA.md) | 最终用户许可协议 |

数据集准备、Demo 列表、脚本工具说明已并入本文（见第四 / 五 / 六节）。各模型的使用细节见 `models/` 下对应子目录中的 `ReadMe.md`。

---

## 八、许可证

- **本仓库**：CIX AI Model Hub 采用 [Apache-2.0](LICENSE) 许可。
- **使用本仓库提供的软件与模型**：请同时阅读 [EULA.md](EULA.md) 并遵守其条款。