---
title: Qwen3.5-35B-A3B-MNN
canonical_url: "https://www.modelscope.cn/models/MNN/Qwen3.5-35B-A3B-MNN"
md_url: "https://www.modelscope.cn/models/MNN/Qwen3.5-35B-A3B-MNN.md"
repository: MNN/Qwen3.5-35B-A3B-MNN
last_updated: 2026-10-21
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - transformer
base_model:
  - Qwen/Qwen3.5-35B-A3B
base_model_relation: quantized
library_name:
  - mnn
frameworks:
  - MNN
language:
  - cn
domain:
  - nlp
downloads: 155
stars: 8
tags:
  - instruction-tuned
---

# Qwen3.5-35B-A3B-MNN

> Qwen3.5-35B-A3B-MNN - MNN 在 ModelScope 开源的模型。本仓库是从 Qwen/Qwen3.5-35B-A3B 转换的 MNN HQQ 4-bit 推理模型。

MNN/Qwen3.5-35B-A3B-MNN 是 ModelScope 魔搭社区上的text-generation模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.5-35B-A3B 构建。

- **Repository**: MNN/Qwen3.5-35B-A3B-MNN
- **License**: apache-2.0
- **Tasks**: text-generation
- **Base model**: Qwen/Qwen3.5-35B-A3B
- **Tags**: instruction-tuned
- **Downloads**: 155
- **Stars**: 8
- **Last updated**: 2026-10-21

Source: https://www.modelscope.cn/models/MNN/Qwen3.5-35B-A3B-MNN

---

# Qwen3.5-35B-A3B-MNN

本仓库是从 [Qwen/Qwen3.5-35B-A3B](https://modelscope.cn/models/Qwen/Qwen3.5-35B-A3B) 转换的 MNN HQQ 4-bit 推理模型。

## 原始模型介绍

Qwen3.5-35B-A3B 是经过后训练的视觉语言 MoE 模型，采用 Gated DeltaNet、门控注意力与稀疏专家结合的混合架构。原始介绍重点包含统一的视觉与语言理解、多语言支持、推理、编程和智能体应用。

以上概述整理自[原始模型 README](https://modelscope.cn/models/Qwen/Qwen3.5-35B-A3B)。原始模型的能力及评测结论，与下文 MNN 冒烟测试的覆盖范围分别说明。

| 项目 | 内容 |
| --- | --- |
| 原始权重 | [Qwen/Qwen3.5-35B-A3B](https://modelscope.cn/models/Qwen/Qwen3.5-35B-A3B) |
| 本包输入 / 输出 | 文本、图像 → 文本 |
| 层数 | 40 |
| 路由专家数 | 256 |
| 每 token 选择专家数 | 8 |
| 语言模型线性层量化 | HQQ, 4-bit, group size 64, FP16 scales |
| Token Embedding 存储 | BF16（16-bit），独立 Embedding 权重 |

## 下载

```bash
python -m pip install -U modelscope
python -c "from modelscope import snapshot_download; snapshot_download('MNN/Qwen3.5-35B-A3B-MNN', local_dir='./Qwen3.5-35B-A3B-MNN')"
export MODEL_DIR="$(pwd)/Qwen3.5-35B-A3B-MNN"
```

## MNN 版本与编译

MNN: [`7337404b2815b5fb9ddac13f4ac6a1fb37fcbbb4`](https://github.com/alibaba/MNN/commit/7337404b2815b5fb9ddac13f4ac6a1fb37fcbbb4)

该版本已包含本次转换使用的 MoE 导出修复。Linux CPU 编译示例：

```bash
git clone https://github.com/alibaba/MNN.git
git -C MNN checkout 7337404b2815b5fb9ddac13f4ac6a1fb37fcbbb4
(cd MNN && ./schema/generate.sh)
cmake -S MNN -B MNN/build -DCMAKE_BUILD_TYPE=Release \
  -DMNN_BUILD_LLM=ON -DMNN_LOW_MEMORY=ON -DMNN_BUILD_CONVERTER=ON \
  -DMNN_SUPPORT_TRANSFORMER_FUSE=ON \
  -DMNN_BUILD_LLM_OMNI=ON -DMNN_BUILD_OPENCV=ON -DMNN_IMGCODECS=ON -DMNN_BUILD_AUDIO=ON
cmake --build MNN/build --parallel 4
```

## 转换方法

量化参数与 [export_args.json](export_args.json) 一致。下载原始权重后，使用上述版本导出：

```bash
python -m pip install -r MNN/transformers/llm/export/requirements.txt
python -c "from modelscope import snapshot_download; snapshot_download('Qwen/Qwen3.5-35B-A3B', local_dir='./original/Qwen3.5-35B-A3B', allow_patterns=['*.json', '*.safetensors', '*.model', '*.tiktoken', '*.jinja', '*.txt', '*.py'], ignore_patterns=['original/*', '*.gguf', '*.pt', '*.pth'])"
```

```bash
python MNN/transformers/llm/export/llmexport.py \
  --path ./original/Qwen3.5-35B-A3B --export mnn --hqq \
  --quant_bit 4 --quant_block 64 --scale_bit 16 --embed_bit 16 \
  --lm_quant_bit 4 --lm_quant_block 64 \
  --mnnconvert ./MNN/build/MNNConvert --dst_path ./reexported/Qwen3.5-35B-A3B-MNN
```

重新导出后复用本包已验证的 tokenizer 和对话模板，保留新生成的权重偏移及其他模型参数：

```bash
python - <<'PY'
import json, os, shutil
from pathlib import Path
published = Path(os.environ["MODEL_DIR"])
converted = Path("./reexported/Qwen3.5-35B-A3B-MNN")
for filename in ("llm_config.json", "config.json"):
    path = converted / filename
    config = json.loads(path.read_text())
    reference = json.loads((published / filename).read_text())
    for key in ("jinja", "use_template"):
        config.pop(key, None)
        if key in reference:
            config[key] = reference[key]
    if filename == "config.json":
        config["tokenizer_file"] = "tokenizer.mtok"
    path.write_text(json.dumps(config, ensure_ascii=False, indent=2))
shutil.copyfile(published / "tokenizer.mtok", converted / "tokenizer.mtok")
PY
```

## 推理与测试

```bash
printf 'What is 2 + 3? Reply with only the number.\n' > prompt.txt
./MNN/build/llm_demo "$MODEL_DIR/config.json" prompt.txt
./MNN/build/llm_bench -m "$MODEL_DIR/config.json"
```

本模型在原迁移中通过了 10 项 CPU High/Low 冒烟测试，属于功能验证，不代表完整质量或 GPU 性能评测。

## 许可证与来源

权重沿用原始模型的许可证及署名要求，请阅读[原始模型说明](https://modelscope.cn/models/Qwen/Qwen3.5-35B-A3B)、本仓库中的许可证文件和 [MNN LLM 文档](https://mnn-docs.readthedocs.io/en/latest/transformers/llm.html)。