---
title: Qwen3-0.6B-MNN
canonical_url: "https://www.modelscope.cn/models/MNN/Qwen3-0.6B-MNN"
md_url: "https://www.modelscope.cn/models/MNN/Qwen3-0.6B-MNN.md"
repository: MNN/Qwen3-0.6B-MNN
last_updated: 2026-11-09
license: "Apache License 2.0"
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - transformer
base_model:
  - Qwen/Qwen3-0.6B
base_model_relation: quantized
library_name:
  - mnn
frameworks:
  - MNN
language:
  - cn
domain:
  - nlp
downloads: 1560
stars: 5
tags:
  - instruction-tuned
---

# Qwen3-0.6B-MNN

> Qwen3-0.6B-MNN - MNN 在 ModelScope 开源的模型。本仓库是从 Qwen/Qwen3-0.6B 转换的 MNN HQQ 4-bit 推理模型。

MNN/Qwen3-0.6B-MNN 是 ModelScope 魔搭社区上的text-generation模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen3-0.6B 构建。

- **Repository**: MNN/Qwen3-0.6B-MNN
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Base model**: Qwen/Qwen3-0.6B
- **Tags**: instruction-tuned
- **Downloads**: 1560
- **Stars**: 5
- **Last updated**: 2026-11-09

Source: https://www.modelscope.cn/models/MNN/Qwen3-0.6B-MNN

---

# Qwen3-0.6B-MNN

本仓库是从 [Qwen/Qwen3-0.6B](https://modelscope.cn/models/Qwen/Qwen3-0.6B) 转换的 MNN HQQ 4-bit 推理模型。

导出日期：**2026-11-09**；导出版本：**MNN 3.6.2**；源码提交：`b0239771b07b317a258fbc384683bbd540741406`。

## 原始模型介绍

Qwen3-0.6B 是 Qwen3 系列的 0.6B 稠密语言模型，经过预训练与后训练。上游介绍强调同一模型内的思考 / 非思考模式切换、多语言指令跟随与翻译能力；本包保留随包模板的思考默认行为，本次 x64 CPU 检查不等于对这些上游能力的全面评测。

| 项目 | 本包信息 |
| --- | --- |
| 原始模型 | Qwen/Qwen3-0.6B |
| 输入 / 输出 | 文本 / 文本 |
| 架构 / 语言层数 | 稠密、仅解码器 Transformer / 28 |
| 语言主干线性权重 | HQQ 4-bit，分组大小 64 |
| LM 输出头 | HQQ 8-bit，分组大小 64 |
| 线性 / LM 量化尺度存储 | FP16（`scale_bit=16`） |
| 输入嵌入 | 与 LM 输出头共享 8-bit 量化权重，分组大小 64，尺度 FP16 |

## 下载

优先使用 ModelScope，下载全部文件到同一目录：

```bash
python -m pip install -U modelscope
python -c "from modelscope import snapshot_download; snapshot_download('MNN/Qwen3-0.6B-MNN', local_dir='./Qwen3-0.6B-MNN')"
export MODEL_DIR=./Qwen3-0.6B-MNN
```

也可通过 Hugging Face 镜像下载：

```bash
export HF_ENDPOINT=https://hf-mirror.com
pip install -U huggingface_hub
hf download taobao-mnn/Qwen3-0.6B-MNN --local-dir ./Qwen3-0.6B-MNN
export MODEL_DIR=./Qwen3-0.6B-MNN
```

务必一起更新模型图、外部权重、分词器、模板和配置。加载前清理旧模型、权重及 KV 缓存；不要混用不同修订的文件，尤其不能沿用旧配置中的共享嵌入权重偏移。

## MNN 版本与编译

本包要求 **MNN 3.6.2 或更新版本**及 Transformer 融合支持，旧版运行时或应用需先升级。准备 Git、CMake 和 C++ 编译工具链，在同一个工作目录执行以下命令，固定到实际导出提交：

```bash
git clone https://github.com/alibaba/MNN.git
git -C MNN checkout b0239771b07b317a258fbc384683bbd540741406
(cd MNN && ./schema/generate.sh)
cmake -S MNN -B MNN/build \
  -DCMAKE_BUILD_TYPE=Release \
  -DMNN_BUILD_LLM=ON -DMNN_LOW_MEMORY=ON \
  -DMNN_BUILD_CONVERTER=ON -DMNN_SUPPORT_TRANSFORMER_FUSE=ON \
  -DMNN_SEP_BUILD=OFF
cmake --build MNN/build --parallel 4
```

## 转换方法

使用上述固定提交的导出器及其依赖清单，将原始模型下载到独立目录，并输出到全新的目录：

```bash
export HF_ENDPOINT=https://hf-mirror.com
python -m pip install -r MNN/transformers/llm/export/requirements.txt
python -c "from modelscope import snapshot_download; snapshot_download('Qwen/Qwen3-0.6B', local_dir='./original/Qwen3-0.6B')"
python MNN/transformers/llm/export/llmexport.py \
  --path ./original/Qwen3-0.6B \
  --export mnn --hqq --quant_bit 4 --quant_block 64 \
  --scale_bit 16 --embed_bit 16 --lm_quant_bit 8 --lm_quant_block 64 \
  --mnnconvert ./MNN/build/MNNConvert \
  --dst_path ./reexported/Qwen3-0.6B-MNN
```

本包 `seperate_embed=false`、`tie_word_embeddings=true`：`embed_bit=16` 是记录的导出参数，实际输入嵌入共享 8-bit LM 权重，并非独立 BF16 嵌入。C4、QKV / gate-up 投影与归一化投影融合在该提交默认启用，无需额外开关。

完整参数见 [export_args.json](export_args.json)，来源、哈希及验证记录见 [refresh_metadata.json](refresh_metadata.json)。示例下载上游当前快照；元数据中的来源提交或 `sha256:` 溯源值不能直接当作 ModelScope 下载修订号。重新导出不保证字节一致，应保留整套新权重、模板和配置，禁止复制旧权重偏移。

## 推理与测试

### 使用随包配置

[config.json](config.json) 使用 CPU、4 线程、`precision=low`、`memory=low`。采样配置为 `mixed`，`temperature=0.6`、`top_k=20`、`top_p=0.95`、`repetition_penalty=1.1`，`min_p=0`。请保留 [llm_config.json](llm_config.json) 的聊天模板及思考默认行为，不要为运行本例强行关闭思考模式。

```bash
printf 'What is 2 + 3? Reply with only the number.\n' > prompt.txt
./MNN/build/llm_demo "$MODEL_DIR/config.json" prompt.txt
./MNN/build/llm_bench -m "$MODEL_DIR/config.json" -a cpu -t 4 -p 128 -n 32
```

输出可能包含思考内容，而不仅是数字。`llm_bench` 命令仅演示如何在自己的环境测量，参数为 128 个输入 token、32 个生成 token；本卡未发布性能测量。

### 已验证范围

2026-11-09 的自动检查及默认配置冒烟测试通过，验证平台仅为 **x64 CPU**：

- 原始模型与导出器映射的 FP32 prefill / decode 对齐通过；这不是量化输出逐 token 一致性承诺。
- 聊天模板与输入 token ID 匹配，中文问候、算术、短翻译及约 900-token 级上下文翻译通过；本模型长输入用例为 902 个 prompt token。
- 检查了自然 EOS 停止及外部权重完整性；默认采样冒烟通过。正确性检查中的 greedy 采样与日常使用的默认采样是不同检查条件。

未验证 ARM CPU FP16、Metal、OpenCL、Vulkan 或 CUDA；本包无音频、视频验证证据。上述用例不构成全面精度或性能基准，也不证明最大可用上下文长度或与未量化模型输出完全相同。生成内容可能错误，重要结论请独立核实。

## 许可证与来源

模型沿用上游 **Apache License 2.0**，全文见 [LICENSE](LICENSE)。量化转换不改变上游权利归属与许可证义务。

来源与参数：[原始模型](https://modelscope.cn/models/Qwen/Qwen3-0.6B) · [export_args.json](export_args.json) · [refresh_metadata.json](refresh_metadata.json)。
工具与用法：[MNN 导出器](https://github.com/alibaba/MNN/tree/master/transformers/llm/export) · [MNN-LLM 文档](https://mnn-docs.readthedocs.io/en/latest/transformers/llm.html#)。