---
title: Kimi-K3.1-Pro-w4a8
canonical_url: "https://www.modelscope.cn/models/Eco-Tech/Kimi-K3.1-Pro-w4a8"
md_url: "https://www.modelscope.cn/models/Eco-Tech/Kimi-K3.1-Pro-w4a8.md"
repository: Eco-Tech/Kimi-K3.1-Pro-w4a8
last_updated: 2026-11-04
license: "Apache License 2.0"
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - kimi_k31
architectures:
  - KimiK31ForConditionalGeneration
base_model_relation: finetune
parameters: 1425.6B
tensor_type:
  - F32
  - I8
  - BF16
library_name:
  - safetensors
downloads: 77
stars: 0
---

# Kimi-K3.1-Pro-w4a8

> Kimi-K3.1-Pro-w4a8 - Eco-Tech 在 ModelScope 开源的模型。| 项目 | 信息 | | :-------------------: | :----------------------------------------------------------: | | 原始模型名 | Kimi-K3.1-pro | | 原始模型链接 | Kimi-K3.1-pro | | msmodelslim 仓库链接（含分支） |…

Eco-Tech/Kimi-K3.1-Pro-w4a8 是 ModelScope 魔搭社区上的 1425.6B 参数image-text-to-text模型，采用 Apache License 2.0 许可。

- **Repository**: Eco-Tech/Kimi-K3.1-Pro-w4a8
- **License**: Apache License 2.0
- **Tasks**: image-text-to-text
- **Parameters**: 1425.6B
- **Downloads**: 77
- **Stars**: 0
- **Last updated**: 2026-11-04

Source: https://www.modelscope.cn/models/Eco-Tech/Kimi-K3.1-Pro-w4a8

---

# Kimi-K3.1-Pro-w4a8

## 1. 基本信息

|         项目          |                             信息                             |	
| :-------------------: | :----------------------------------------------------------: |	
|      原始模型名       |                       Kimi-K3.1-pro                      |	
|     原始模型链接      | [Kimi-K3.1-pro](https://www.modelscope.cn/models/moonshotai/Kimi-K3.1-Pro) |	
| msmodelslim 仓库链接（含分支） | https://gitcode.com/zhangz200102/msmodelslim/tree/feature/adapt_k31 |
| msmodelslim commit id | c433ed9060434ef7bb74764e57cd947fd9a93750 |	
|     精度测试机型      |  A3 |
 	
 	

## 2 量化脚本：

依赖transformers:4.57.6

### 2.1. 反量化为bf16:

反量化脚本：[convert_kimi_k3_mxfp4_to_bf16_mp.py](https://gitcode.com/xyxin_006/MindStudio-ModelSlim/blob/backup%2Fkimi_k3/example/multimodal_vlm/Kimi-K3/convert_kimi_k3_mxfp4_to_bf16_mp.py)

```shell
python convert_kimi_k3_mxfp4_to_bf16_mp.py \
    --source weights/Kimi-K3.1-pro \
    --output weights/Kimi-K3.1-pro-bf16 \
    --workers 8 \
    --overwrite 
```	

### 2.2. 量化w4a8：

```shell
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export TORCHDYNAMO_DISABLE=1
export TORCH_COMPILE_DISABLE=1
export TORCH_NPU_DEVICE_CAPABILITY=8.0

msmodelslim quant \
    --model_path weights/Kimi-K3.1-pro-bf16 \
    --save_path weights/Kimi-K3.1-Pro-w4a8 \
    --device npu \
    --device_id 0 1 2 3 4 5 6 7 \
    --model_type Kimi-K3.1 \
    --config_path lab_practice/kimi_k3_1/kimi_k3_1_w4a8.yaml \
    --trust_remote_code True
```


## 3 精度测试结果	
 	
|        模型名        | 量化格式 | 数据集 | 测试精度 % | 官方浮点精度 % |	
| :------------------: | :------: | :----: | :--------: | :------------: |	
| Kimi-K3.1-Pro-w4a8 |  w4a8  |  GPQA-D  |  93.43   | 94.2   |	
 	
* 精度存在波动，建议多次测试。