---
title: Kimi-K3.1-Pro-w4a8-mxfp
canonical_url: "https://www.modelscope.cn/models/Eco-Tech/Kimi-K3.1-Pro-w4a8-mxfp"
md_url: "https://www.modelscope.cn/models/Eco-Tech/Kimi-K3.1-Pro-w4a8-mxfp.md"
repository: Eco-Tech/Kimi-K3.1-Pro-w4a8-mxfp
last_updated: 2026-11-04
license: "Apache License 2.0"
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - kimi_k31
architectures:
  - KimiK31ForConditionalGeneration
base_model_relation: finetune
parameters: 1505.0B
tensor_type:
  - F8_E4M3
  - U8
  - BF16
  - F32
library_name:
  - safetensors
downloads: 32
stars: 0
---

# Kimi-K3.1-Pro-w4a8-mxfp

> Kimi-K3.1-Pro-w4a8-mxfp - Eco-Tech 在 ModelScope 开源的模型。Kimi-K3.1-Pro-w4a8-mxfp

Eco-Tech/Kimi-K3.1-Pro-w4a8-mxfp 是 ModelScope 魔搭社区上的 1505.0B 参数image-text-to-text模型，采用 Apache License 2.0 许可。

- **Repository**: Eco-Tech/Kimi-K3.1-Pro-w4a8-mxfp
- **License**: Apache License 2.0
- **Tasks**: image-text-to-text
- **Parameters**: 1505.0B
- **Downloads**: 32
- **Stars**: 0
- **Last updated**: 2026-11-04

Source: https://www.modelscope.cn/models/Eco-Tech/Kimi-K3.1-Pro-w4a8-mxfp

---

# Kimi-K3.1-Pro-w4a8-mxfp

## 1. 基本信息

|         项目          |                             信息                             |	
| :-------------------: | :----------------------------------------------------------: |	
|      原始模型名       |                       Kimi-K3.1-pro                      |	
|     原始模型链接      | [Kimi-K3.1-pro](https://www.modelscope.cn/models/moonshotai/Kimi-K3.1-Pro) |	
| msmodelslim 仓库链接（含分支） | https://gitcode.com/zhangz200102/msmodelslim/tree/feature/adapt_k31 |
| msmodelslim commit id | c433ed9060434ef7bb74764e57cd947fd9a93750 |	
|     精度测试机型      |  A5 |
 	
 	

## 2 量化脚本：

依赖transformers:4.57.6

### 2.1. 反量化为bf16:

反量化脚本：[convert_kimi_k3_mxfp4_to_bf16_mp.py](https://gitcode.com/xyxin_006/MindStudio-ModelSlim/blob/backup%2Fkimi_k3/example/multimodal_vlm/Kimi-K3/convert_kimi_k3_mxfp4_to_bf16_mp.py)

```shell
python convert_kimi_k3_mxfp4_to_bf16_mp.py \
    --source weights/Kimi-K3.1-pro \
    --output weights/Kimi-K3.1-pro-bf16 \
    --workers 8 \
    --overwrite 
```	

### 2.2. 量化w4a8-mxfp：

```shell
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export TORCHDYNAMO_DISABLE=1
export TORCH_COMPILE_DISABLE=1
export TORCH_NPU_DEVICE_CAPABILITY=8.0

msmodelslim quant \
    --model_path weights/Kimi-K3.1-pro-bf16 \
    --save_path weights/Kimi-K3.1-Pro-w4a8-mxfp \
    --device npu \
    --device_id 0 1 2 3 4 5 6 7 \
    --model_type Kimi-K3.1 \
    --config_path lab_practice/kimi_k3_1/kimi_k3_1_w4a8_mxfp.yaml \
    --trust_remote_code True
```


## 3 精度测试结果	
 	
|        模型名        | 量化格式 | 数据集 | 测试精度 % | 官方浮点精度 % |	
| :------------------: | :------: | :----: | :--------: | :------------: |	
| Kimi-K3.1-Pro-w4a8-mxfp | w4a8-mxfp |  MMMUPro  |  84.57   |  84.1   |	
 	
* 精度存在波动，建议多次测试。