---
title: Kimi-K3-INT4
canonical_url: "https://www.modelscope.cn/models/hygon/Kimi-K3-INT4"
md_url: "https://www.modelscope.cn/models/hygon/Kimi-K3-INT4.md"
repository: hygon/Kimi-K3-INT4
last_updated: 2026-09-30
license: other
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - kimi_k3
architectures:
  - KimiK3ForConditionalGeneration
base_model:
  - moonshotai/Kimi-K3
base_model_relation: finetune
parameters: 1419.4B
tensor_type:
  - BF16
  - I8
  - F32
library_name:
  - safetensors
downloads: 97
stars: 2
tags:
  - int4
  - w4a16
  - per-channel
---

# Kimi-K3-INT4

> Kimi-K3-INT4 - hygon 在 ModelScope 开源的模型。本仓库由海光信息（Hygon）发布，基于 Moonshot AI 的 Kimi-K3 进行 Per-Channel W4A16 量化。 上游模型及相关材料的版权归原权利人所有，本模型沿用 Kimi K3 License。

hygon/Kimi-K3-INT4 是 ModelScope 魔搭社区上的 1419.4B 参数image-text-to-text模型，采用 other 许可，基于 moonshotai/Kimi-K3 构建。

- **Repository**: hygon/Kimi-K3-INT4
- **License**: other
- **Tasks**: image-text-to-text
- **Parameters**: 1419.4B
- **Base model**: moonshotai/Kimi-K3
- **Tags**: int4, w4a16, per-channel
- **Downloads**: 97
- **Stars**: 2
- **Last updated**: 2026-09-30

Source: https://www.modelscope.cn/models/hygon/Kimi-K3-INT4

---

# Kimi-K3-INT4

本仓库由海光信息（Hygon）发布，基于 Moonshot AI 的
[Kimi-K3](https://huggingface.co/moonshotai/Kimi-K3) 进行 Per-Channel W4A16 量化。
上游模型及相关材料的版权归原权利人所有，本模型沿用 Kimi K3 License。

> 三个数据集的 INT4 精度均由发布人员确认；上游模型未测试。
> slimquant 版本未记录；验证镜像标识和原始评测报告未提供。

## 1. 基本信息

| 项目 | 内容 |
|---|---|
| 模型仓库 | `hygon/Kimi-K3-INT4` |
| 上游模型 | [moonshotai/Kimi-K3](https://huggingface.co/moonshotai/Kimi-K3) |
| 原模型开发者 | Moonshot AI |
| 模型类型 | 多模态生成模型 |
| 量化类型 | W4A16 |
| 权重量化 | INT4，Per-Channel |
| 模型量化激活精度 | A16；实际验证启用 W4A8 后端，见测试步骤 |
| 量化工具及版本 | slimquant（版本未记录） |
| 验证硬件 | BW1100 × 16 |
| 推理框架 | SGLang 0.5.18 |
| 验证镜像及构建版本 | 待发布人员补充 |
| 许可证 | Kimi K3 License |

W4A16 描述量化目标层的权重和激活精度，不表示所有模型张量均为 INT4。
是否保留部分层的高精度权重，以实际量化配置为准。
本页仅列出已提供的文本任务评测分数，不代表多模态能力已经完成验证。

## 2. 测试步骤

### 2.1 验证环境与服务

实际验证硬件为 BW1100 × 16，采用两节点 TP16，框架为 SGLang 0.5.18。
需使用支持下列 HCU 后端及 DSPARK 参数的适配环境；验证镜像标识及精确构建版本未提供。
slimquant 版本未记录。本次测试启用 DSPARK，需另行准备匹配的 Kimi-K3-DSpark 草稿模型；草稿模型不包含在本仓库下载示例中。

以下根据发布人员提供的实际服务脚本整理，仅将模型路径、集群地址、网卡和节点编号参数化，并补齐日志中的 NODE_RANK。
在两个节点分别执行，NODE_RANK 分别设为 0、1；DIST_INIT_ADDR 均指向节点 0 的可达地址和同一端口。各节点网卡及 IB 设备按实际环境设置。

```bash
set -euo pipefail

# 执行前设置以下环境变量，两节点使用相同模型及草稿模型。
: "${NODE_RANK:?请设置节点编号 0 或 1}"
: "${DIST_INIT_ADDR:?请设置节点0地址:12015}"
: "${NCCL_SOCKET_IFNAME:?请设置实际通信网卡}"
: "${NCCL_IB_HCA:?请设置实际IB设备及端口列表}"
case "$NODE_RANK" in 0|1) ;; *) echo "NODE_RANK must be 0 or 1" >&2; exit 1 ;; esac
MODEL_PATH="${MODEL_PATH:-/path/to/model}"
DRAFT_MODEL_PATH="${DRAFT_MODEL_PATH:-/path/to/Kimi-K3-DSpark}"
export NCCL_SOCKET_IFNAME NCCL_IB_HCA
export GLOO_SOCKET_IFNAME="${GLOO_SOCKET_IFNAME:-$NCCL_SOCKET_IFNAME}"

today=$(date +%Y%m%d)
log_dir="logs/$today"
mkdir -p "$log_dir"
timestamp=$(date +%H%M%S)
log_file="$log_dir/kimi_k3_node${NODE_RANK}_${timestamp}.log"

export SGLANG_K3_ATTN_RESIDUAL_HCU=1
export SGLANG_KDA_USE_HCU_OP=1
export SGLANG_USE_LIGHTOP=1
export SGLANG_USE_INT4_W4A8=1
export SGLANG_USE_LIGHTOP_W4A8_MARLIN_MOE=0

sglang serve \
  --trust-remote-code \
  --model-path "$MODEL_PATH" \
  --quantization slimquant_w4a8_marlin \
  --tp-size 16 \
  --port 11010 \
  --dist-init-addr "$DIST_INIT_ADDR" \
  --nnodes 2 \
  --node-rank "$NODE_RANK" \
  --attention-backend hcu_mla \
  --linear-attn-backend triton \
  --page-size 64 \
  --linear-attn-prefill-backend flashkda \
  --reasoning-parser kimi_k3 \
  --tool-call-parser kimi_k3 \
  --mem-fraction-static 0.93 \
  --host 0.0.0.0 \
  --mm-attention-backend fa3 \
  --kv-cache-dtype fp8_e4m3 \
  --max-running-requests 128 \
  --mamba-full-memory-ratio 0.15 \
  --mamba-ssm-dtype bfloat16 \
  --load-format fastsafetensors \
  --speculative-algorithm DSPARK \
  --speculative-draft-model-path "$DRAFT_MODEL_PATH" \
  --speculative-dspark-block-size 7 \
  --speculative-draft-attention-backend triton \
  --speculative-draft-model-quantization unquant \
  --disable-radix-cache 2>&1 | tee "$log_file"
```

**量化格式与验证运行配置的区别：** 发布人员确认模型采用 Per-Channel W4A16 量化；本次实际服务配置使用 `slimquant_w4a8_marlin` 并设置 `SGLANG_USE_INT4_W4A8=1`，同时使用 FP8 KV cache 和 DSPARK。下表分数对应这套服务配置，不能表述为已验证所有算子始终以 A16 执行，也不是关闭推测解码的独立对照结果。

### 2.2 精度评测

发布人员确认使用 EvalScope 脚本评测本 INT4 模型，三个数据集均已测试。
以下为根据该脚本整理的公开命令：脱敏模型和数据路径，并显式启用三个数据集；不是历史日志中的原始命令快照。

```bash
MODEL_PATH=/path/to/model
DATA_ROOT=/path/to/eval_datas
API_URL=http://127.0.0.1:11010/v1
# 此命令在节点0执行；远程评测时改为节点0的服务地址。

for DATASET in humaneval gsm8k math_500; do
  MAX_TOKENS=13312
  if [ "$DATASET" = math_500 ]; then
    MAX_TOKENS=20480
  fi
  DATASET_ARGS=$(python3 - "$DATASET" "$DATA_ROOT" <<'ARGS'
import json, sys
name, root = sys.argv[1:]
config = {"dataset_id": f"{root}/{name}"}
if name == "humaneval":
    config.update(review_timeout=30, filters={"remove_until": "</think>"})
print(json.dumps({name: config}))
ARGS
)
  GEN_CONFIG=$(python3 - "$MAX_TOKENS" <<'GEN'
import json, sys
print(json.dumps({
    "timeout": 120000, "max_tokens": int(sys.argv[1]),
    "temperature": 0, "top_p": 1.0,
    "extra_body": {"chat_template_kwargs": {"enable_thinking": False}}
}))
GEN
)
  evalscope eval --model "$MODEL_PATH" --api-url "$API_URL" --api-key EMPTY --eval-type openai_api --eval-batch-size 64 --datasets "$DATASET" --dataset-args "$DATASET_ARGS" --generation-config "$GEN_CONFIG" --stream --seed 42 --work-dir "./eval_results/$DATASET"
done
```

不传 `--limit` 对应脚本的全量评测设置。模型标识及 API 地址须与实际服务一致。
`enable_thinking=false` 沿用评测脚本请求字段，其是否被服务采用取决于实现，不能据此认定 Kimi K3 已关闭思考。
HumanEval 会执行生成代码，应在隔离环境中评测。评测工具历史版本及指标名称需以原始报告为准。

## 3. 精度结果

分数统一以百分数表示。以下为发布人员确认的 INT4 模型在第 2.1 节配置（含 W4A8 后端及 DSPARK）下的实测结果，尚未独立核对原始报告。
上游模型未测试，因此基线及差值均填写 `\`；指标名称待原始报告确认。

| 数据集 | 指标 | 上游模型（%） | INT4 模型：下述服务配置（%） | 差值（百分点） |
|---|---|---:|---:|---:|
| humaneval | 待原始报告确认 | `\` | 99.39 | `\` |
| math_500 | 待原始报告确认 | `\` | 96.40 | `\` |
| gsm8k | 待原始报告确认 | `\` | 97.95 | `\` |

差值 = 量化模型分数 − 上游模型分数，单位为百分点。
表中的 `\` 表示未测试或无法计算，不表示精度为零。

## 4. 下载方式

模型发布至 ModelScope 后，可使用以下方式下载：

```python
from modelscope import snapshot_download

model_dir = snapshot_download("hygon/Kimi-K3-INT4")
```

## 5. License

本模型沿用上游的 **Kimi K3 License**，完整条款见 [LICENSE](./LICENSE)。
该协议不是 Apache-2.0，请在模型发布页面选择与 LICENSE 一致的自定义协议选项。

Copyright (c) 2026 Moonshot AI

分发模型时应一并保留 LICENSE 原文及适用的版权声明、NOTICE（如有）。
