---
title: Qwen3.5-9B-FP8-Dynamic-LLMCompressor
canonical_url: "https://www.modelscope.cn/models/kfcVme50/Qwen3.5-9B-FP8-Dynamic-LLMCompressor"
md_url: "https://www.modelscope.cn/models/kfcVme50/Qwen3.5-9B-FP8-Dynamic-LLMCompressor.md"
repository: kfcVme50/Qwen3.5-9B-FP8-Dynamic-LLMCompressor
chinese_name: Qwen3.5-9B-FP8-Dynamic-LLMCompressor
last_updated: 2026-11-04
license: apache-2.0
model_type:
  - qwen3_5
architectures:
  - Qwen3_5ForConditionalGeneration
base_model:
  - Qwen/Qwen3.5-9B
base_model_relation: quantized
parameters: 9.7B
tensor_type:
  - F16
  - F8_E4M3
  - BF16
library_name:
  - safetensors
language:
  - en
  - zh
downloads: 31
stars: 0
tags:
  - qwen3_5
  - fp8
  - compressed-tensors
  - llmcompressor
---

# Qwen3.5-9B-FP8-Dynamic-LLMCompressor

> Qwen3.5-9B-FP8-Dynamic-LLMCompressor - kfcVme50 在 ModelScope 开源的模型。Qwen3.5-9B-FP8-Dynamic-LLMCompressor

kfcVme50/Qwen3.5-9B-FP8-Dynamic-LLMCompressor 是 ModelScope 魔搭社区上的 9.7B 参数机器学习模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.5-9B 构建。

- **Repository**: kfcVme50/Qwen3.5-9B-FP8-Dynamic-LLMCompressor
- **License**: apache-2.0
- **Parameters**: 9.7B
- **Base model**: Qwen/Qwen3.5-9B
- **Tags**: qwen3_5, fp8, compressed-tensors, llmcompressor
- **Downloads**: 31
- **Stars**: 0
- **Last updated**: 2026-11-04

Source: https://www.modelscope.cn/models/kfcVme50/Qwen3.5-9B-FP8-Dynamic-LLMCompressor

---

# Qwen3.5-9B-FP8-Dynamic-LLMCompressor

基于 Qwen3.5-9B 制作的 动态 FP8 量化模型，使用 llm-compressor 0.14.0 制作，以 compressed-tensors 0.19.0 格式保存。

## 量化配置

采用 `FP8_DYNAMIC` 对 128 个语言线性层做量化。权重按输出通道使用静态尺度，激活按 token 动态缩放。权重共 13.045 GiB，包括 7 个主体分片和 1 个 MTP 分片。 `visual`、`linear_attn`、`lm_head` 及其他非目标层保留浮点精度，KV cache 沿用推理引擎的默认设置。

重建使用上游提交 `460979c3d11864dd16408d860ac930a360a2fac2`。基座文件校验记录见 [BASE_PROVENANCE.json](BASE_PROVENANCE.json)。15 个 MTP 张量与基座逐字节一致。

## 文本推理

完整下载仓库后，在支持 compressed-tensors 的 vLLM 0.32.0 环境运行。模型目录应包含权重、索引、配置和 tokenizer。示例使用文本输入。

```python
from vllm import LLM, SamplingParams

llm = LLM(
    model="./Qwen3.5-9B-FP8-Dynamic-LLMCompressor",
    dtype="float16", enforce_eager=True,
    max_model_len=4096, max_num_seqs=1,
    gpu_memory_utilization=0.90,
    enable_prefix_caching=False,
    limit_mm_per_prompt={"image": 0, "video": 0},
    generation_config="vllm",
)
tokenizer = llm.get_tokenizer()
prompt = tokenizer.apply_chat_template(
    [{"role": "user", "content": "用一句话解释二分查找。"}],
    tokenize=False, add_generation_prompt=True, enable_thinking=False,
)
result = llm.generate([prompt], SamplingParams(temperature=0, max_tokens=192))
print(result[0].outputs[0].text)
```

## 验证结果

在 RTX 4090 D 上通过 Transformers FP16 解压重载。vLLM 0.32.0 选用 CUTLASS FP8 内核，8 条文本功能样例通过。当前重建版的验证范围为短文本生成。

- [产物审计](validation/artifact_audit.json)
- [Transformers 重载记录](validation/reload.json)
- [vLLM 功能测试](validation/native_smoke.json)

## 复现与许可

[reproducibility/](reproducibility/) 保存环境、目标模块清单和量化脚本。重建版发布记录见 [RELEASE_STATUS.json](RELEASE_STATUS.json)，旧版记录见 [history/](history/)。

量化参数见 [config.json](config.json) 和 [recipe.yaml](recipe.yaml)，文件校验值见 [SHA256SUMS](SHA256SUMS)。模型沿用基座的 [Apache-2.0 许可](LICENSE)。