---
title: Step-5-Preview-Channel-FP8-w8a8
canonical_url: "https://www.modelscope.cn/models/hygon/Step-5-Preview-Channel-FP8-w8a8"
md_url: "https://www.modelscope.cn/models/hygon/Step-5-Preview-Channel-FP8-w8a8.md"
repository: hygon/Step-5-Preview-Channel-FP8-w8a8
last_updated: 2026-10-19
license: other
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - step5_vl
architectures:
  - Step5ForConditionalGeneration
base_model:
  - stepfun-ai/Step-5-Preview
base_model_relation: quantized
parameters: 604.3B
tensor_type:
  - F8_E4M3
  - BF16
  - F32
library_name:
  - safetensors
downloads: 200
stars: 1
---

# Step-5-Preview-Channel-FP8-w8a8

> Step-5-Preview-Channel-FP8-w8a8 - hygon 在 ModelScope 开源的模型。Step-5-Preview-Channel-FP8-w8a8 本仓库提供 Step5 的 Channel FP8 W8A8 权重。上游模型与精度对照为 stepfun-ai/Step-5-Preview，它是官方 FP8 E4M3、128×128 per-block 模型。本仓库采用 static per-channel 权重与 dynamic per-token…

hygon/Step-5-Preview-Channel-FP8-w8a8 是 ModelScope 魔搭社区上的 604.3B 参数image-text-to-text模型，采用 other 许可，基于 stepfun-ai/Step-5-Preview 构建。

- **Repository**: hygon/Step-5-Preview-Channel-FP8-w8a8
- **License**: other
- **Tasks**: image-text-to-text
- **Parameters**: 604.3B
- **Base model**: stepfun-ai/Step-5-Preview
- **Downloads**: 200
- **Stars**: 1
- **Last updated**: 2026-10-19

Source: https://www.modelscope.cn/models/hygon/Step-5-Preview-Channel-FP8-w8a8

---

# Step-5-Preview-Channel-FP8-w8a8

本仓库提供 Step5 的 Channel FP8 W8A8 权重。上游模型与精度对照为 [stepfun-ai/Step-5-Preview](https://modelscope.cn/models/stepfun-ai/Step-5-Preview)，它是官方 **FP8 E4M3、128×128 per-block** 模型。本仓库采用 static per-channel 权重与 dynamic per-token 激活量化。原有版权和归属保留，修改说明见 [CHANGES.md](./CHANGES.md)。

## 1. 基本信息

| 项目 | 内容 |
| --- | --- |
| 上游模型 | [stepfun-ai/Step-5-Preview](https://modelscope.cn/models/stepfun-ai/Step-5-Preview)，官方 FP8 per-block |
| 模型仓库 ID | [hygon/Step-5-Preview-Channel-FP8-w8a8](https://www.modelscope.cn/models/hygon/Step-5-Preview-Channel-FP8-w8a8) |
| 量化类型 | FP8 W8A8，保留部分 BF16/FP32 张量 |
| 权重量化 | Static、Per-Channel，FP8 E4M3 |
| 激活量化 | Dynamic、Per-Token |
| Scale | FP32，每个专家、每个输出通道独立，shape 为 `[experts, out_features, 1]` |
| 量化范围 | 按 0 起始层号，第 3–87 层 MoE 的 gate/up/down 投影，共 255 个 FP8 权重张量 |
| 保留精度 | 第 88–90 层专家权重、attention、dense、MTP、视觉侧等仍含 BF16/FP32 张量 |
| 量化工具 | 自定义 [quantize_step5_fp8_channel.py](./tools/quantize_step5_fp8_channel.py)，逐专家、逐输出通道取 absmax/448 作为 scale，再转换为 FP8 E4M3 |
| 工具版本 | 本仓库随附的实际使用脚本，未单独发布版本号 |
| 权重格式 | Safetensors；compressed-tensors 配置中的 `version=0.13.0` 为格式元数据 |
| 验证硬件 | 8 × BW1100 144GB |
| 验证框架 | vLLM `0.28.1+dtk2604.torch2110.2609171627.g77acaf` |
| 插件版本 | vllm-plugin-das `75aa13701c3b23f25feb30f03f8c8c87fd7045cf` |
| PyTorch / FlashAttention | `2.11.0+dtk2604.2609291046.ge12687` / `2.8.4+dtk2604.torch2110.2610111419.gdf2889` |
| 精度评测工具 | EvalScope `1.12.0`，原生规则判分 |
| 推荐镜像 | `42.228.13.241:666/jenkins/model_test_env/vllm:0.28.1rc1-latest` |
| 许可证 | StepFun Model License 1.0 |

模型配置包含文本与视觉分支；本轮精度仅覆盖文本。磁盘上保留的 BF16/FP32 张量与运行时量化开关分别记录。

## 2. 测试步骤

### 环境准备

拉取推荐镜像：

```bash
docker pull 42.228.13.241:666/jenkins/model_test_env/vllm:0.28.1rc1-latest
```

推理端使用上述配套环境。本包 `tokenizer_config.json` 使用验证过的 `PreTrainedTokenizerFast` ByteLevel 配置；模型、tokenizer 与 chat template 必须匹配，不可用 tokenizer 目录中的 `config.json` 覆盖模型量化配置。

在配套容器中建立独立评测环境，使用清华源安装本轮记录的版本：

```bash
python3 -m venv --system-site-packages .venv-eval
.venv-eval/bin/python -m pip install \
  --index-url https://pypi.tuna.tsinghua.edu.cn/simple \
  'evalscope==1.12.0' 'ms-enclave==0.0.8' \
  'transformers==5.19.0' 'tokenizers==0.23.2' \
  'datasets==4.8.4' 'openai==2.54.0'
```

### 准备完整数据集

[scripts/eval_full.py](./scripts/eval_full.py) 使用 EvalScope 原生适配器，从 ModelScope 载入 GSM8K test 1319 题、HumanEval 164 题和 MATH-500 500 题。

```bash
.venv-eval/bin/python scripts/eval_full.py prepare \
  --inputs eval-inputs --cache-dir .cache/step5-eval
```

### 服务启动

八卡 IFB，TP4、DP2、EP8，正常 MTP3；max_model_len=65536、max_num_batched_tokens=32768、max_num_seqs=64、FP8 E4M3 KV cache、gpu_memory_utilization=0.85，关闭 prefix caching。两边均使用 **Triton MoE、eager 执行**；`VLLM_HCU_STEP5_FP8_DENSE=0`、`VLLM_HCU_STEP5_FP8_BF16_MOE=0`，保留 checkpoint 中的 BF16 权重。

完整环境变量与参数见 [scripts/start_accuracy.sh](./scripts/start_accuracy.sh)。本轮关闭 LightOP EP scatter 和 EP fused MoE，以统一两种 FP8 格式可用的路径。此命令用于精度复测；吞吐数据需另行测量。

在一个终端启动 per-channel 模型：

```bash
MODEL_PATH=/path/to/per-channel-model \
TOKENIZER_PATH=/path/to/validated-tokenizer \
PORT=8000 bash scripts/start_accuracy.sh
```

另一个终端检查服务就绪：

```bash
curl --fail http://127.0.0.1:8000/v1/models
```

使用 `step3p5` reasoning parser 分离思考和最终答案，API 模型名为 `step5`。

### 全量评测与对比

三个数据集依次运行，不设置 limit。HumanEval 使用已配置好的代码判分服务，通过 `--sandbox-url` 指定其地址：

```bash
.venv-eval/bin/python scripts/eval_full.py eval \
  --inputs eval-inputs \
  --api-url http://127.0.0.1:8000/v1 \
  --sandbox-url http://127.0.0.1:18119 \
  --label step5-per-channel \
  --expected-model /path/to/per-channel-model \
  --output results/per-channel
```

per-channel 评测完成后结束该服务，用同一脚本加载已下载的官方 `stepfun-ai/Step-5-Preview`，复用相同 tokenizer 与冻结输入：

```bash
MODEL_PATH=/path/to/official-fp8-model \
TOKENIZER_PATH=/path/to/validated-tokenizer \
PORT=8000 bash scripts/start_accuracy.sh
```

服务就绪后，在另一个终端执行：

```bash
.venv-eval/bin/python scripts/eval_full.py eval \
  --inputs eval-inputs \
  --api-url http://127.0.0.1:8000/v1 \
  --sandbox-url http://127.0.0.1:18119 \
  --label step5-official-fp8 \
  --expected-model /path/to/official-fp8-model \
  --output results/official-fp8

.venv-eval/bin/python scripts/compare_results.py \
  --official results/official-fp8/full-evaluation-summary.json \
  --per-channel results/per-channel/full-evaluation-summary.json \
  --output results/comparison.json
```

每次评测使用新的输出目录。

## 3. 精度结果

两边统一使用 EvalScope 1.12.0 原生评分、zero-shot、单次、并发 4、temperature=1.0、top_p=0.95、top_k=-1、seed=42、n=1、stream=true、retries=0、timeout=7200 秒，max_tokens=32768（包含思考输出）。

差值 = per-channel 分数 − 官方 FP8 per-block 分数，单位为百分点。分数从正确题数计算后四舍五入；HumanEval 为单次 pass@1。

| 数据集 | 指标 / 题数 | 官方 FP8 per-block（%） | 本模型 FP8 per-channel（%） | 差值（百分点） |
| --- | --- | ---: | ---: | ---: |
| humaneval | pass@1，164 题 | 98.17（161/164） | 98.78（162/164） | +0.61 |
| math_500 | accuracy，500 题 | 97.60（488/500） | 98.00（490/500） | +0.40 |
| gsm8k | accuracy，1319 题 | 96.51（1273/1319） | 95.91（1265/1319） | -0.61 |

## 4. 下载方式

模型仓库 ID 为 `hygon/Step-5-Preview-Channel-FP8-w8a8`，发布后可通过以下方式下载：

```python
from modelscope import snapshot_download

model_dir = snapshot_download("hygon/Step-5-Preview-Channel-FP8-w8a8")
```

## 5. License

本模型沿用上游 stepfun-ai/Step-5-Preview 的 **StepFun Model License 1.0**。英文原文见 [LICENSE](./LICENSE)，上游文件名副本见 [LICENSE.txt](./LICENSE.txt)，中文原文见 [LICENSE-CN.txt](./LICENSE-CN.txt)。Copyright (c) 2026 StepFun AI。修改说明见 [CHANGES.md](./CHANGES.md)，具体条款以许可证原文为准。
