---
title: qwen3.8-flash-next-strata-bpw392
canonical_url: "https://www.modelscope.cn/models/wszhoho/qwen3.8-flash-next-strata-bpw392"
md_url: "https://www.modelscope.cn/models/wszhoho/qwen3.8-flash-next-strata-bpw392.md"
repository: wszhoho/qwen3.8-flash-next-strata-bpw392
chinese_name: qwen3.8-flash-next-strata-bpw392
last_updated: 2026-10-28
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
library_name:
  - gguf
downloads: 985
stars: 7
---

# qwen3.8-flash-next-strata-bpw392

> qwen3.8-flash-next-strata-bpw392 - wszhoho 在 ModelScope 开源的模型。Qwen3.8-Flash-Next 的 Strata 本地推理适配包（主模型实测 3.9181 bpw）：含 AP-IQ3_XXS 主模型镜像（86.7 GB）、strata pack、MTP 投机解码草稿层、token embedding 提取件、简体中文思考模板与可直接运行的生产配置。

- **Repository**: wszhoho/qwen3.8-flash-next-strata-bpw392
- **Tasks**: image-text-to-text
- **Downloads**: 985
- **Stars**: 7
- **Last updated**: 2026-10-28

Source: https://www.modelscope.cn/models/wszhoho/qwen3.8-flash-next-strata-bpw392

---

# Qwen3.8-Flash-Next 适配 Strata 引擎（AP-IQ3_XXS / AP-IQ4_XS 双档）

为 **Strata 本地推理引擎**准备的即用模型资产，含两档量化：

| 档位 | 实测 bpw | 定位 |
|---|---|---|
| **AP-IQ3_XXS** | 3.9181 | 速度优先 |
| **AP-IQ4_XS** | 4.0890 | 质量优先（专家 IQ4_NL 占 52%） |

> **两档均可在 64 GB 内存的 PC 上完整运行**——专家全部常驻 RAM，零磁盘读，无需低内存预算模式。

> ⚠️ 模型权重版权归 Qwen 及各量化方（agentionai / unsloth）所有。本仓库遵循 **Qwen Community License 1.0** 发布并保留上游署名（全文见 `LICENSE-Qwen-Community-1.0.txt`）。

---

## 1. 实测数据（本仓库维护者环境）

**硬件**：3× RTX 2080 Ti 11 GB（sm_75）+ 64 GB RAM

**引擎参数（引擎 0.1.50，调优后）**：
`--max-context 256000 --kv int8 --kv-resident 20480 --spec 3 --spec-min-p 0.75 --resident-budget-gib 56 --pipeline-windows 2 --layer-split 14,33 --vram-reserve-mib 512 --vram-reserve-later-mib 512`

> **调优要点**：`--pipeline-windows 2` 让三卡的验证窗口与下一层传输重叠（+45%）；把 `--layer-split` 从 `auto` 改成显式 `14,33`，使 `--trim-stage-weights` 真正生效（+12%）。两项合计把 decode 从约 50 tok/s 提升到 **75–81 tok/s**。

> AP-IQ3_XXS 一列为**调优前**（`--layer-split auto` + `--pipeline-windows 0`）的实测值，尚未在新参数下复测；
> AP-IQ4_XS 一列为本次调优后的实测值。两者硬件与 prompt 相同。

| 指标 | AP-IQ3_XXS（调优前） | AP-IQ4_XS（调优后） |
|---|---|---|
| 专家常驻 RAM | 41.88 GiB | **41.88 GiB** |
| **稳定态剩余内存** | **7.2 GB** | **4.6 GB**（停靠池 3.5 GiB 开启时）|
| 专家槽位（三卡合计） | 9155 | **10285**（3711 / 3499 / 3075） |
| **decode（短 prompt，265 tok）** | 51–52 tok/s | **104.0 tok/s**（2026-10-28 复测） |
| **decode（长 prompt，5.4K tok）** | — | **70.9–72.8 tok/s** |
| prefill（57K tokens） | 未测 | **1629.7 tok/s** |
| prefill（短 prompt，265 tok） | — | **558 tok/s**（2026-10-28 复测） |
| 图片请求（800×600，CPU 视觉） | 12 s | 13 s |
| **运行期磁盘读** | **0** | **0** |

**调优前后对比（AP-IQ4_XS，同机同 prompt，引擎日志 decode 口径）**：

| 配置 | decode 中位 |
|---|---|
| 基线（`--layer-split auto` + `--pipeline-windows 0`） | 50.0 tok/s |
| + `--pipeline-windows 2` | 72.3 tok/s |
| + 显式 `--layer-split 14,33`（本次发布值） | **81.3 tok/s** |

**长上下文表现**：5,426 token 的 prompt 下 decode 仍为 70.9–72.8 tok/s（基线同条件为 48.2–48.6 tok/s）。上下文长度对 decode 影响很小，主要开销在首轮 prefill。

**2026-10-28 运行监控（AP-IQ4_XS）**：decode **104.0 t/s**、prefill（短 prompt）**558 t/s**，上下文占用 107K / 250K（42%），显存中的专家 10.255 / 22.2 GB，GPU 温度 52 ℃，运行期磁盘读 0。

![2026-10-28 运行监控](docs/imgs/monitor-20261028.jpg)

IQ4_XS 以约 2.4 GiB 额外内存换取更高的量化精度。AP-IQ3_XXS 在新参数下的数据待复测补充（预期提升幅度相近）。

---

## 2. 上游来源（权重出处与许可）

两档主模型的完整字节**均已包含在本仓库 `models/` 中**，可直接使用；下表用于说明出处与校验。

| 用途 | ModelScope 仓库 | 许可 | 源文件 |
|---|---|---|---|
| 主模型：**AP-IQ3_XXS** | `agentionai/Qwen3.8-Flash-Next-AP-GGUF` | Qwen Community 1.0 | `AP-IQ3_XXS/Qwen3.8-Flash-Next-AP-IQ3_XXS.gguf`<br>86,672,420,736 B |
| 主模型：**AP-IQ4_XS** | 同上 | Qwen Community 1.0 | `AP-IQ4_XS/Qwen3.8-Flash-Next-AP-IQ4_XS.gguf`<br>90,447,294,368 B |
| 视觉 mmproj | `ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF` | apache-2.0 | `mmproj-Qwen3.8-Flash-Next-Q4_K_M.gguf`（515,647,584 B） |
| token_embd 源 | `unsloth/Qwen3.8-Flash-Next-GGUF`（UD-IQ4_XS） | 见上游 | 已提取为 `embd/token-embd-iq4-xs.gguf` |

---

## 3. 包内容

| 路径 | 体积 | 说明 |
|---|---|---|
| `models/Qwen3.8-Flash-Next-AP-IQ3_XXS.gguf` | 86.7 GB | AP-IQ3_XXS 主模型（原始字节） |
| `models/Qwen3.8-Flash-Next-AP-IQ4_XS.gguf` | **90.4 GB** | **AP-IQ4_XS 主模型**（原始字节） |
| `packs/ap-iq3-xxs/` | 1.5 GB | Strata pack（含 `dense.bin` / `index.txt` / `compat-bf16.json` / `conversions.json` / `native_experts.txt` / `tokenizer/`） |
| `packs/ap-iq4-xs/` | **1.5 GB** | **同上，IQ4_XS 版** |
| `mtp/draft-q2-0.gguf` | 848 MB | MTP 草稿层（Q2_0） |
| `mtp/runtime/` | 786 MB | 引擎实际加载的 MTP 运行时件 |
| `embd/token-embd-iq4-xs.gguf` | 323 MB | token embedding（供 `--embd-gguf`） |
| `chat_template/chat_template.jinja` | 12 KB | 中文思考模板（`<think>` 内强制简体中文，effort 默认 low） |
| `docs/quantization-precision-comparison.md` | — | 逐层量化精度对比（三档） |
| `SHA256SUMS` | — | 大件校验值 |

> 本包**只含模型资产与模板**，不含引擎配置与运维脚本。

---

## 4. 部署（两种档位任选其一）

```
Strata-data/
├── packs/
│   ├── ap-iq3-xxs/                       ← packs/ap-iq3-xxs/
│   └── ap-iq4-xs/                        ← packs/ap-iq4-xs/
├── mtp/runtime/                          ← mtp/runtime/
└── embd/token-embd-iq4-xs.gguf           ← embd/token-embd-iq4-xs.gguf

gguf-msc/agentionai/Qwen3.8-Flash-Next-AP-GGUF/
├── AP-IQ3_XXS/Qwen3.8-Flash-Next-AP-IQ3_XXS.gguf
└── AP-IQ4_XS/Qwen3.8-Flash-Next-AP-IQ4_XS.gguf
```

引擎参数（以 IQ4_XS 为例，IQ3_XXS 把两处路径换成 `ap-iq3-xxs` / `AP-IQ3_XXS` 即可）：

| 参数 | 指向 |
|---|---|
| `--pack` | `packs/ap-iq4-xs` |
| `--native` | `.../AP-IQ4_XS/Qwen3.8-Flash-Next-AP-IQ4_XS.gguf` |
| `--ple-gguf` | 同上（PLE 表在同一 GGUF 内） |
| `--embd-gguf` | `embd/token-embd-iq4-xs.gguf` |
| `--mtp` | `mtp/runtime` |
| `--max-context 256000` | KV/状态容量 |
| `--kv int8 --kv-resident 20480` | KV 格式与显存常驻窗口 |

---

## 5. 复现 pack

```bash
python3 tools/iq_pack.py \
  --gguf /path/to/Qwen3.8-Flash-Next-AP-IQ4_XS.gguf \
  --out  /path/to/packs/ap-iq4-xs \
  --compat-bf16
```

`--compat-bf16` 会把 hyper-connection 等小体量非原生投影反量化为 BF16（引擎要求），专家与 PLE 表字节不变。**必须加此参数**，否则 pack 生成会报 `is Q6_K/Q8_0, but the engine requires BF16`。

---

## 6. 量化精度（逐层比特分配实测）

三档均为 **1224 张量 / 176.9 B 元素 / 48 层**，张量名与形状完全对应。数据来自 GGUF 头部静态解析（按相邻张量偏移差测真实字节占用），**不是质量结论**。

| | IQ3_S | AP-IQ3_XXS | **AP-IQ4_XS** |
|---|---:|---:|---:|
| 数据区字节 | 77.87 GB | 80.71 GB | **84.24 GB** |
| **整体实测 bpw** | 3.7800 | 3.9181 | **4.0890** |
| 专家主要类型 | IQ2_XS / IQ3_XXS 混合 | IQ3_XXS + IQ4_NL | **IQ4_NL (51.7%) + IQ3_S (45.5%)** |
| 最低比特张量 | 2.25 (Q2_0) | 3.0625 | **3.0625** |
| 逐层均匀性 | 跨度 1.875 bpw | 完全均匀 | 均匀 |

**要点**：

- **AP-IQ3_XXS**：全部 48 层 routed `gate`/`up` 恒为 IQ3_XXS(3.0625)、`down` 恒为 IQ4_NL(4.5)，每层固定 3.5417 bpw，**不含任何 2-bit 张量**。
- **AP-IQ4_XS**：专家层升级为 IQ4_NL(4.5) 与 IQ3_S(3.4375) 混合，51 个 IQ4_NL 张量占 51.7% 参数（91.5 B），96 个 IQ3_S 占 45.5%（80.5 B）；另含 Q6_K 4.46 B、Q8_0 0.39 B。整体 bpw 较 IQ3_XXS **+4.4%**。
- **两档 non-expert 部分相同**：router F32、token_embd Q6_K、shared/attn/ssm 多为 Q6_K/Q8_0。

> ⚠️ 以上为存储字节的静态分析，不含推理/困惑度/任务评测。两档**质量差异需端到端评测**，本包不做断言。

---

## 7. 中文思考模板

`chat_template/chat_template.jinja` 为定制版：强制 `<think>` 块内输出简体中文（含规则与示例），reasoning effort 默认 `low`。它同时被复制进 `packs/*/tokenizer/chat_template.jinja`，即引擎实际读取位置。

---

## 8. 许可与致谢

- **模型权重**：Qwen（`Qwen/Qwen3.8-Flash-Next`）→ 量化：agentionai（AP 系列）、unsloth（UD-IQ4_XS，用于 token embedding）
- 本包中的**转换产物与配置**：遵循 **Qwen Community License 1.0** 发布，保留上游署名
- 若上游作者对再分发有额外要求，以其声明为准