---
title: ninfer-ada-ternary
canonical_url: "https://www.modelscope.cn/models/shensanshu/ninfer-ada-ternary"
md_url: "https://www.modelscope.cn/models/shensanshu/ninfer-ada-ternary.md"
repository: shensanshu/ninfer-ada-ternary
chinese_name: "NInfer 三元 Bonsai 2 27B（Ada / 4080S 移植）"
last_updated: 2026-09-27
downloads: 96
stars: 82
---

# ninfer-ada-ternary

> ninfer-ada-ternary - shensanshu 在 ModelScope 开源的模型。三元 Bonsai-2-27B · ninfer「极速档（PQ2）」完整部署包

- **Repository**: shensanshu/ninfer-ada-ternary
- **Downloads**: 96
- **Stars**: 82
- **Last updated**: 2026-09-27

Source: https://www.modelscope.cn/models/shensanshu/ninfer-ada-ternary

---

# 三元 Bonsai-2-27B · ninfer「极速档（PQ2）」完整部署包

> **这是一个"离线自足"的部署包**：下载解压后按里面的说明走，就能在**你自己的机器**上把这个 27B 三元模型跑起来 ——
> 不需要联网、不需要自己编译、不需要去别处找引擎或权重。
>
> **包是给"AI agent 或愿意照步骤做的人"用的**：里面每一步都有「做什么 → 期望看到什么 → 不对就去哪一页」。

---

## 一、这个包能给你什么

| 项 | 内容 |
|---|---|
| **模型** | **Bonsai-2-27B 三元（PQ2 量化，约 6.7 GiB 权重）** + DFlash2 投机件（约 9.8 GiB） |
| **引擎** | **ninfer** 预编译引擎：`sm_89`（40 系）与 `sm_120`（50 系）两支，**不用你编译** |
| **实测速度** | RTX 4080 SUPER：**decode 226 t/s、prefill 2,230 t/s**；换 DFlash2 K=7 后 decode **353.8 t/s**；RTX 5090 D（志愿者实测）**512.9 t/s** |
| **显存** | 权重 6.70 GiB、运行时 8.54 GiB ⇒ **16 GB 卡舒服**；12 GB 卡有专门的 4-bit KV 启动件 |
| **完整源码树** | `src-tree\`（可自己重编，用于按你的显卡重编 SM 常量、或打调度补丁拿更高的 prefill） |
| **给 agent 的说明书** | 部署白皮书 / 排错手册 / 调优方案 / 工具包 / 从零复现书 / 声明与链接（`00`–`11` 页） |

## 二、怎么用（三步）

1. **下载**本仓库里的压缩包 `①极速档（PQ2三元）.zip`（约 18.4 GiB）。
2. **解压到一个"纯 ASCII 路径"** 下（这条很重要：**路径里不能有中文**，例如 `D:\fast-pq2`）。
   解压出来是英文名文件夹 `fast-pq2`，包里有中文说明 `先读我-文件夹名为什么是英文.txt` 解释原因。
3. **打开 `00-从这里开始.md`**，照它走。想先自检就运行：

   ```powershell
   powershell -NoProfile -ExecutionPolicy Bypass -File .\自检-搬家.ps1
   ```

   （它会验证包完整、路径能不能跑、清单是否对得上；**它红了就别往下走**。）

## 三、这台机器上实测的读数（口径一起看）

| 口径 | decode | prefill |
|---|---|---|
| 出厂默认（MTP K=3，ctx 262144 / fp8 KV） | **226.0 t/s** | **2,230 t/s**（4,070 token 冷缓存，TTFT 1.9 s） |
| **DFlash2 K=7**（16 GB 及以上推荐） | **353.8 t/s**（数数字内容） | 同左 |
| 不投机（对照） | 63.7 t/s | 同左 |

- **同卡不同内容能差 3 倍**（数数字 353.8 vs 散文 112）⇒ 报数必须带内容类型与接受率。
- **跨卡不可比**：`吞吐 = 步速 × (1 + K × 接受率)`，步速是卡的属性、接受率是内容的属性。
- 硬件门槛：引擎运行时**只接受 compute capability 8.9（40 系）与 12.0（50 系）**；30 系目前走不了这条线。

## 四、文件校验

```
SHA256(①极速档（PQ2三元）.zip) = C0B1EDBAC013F615947549108C81B00496C5   ← 见下方"校验清单"文件
```

> 精确值以随包的 `SHA256SUMS-DIST.txt` 为准；包内另有 `SHA256SUMS.txt` 逐文件校验（`自检-搬家.ps1` 会自动核对）。

## 五、许可与署名

- **模型权重**：按上游标注为 **Apache-2.0**；上游为 `prism-ml/Ternary-Bonsai-2-27B-gguf`（见魔搭同名仓库）。
  若上游许可另有附加条款，**以上游为准**。
- **引擎**：ninfer（dev fork）；三元内核与调度由我们移植/调优，改动清单见包内 `docs\源码导读-我们的改动地图.md`。
- **再分发**：请保留署名与许可全文；包内 `licenses\` 目录含各组件许可文本。

## 六、这个包**不包含**什么（先说清楚）

- **不含** 30 系的构建（引擎有 compute capability 硬门，只接受 8.9 / 12.0）。
- **不含** 数值门要用的 `ninfer-perplexity.exe`（它必须与引擎同批构建；想跑 PPL 数值门请按包内 `08-从零复现方案书.md` 自编）。
- **不含** 20 题质量题集（我们的内部题库不随包分发）。
- 其余四档（均衡档 PTQ1 / 超低显存档 llama+KVMem / Swift 微调档）**不在本仓库**。