---
title: MoziAier-27B-TQ
canonical_url: "https://www.modelscope.cn/models/chenyumo/MoziAier-27B-TQ"
md_url: "https://www.modelscope.cn/models/chenyumo/MoziAier-27B-TQ.md"
repository: chenyumo/MoziAier-27B-TQ
last_updated: 2026-11-04
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Qwen/Qwen3.8-27B
base_model_relation: quantized
library_name:
  - gguf
language:
  - zh
  - en
downloads: 2
stars: 0
tags:
  - gguf
  - Dense
  - ternary-quantization
  - 27B
  - MoziAier
  - tool-calling
  - vision
  - long-context
---

# MoziAier-27B-TQ

> MoziAier-27B-TQ - chenyumo 在 ModelScope 开源的模型。MoziAier 27B-TQ — 6.98 GiB 跑 256K 上下文 + MTP 推测解码的三值模型

chenyumo/MoziAier-27B-TQ 是 ModelScope 魔搭社区上的text-generation模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.8-27B 构建。

- **Repository**: chenyumo/MoziAier-27B-TQ
- **License**: apache-2.0
- **Tasks**: text-generation
- **Base model**: Qwen/Qwen3.8-27B
- **Tags**: gguf, Dense, ternary-quantization, 27B, MoziAier, tool-calling, vision, long-context
- **Downloads**: 2
- **Stars**: 0
- **Last updated**: 2026-11-04

Source: https://www.modelscope.cn/models/chenyumo/MoziAier-27B-TQ

---

# MoziAier 27B-TQ — 6.98 GiB 跑 256K 上下文 + MTP 推测解码的三值模型

![MoziAier 27B-TQ 品牌图](images/27B-TQ_brand_zh.png)

![MoziAier 27B-TQ 六大思考体系](images/27B-TQ_systems_zh.png)


[English](README.en.md) | 简体中文 | [繁體中文](README.zh-hant.md) | [日本語](README.ja.md) | [한국어](README.ko.md) | [हिन्दी](README.hi.md) | [Deutsch](README.de.md) | [Français](README.fr.md) | [Nederlands](README.nl.md) | [Italiano](README.it.md) | [Русский](README.ru.md) | [Español](README.es.md) | [Português](README.pt.md) | [العربية](README.ar.md) | [Bahasa Indonesia](README.id.md) | [Türkçe](README.tr.md) | [Tiếng Việt](README.vi.md) | [Polski](README.pl.md)

**版本：V1.0** · **权重：6.98 GiB** · **发布日期：2026-11-01**

> 📑 [概览](#1-模型概览) · [特性](#2-核心特性) · [规格](#3-技术规格) · [快速开始](#4-快速开始) · [启动](#5-启动命令) · [参数](#6-推荐推理参数) · [量化对比](#7-量化格式对比) · [MTP](#8-mtp-推测解码) · [显存](#9-显存配置建议) · [部署](#10-部署方式) · [评测](#11-评测结果) · [许可证](#12-许可证) · [联系](#13-联系方式) · [致谢](#特别鸣谢)

---

## 1. 模型概览

MoziAier 27B-TQ 是面向**长上下文 + 高吞吐**本地私有化部署的 27B 三值量化模型。主权重压到 `{-1, 0, +1}`，配上 q4_0 KV 缓存，**6.98 GiB 就能跑 256K 上下文**，也是本系列**唯一实测 MTP 推测解码有正收益**的型号（+29.4%）。

**一句话定位**：用一张 **16 GB 显卡**，在本机跑一个能读整本书（250K 满配）、支持视觉、开 MTP 后 61.2 tok/s 的中文助手。

与同系列的差异：
- 相比 9B-TQ：体积 3.75 倍、参数 3 倍、上下文 256K（9B 为 256K），且**开 MTP 是真加速**（9B 开 MTP 反而慢 13.7%）
- 相比 35B：在「能力 / 硬件门槛」之间取平衡，**16 GB 显卡即可 250K 满配**（实测 12.89 GB）
- 相比 Q4_K_M 版本（13.7 GB）：体积减半、解码快数倍

**适用人群**：长文档 / 整库分析的专业用户、单卡同时跑长上下文与视觉的团队、对解码速度有要求的 Agent 应用。

### MoziAier 自研特性

| 特性 | 说明 |
| --- | --- |
| **七维思考体系** | 先判任务复杂度，再动态展开 2 / 5 / 7 维推理，而非套固定模板 |
| **Agent LOOP 迭代** | 复杂任务进入「执行 → 评估 → 调整 → 验证」循环，简单任务自动跳过 |
| **Agent 长任务优化** | 分阶段推进、每阶段带验收判据；结构化输出便于外部任务系统接管 |
| **工具调用优化** | 输出规范的工具调用格式，便于 Agent 框架直接解析 |
| **时效性检索** | 时效问题明确要求联网检索，不凭记忆作答（需外接工具） |
| **防止死循环** | Loop 内置退出规则与收敛判据 |
| **MTP 可用且定档** | 保留 MTP 层（Q5_0，278 MB），实测 +29.4%（47.3 → 61.2 tok/s） |

> 以上为 MoziAier 原创增量。底座权重来自上游开源模型（见 [3](#3-技术规格)），整体以 Apache-2.0 分发，归属见 [`NOTICE`](NOTICE)。

---

## 2. 核心特性

**三值量化容器** —— 主权重取值只有 `-1` / `0` / `+1`，PTQ1.0 容器封装（与 9B-TQ 同类型）。每生成一个 token 读取的权重字节数远少于 4-bit。

**结构化输出** —— 先给**判型行**，再按复杂度展开**七维思考**，复杂任务进入 **Loop**：

| 层级 | 适用场景 | 展开维度 |
| --- | --- | --- |
| 简单问答 | 名词解释、事实查询、翻译、摘要 | 2 维 |
| 分析诊断 | 数据分析、报告解读、方案评估 | 5 维 |
| 复杂任务 | 代码开发、架构设计、多步流程 | 7 维 + Loop |

> 七维：① 理解任务 ② 复杂度评估 ③ 依赖关系 ④ 风险评估 ⑤ 资源需求 ⑥ 验收标准 ⑦ 执行策略

**超长上下文** —— 最大 256K（262,144 tokens）。可一次读完整本书、整份合同或中等规模代码库。

**视觉输入** —— 通过 mmproj 投影器（Q8_0，600 MB）支持图片，可用于截图问答、图表读数、文档扫描件理解。

**MTP 推测解码（本系列唯一正收益）** —— 保留 MTP 层并定档 Q5_0，实测 47.3 → **61.2 tok/s（+29.4%，接受率 57.19%）**。9B 开 MTP 是 −13.7%，两者结论相反，详见 [8](#8-mtp-推测解码)。

**拒绝编造** —— 被问到不存在的历史记录时回答「我这边查不到」，而不是编一个答案。

---

## 3. 技术规格

| 项目 | 规格 |
| --- | --- |
| 底座 | `Qwen3.8-27B`（Dense，Apache-2.0） |
| 参数量 | 27B（Dense） |
| 层数 | 65（含 MTP 层） |
| 注意力 | 24 头 / 4 个 KV 头（GQA） |
| 隐藏维度 / FFN | 5,120 / 17,408 |
| 量化方式 | 三值（-1 / 0 / +1），PTQ1.0 容器（GGUF type 143） |
| 权重文件 | 7,498,276,224 B（6.98 GiB，HF 页面显示约 7.0 GB） |
| 上下文 | 最大 256K（262,144 tokens） |
| 视觉 | mmproj-Q8_0（600 MB） |
| 推理速度 | R9700 / ROCm / 150K（三题法）：稳态 **58.19 tok/s**（MTP 开启）；首 token 约 6.1s |
| 推理框架 | llama.cpp 三值专用构建（Prism 血统，MIT；官方原版不支持），见 [10.1](#101-关于推理引擎) |
| 评测环境 | AMD Radeon AI PRO R9700（32 GB）/ ROCm 7.13 |

**能力边界**：本地私有化部署（16 GB 显卡跑 250K）、长文档分析（256K）、视觉问答（需 mmproj）、结构化输出、中英双语（中文优先）、工具调用、高速解码（开 MTP 61.2 tok/s）。

---

## 4. 快速开始

> ⚠️ 本模型需要 **2 个文件**。缺视觉投影器则无法读图。

```text
MoziAier-27B-TQ-V1.0-Q2_0-MTP-PTQ1_0.gguf   ← 主权重（必需，6.98 GiB，含 MTP 层）
moziAier-27B-TQ-V3.8-mmproj-Q8_0.gguf            ← 视觉投影器（需要读图时必需，600 MB）
```

| 平台 | 地址 |
| --- | --- |
| HuggingFace | [chenyumo/MoziAier-27B-TQ](https://huggingface.co/chenyumo/MoziAier-27B-TQ) |
| ModelScope | [chenyumo/MoziAier-27B-TQ](https://modelscope.cn/models/chenyumo/MoziAier-27B-TQ) |

把两个文件放进同一目录，执行 [5.1](#51-完整启动命令) 的命令，浏览器打开 `http://localhost:8080` 即可对话。

---

## 5. 启动命令

### 5.1 完整启动命令

```bash
llama-server \
  --model MoziAier-27B-TQ-V1.0-Q2_0-MTP-PTQ1_0.gguf \
  --mmproj moziAier-27B-TQ-V3.8-mmproj-Q8_0.gguf \
  --ctx-size 131072 \
  --cache-type-k q4_0 --cache-type-v q4_0 \
  --flash-attn on --n-gpu-layers 999 --parallel 1 \
  --batch-size 2048 --ubatch-size 512 \
  --jinja \
  --spec-type draft-mtp --spec-draft-n-max 2 \
  --host 0.0.0.0 --port 8080 \
  --temp 0.7 --top-p 0.8 --top-k 20 --min-p 0.0 \
  --presence-penalty 1.5 --repeat-penalty 1.0 --repeat-last-n 64 \
  --n-predict 65536
```

### 5.2 Windows 单行形式

上面的 `\` 是 Linux/macOS 的续行符，cmd 与 PowerShell 直接粘贴会报错。Windows 用一行：

```powershell
llama-server --model MoziAier-27B-TQ-V1.0-Q2_0-MTP-PTQ1_0.gguf --mmproj moziAier-27B-TQ-V3.8-mmproj-Q8_0.gguf --ctx-size 131072 --cache-type-k q4_0 --cache-type-v q4_0 --flash-attn on --n-gpu-layers 999 --parallel 1 --batch-size 2048 --ubatch-size 512 --jinja --spec-type draft-mtp --spec-draft-n-max 2 --host 0.0.0.0 --port 8080 --temp 0.7 --top-p 0.8 --top-k 20 --min-p 0.0 --presence-penalty 1.5 --repeat-penalty 1.0 --repeat-last-n 64 --n-predict 65536
```

> 🔧 `--batch-size` / `--ubatch-size` 按显存余量调；不确定就删掉，llama.cpp 用默认值。

### 5.3 三个必须解释的参数

| 参数 | 值 | 为什么必须这么设 |
| --- | --- | --- |
| `--parallel` | 1 | 默认 4，会把上下文均分，256K 变成每槽 64K |
| `--cache-type-k/v` | q4_0 | KV cache 量化，显存约减半；256K 上下文必须量化 |
| `--flash-attn` | on | 长上下文必需；关闭后三值 kernel 不生效，输出退化 |

### 5.4 按任务调上下文

| 场景 | `--ctx-size` |
| --- | --- |
| 日常对话（推荐默认） | 131072（128K，约 10.0 GB 显存） |
| 复杂任务 / 整库分析 | 262144（256K，约 12.9 GB，16 GB 卡即可） |
| 显存紧张时 | 102400（100K，约 9.4 GB） |

---

## 6. 推荐推理参数

### 6.1 三套出厂预设

按「温度光谱」设计三档。**27B 的思考开关随档位变化**——简单任务关、复杂任务开（依据见 [6.3](#63-27b-思考开关按档位分)）。

| 档位 | 上下文 | temperature | top_p | top_k | min_p | presence_penalty | 思考 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| **办公 / 日常** | 150K | **0.7** | 0.80 | 20 | 0 | **1.5** | **关** |
| **灵感 / 创意** | 250K | **1.1** | 0.95 | **40** | **0.02** | 0.3 | **开** |
| **编程 / 严谨** | 250K | **0.4** | 0.90 | 20 | 0 | 0.3 | **开** |

通用参数三档一致：`repeat_penalty 1.0` / `repeat_last_n 64` / `flash_attn on` / `kv_cache q4_0` / `spec_decoding draft-mtp`。

- **办公** = 上游 Prism *Instruct* 档，稳定输出，适合文档与问答
- **创意** = 在 Prism *Thinking* 档基础上提 0.1（temp 1.1）+ top_k 40，提高多样性
- **编程** = 比通常的 0.6 更严谨（0.4），适合代码与精确计算

### 6.2 客户端必须传的参数

```json
{ "chat_template_kwargs": { "enable_thinking": false } }
```

**关闭思考时必传。** 不传时全部输出落在 `reasoning_content`，`content` 恒为空——所有依赖 `content` 的调用都会判 0 分。服务端参数不能替代它（`--reasoning-budget 0` 也不行）。

开思考的档位传 `true`，同时 **`max_tokens` 必须 ≥ 4000**（1500 时复杂题正文会被思考吃满变 0 字符）。

### 6.3 27B 思考开关按档位分

| 配置 | Agent 150 题 | 平均轮数 | 撞 8 轮 | 耗时 |
| --- | --- | --- | --- | --- |
| 关闭思考 | 138/150 = 92.0% | 2.8 | 10 | **690s** |
| **开启（medium）** | **140/150 = 93.3%** | 2.5 | **4** | 1572s |

**开启的收益**：+2 题（+1.3 个百分点），**撞 8 轮减少 60%**（10 → 4）。

**分类变化**（开启后）：DSH 工具 12→**14/15（+13%）**、文件读取 12→13、文件搜索 12→13；综合任务与 MCP 调用各 15→14（−7%）。

**结论**：思考提升**执行类**任务（DSH 工具、文件读写搜索），代价是**综合 / MCP 类**略降。所以按档位分——办公档要稳定就关，创意和编程档要深度就开。

> ⚠️ **9B 不同**：9B 开思考会死循环（正文全空、耗时 5 倍），三档一律关闭。两个模型不能套用同一套建议。

---

## 7. 量化格式对比

| 项 | 本版（PTQ1.0 三值 + MTP） | Q4_K_M |
| --- | --- | --- |
| 权重体积 | **6.98 GiB** | 13.7 GB |
| MTP 推测解码 | ✅ 可用（+29.4%） | ⚠️ 原始权重，接受率低 |
| 官方 llama.cpp | ❌ 需三值专用构建 | ✅ 直接支持 |
| Ollama / LM Studio | ❌ 不支持 | ✅ 支持 |

> 三值容器的优势是体积减半与解码更快；Q4_K_M 的优势是生态成熟——可直接用官方 llama.cpp / Ollama / LM Studio 加载。

---

## 8. MTP 推测解码

**本版保留 MTP 层并定档 Q5_0 —— 这是 27B 相对 9B 的关键差异。**

### 8.1 27B 正收益，9B 负收益

2026-11-01 完整精度扫描（R9700 / ROCm / ctx 32K / `--spec-draft-n-max 2` / 三题法双口径 / greedy）：

| 模型 | MTP | 稳态 decode | 接受率 | 相对关闭 |
| --- | --- | --- | --- | --- |
| **27B** | 关闭 | **47.3 tok/s** | — | 基线 |
| **27B** | **开（Q5_0）** | **61.2 tok/s** | **57.19%** | **+29.4%** |
| 9B（PQ2_0 容器） | 关闭 | 121.1 tok/s | — | 基线 |
| 9B（PQ2_0 容器） | 开（Q5_0） | 104.5 tok/s | 52.66% | **−13.7%** |

同一批测试，两个模型结论**相反**：27B 主模型慢（47.3），省下的 decode 步数足够填平草稿开销；9B 本身已经很快（121.1），调度与验证开销占比过高，把收益全吃掉了。

### 8.2 开启参数

```bash
--spec-type draft-mtp --spec-draft-n-max 2
```

| 参数 | 推荐值 | 说明 |
| --- | --- | --- |
| `--spec-type` | `draft-mtp` | 启用 MTP 推测解码 |
| `--spec-draft-n-max` | 2 | 每次最多猜 2 个 token。**实测最优**：3 只提升 +7.6%，4 反而 −4.2% |

> ⚠️ 网上流传的「n-max 2 → 80% 接受率、4-5 → 60-65%」是**其它模型的数据**，在 27B 上不成立。本机实测 n-max 2 是 **57.19%**。

### 8.3 MTP 层精度阈值：不是「降一点没事」

MTP 层是投机草稿器，草稿 token 必须与主模型逐 token 一致。**误差超过阈值直接归零，不是线性退化**：

| MTP 层精度 | 相对 RMS 误差 | 层体积 | 接受率 | 判定 |
| --- | --- | --- | --- | --- |
| **Q5_0（本版）** | **4.6–5.3%** | **278 MB** | **57.19%** | ✅ 定档 |
| Q5_1 | 3.8–4.4% | 304 MB | 57.83% | ✅ 可用 |
| Q8_0 | 2–3% | 469 MB | 56.57% | ✅ 但体积划不来 |
| Q4_0 | 9–10% | 228 MB | **0.00%** | ❌ 完全不加速 |
| Q3_K | 15–19% | 174 MB | **0.00%** | ❌ 完全不加速 |

阈值卡在 5.3%~9% 之间。省 100–200 MB 换来的是**彻底不加速**，还会因为多一层调度而更慢。**这就是本版定档 Q5_0 的原因。**

### 8.4 一句话总结

- **27B：开 MTP。** 61.2 vs 47.3 tok/s，+29.4%，MTP 层只占 278 MB。
- **9B：别开 MTP。** 慢 13.7%，两者结论相反，别混用。
- **MTP 层必须 ≥ Q5。** 降到 Q4_0 / Q3_K 接受率归零，比不开还慢。

---

## 9. 显存配置建议

> 📌 本文档中「256K」= 262,144 tokens（模型原生上限），「250K」= 256,000 tokens（出厂预设档位）。技术规格用 256K，参数档位用 250K，两者指同一量级。

桌面独立显卡实测值（ROCm / q4_0 KV / FA on / 含视觉投影器）：

| 上下文 | 显存占用 |
| --- | --- |
| 100K | **9.37 GB** |
| 150K | **10.54 GB** |
| 200K | **11.71 GB** |
| 250K（最大） | **12.89 GB** |

**经验拟合**：`显存(GB) ≈ 7.02 + 0.02347 × 上下文(K)`，每增加 50K 多占 **1.17 GB**。四个实测点与拟合式残差均 ≤0.01 GB，线性度很好。

| 显存 | 可跑上下文 | 余量 | 说明 |
| --- | --- | --- | --- |
| 10 GB | 100K | 0.6 GB | 入门可用 |
| 12 GB | 150K（稳）/ 200K（临界） | 1.5 / 0.3 GB | 200K 接近上限 |
| 14 GB | 250K | 1.1 GB | 满配起步 |
| **16 GB** | **250K 满配** | **3.1 GB** | **推荐门槛**，如 RTX 4060 Ti 16G / RX 7600 XT |
| 24 GB+ | 250K 满配 | 11 GB+ | 无压力，可留视觉与并发余量 |

> 💡 **16 GB 显卡就能跑满 250K**，这是三值容器最实在的优势——同参数量的 4-bit 版本要 32 GB 以上才敢谈 256K。
>
> 显存紧张时先降 `--ctx-size`，不要降 `--parallel`（那会切分上下文，反而更吃紧）。

---

## 10. 部署方式

| 方式 | 支持 | 说明 |
| --- | --- | --- |
| llama.cpp（三值专用构建） | ✅ 推荐 | 唯一支持的路径 |
| llama.cpp（官方原版） | ❌ | 无法加载 PTQ1_0 容器 |
| Ollama / LM Studio / Jan | ❌ | 内置引擎为官方 llama.cpp，不认三值容器 |

### 10.1 关于推理引擎

本模型权重是 GGUF 类型 `PTQ1_0`（type 143）——**上游定义、标准 llama.cpp 不支持的私有扩展类型**。

| 来源 | 说明 |
| --- | --- |
| `PrismML-Eng/llama.cpp`（`prism` 分支） | 上游实现，MIT。实测数据即在该血统的 `b10826` 上取得。[发布页](https://github.com/PrismML-Eng/llama.cpp/releases) |
| MoziAier 品牌化构建 | 基于上游的 fork，仅重命名程序与文档，MIT，未改动内核逻辑 |

**版本要求**：`PTQ1_0` 支持自 `b10658` 起，建议 `b10826` 或更新。用不支持的构建加载可能不报错，但输出会退化成基座行为。

**平台支持**（只列实测跑通的组合）：

| 系统 | 后端 | 状态 | 说明 |
| --- | --- | --- | --- |
| Windows 10 / 11 | AMD ROCm（HIP） | ✅ 已验证 | **250K 长上下文唯一可行** |
| Windows 10 / 11 | Vulkan | ✅ AMD 实测通过 | 100K–150K 稳定，250K 会崩 |
| Windows 10 / 11 | CPU | ✅ 已验证 | 速度慢，用于验收与兜底 |
| Windows + NVIDIA | CUDA 12.4 / 13.3 | ⚠️ 已下载校验，未实测 | 两台测试机都是 AMD |
| Linux / macOS | — | ⚠️ 本团队未构建 | 可按 `prism` 分支自建 |

> **Windows + AMD 是唯一由我们实测背书的组合**，不承诺「全平台开箱即用」。重新分发该构建请随附其 `LICENSE` 与归属声明（MIT 强制要求）。

### 10.2 搭配 MoziAier 桌面软件（推荐）

官方桌面客户端：下载 → 选模型 → 启动，**不需要敲任何命令行**。

| 能力 | 说明 |
| --- | --- |
| **一键部署 27B-TQ** | 自动配好上下文、KV 量化、显存分档、MTP 参数与推理引擎 |
| **专门适配** | 预设按 27B-TQ 实测标定（128K / 256K 两档），自动带 `--spec-type draft-mtp --spec-draft-n-max 2` |
| **多模型统一管理** | 也支持挂载其他本地 GGUF 模型，同一界面切换、看显存、管自启 |
| **本地优先** | 对话与文件不出本机 |

**官网**：**www.moziaier.com**

> ⚠️ 别和 Ollama / LM Studio 混用——它们不认 `PTQ1_0` 容器，加载会失败或输出退化。

---

## 11. 评测结果

**自建评测，不是第三方榜单。** 两套题库与 9B-TQ 同口径，环境 R9700 / ROCm / 150K。

> ⚠️ **引用规范**：27B 的 Agent 成绩有两种口径，**关闭思考 92.0%，开启思考 93.3%**。只说「92%」会被误认为能力上限。

### 11.1 Agent 任务 150 题

| 配置 | 通过率 | 平均轮数 | 撞 8 轮 | 耗时 |
| --- | --- | --- | --- | --- |
| 关闭思考 | 138/150 = 92.0% | 2.8 | 10 | 690s |
| **开启思考** | **140/150 = 93.3%** | 2.5 | **4** | 1572s |

**分类明细（关闭思考）**：

| 类别 | 得分 | 通过率 |
| --- | --- | --- |
| MCP 调用 / 安全边界 / 数据库 CRUD / 综合任务 / 错误恢复 | 各 15/15 | **100%**（五类） |
| 数据库结构 | 14/15 | 93% |
| **文件写入** | **13/15** | **87%** |
| 文件读取 / 文件搜索 / DSH 工具能力 | 各 12/15 | 80% |
| **合计** | **138/150** | **92.0%** |

**27B 的强项是文件写入 87%**（9B 该项 80%）。弱项是文件读取 / 搜索 / DSH 工具各 80%——这三项 9B 分别是 100% / 100% / 93%，都明显更强。

### 11.2 六维基础能力 120 题：92%

| 维度 | 得分 | 通过率 |
| --- | --- | --- |
| **七维思考** | **20/20** | **100%** |
| **记忆诚实** | **19/20** | **95%** |
| 身份认同 / Loop 纪律 / 检索诚实 / 工具认知 | 各 18/20 | 90% |
| **合计** | **111/120** | **92%** |

**六维优势集中在记忆诚实（95% vs 9B 70%）**——「不编造」的能力：被问到不存在的历史记录时，它会明确说「我这边查不到」。这正是 27B 相对 9B 最大的差距。

**六维上思考是负收益**（92% → 88%）：① `max_tokens` 不足时正文被思考吃满；② 简单题（如 `1+1`）也展开七维，违反「简单题要克制」的判据。因此六维统一用关闭思考口径。

### 11.3 版本演进与速度

| 六维版本 | 总分 | 关键变化 |
| --- | --- | --- |
| 初版 | 84% | 工具认知仅 13/20 |
| **v2（本版）** | **92%** | 工具认知 13 → 18 |
| v3（复跑） | 92% | 一致性验证通过 |

R9700 / ROCm / 150K，三题法（MTP 开启）：

| 场景 | 输出 token | 耗时 | tok/s |
| --- | --- | --- | --- |
| 短问 | 2 | 6.108s | 0.33（首 token 延迟主导，无参考意义） |
| 中答 | 33 | 0.741s | **44.56** |
| 长答 | 178 | 2.478s | **71.82** |
| **稳态（中答+长答平均）** | — | — | **58.19** |

**首 token 延迟约 6.1 秒**（含 814 prompt token 处理）。稳态 58.19 与 MTP 定档基线（61.2）的差异来自测试协议不同。

> 与 9B 对比：27B 稳态 58.19 vs 9B 121.1，**9B 快 2.08 倍**；但 27B 六维高 6 点、记忆诚实高 25 点——能力与速度是明确取舍。

---

## 12. 许可证

本模型以 **Apache License 2.0** 分发，可免费商用。

**权重**上游组件（`Qwen3.8-27B`）同为 Apache-2.0；**推理引擎**为 MIT（见 [10.1](#101-关于推理引擎)）。归属见 [`NOTICE`](NOTICE)，修改声明见 [`MODIFICATIONS.md`](MODIFICATIONS.md)，全文见 [`LICENSE`](LICENSE)。

---

## 13. 联系方式

- **HuggingFace**：[@chenyumo](https://huggingface.co/chenyumo) · **GitHub**：[@chenyumo166](https://github.com/chenyumo166)
- **微博**：[@rimochen](https://weibo.com/rimochen) · **邮箱**：263515@qq.com

Copyright (c) 2026 Chen Yumo / chenyumo166. Licensed under the Apache License, Version 2.0.

---

## 特别鸣谢

本模型站在两个开源团队的工作之上：

- **感谢 Qwen 团队（阿里巴巴）** —— `Qwen3.8-27B` 是本模型的预训练底座。底座的扎实程度决定了三值量化后还能剩多少能力；Apache-2.0 的开放许可让小团队也能在此基础上探索。
- **感谢 PrismML-Eng** —— `llama.cpp` 的 `prism` 分支让 `PTQ1_0` 容器真正跑得起来。本文档所有实测数据都来自这条血统的 `b10826`。
- **感谢 ggml / llama.cpp 社区** —— MIT 许可下的本地推理地基。

我们与以上团队**无隶属、赞助或背书关系**，名称仅用于说明技术来源。若本模型对你有帮助，也请给这些上游项目一个 star。

---

<!-- UPSTREAM-LICENSE-NOTICE:BEGIN -->
## 上游许可声明 / Upstream License Notice

License: **Apache License 2.0** — authoritative text: [LICENSE](LICENSE). The **weights** are distributed under Apache-2.0 (upstream `Qwen3.8-27B` is Apache-2.0; MoziAier's own additions are likewise Apache-2.0). The **inference engine** (llama.cpp / Prism lineage) is MIT licensed and distributed separately. Attribution: [NOTICE](NOTICE); modifications: [MODIFICATIONS.md](MODIFICATIONS.md).
<!-- UPSTREAM-LICENSE-NOTICE:END -->