---
title: Hy-MT2-30B-A3B-APEX-GGUF
canonical_url: "https://www.modelscope.cn/models/alphaZimuth/Hy-MT2-30B-A3B-APEX-GGUF"
md_url: "https://www.modelscope.cn/models/alphaZimuth/Hy-MT2-30B-A3B-APEX-GGUF.md"
repository: alphaZimuth/Hy-MT2-30B-A3B-APEX-GGUF
last_updated: 2026-07-27
license: apache-2.0
pipeline_tag: translation
tasks:
  - translation
library_name:
  - gguf
  - pytorch
frameworks:
  - Pytorch
language:
  - zh
  - en
  - fr
  - pt
  - es
  - ja
  - tr
  - ru
  - ar
  - ko
  - th
  - it
  - de
  - vi
  - ms
  - id
  - tl
  - hi
  - pl
  - cs
  - nl
  - km
  - my
  - fa
  - gu
  - ur
  - te
  - mr
  - he
  - bn
  - ta
  - uk
  - bo
  - kk
  - mn
  - ug
downloads: 1038
stars: 9
tags:
  - gguf
  - moe
  - llama.cpp
  - hy_v3
  - quantized
  - translation
---

# Hy-MT2-30B-A3B-APEX-GGUF

> Hy-MT2-30B-A3B-APEX-GGUF - alphaZimuth 在 ModelScope 开源的模型。基于腾讯 Hy-MT2-30B-A3B 模型的 APEX 系列 GGUF 量化版本。本仓库提供四个不同定位的 APEX 量化版本，适用于不同显存和质量需求。

alphaZimuth/Hy-MT2-30B-A3B-APEX-GGUF 是 ModelScope 魔搭社区上的translation模型，采用 apache-2.0 许可。

- **Repository**: alphaZimuth/Hy-MT2-30B-A3B-APEX-GGUF
- **License**: apache-2.0
- **Tasks**: translation
- **Tags**: gguf, moe, llama.cpp, hy_v3, quantized, translation
- **Downloads**: 1038
- **Stars**: 9
- **Last updated**: 2026-07-27

Source: https://www.modelscope.cn/models/alphaZimuth/Hy-MT2-30B-A3B-APEX-GGUF

---

# Hy-MT2-30B-A3B-APEX-GGUF

基于腾讯 [Hy-MT2-30B-A3B](https://www.modelscope.cn/models/Tencent-Hunyuan/Hy-MT2-30B-A3B) 模型的 APEX 系列 GGUF 量化版本。

本仓库提供三个不同定位的 APEX 量化版本，适用于不同显存和质量需求，由 **alphaZimuth** 量化。

# 更新日志

- **2026-7-14**  
  上传 APEX 量化初版。

- **2026-7-15**  
  修复 `hy_v3` 架构兼容性问题，支持官方 llama.cpp b9993+。

- **2026-7-19**  
  新增基于 imatrix 校准的 APEX-Imatrix-I 系列，并加入面向低显存设备的 Nano 版本。

## 推荐版本

目前推荐使用 **APEX-Imatrix-I 系列**。

相比最初发布的 APEX-I 系列，该系列使用 `imatrix.dat` 进行了 importance matrix 校准。

本次校准使用面向多语言翻译任务的校准数据集生成，最终校准水平：**PPL = 2.1519 +/- 0.00207**

实际测试表明，经过 Imatrix 校准后的版本相比未校准版本，在翻译质量和输出稳定性方面均有明显提升。

评测采用相同测试文本进行平行翻译对比，对比 Imatrix 校准版本与未校准版本的实际输出结果。

同时使用多个先进大语言模型作为辅助评估器，包括 GLM、DeepSeek、GPT、Qwen 和 LongCat，从翻译准确性、语言流畅度、表达自然度等多个维度进行评价。

在多轮对比评估中，上述模型均一致倾向于认为 Imatrix 校准版本具有更高的翻译质量。

原始 APEX-I 系列将保留作为历史版本和对比用途。

## 可用量化版本

### 推荐使用: APEX-Imatrix-I 系列量化

| 文件 | 大小 | 描述 |
| :--- | ---: | :--- |
| `Hy-MT2-30B-A3B-APEX-Imatrix-I-Nano.gguf` | 11.5 GB | 面向低显存用户的轻量版本，在降低资源需求的同时保持较高翻译质量。 |
| `Hy-MT2-30B-A3B-APEX-Imatrix-I-Compact.gguf` | 14.0 GB | 优化质量与体积比例，适合显存受限设备 |
| `Hy-MT2-30B-A3B-APEX-Imatrix-I-Quality.gguf` | 19.0 GB | 注重质量保持，适合追求更高精度的场景 |
| `Hy-MT2-30B-A3B-APEX-Imatrix-I-Balanced.gguf` | 20.8 GB | Balanced 档位，适合优先考虑整体质量的用户 |

### 遗留: 原 APEX-I 系列

以下版本仅用于对比存档:

| 文件 | 大小 | 描述 |
| :--- | ---: | :--- |
| `Hy-MT2-30B-A3B-APEX-I-Compact.gguf` | 14.0 GB | 原始未校准量化 |
| `Hy-MT2-30B-A3B-APEX-I-Quality.gguf` | 19.0 GB | 原始未校准量化 |
| `Hy-MT2-30B-A3B-APEX-I-Balanced.gguf` | 20.8 GB | 原始未校准量化 |

## 量化信息

使用：

**APEX（基于 llama.cpp）**

项目： https://github.com/localai-org/apex-quant

转换流程：

    Tencent Hy-MT2-30B-A3B (BF16)
            ↓
    convert_hf_to_gguf.py (hy3-port)
            ↓
    Hy-MT2-30B-A3B-BF16.gguf
            ↓
    APEX quantization (with imatrix)
            ↓
    APEX GGUF

注意：

-   本版本量化使用了 imatrix 校准。
-   文件命名遵循 APEX tier 命名规则。

## llama.cpp 支持说明
**！！！！重要 ！！！！**

Hy-MT2-30B-A3B 使用 **Hy_v3** 架构。

官方 llama.cpp 已从 **b9993** 版本开始合并 `hy_v3` 支持。

请使用 b9993 或更新版本的 llama.cpp 进行推理。

相关 PR：

https://github.com/ggml-org/llama.cpp/pull/25395

## 使用方法

``` bash
llama-cli \
-m Hy-MT2-30B-A3B-APEX-Imatrix-I-Compact.gguf \
-p "Translate the following sentence into Chinese: Hello world"
```

## 性能测试

测试环境：

-   CPU：Intel Core i7-12700H
-   GPU：NVIDIA RTX 3060 Laptop GPU 12GB
-   内存：24GB

参数：

    -ngl 99
    -b 2048
    -ub 2048
    -t 12

最佳 `--n-cpu-moe` 数值（基于RTX3060 12GB）应用于各量化版本：

| 量化 | 大小 | n_cpu_moe | PP512 | TG128 |
| :--- | ---: | ---: | ---: | ---: |
| `APEX-Imatrix-I-Nano` | 11.59 GiB | 4 | 1224.25 tok/s | 71.92 tok/s |
| `APEX-Imatrix-I-Compact` | 14.00 GiB | 13 | 835.57 tok/s | 56.16 tok/s |
| `APEX-Imatrix-I-Quality` | 19.05 GiB | 25 | 520.03 tok/s | 33.49 tok/s |
| `APEX-Imatrix-I-Balanced` | 20.81 GiB | 26 | 463.11 tok/s | 28.93 tok/s |

# 🚀 实验性投机解码草稿模型

对于拥有足够显存、希望探索推理优化的用户，本项目提供了一个基于 Hy-MT2-1.8B 改造的 speculative decoding 草稿模型：

👉 **Hy-MT2-1.8B-SpecDraft-30B**

该模型通过：

- Hy-MT2-1.8B 与 Hy-MT2-30B-A3B 词表对齐
- embedding / lm_head 均值 padding 扩展
- GGUF 转换与 llama.cpp 兼容优化

实现作为 Hy-MT2-30B-A3B 的 draft model 使用。

⚠️ **注意：该项目为实验性质**

由于 Hy-MT2-30B-A3B 是 MoE 架构，仅激活约 3B 参数，单模型推理速度已经较快，因此 speculative decoding 不保证一定带来加速。

实际效果取决于：

- GPU 显存情况
- llama.cpp 版本
- 调度开销
- draft acceptance rate

该项目主要面向：

- 大显存用户
- llama.cpp 爱好者
- 对 MoE 投机解码感兴趣的研究测试用户

模型地址：

[alphaZimuth/Hy-MT2-1.8B-SpecDraft-30B](https://www.modelscope.cn/models/alphaZimuth/Hy-MT2-1.8B-SpecDraft-30B)

## 致谢

-   Tencent Hy-MT2 团队提供原始模型。
-   LocalAI 团队提供 APEX 量化框架。
-   llama.cpp 社区提供 GGUF 支持。
-   HuggingFace 用户 **gigass03** 提出了 `hy_v3` 架构 metadata 兼容性问题，并验证了修复方案。

## License

Apache-2.0