---
title: Hy-Memory-30B-A3B-GGUF
canonical_url: "https://www.modelscope.cn/models/sheepai/Hy-Memory-30B-A3B-GGUF"
md_url: "https://www.modelscope.cn/models/sheepai/Hy-Memory-30B-A3B-GGUF.md"
repository: sheepai/Hy-Memory-30B-A3B-GGUF
chinese_name: "Hy-Memory-30B-A3B GGUF 量化"
last_updated: 2026-10-18
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Tencent-Hunyuan/Hy-Memory-30B-A3B
base_model_relation: quantized
library_name:
  - gguf
language:
  - zh
  - en
downloads: 136
stars: 1
tags:
  - gguf
  - hy_v3
  - quantized
---

# Hy-Memory-30B-A3B-GGUF

> Hy-Memory-30B-A3B-GGUF - sheepai 在 ModelScope 开源的模型。基于腾讯混元官方 Hy-Memory-30B-A3B 权重，使用 llama.cpp 转换与量化。计划提供 Q4_K_M、Q6_K、Q8_0、Q2_K 和 IQ1_M；具体文件与验证结果见模型说明。

sheepai/Hy-Memory-30B-A3B-GGUF 是 ModelScope 魔搭社区上的text-generation模型，采用 apache-2.0 许可，基于 Tencent-Hunyuan/Hy-Memory-30B-A3B 构建。

- **Repository**: sheepai/Hy-Memory-30B-A3B-GGUF
- **License**: apache-2.0
- **Tasks**: text-generation
- **Base model**: Tencent-Hunyuan/Hy-Memory-30B-A3B
- **Tags**: gguf, hy_v3, quantized
- **Downloads**: 136
- **Stars**: 1
- **Last updated**: 2026-10-18

Source: https://www.modelscope.cn/models/sheepai/Hy-Memory-30B-A3B-GGUF

---

# Hy-Memory-30B-A3B-GGUF

腾讯混元 [Hy-Memory-30B-A3B](https://modelscope.cn/models/Tencent-Hunyuan/Hy-Memory-30B-A3B) 的社区 GGUF 量化版本。原始权重由腾讯混元提供，本仓库不是官方量化发布。

## 量化方法

- 工具：[llama.cpp](https://github.com/ggml-org/llama.cpp)，版本 `5aeac37a35b44fde4bdffaec9159f2fcb253b622`。
- 兼容修正：Hy-Memory 配置使用 `expert_hidden_dim=768`。转换器需优先读取该字段，而非旧的 `moe_intermediate_size=1536`；路由专家和共享专家的 GGUF 元数据均与实际权重形状核对。补丁见 `quantization/expert-dimension-fix.patch`，不改变权重数值。
- 原始 BF16 权重先转换为 BF16 GGUF，各种格式再从该文件分别量化，没有在低精度格式之间重复量化。
- 校准：WikiText-2 raw **训练集**，512-token context，128 chunks。没有使用测试集进行校准。
- 计划生成顺序：Q4_K_M → Q6_K → Q8_0 → Q2_K → IQ1_M。请以“模型文件”中实际存在的权重为准。
- 每个已发布权重对应 `quantization/<格式>.json`，记录文件大小与 SHA-256。

本仓库的验证范围为模型加载和短文本生成检查，没有复现原模型的官方基准。Q2_K、IQ1_M 等低位量化可能明显影响记忆提取与更新质量。

## 使用

请使用支持 `hy_v3` 架构的新版 llama.cpp 或兼容 GGUF 的推理工具，并沿用原模型的聊天模板。原模型的任务定位、提示词与使用方法请查看官方模型卡。

## 来源与许可

- ModelScope 原始权重：`Tencent-Hunyuan/Hy-Memory-30B-A3B`
- Hugging Face 原始权重：`tencent/Hy-Memory-30B-A3B`
- 原模型许可：Apache License 2.0。
- 校准语料：[ggml-org/ci WikiText-2](https://huggingface.co/datasets/ggml-org/ci/resolve/main/wikitext-2-raw-v1.zip)。本仓库不重新发布语料全文。
