---
title: GreyParrot-v2-small-hybird-6M
canonical_url: "https://www.modelscope.cn/models/hyb0429/GreyParrot-v2-small-hybird-6M"
md_url: "https://www.modelscope.cn/models/hyb0429/GreyParrot-v2-small-hybird-6M.md"
repository: hyb0429/GreyParrot-v2-small-hybird-6M
chinese_name: "GreyParrot-v2 6M 中文极小语言模型"
last_updated: 2026-10-02
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
language:
  - zh
downloads: 0
stars: 3
tags:
  - text-generation
  - language-model
  - tiny-language-model
  - character-level
  - long-context
  - rkm
  - tropical-attention
  - pytorch
---

# GreyParrot-v2-small-hybird-6M

> GreyParrot-v2-small-hybird-6M - hyb0429 在 ModelScope 开源的模型。GreyParrot-v2-small-hybird-6M

hyb0429/GreyParrot-v2-small-hybird-6M 是 ModelScope 魔搭社区上的text-generation模型，采用 apache-2.0 许可。

- **Repository**: hyb0429/GreyParrot-v2-small-hybird-6M
- **License**: apache-2.0
- **Tasks**: text-generation
- **Tags**: text-generation, language-model, tiny-language-model, character-level, long-context, rkm, tropical-attention, pytorch
- **Downloads**: 0
- **Stars**: 3
- **Last updated**: 2026-10-02

Source: https://www.modelscope.cn/models/hyb0429/GreyParrot-v2-small-hybird-6M

---

# GreyParrot-v2-small-hybird-6M

**6.05M 参数中文网页字符级语言模型 · RKM + TSA + FFN 混合架构**

> 致谢: 本项目的训练依赖 [魔搭社区 (ModelScope)](https://www.modelscope.cn/)、[沐曦 (MetaX)](https://www.metax-tech.com/) 和 [模力方舟 (Gitee AI)](https://ai.gitee.com/) 提供的免费算力支持。

## 模型规格

| 项 | 值 |
|---|---|
| 参数量 | 6,047,452 |
| 架构 | RKM (多尺度指数记忆) + TSA (热带骨架注意力) + FFN |
| 层数 | 3 |
| 隐藏维度 | 384 |
| RKM 记忆头数 | 16 |
| TSA 注意力头数 | 6 |
| 训练上下文 | 4096 |
| **外推上下文** | **524288 (128x)** |
| 词表大小 | 4013 (字符级) |
| 训练数据 | CCI3-HQ 子集 (586M 字符) |
| 训练硬件 | 魔搭社区 CPU / NVIDIA A10 / 沐曦 MetaX C500 |

## 性能

### 困惑度 (PPL)

| T (上下文) | PPL |
|---|---|
| 256 | 32.8 |
| 4096 (训练) | 42.0 |
| 32768 | 59.5 |
| 131072 | 64.8 |
| **524288** | **64.6** |
| 1048576 | OOM |

**从训练长度 4096 到推理长度 524288,外推 128 倍,PPL 仅涨 54%。**

### 与同规模模型对比

| 模型 | 参数 | PPL |
|---|---|---|
| **GreyParrot-v2-6M** | **6.05M** | **32.8 (T=256)** |
| RWKV M=8 | 840K | 110.6 |
| SSM | 741K | 117.1 |
| DeltaNet | 747K | 118.6 |

## 架构

模型由 3 个相同的 `HybridBlock` 串联组成。每个 block 内部**并行**跑两路（RKM 与 TSA），再用一个由上下文长度驱动的门控加权融合，最后过 FFN：

~~~text
        X
        |
        +--------------+--------------+
        |              |              |
      LN1            LN2             |
        |              |              |
       RKM            TSA             |
        |              |              |
        +------+-------+              |
               |                      |
       gate([log T, t/T])             |
        -> softmax(MLP + alpha)       |
               |                      |
       X + 2*(w0*RKM + w1*TSA)        |
               |                      |
              LN3 -------- FFN -------+
               |
          X + FFN(LN3(X))
~~~

与代码一一对应的前向过程：

~~~python
# 两路并行
rkm_out = RKM(LN1(X))                 # 多尺度指数记忆
tsa_out = TSA(LN2(X))                 # 热带稀疏骨架注意力

# 门控: 输入 = [log(T), t/T]，输出两个和为 1 的权重
gate_in = cat([log(T) * ones, t / T], dim=-1)   # [B, T, 2]
w = softmax(MLP(gate_in) + alpha)               # MLP: 2 -> 16 -> 2 (末层零初始化)
                                                # alpha: 可学习向量 (零初始化)

# 门控加权融合 + 残差 (系数 2 为经验值)
X = X + 2 * (w[..., 0:1] * rkm_out + w[..., 1:2] * tsa_out)

# FFN + 残差
X = X + FFN(LN3(X))
~~~

三个组件：

- **RKM (Recursive Kernel Memory)**: 多尺度指数记忆。16 个 head 各自绑定一个时间尺度（2 ~ 8192 步），每个 head 通过指数衰减累积历史状态；读取时对 16 个 head 的读出做门控加和。整层复杂度 O(T)。
- **TSA (Tropical Sparse Attention)**: 稀疏骨架注意力。每层有 16 个共享的 "骨架方向" directions；每个 query 只 attend 45 个 key：
  - a x r = 4 个：query 最相关的 top-a 方向上的 top-r 地标
  - m x r = 32 个：全部 16 个方向上的 top-r 地标（全局骨架）
  - w_loc + 1 = 9 个：局部窗口

  整层复杂度 O(T x 45)，与序列长度线性。
- **FFN**: 2 倍隐层宽度的标准 GELU MLP。

**门控的巧思**: 输入用 `log(T)` 和归一化位置 `t/T`，让推理时外推到的长度自动调整 RKM / TSA 的权重分配——短上下文偏向 TSA 的精确检索，长上下文偏向 RKM 的远距离记忆。

## 快速开始

~~~python
from model import load_model
from generate import generate

model, vd = load_model('./weights/6m_sft.pt', './vocab.json', device='cuda')
text = generate(model, vd, 'user: 什么是人工智能？' + chr(10) + 'assistant:',
                n=80, temp=0.7, device='cuda')
print(text)
~~~

## 两阶段权重

- `6m_pretrained.pt`: 预训练 (PPL 42 @ T=4096)
- `6m_sft.pt`: SFT 微调 (学会了 user/assistant 格式)

## SFT 结果

| 指标 | 训练前 | 训练后 |
|---|---|---|
| RM 分数 (Skywork-Reward-V2) | -11.65 | -10.13 |
| 生成格式 | 无 | 有 user/assistant |

SFT 有效但仅学到"表层格式"。6M 参数不足以实现真正的对话理解。

## 局限

- 字符级续写, 不能真正对话
- 词级语义不连贯
- SFT 后仍在 RM 上得负分
- 6M 参数上限

## 目录结构

~~~text
GreyParrot-v2-small-hybird-6M/
  README.md
  model.py
  generate.py
  vocab.json
  weights/
    6m_pretrained.pt
    6m_sft.pt
~~~

## 引用

~~~bibtex
@misc{greyparrot2026v2,
  title={GreyParrot-v2-small-hybird-6M: A 6M-Parameter Chinese Char-Level LM with RKM+TSA},
  author={GreyParrot Project},
  year={2026},
  month={October}
}
~~~

## 许可

- 模型权重: 仅研究用途
- 代码: MIT
- 训练数据 (CCI3-HQ): 见原数据许可

## 致谢

本项目的训练与实验依赖以下平台提供的免费算力支持:

- 魔搭社区 (ModelScope) — 免费 CPU 与存储环境
- 沐曦 (MetaX) — 免费 GPU 算力
- 模力方舟 (Gitee AI) — 免费 GPU 算力与模型部署平台

特别感谢 CCI3-HQ 数据集作者 (BAAI), RWKV / Mamba / GLA 等开源项目提供的参考。

---

本项目由个人独立完成, 所有实验均可复现。

日期: 2026-10-02
