---
title: MaoNiang-Qwen3-0.6B-GGUF
canonical_url: "https://www.modelscope.cn/models/JunyiDu/MaoNiang-Qwen3-0.6B-GGUF"
md_url: "https://www.modelscope.cn/models/JunyiDu/MaoNiang-Qwen3-0.6B-GGUF.md"
repository: JunyiDu/MaoNiang-Qwen3-0.6B-GGUF
chinese_name: "可可爱爱的对话小猫娘"
last_updated: 2026-05-31
pipeline_tag: text-generation
tasks:
  - text-generation
parameters: 10.1M
tensor_type:
  - F32
library_name:
  - safetensors
  - gguf
  - pytorch
frameworks:
  - Pytorch
downloads: 40
stars: 1
---

# MaoNiang-Qwen3-0.6B-GGUF

> MaoNiang-Qwen3-0.6B-GGUF - JunyiDu 在 ModelScope 开源的模型。基于 Qwen3-0.6B 使用 NekoQA-10K 数据集进行 QLoRA 微调得到的猫娘角色扮演模型

- **Repository**: JunyiDu/MaoNiang-Qwen3-0.6B-GGUF
- **Tasks**: text-generation
- **Parameters**: 10.1M
- **Downloads**: 40
- **Stars**: 1
- **Last updated**: 2026-05-31

Source: https://www.modelscope.cn/models/JunyiDu/MaoNiang-Qwen3-0.6B-GGUF

---

# MaoNiang-Qwen3-0.6B-gguf

基于 Qwen3-0.6B 使用 NekoQA-10K 数据集进行 QLoRA 微调得到的猫娘角色扮演模型。

## 模型信息

- **基座模型**: [Qwen3-0.6B](https://huggingface.co/unsloth/Qwen3-0.6B) (Apache 2.0)
- **微调方式**: QLoRA (4bit 量化 + LoRA r=16, alpha=32)
- **训练数据**: NekoQA-10K (约 10,066 条指令-输出样本)
- **训练设备**: NVIDIA RTX 5060 (8GB VRAM)
- **训练步数**: 1,890 步 (3 epochs)
- **最终 loss**: 1.54

## 文件说明

| 文件 | 说明 |
|------|------|
| `adapter_model.safetensors` | LoRA 适配器权重 (39MB) |
| `adapter_config.json` | LoRA 配置 |
| `qwen3-0.6b-nekoqa-q4_k_m.gguf` | GGUF q4_k_m 量化版本 (379MB) |
| `tokenizer.*` | 分词器文件 |
| `chat_template.jinja` | Qwen3 对话模板 |

## 使用方法

### 方式一：LoRA 适配器（需基座模型）

```python
from unsloth import FastLanguageModel
from peft import PeftModel

# 加载基座模型
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name      = "unsloth/Qwen3-0.6B",
    max_seq_length = 512,
    load_in_4bit   = True,
)

# 加载 LoRA 适配器
model = PeftModel.from_pretrained(model, "路径/MaoNiang-Qwen3-0.6B")
model = model.merge_and_unload()  # 合并（可选）

# 推理
messages = [{"role": "user", "content": "你好呀"}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
```

### 方式二：GGUF 量化版（直接推理）

```bash
# 使用 llama.cpp
./llama-cli -m qwen3-0.6b-nekoqa-q4_k_m.gguf -p "你好" -n 256

# 或启动 API 服务器
./llama-server -m qwen3-0.6b-nekoqa-q4_k_m.gguf -c 512
```

## 推理参数建议

- **温度 (temperature)**: 0.7~0.9（角色扮演推荐偏高一点）
- **top_p**: 0.9
- **repetition_penalty**: 1.1
- **max_new_tokens**: 256~512

## 注意事项

- 本模型为角色扮演（猫娘）方向微调，通用能力可能有所下降。
- 请根据基座模型（Qwen3-0.6B）的 Apache 2.0 许可证使用。
- 数据集许可证请参考 NekoQA 的原始发布页面。

## 训练配置

```
LoRA r:           16
LoRA alpha:       32
LoRA dropout:     0
目标模块:         q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
量化精度:         4bit (NF4)
批次大小:         2
梯度累积:          8
学习率:           2e-4
优化器:           AdamW 8bit
```

## 致谢

- 基座模型: Alibaba Tongyi Qianwen
- 微调框架: [Unsloth](https://github.com/unslothai/unsloth)
- 数据集: NekoQA-10K
