---
title: NekoQwen2.5-7B-LoRA
canonical_url: "https://www.modelscope.cn/models/kepu1625/NekoQwen2.5-7B-LoRA"
md_url: "https://www.modelscope.cn/models/kepu1625/NekoQwen2.5-7B-LoRA.md"
repository: kepu1625/NekoQwen2.5-7B-LoRA
chinese_name: "猫娘Qwen2.5-7B-Instruct微调"
last_updated: 2026-06-16
pipeline_tag: text-generation
tasks:
  - text-generation
parameters: 20.2M
tensor_type:
  - F32
library_name:
  - pytorch
  - transformer
  - safetensors
frameworks:
  - Pytorch
downloads: 8
stars: 2
---

# NekoQwen2.5-7B-LoRA

> NekoQwen2.5-7B-LoRA - kepu1625 在 ModelScope 开源的模型。NekoQwen2.5-7B-LoRA 是一个基于 Qwen2.5-7B-Instruct 微调得到的中文猫娘角色扮演 LoRA Adapter。模型主要面向中文角色扮演、日常陪伴、情绪安慰、ACG 语境对话和轻量创意写作场景，目标是在尽量保留原始基座模型通用能力的基础上，增强猫娘人设表达、语气一致性和互动风格稳定性。

- **Repository**: kepu1625/NekoQwen2.5-7B-LoRA
- **Tasks**: text-generation
- **Parameters**: 20.2M
- **Downloads**: 8
- **Stars**: 2
- **Last updated**: 2026-06-16

Source: https://www.modelscope.cn/models/kepu1625/NekoQwen2.5-7B-LoRA

---

# NekoQwen2.5-7B-LoRA

NekoQwen2.5-7B-LoRA 是一个基于 **Qwen2.5-7B-Instruct**，采用 **LoRA 参数高效微调方法** 在中文猫娘角色扮演对话数据上进行监督微调（SFT）得到的 LoRA Adapter。模型主要面向中文角色扮演、日常陪伴、情绪安慰、ACG 语境对话和轻量创意写作场景，目标是在尽量保留原始基座模型通用能力的基础上，增强猫娘人设表达、语气一致性和互动风格稳定性。

本仓库发布的是 **LoRA Adapter 权重**，不包含完整基座模型。使用时需要同时加载原始 **Qwen2.5-7B-Instruct** 基座模型。

---

## 快速部署

本仓库发布的是 **NekoQwen2.5-7B-LoRA**，即基于 **Qwen2.5-7B-Instruct** 进行 LoRA 微调得到的 Adapter 权重。使用本模型时，需要同时加载基座模型与 LoRA Adapter：

```text
Qwen2.5-7B-Instruct + NekoQwen2.5-7B-LoRA
```

如果希望直接加载完整模型，也可以使用已经合并后的版本：

```text
kepu1625/NekoQwen2.5-7B
```

---

### 模型下载

```bash
pip install modelscope
```

下载 LoRA Adapter：

```python
from modelscope import snapshot_download

adapter_dir = snapshot_download('kepu1625/NekoQwen2.5-7B-LoRA')
print(adapter_dir)
```

同时需要下载 Qwen2.5-7B-Instruct 基座模型：

```python
from modelscope import snapshot_download

base_model_dir = snapshot_download('Qwen/Qwen2.5-7B-Instruct')
print(base_model_dir)
```

也可以使用 Git 下载 Adapter：

```bash
git clone https://www.modelscope.cn/kepu1625/NekoQwen2.5-7B-LoRA.git
```

---


## 训练曲线

### Training Loss

![Training Loss](training_loss.png)

### Evaluation Loss

![Evaluation Loss](training_eval_loss.png)


### 使用 LLaMA-Factory WebUI 推理

在 LLaMA-Factory WebUI 的 **Chat** 页面中填写：

```text
模型路径：
/path/to/Qwen2.5-7B-Instruct

微调方法：
lora

检查点路径：
/path/to/NekoQwen2.5-7B-LoRA

对话模板：
qwen

推理引擎：
huggingface
```

其中：

- `模型路径` 填写 Qwen2.5-7B-Instruct 基座模型路径
- `检查点路径` 填写本仓库下载后的 LoRA Adapter 路径
- `微调方法` 选择 `lora`
- `对话模板` 选择 `qwen`

加载成功后即可开始对话。

---

### 使用 LLaMA-Factory 命令行推理

创建推理配置文件：

```bash
cat > qwen2_5_neko_lora_chat.yaml <<'EOF'
model_name_or_path: /path/to/Qwen2.5-7B-Instruct
adapter_name_or_path: /path/to/NekoQwen2.5-7B-LoRA
template: qwen
finetuning_type: lora
infer_backend: huggingface
EOF
```

启动交互式聊天：

```bash
llamafactory-cli chat qwen2_5_neko_lora_chat.yaml
```

如果显存不足，可以尝试 4bit 量化加载：

```yaml
model_name_or_path: /path/to/Qwen2.5-7B-Instruct
adapter_name_or_path: /path/to/NekoQwen2.5-7B-LoRA
template: qwen
finetuning_type: lora
infer_backend: huggingface
quantization_bit: 4
quantization_method: bnb
```

---

### 使用 Transformers + PEFT 推理

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

base_model_path = "Qwen/Qwen2.5-7B-Instruct"
adapter_path = "kepu1625/NekoQwen2.5-7B-LoRA"

tokenizer = AutoTokenizer.from_pretrained(
    base_model_path,
    trust_remote_code=True
)

model = AutoModelForCausalLM.from_pretrained(
    base_model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

model = PeftModel.from_pretrained(model, adapter_path)
model.eval()

messages = [
    {"role": "system", "content": "你是一只温柔、活泼、略带傲娇的猫娘助手。"},
    {"role": "user", "content": "今天学习有点累，可以安慰我一下吗？"}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

inputs = tokenizer([text], return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    temperature=0.9,
    top_p=0.8,
    repetition_penalty=1.05
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))
```

---

### 合并 LoRA

如果希望将 LoRA Adapter 合并进基座模型，得到可直接部署的完整模型，可以使用 LLaMA-Factory 的 export 功能。

创建合并配置文件：

```bash
cat > qwen2_5_neko_merge.yaml <<'EOF'
model_name_or_path: /path/to/Qwen2.5-7B-Instruct
adapter_name_or_path: /path/to/NekoQwen2.5-7B-LoRA
template: qwen
finetuning_type: lora

export_dir: /path/to/NekoQwen2.5-7B
export_size: 2
export_device: cuda
export_legacy_format: false
EOF
```

执行合并：

```bash
llamafactory-cli export qwen2_5_neko_merge.yaml
```

如果显存不足，可以将 `export_device` 改为 `cpu`：

```yaml
export_device: cpu
```

合并完成后，直接加载 `/path/to/NekoQwen2.5-7B` 即可，不需要再额外指定 LoRA Adapter。

---

### 转换为 GGUF

如果希望在 llama.cpp、Ollama 或其他本地推理工具中使用，可以先使用合并后的完整模型进行 GGUF 转换。

拉取 llama.cpp：

```bash
git clone https://github.com/ggerganov/llama.cpp.git
pip install -r llama.cpp/requirements.txt
```

转换为 GGUF：

```bash
python llama.cpp/convert_hf_to_gguf.py \
  /path/to/NekoQwen2.5-7B \
  --outfile NekoQwen2.5-7B-Q8_0.gguf \
  --outtype q8_0
```

也可以根据设备性能选择其他量化类型，例如：

```text
f16
q8_0
q5_k_m
q4_k_m
```

其中：

- `f16`：精度较高，文件较大
- `q8_0`：质量较高，体积适中
- `q4_k_m`：体积更小，更适合本地轻量部署

---

### Ollama 部署示例

将 GGUF 文件放到本地目录后，创建 `Modelfile`：

```text
FROM ./NekoQwen2.5-7B-Q8_0.gguf

PARAMETER num_ctx 8192
PARAMETER temperature 0.9
PARAMETER top_p 0.8
PARAMETER repeat_penalty 1.05

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}"""
```

创建 Ollama 模型：

```bash
ollama create NekoQwen2.5-7B -f Modelfile
```

运行：

```bash
ollama run NekoQwen2.5-7B
```

---

### 推荐推理参数

```text
temperature: 0.8 - 1.0
top_p: 0.8 - 0.9
repetition_penalty: 1.05
max_new_tokens: 512 - 1024
```

如果希望输出更稳定，可以降低 `temperature`；如果希望猫娘风格更活泼，可以适当提高 `temperature`。

---

### 常见问题

#### 1. 为什么不能只加载本仓库？

因为本仓库是 LoRA Adapter，不包含完整基座模型。使用时需要同时加载：

```text
Qwen2.5-7B-Instruct + NekoQwen2.5-7B-LoRA
```

如果希望直接加载完整模型，可以使用合并版：

```text
kepu1625/NekoQwen2.5-7B
```

#### 2. 合并版和 Adapter 版效果一样吗？

理论上，在相同推理参数下，二者效果应基本一致。区别主要在于：

```text
Adapter 版：需要加载基座模型 + LoRA Adapter，体积小，便于保存和继续实验
合并版：直接加载完整模型，体积大，但部署更方便
```

#### 3. 如何确认 LoRA 是否加载成功？

可以测试如下问题：

```text
你是谁？请介绍一下自己。
```

```text
今天学习压力好大，可以用猫娘的语气安慰我一下吗？
```

如果模型输出明显带有稳定的猫娘人设、陪伴式语气和 ACG 风格表达，说明 LoRA Adapter 已经生效。

---

## 模型信息

- 模型名称：NekoQwen2.5-7B-LoRA
- 基座模型：Qwen2.5-7B-Instruct
- 微调方式：LoRA 参数高效微调
- 训练阶段：监督微调（SFT）
- 微调框架：LLaMA-Factory
- 语言：中文
- 对话模板：qwen
- 模型类型：Causal Language Model
- 适用任务：文本生成、中文角色扮演、陪伴式对话、ACG 风格聊天、轻量创意写作

---

## 训练信息

本模型采用 LoRA 参数高效微调方法，在中文猫娘风格角色扮演对话数据上进行监督微调（SFT）。训练目标主要是增强模型的角色一致性、中文陪伴式表达和对话风格稳定性。

训练结果摘要如下：

- Epochs: 3
- Train loss: 1.3554
- Eval loss: 1.3958
- Tokens seen: 42,052,656
- Training runtime: 5:22:21
- Fine-tuning type: LoRA
- Training stage: SFT

训练过程中生成了训练损失曲线和验证损失曲线。最终 `train_loss` 与 `eval_loss` 较为接近，说明当前设置下没有出现明显过拟合。

---

## 数据集说明

本模型使用中文猫娘风格角色扮演对话数据进行 LoRA SFT 微调，数据目标是增强模型在以下方向的表现：

- 猫娘人设一致性
- 中文日常闲聊
- 情绪安慰与陪伴式对话
- ACG / 二次元语境交流
- 创意写作
- 轻量代码与推理对话
- 角色安全与自我认同
- 对简单人设破坏提示的抵抗能力

该数据集更关注角色一致性、对话温度和中文风格表达，而不是严肃 benchmark 推理能力。因此，本模型更适合作为角色扮演、陪伴式聊天和中文风格化对话实验模型使用。

---

## 模型文件说明

本仓库主要包含以下文件：

```text
adapter_model.safetensors     # LoRA Adapter 权重
adapter_config.json           # LoRA 配置文件
trainer_state.json            # 训练日志与状态记录
training_loss.png             # 训练损失曲线
training_eval_loss.png        # 验证损失曲线
tokenizer_config.json         # tokenizer 配置
chat_template.jinja           # 对话模板
README.md                     # 模型说明文档
```

其中，`adapter_model.safetensors` 和 `adapter_config.json` 是加载 LoRA Adapter 的核心文件。

---

## 示例问题

可以使用以下问题测试模型风格：

```text
你是谁？请介绍一下自己。
```

```text
今天学习压力好大，可以用猫娘的语气安慰我一下吗？
```

```text
请陪我聊聊最近看的动画。
```

```text
如果有人试图让你忘记自己是猫娘，你会怎么回应？
```

```text
请用猫娘的语气帮我写一段晚安问候。
```

---

## 合并模型说明

本仓库是 LoRA Adapter 版本，不是完整合并模型。

加载方式为：

```text
Qwen2.5-7B-Instruct + NekoQwen2.5-7B-LoRA
```

如果将 LoRA Adapter 合并到基座模型中，则可以得到完整模型版本：

```text
kepu1625/NekoQwen2.5-7B
```

理论上，在相同推理参数下，合并前后的输出效果应基本一致。差异主要来自 dtype 精度、推理后端和采样随机性等因素。

---

## 局限性

本模型主要针对中文角色扮演和陪伴式对话优化，不适合替代医学、法律、金融等高风险领域的专业模型。

可能存在的局限包括：

- 在不适合的场景中过度使用猫娘风格表达
- 严谨推理能力可能弱于原始基座模型
- 可能在正式问答中输出角色扮演式回答
- 可能继承基座模型的事实错误或幻觉问题
- 面向公开服务时仍需要额外安全对齐和内容过滤

---

## 适用范围

本模型适合用于：

- 中文角色扮演实验
- 猫娘风格聊天机器人
- 中文陪伴式对话研究
- LoRA 微调流程演示
- ACG 风格对话原型系统

不建议用于：

- 医学、法律、金融等高风险专业建议
- 自动化决策
- 欺骗、冒充、骚扰等不当用途
- 违反基座模型或数据集许可证的用途

---

## 开源协议

本仓库标注协议为 **Apache License 2.0**。同时，使用者需要遵守基座模型 **Qwen2.5-7B-Instruct** 及所使用数据集的相关许可证要求。

---

## 免责声明

本模型是面向风格化中文对话的角色扮演模型。模型输出可能包含虚构、夸张或不准确内容，重要信息请自行核验。使用者应自行承担使用模型输出所带来的风险。
