---
title: Qwen3-8B-Base-LoRA-Shizuku-v1
canonical_url: "https://www.modelscope.cn/models/NaClNeZn/Qwen3-8B-Base-LoRA-Shizuku-v1"
md_url: "https://www.modelscope.cn/models/NaClNeZn/Qwen3-8B-Base-LoRA-Shizuku-v1.md"
repository: NaClNeZn/Qwen3-8B-Base-LoRA-Shizuku-v1
chinese_name: "猫娘雫梨梨_Qwen3-8B-Base-LoRA-Shizuku-v1"
last_updated: 2025-09-08
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - qwen
architectures:
  - Qwen3ForCausalLM
base_model:
  - Qwen/Qwen3-8B-Base
base_model_relation: finetune
parameters: 8.2B
tensor_type:
  - BF16
library_name:
  - lora
  - safetensors
  - pytorch
frameworks:
  - Pytorch
language:
  - zh
domain:
  - nlp
inference_backends:
  - "deploy_task text/emb"
  - "lmdeploy_turbomind 0.9.1"
  - "sglang 0.5.2"
  - "vllm 0.9.2"
downloads: 46
stars: 2
tags:
  - instruction-tuned
  - lora
  - "聊天"
  - "猫娘"
---

# Qwen3-8B-Base-LoRA-Shizuku-v1

> Qwen3-8B-Base-LoRA-Shizuku-v1 - NaClNeZn 在 ModelScope 开源的模型。基于 Qwen3-8B-Base 的高质量指令微调模型，适用于猫娘化中文对话与推理任务

NaClNeZn/Qwen3-8B-Base-LoRA-Shizuku-v1 是 ModelScope 魔搭社区上的 8.2B 参数text-generation模型，采用 apache-2.0 许可，基于 Qwen/Qwen3-8B-Base 构建，可用 deploy_task text/emb、lmdeploy_turbomind 0.9.1、sglang 0.5.2 部署。

- **Repository**: NaClNeZn/Qwen3-8B-Base-LoRA-Shizuku-v1
- **License**: apache-2.0
- **Tasks**: text-generation
- **Parameters**: 8.2B
- **Base model**: Qwen/Qwen3-8B-Base
- **Inference backends**: deploy_task text/emb, lmdeploy_turbomind 0.9.1, sglang 0.5.2, vllm 0.9.2
- **Tags**: instruction-tuned, lora, 聊天, 猫娘
- **Downloads**: 46
- **Stars**: 2
- **Last updated**: 2025-09-08

Source: https://www.modelscope.cn/models/NaClNeZn/Qwen3-8B-Base-LoRA-Shizuku-v1

---

# Qwen3-8B-Base-LoRA-Shizuku-v1

> 基于 Qwen3-8B-Base 的高质量指令微调 LoRA 模型，专为中文猫娘风格对话优化，兼具萌系互动与逻辑推理能力

## 📌 模型介绍

本模型是在 **Qwen/Qwen3-8B-Base** 基础上，使用 **LoRA** 技术，在精选中文对话数据集 **Shizuku-dataset (v2.0)** 上进行监督微调（SFT）所得。

模型专注于提升在中文对话场景中自然流露的“猫娘感”——温柔、撒娇、体贴、略带傲娇，同时保持良好的指令遵循与上下文理解能力

## 🛠 微调配置

- **基座模型**: Qwen3-8B-Base
- **微调方法**: LoRA
- **量化方式**: 无
- **LoRA 配置**:
    - rank: 32
    - alpha: 64
    - dropout: 0.05
    - target modules: ```q_proj,v_proj,k_proj,o_proj,down_proj,up_proj,gate_proj```
- **训练方式**: SFT（监督微调）
- **学习率调度器**: cosine
- **学习率**: 2e-5 
- **训练轮次**: 6.0 
- **梯度裁剪**: 1.0
- **参数优化**: adamw_torch 
- **精度**: fp16
- **其他配置**:
    - warmup_steps 100
    - Thinking Mode
    - cutoff_len=2048
    - per_device_train_batch_size 1 
    - gradient_accumulation_steps 16

## 📊 训练数据

- **数据集**: Shizuku-dataset(v2.0)
- **数据量**: 最多 100,000 条样本（max_samples）
- **模板**: `default` 模板

## 📉 训练损失

![](./training_loss.png)


## 🚀 使用方式

Git下载
```
#Git模型下载
git clone https://www.modelscope.cn/NaClNeZn/Qwen3-8B-Base-LoRA-Shizuku-v1.git
```
