---
title: LL-Qwen3-8B-Int8-GGUF
canonical_url: "https://www.modelscope.cn/models/feixiangdedaxigua/LL-Qwen3-8B-Int8-GGUF"
md_url: "https://www.modelscope.cn/models/feixiangdedaxigua/LL-Qwen3-8B-Int8-GGUF.md"
repository: feixiangdedaxigua/LL-Qwen3-8B-Int8-GGUF
chinese_name: "玲珑-你的专属心理医生-GGUF-纯CPU推理"
last_updated: 2025-09-03
license: "Apache License 2.0"
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Qwen/Qwen3-8B
base_model_relation: quantized
library_name:
  - gguf
  - pytorch
frameworks:
  - pytorch
language:
  - cn
downloads: 383
stars: 7
tags:
  - "医疗"
  - "健康"
  - "心理健康"
  - medical
  - gguf
---

# LL-Qwen3-8B-Int8-GGUF

> LL-Qwen3-8B-Int8-GGUF - feixiangdedaxigua 在 ModelScope 开源的模型。玲珑-心理医生-Qwen3-8B，微调合并后使用Q8_0量化，纯CPU推理

feixiangdedaxigua/LL-Qwen3-8B-Int8-GGUF 是 ModelScope 魔搭社区上的text-generation模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen3-8B 构建。

- **Repository**: feixiangdedaxigua/LL-Qwen3-8B-Int8-GGUF
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Base model**: Qwen/Qwen3-8B
- **Tags**: 医疗, 健康, 心理健康, medical, gguf
- **Downloads**: 383
- **Stars**: 7
- **Last updated**: 2025-09-03

Source: https://www.modelscope.cn/models/feixiangdedaxigua/LL-Qwen3-8B-Int8-GGUF

---

# 玲珑-你的专属心理医生-Int8-GGUF-CPU推理

## 介绍

主要作为心理咨询、心理医生类对话助手，可快速嵌入医疗类产品。

基于[Qwen3-8B](https://www.modelscope.cn/models/Qwen/Qwen3-8B)和心理健康数据集[心理健康-R1蒸馏中文数据集-10k](https://www.modelscope.cn/datasets/Kedreamix/psychology-10k-Deepseek-R1-zh)进行微调后获得本模型。

> 使用了Int8量化，可使用纯CPU环境推理（我的CPU是 12th Gen Intel(R) Core(TM) i5-12400   2.50 GHz ）。

## '满血版'模型

请访问： [LL-Doctor-qwen3-8b](https://www.modelscope.cn/models/feixiangdedaxigua/LL-Doctor-qwen3-8b)

提示： '满血版'模型未经过量化，对GPU要求较高。

## GPTQ量化模型

请访问： [LL-Qwen3-8B-Int8-GPTQ](https://www.modelscope.cn/models/feixiangdedaxigua/LL-Qwen3-8B-Int8-GPTQ)

## 运行

1. 安装ollama:

```
https://ollama.com/
```

2. 安装modelscope:

```
pip install modelscope
```

3. 下载模型:

```
modelscope download --model="feixiangdedaxigua/LL-Qwen3-8B-Int8-GGUF" --local_dir /root/LL-Qwen3-8B-Int8-GGUF-Model
```

4. 创建Ollama镜像：

> 在模型所在目录执行下面的命令

```
ollama create LL-Qwen3-8B-Int8 --file ./ModelFile
```

创建成功后，执行下面的命令。


5. 命令行推理：

```
ollama run LL-Qwen3-8B-Int8:latest
```

6. 删除Ollama镜像：

```
ollama rm LL-Qwen3-8B-Int8
```

删除后可基于上面的流程重新创建。

## 版权

基础模型及数据集版权归原机构或作者所有。

本模型依据Apache License 2.0进行授权。

## 结论

使用数十个问题测试，量化后，模型效果与'满血版'模型相当。

如果有问题欢迎留言交流，感谢您的支持。

## 联系我

欢迎加入QQ群：728898358 或 关注公众号： 锤子代码

一起学习交流AI。

----------

> 注意: 本项目仅供学术研究使用，不构成医疗建议。