---
title: ht-doctor-8b-q8-gguf
canonical_url: "https://www.modelscope.cn/models/feixiangdedaxigua/ht-doctor-8b-q8-gguf"
md_url: "https://www.modelscope.cn/models/feixiangdedaxigua/ht-doctor-8b-q8-gguf.md"
repository: feixiangdedaxigua/ht-doctor-8b-q8-gguf
chinese_name: "海豚医生-你的健康，我来守护-GGUF-Q8量化-纯CPU推理"
last_updated: 2025-09-03
license: "Apache License 2.0"
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Qwen/Qwen3-8B
base_model_relation: quantized
library_name:
  - gguf
  - pytorch
frameworks:
  - pytorch
language:
  - cn
downloads: 137
stars: 3
tags:
  - "健康"
  - "医疗"
  - "问诊"
  - "医生"
  - medical
  - gguf
---

# ht-doctor-8b-q8-gguf

> ht-doctor-8b-q8-gguf - feixiangdedaxigua 在 ModelScope 开源的模型。海豚医生-医疗问诊、医疗行业专业问答大模型。

feixiangdedaxigua/ht-doctor-8b-q8-gguf 是 ModelScope 魔搭社区上的text-generation模型，采用 Apache License 2.0 许可，基于 Qwen/Qwen3-8B 构建。

- **Repository**: feixiangdedaxigua/ht-doctor-8b-q8-gguf
- **License**: Apache License 2.0
- **Tasks**: text-generation
- **Base model**: Qwen/Qwen3-8B
- **Tags**: 健康, 医疗, 问诊, 医生, medical, gguf
- **Downloads**: 137
- **Stars**: 3
- **Last updated**: 2025-09-03

Source: https://www.modelscope.cn/models/feixiangdedaxigua/ht-doctor-8b-q8-gguf

---

# 海豚医生-关心你的健康-GGUF-Q8量化-纯CPU推理

## 介绍

海豚医生-医疗问诊、医疗行业专业问答大模型。

基于[Qwen3-8B](https://www.modelscope.cn/models/Qwen/Qwen3-8B)进行微调后获得本模型。

## '完整版'模型

[海豚医生-完整版](https://www.modelscope.cn/models/feixiangdedaxigua/ht-doctor-8b)

## GGUF-纯CPU推理

> 备注：未量化，仅转换为GGUF格式文件。

[海豚医生-GGUF-纯CPU推理(未量化)](https://www.modelscope.cn/models/feixiangdedaxigua/ht-doctor-8b-gguf)

## 运行

1. 安装ollama:

```
https://ollama.com/
```

2. 安装modelscope:

```
pip install modelscope
```

3. 下载模型:

```
modelscope download --model="feixiangdedaxigua/ht-doctor-8b-q8-gguf" --local_dir /root/ht-doctor-8b-q8-gguf-Model
```

4. 创建Ollama镜像：

> 在模型所在目录执行下面的命令

```
ollama create ht-doctor-8b-q8 --file ./ModelFile
```

创建成功后，执行下面的命令。


5. 命令行推理：

```
ollama run ht-doctor-8b-q8:latest
```

6. 删除Ollama镜像：

```
ollama rm ht-doctor-8b-q8
```

删除后可基于上面的流程重新创建。

## 版权

基础模型及数据集版权归原机构或作者所有。

本模型依据Apache License 2.0进行授权。

## 结论

转GGUF（Q8量化）后，性能会有一定损失。

未对转GGUF文件后的性能损失进行评估，如需用于生产环境，请慎重考虑。

## 联系我

欢迎加入QQ群：728898358 或 关注公众号： 锤子代码

一起学习交流AI。

-----------

> 注意: 本项目仅供学术研究使用，不构成医疗建议。
