---
title: HS-Bio-Tim-Qwen3-4B-Instruct-GGUF
canonical_url: "https://www.modelscope.cn/models/Tim3901/HS-Bio-Tim-Qwen3-4B-Instruct-GGUF"
md_url: "https://www.modelscope.cn/models/Tim3901/HS-Bio-Tim-Qwen3-4B-Instruct-GGUF.md"
repository: Tim3901/HS-Bio-Tim-Qwen3-4B-Instruct-GGUF
chinese_name: "Tim-生物高考选择题微调Qwen3-4B-Instruct gguf"
last_updated: 2025-08-29
pipeline_tag: text-generation
tasks:
  - text-generation
library_name:
  - gguf
downloads: 39
stars: 2
tags:
  - gguf
---

# HS-Bio-Tim-Qwen3-4B-Instruct-GGUF

> HS-Bio-Tim-Qwen3-4B-Instruct-GGUF - Tim3901 在 ModelScope 开源的模型。HS-Bio-Tim-Qwen3-4B-Instruct的量化版本

- **Repository**: Tim3901/HS-Bio-Tim-Qwen3-4B-Instruct-GGUF
- **Tasks**: text-generation
- **Tags**: gguf
- **Downloads**: 39
- **Stars**: 2
- **Last updated**: 2025-08-29

Source: https://www.modelscope.cn/models/Tim3901/HS-Bio-Tim-Qwen3-4B-Instruct-GGUF

---

# HS-Bio-Tim-Qwen3-4B-Instruct-GGUF

<div align="center">
  <p> HS-Bio-Tim-Qwen3-4B-Instruct 模型的 GGUF 量化版本 </p>
  <p>
    <b> 原始模型仓库 (Original Model Repo): </b> <a href="https://www.modelscope.cn/models/Tim3901/HS-Bio-Tim-Qwen3-4B-Instruct/files"> 点击这里 </a>
  </p>
</div>

---

## 📖 模型简介 (Introduction)

由 Tim 创建的 `HS-Bio-Tim-Qwen3-4B-Instruct` 模型的 GGUF 量化版本。

本项目标在于将专为**中国高考生物单项选择题**微调的模型，通过 GGUF 格式进行量化，使其能够在更广泛的硬件设备上（包括普通电脑的 CPU、苹果 M 系列芯片等）高效运行。

原始模型基于 `Qwen/Qwen3-4B-Instruct` 进行 LoRA 微调，专注于解答高中生物学科问题。

## ✅ 可用文件列表 (Available Files)

本仓库提供了 F16 版本以及多种不同量化等級的 GGUF 文件，请根据您的硬件配置和对性能/精度的需求来选择下载：

| 文件名 (Filename) | 格式 (Format) | 推荐最小内存 (Est. RAM) | 说明 (Notes) |
|---|---|---|---|
| `HS-Bio-Tim-Qwen3-4B-Instruct-f16.gguf` | `F16` | ~8 GB | 16-bit 浮点，原始精度，适用于评估和内存充足的场景。 |
| `HS-Bio-Tim-Qwen3-4B-Instruct-q6_k.gguf` | `Q6_K` | ~3.2 GB | 6-bit 量化，高质量和性能的优秀平衡点。**（推荐）** |
| `HS-Bio-Tim-Qwen3-4B-Instruct-q4_k_m.gguf`| `Q4_K_M` | ~2.4 GB| 4-bit 量化，适用于大多数内存有限的设备。 |
| `HS-Bio-Tim-Qwen3-4B-Instruct-q2_k_m.gguf`| `Q2_K_M` | ~1.6 GB | 2-bit 量化，文件最小，速度最快，但精度有一定损失。 |

*注：以上内存占用为估算值，实际使用中可能会有浮动。*

## 🚀 如何使用 (How to Use)

GGUF 模型可以在多种客户端软件上运行，以下是几个常用软件的使用指南：

### 1. LM Studio

1.  下载并安装 [LM Studio](https://lmstudio.ai/)。
2.  在软件主界面的搜索框中，搜索本模型名称 `HS-Bio-Tim-Qwen3-4B-Instruct-GGUF`。
3.  在右侧的文件列表中，选择您需要的量化版本（例如 `q6_k`），点击 **Download**。
4.  下载完成后，切换到左侧的聊天图标 (💬)，在顶部选择刚刚下载好的模型，即可开始对话。

### 2. Ollama

1.  下载并安装 [Ollama](https://ollama.com/)。
2.  将您下载的 GGUF 文件（例如 `hs-bio-tim-qwen3-4b-instruct-q6_k.gguf`）放到一个固定的文件夹。
3.  创建一个名为 `Modelfile` 的文件（没有后缀），内容如下：
    ```
    FROM ./hs-bio-tim-qwen3-4b-instruct-q6_k.gguf
    TEMPLATE """<|im_start|>user
    {{ .Prompt }}<|im_end|>
    <|im_start|>assistant
    """
    ```
    *(请确保 `FROM` 后面的文件名和您下载的文件名一致)*
4.  在终端中，使用 `ollama create` 命令创建模型：
    ```bash
    ollama create hs-bio-tim -f ./Modelfile
    ```
5.  运行模型进行对话：
    ```bash
    ollama run hs-bio-tim
    ```

### 3. llama.cpp

1.  从 [llama.cpp 的 GitHub](https://github.com/ggerganov/llama.cpp) 下载并编译。
2.  下载本仓库中的一个 GGUF 文件。
3.  在终端中运行以下命令启动交互式对话：
    ```bash
    ./main -m ./hs-bio-tim-qwen3-4b-instruct-q6_k.gguf --color -n 512 -i --prompt-cache /tmp/prompt.bin --in-prefix-bos --in-prefix ' '
    ```

## 📝 提示词格式 (Prompt Format)

为了获得最佳效果，请务必使用 Qwen3 的聊天模板。在提供给模型时，您的输入应该被构造成如下格式：

```
<|im_start|>user
下列关于酶的说法，正确的是？
A. 酶都是蛋白质
B. 酶的催化需要适宜的温度和pH
C. 酶在低温下会永久失活
D. 一种酶可以催化多种化学反应<|im_end|>
<|im_start|>assistant
```

## ⚠️ 局限性与免责声明 (Limitations & Disclaimer)

* 本模型主要针对**单项选择题**格式进行了优化，对于主观问答题、填空题或其他类型的生物问题，效果可能不佳。
* 量化过程可能会对模型性能产生轻微影响。与其他大语言模型一样，本模型也可能产生不准确或错误的回答。
* **请勿**将本模型用于任何正式的学术考试、作业或商业用途。对于使用本模型产生的任何后果，作者不承担任何责任。
