---
title: qwen2_1.5B_zhongyi
canonical_url: "https://www.modelscope.cn/models/tmouse/qwen2_1.5B_zhongyi"
md_url: "https://www.modelscope.cn/models/tmouse/qwen2_1.5B_zhongyi.md"
repository: tmouse/qwen2_1.5B_zhongyi
chinese_name: "千问2中医模型"
last_updated: 2025-02-26
pipeline_tag: text-generation
tasks:
  - text-generation
library_name:
  - gguf
downloads: 258
stars: 5
tags:
  - gguf
---

# qwen2_1.5B_zhongyi

> qwen2_1.5B_zhongyi - tmouse 在 ModelScope 开源的模型。以千问2 1.5B基础模型，使用MODELSCOPE中提供的中医问答数据集，使用LLM FACTROY进行微调训练、合并，使用LLM CPP进行8位量化，原模型3.1G，量化后1.6G，可以供极低显存甚至手机端侧进行推理。（纯为学习跑通整个LLM微调、合并、量化整个流程，非商业目的）

- **Repository**: tmouse/qwen2_1.5B_zhongyi
- **Tasks**: text-generation
- **Tags**: gguf
- **Downloads**: 258
- **Stars**: 5
- **Last updated**: 2025-02-26

Source: https://www.modelscope.cn/models/tmouse/qwen2_1.5B_zhongyi

---

以千问2 1.5B基础模型，使用MODELSCOPE中提供的中医问答数据集，使用LLM FACTROY进行微调训练、合并，使用LLM CPP进行8位量化，原模型3.1G，量化后1.6G，可以供极低显存甚至手机端侧进行推理。（纯为学习跑通整个LLM微调、合并、量化整个流程，非商业目的）

建议使用LINUX安装运行。

使用OLLAMA进行推理（建议MODELFILE文件和模型文件同目录）
1、编写一个文件名为 Modelfile 的文件, 内容如下

FROM GGUF文件所在路径

2、命令行注册该文件，设定该文件对应的模型名称， 这里设定 llama3-chat-merged（相对较规范）

ollama create llama3-chat-merged -f Modelfile   

3、注册好以后
ollama run llama3-chat-merged 

就可以使OLLAMA进行推理测试了，觉得不方便可以使用CHATBOX、CHERYYSTUDIO等WEBUI界面的软件挂接OLLAMA