---
title: Taiyi2-chat
canonical_url: "https://www.modelscope.cn/models/DUTIRbionlp/Taiyi2-chat"
md_url: "https://www.modelscope.cn/models/DUTIRbionlp/Taiyi2-chat.md"
repository: DUTIRbionlp/Taiyi2-chat
chinese_name: "太一2"
last_updated: 2025-07-28
pipeline_tag: nli
tasks:
  - nli
model_type:
  - chatglm
architectures:
  - ChatGLMForConditionalGeneration
parameters: 9.4B
tensor_type:
  - BF16
library_name:
  - safetensors
  - pytorch
frameworks:
  - Pytorch
inference_backends:
  - "deploy_task text/emb"
  - "lmdeploy_turbomind 0.9.1"
  - "vllm 0.9.2"
downloads: 439
stars: 1
---

# Taiyi2-chat

> Taiyi2-chat - DUTIRbionlp 在 ModelScope 开源的模型。--- frameworks: Pytorch license: Apache License 2.0 tasks: chatbot text-generation

DUTIRbionlp/Taiyi2-chat 是 ModelScope 魔搭社区上的 9.4B 参数nli模型，可用 deploy_task text/emb、lmdeploy_turbomind 0.9.1、vllm 0.9.2 部署。

- **Repository**: DUTIRbionlp/Taiyi2-chat
- **Tasks**: nli
- **Parameters**: 9.4B
- **Inference backends**: deploy_task text/emb, lmdeploy_turbomind 0.9.1, vllm 0.9.2
- **Downloads**: 439
- **Stars**: 1
- **Last updated**: 2025-07-28

Source: https://www.modelscope.cn/models/DUTIRbionlp/Taiyi2-chat

---

---
frameworks:
- Pytorch
license: Apache License 2.0
tasks:
- chatbot
- text-generation


#### Clone with HTTP
```bash
 git clone https://www.modelscope.cn/DUTIRbionlp/Taiyi2-chat.git
```




# 太一2（Taiyi 2）：基于多任务指令微调的中英双语生物医学大模型

[Github](https://github.com/DUTIR-BioNLP/Taiyi-LLM)  | [Demo](https://modelscope.cn/studios/DUTIRbionlp/Taiyi2_Demo) | [Paper](https://academic.oup.com/jamia/article/31/9/1865/7616487?utm_source=authortollfreelink&utm_campaign=jamia&utm_medium=email&guestAccessKey=4c56c223-a555-4949-bef7-16e77f8baa10)
  



**项目背景**

随着深度学习技术的迅速发展，类ChatGPT、DeepSeek等大语言模型在自然语言处理领域已经取得了显著的进展。面向生物医学领域，大语言模型有助于医生与患者之间的沟通，提供有用的医学信息，并在辅助诊疗、生物医学知识发现、药物研发、个性化医疗方案等方面具有巨大潜力。因此，本项目开展了面向生物医学多场景的多语多任务大模型的研究，目标实现高性能、低资源耗费的生物医学领域大模型，于2023年10月发布初版中英双语生物医学大模型——[太一（Taiyi）](https://github.com/DUTIR-BioNLP/Taiyi-LLM/tree/Taiyi1)，并持续开展研究，目前完成太一2研发，进行模型开源。

## 太一2主要更新

相比于太一1模型，太一2主要在模型基座、数据指令、任务指令等方面进行了进一步的研究和更新，主要更新如下：

- **更新基座**： 太一2从原始的Qwen-7B基座更新为GLM4-9B。

- **高质量数据筛选**：根据数据集标注指南，进一步的进行了数据质量筛选，删除了低质量数据量，并对不同任务的数据配比进行了调整，将极度不平衡的数据进行了平衡。

- **任务指令精细化**：按任务类型划分，进行实验测试不同任务指令构建方法，设计出精细化的任务最佳指令数据构建方式。



## 模型使用

### 环境搭建

本项目训练和测试使用的环境配置如下：

```
torch==2.4.0
ms_swift==2.6.1
transformers==4.44.0
transformers-stream-generator==0.0.5
vllm==0.6.0
vllm-flash-attn==2.6.1
```

可使用如下命令按照环境包：

```
$ pip install -r requirements.txt
```

### 模型推理

参考`taiyi2_chat.py`文件，为了保证推理速度，建议使用GPU显卡。

## 引用
如果你使用到了本项目的仓库，请引用下面论文。
```
@article{Taiyi,
  title="{Taiyi: A Bilingual Fine-Tuned Large Language Model for Diverse Biomedical Tasks}",
  author={Ling Luo, Jinzhong Ning, Yingwen Zhao, Zhijun Wang, Zeyuan Ding, Peng Chen, Weiru Fu, Qinyu Han, Guangtao Xu, Yunzhi Qiu, Dinghao Pan, Jiru Li, Hao Li, Wenduo Feng, Senbo Tu, Yuqi Liu, Zhihao Yang, Jian Wang, Yuanyuan Sun, Hongfei Lin},
  journal={Journal of the American Medical Informatics Association},
  year={2024},
  doi = {10.1093/jamia/ocae037},
  url = {https://doi.org/10.1093/jamia/ocae037},
}
```