---
title: llava-instruct-zh-600k
canonical_url: "https://www.modelscope.cn/datasets/opencsg/llava-instruct-zh-600k"
md_url: "https://www.modelscope.cn/datasets/opencsg/llava-instruct-zh-600k.md"
repository: opencsg/llava-instruct-zh-600k
last_updated: 2025-07-22
license: apache-2.0
storage_size: "113 GB"
downloads: 13068
stars: 1
---

# llava-instruct-zh-600k

> llava-instruct-zh-600k - opencsg 在 ModelScope 开源的数据集。仿照 LLaVA-Instruct-150K ，使用 Qwen2.5-VL-32B-Instruct 合成的用于微调中文VLM的数据；也可以与英文数据集混合使用，训练多语言VLM 任务类型为基于单张图片的问答和对话，每个样本都对应一张不同的图片，其中大部分图片包含中文字符，更适合中文场景下视觉语言模型的训练。 图片从各类中文网站上爬取…

opencsg/llava-instruct-zh-600k 是 ModelScope 魔搭社区上的数据集，存储大小 113 GB，采用 apache-2.0 许可。

- **Repository**: opencsg/llava-instruct-zh-600k
- **License**: apache-2.0
- **Storage size**: 113 GB
- **Downloads**: 13068
- **Stars**: 1
- **Last updated**: 2025-07-22

Source: https://www.modelscope.cn/datasets/opencsg/llava-instruct-zh-600k

---

* 仿照 [LLaVA-Instruct-150K](https://huggingface.co/datasets/liuhaotian/LLaVA-Instruct-150K) ，使用 [Qwen2.5-VL-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-VL-32B-Instruct) 合成的用于微调**中文**VLM的数据；也可以与英文数据集混合使用，训练多语言VLM
* 任务类型为基于单张图片的问答和对话，每个样本都对应一张不同的图片，其中大部分图片包含中文字符，更适合中文场景下视觉语言模型的训练。
* 图片从各类中文网站上爬取
* 包含3类任务：日常对话、复杂推理、描述图片。日常对话通常是5轮对话，其余任务是1轮对话。
* 每种任务的数量如下：

| 任务类型   | 数量      |
|------------|---------|
| 日常对话   | 247,431 |
| 复杂推理   | 194,646 |
| 描述图片   | 199,791 |

* 用于生成对话数据的prompt如下

日常对话
```text
设计一个你和一个询问这张照片的人之间的对话。答案应该是视觉AI助手看到图像并回答问题的语气。
你需要提出不同的问题并给出相应的答案。问题可以包括询问图像视觉内容的问题，包括对象类型、对象计数、对象动作、对象位置、对象之间的相对位置等。必须是有明确答案的问题，即
（1） 人们可以在图像中明确看到问题所问的内容，并且可以自信地回答；
（2） 人们可以从图像中肯定地确定它不在图像中。
问题还可以包括与图像中的内容相关的复杂问题，例如，询问图像中对象的背景知识，要求讨论图像中发生的事件等。同样，不要问不确定的细节。
在回答复杂问题时要提供详细的答案。例如，给出详细的例子或推理步骤，使内容更具说服力和组织性。如有必要，您可以包含多个段落。最多不超过5轮对话。
以 用户：...\n\n助手：...\n\n用户：...\n\n助手：...\n\n  的格式返回。
```

复杂推理
```text
设计一个关于这张照片的问题，并提供详细的答案。必须是除了描述场景以外的复杂问题。
要回答这些问题，首先需要理解视觉内容，然后根据背景知识进行推理，来解释事情为什么会这样发生，或者为用户的请求提供指导和帮助。你可以通过不在问题中包含视觉内容的细节来使问题具有挑战性，这样回答问题时必须先根据视觉内容进行推理。
以 问题：...\n\n回答：...\n\n  的格式返回。
```

描述图片
```text
详细描述这张照片的场景。包括对象计数、对象位置、对象之间的相对位置等详细信息。
当图片中存在文字时，需要将文字提取出来进行描述。描述应尽可能全面，尽量覆盖所有对象。
```